压缩 128 倍之后：BrainJanus 如何用离散 token 统一脑、视觉与语言

想象一台机器：给它看一张图，它能猜出你大脑此刻的神经活动大概长什么样；反过来，只给它一段你的fMRI 信号，它能把你当时看到的画面和心里想到的那句话，都还原出来。这不是科幻电影桥段，而是刚刚发表在ICML 2026 上的一项工作——BrainJanus——正在做的事情。

论文链接：https://arxiv.org/pdf/2606.30319

它来自天津大学、上海人工智能实验室和香港中文大学的联合团队，核心目标只有一句话：把大脑信号、视觉图像和自然语言，塞进同一张离散词表里，用一个自回归模型同时搞定“编码”和“解码”。

脑编码与脑解码，为什么一直各干各的

理解大脑和外部世界的关系，通常分两条路。脑编码研究“外界刺激如何变成神经活动”，输入一张图，预测大脑会怎么反应；脑解码反过来，从神经信号里还原出你看到的画面或想到的文字。过去几年里，MindEye2、UMBRAE、MindLLM 等工作在各自的任务上都取得了不错的成绩，但它们几乎都遵循同一套老路子：先用CLIP 之类的预训练模型把脑信号对齐到视觉特征，再接一个扩散模型或语言模型把内容“画”出来或“写”出来。

问题在于，编码和解码被当成了两个互不相干的任务，各自依赖庞大的外部先验，却没有真正学习脑信号里那份可以双向流通的语义。

大脑本来就是“多模态终端”

论文提出这项工作的出发点，来自一条神经科学观察：人脑的语义系统并非按模态分区，而是像一张连续的地图，从处理边缘、颜色的低级视觉皮层，一路铺展到抽象概念的高级语义区（Huth et al., 2016）。一次看图，既会激活视觉响应，也会同步唤起相应的语言和语义联想。既然大脑本身就是一个多模态整合系统，那模型是不是也该用统一的方式去建模它，而不是给每个任务单独搭一条流水线？

BrainJanus 正是沿着这个思路，把脑、视觉、语言三种模态映射进同一个共享的Omni 空间。

先把脑电波“翻译”成词：统一 Brain Tokenizer

要把连续的神经信号塞进一个跟文字、图像共用的词表，第一步是把它离散化。团队从零训练了一个Unified Brain Tokenizer：本质是一个VQ-VAE，把连续的fMRI 信号压缩128 倍，量化进一个大小为128 的编码本、嵌入维度为32。

压缩过程不只是降维，论文的消融实验显示它同时还起到了滤波作用，能过滤掉高频噪声；但编码本再往大调（超过128 到256）收益就很有限了——压缩率越低固然重建越准，但 token 序列也越长，自回归生成的难度随之上升，这是一组需要权衡的取舍。

视觉这边复用了现成的图像 tokenizer（Sun et al., 2024），文本复用了Janus-Pro 的分词器。三路 token 拼进同一条序列后，剩下的事就交给一个 Transformer。

一个模型，四个任务

BrainJanus 的骨干是一个基于Janus-7B 初始化的自回归Transformer（隐藏维度4096），用LoRA 做参数高效微调。训练阶段把四个任务混合在一起联合训练：image-to-brain、text-to-brain 两个编码任务，以及brain-to-image、brain-to-text 两个解码任务。因为所有模态都活在同一个 token 空间里，模型不需要为每个任务切换架构，只是把上下文换成不同模态的 token，靠 next-token prediction 一以贯之。

顺手修了一个“标准答案”太糙的问题

实验基于Natural Scenes Dataset（NSD）：8 名受试者观看COCO 图像时采集的7T fMRI 数据，团队选取完成全部实验的4 名受试者做评估，每人9000 张训练图、1000 张共享测试图。团队还发现一个容易被忽略的细节：以往研究普遍拿原始COCO 描述当作“标准答案”，但这些描述往往过短、细节稀薄。于是他们用Qwen3-VL-235B-A22B-Instruct 为7.3 万张图片重新生成了更详细的描述，并用CLIP 相似度分布证明这批新描述与图片的语义对齐程度明显更高——这为后续的脑到文字评估提供了一把更严格的尺子。

从脑活动里，读出文字和画面

在这把更严格的尺子下，BrainJanus 的脑到文字解码把BERTScore 刷到38.12、CLIP 分数刷到96.2%，比此前最强的UMBRAE 分别高出7.21 分和1.5 个百分点。脑到图像方向，BrainJanus 是目前唯一一个用纯自回归、不依赖扩散模型的方案，CLIP 语义相似度做到了94.4%，同类最高；不过在像素级的PixCorr、SSIM 上，它还是不敌MindEye2 这类扩散管线，说明扩散模型在细粒度纹理还原上仍有优势。

更有意思的是一个“顺带证明”：只用脑到文字数据训练出的模型，在脑到图像任务上做零样本推理，居然也能生成语义合理的画面——反之亦然。这说明统一训练学到的不是任务专用的捷径，而是能跨任务迁移的通用表征。

一次评估“作弊”实验，戳穿了行业里的隐患

脑编码（从图像预测脑活动）这个方向，论文做了一件很扎实的“打假”工作。作者设计了一个刻意荒谬的基线——Padding Hacking：不学习任何真实的神经映射，只是把图像的视觉特征直接补零、塞进跟体素数量一样长的向量里，解码时再原样取出来。这个完全没有生物学意义的操作，却在所有主流的语义评估指标上都拿到了接近满分的成绩。

这暴露了一个尴尬的事实：如果编码模型的训练直接对齐预训练视觉特征，现有的“编码—解码”评估协议根本无法分辨模型是真的学会了神经映射，还是单纯把答案偷渡了一遍。为此，BrainJanus 在编码任务上坚持只用交叉熵损失训练，拒绝直接对齐预训练视觉特征，在这个更干净的设定下，其Inception 相似度、CLIP 图文相似度等指标依然全面超过线性回归和普通Transformer 基线。

大脑自己的“噪声下限”

论文还顺手回答了一个更基础的问题：脑编码到底能做到多准？团队统计了同一刺激重复三次试验之间的体素响应差异，发现即便是同一个人看同一张图三次，神经响应本身也存在不小的波动——由此估出的经验噪声下限约为MSE ≈ 0.55，余弦相似度与皮尔逊相关系数的理论上限都低于0.65。换句话说，这是生物学变异性本身画出的一条天花板，任何编码模型都不可能突破它。

局限：还没到“读懂全脑”的程度

作者也坦诚地列出了边界。BrainJanus 目前只处理视觉皮层的fMRI 信号，而非全脑活动；它依赖强大的生成先验，这意味着模型有时可能为了画面质量而牺牲生物学上的严格真实性，产生“幻觉”；此外，高昂的计算成本，以及在更多神经模态（如EEG、MEG）和更广泛受试者群体上的鲁棒性，都还是未解之题。

写在最后

BrainJanus 真正有价值的地方，也许不只是几个指标的领先，而是提出了一种更朴素的建模哲学：与其给每个任务造一条专属流水线，不如先把所有模态放进同一张词表，再让一个模型自己去学习它们之间的对应关系。脑机接口研究里那些反复被验证的“作弊漏洞”和“生物学噪声下限”，也提醒我们：在急着比拼分数之前，先问一句这个分数到底测量的是什么，往往更重要。

进阶学习

大模型的竞争，正在从“会不会生成文字”，转向“能不能理解真实世界”。

如果你已经学过 LLM、RAG、Agent，但还没有系统学习图文理解和视频理解，那么你现在缺的，可能正是下一阶段 AI 技术进阶中最关键的一块拼图。

如果你希望系统掌握多模态大模型前沿技术与应用，推荐你学习我的精品课程课程覆盖主流多模态架构、图文对齐，多模态Agent、数据构建、训练流程、评估与幻觉分析，并配套多个项目实战：LLaVA、LLaVA-NeXT、Qwen2/3-VL、InternLM-XComposer（IXC）、TimeSearch-R视频理解，包含算法讲解、模型微调/推理、服务部署、核心源码解析等，带你系统掌握多模态大模型的核心能力。

🌟 关注“唐国梁TGLTommy”，一起持续追踪 AI 技术演进背后的长期趋势。