Thinking Machines发布万亿参数开源多模态模型Inkling

Thinking Machines正式推出开源多模态大模型Inkling。该模型拥有约1万亿参数，原生支持图像、文本和音频输入，具备100万词元的超长上下文窗口及强大的跨模态理解能力。目前，Inkling已在Hugging Face平台上线，并提供全精度BF16及NVFP4量化版本，内置推测解码（MTP）层以加速推理，已获得transformers、SGLang和llama.cpp等主流框架支持。

核心架构与技术突破

Inkling基于45万亿个多模态词元训练而成，是首个参数量达万亿级且原生支持多模态输入的开源模型。其架构设计兼顾效率与性能：

混合专家模型（MoE）：包含256个专家模块，采用稀疏前馈网络，每次激活仅调用410亿参数，显著提升推理速度。

注意力机制创新：摒弃传统RoPE位置编码，改用相对注意力机制；结合全局与滑动窗口注意力（比例5:1），在保障计算效率的同时构建丰富特征表示。

多模态处理模块：视觉方面采用分层MLP Patchifier生成图块嵌入；音频方面通过离散化梅尔频谱图，将每100毫秒音频片段分类至特定频谱-bin。

其他优化：引入短卷积（SConv）辅助局部特征处理，并采用共享专家Sink机制，从6个路由专家和2个共享专家中进行Top-k选择。

灵活部署与推理方案

为适配不同硬件环境，Inkling提供多种部署路径：

主流框架支持

推荐使用transformers库（5.14.0+版本）的any-to-any pipeline。用户可根据显卡架构选择BF16版本（Hopper及以上）或NVFP4量化版本（Blackwell架构）。SGLang和vLLM均提供高效部署支持，前者凭借自定义实现具备极速优势，后者适合生产环境，两者均支持张量并行及OpenAI兼容API。

云端与本地轻量化

Hugging Face提供无服务器推理路由器，发布初期向所有用户提供2小时免费额度。针对资源受限场景，Unsloth已将模型量化至1-bit精度，显存占用降低95%；配合llama.cpp运行GGUF格式模型，可搭建本地OpenAI兼容服务，支持MCP集成及工具调用。

应用场景与性能表现

Inkling在多项复杂任务中展现出卓越能力：

智能体与代码：结合Pi框架，模型能利用工具解决复杂数学及代码任务，兼具低Token消耗优势。内置MTP层作为“草稿”生成器，在不牺牲质量前提下大幅提升推理速度。

多模态推理：在MMMU-Pro等视觉测试中，模型通过OCR提取文本后进行逻辑评估，中等推理强度（0.7）即可实现准确率与能耗的最佳平衡。在BigBenchAudio等音频基准测试中，模型能精准识别多语种语音及形式谬误，推理链条清晰。

后训练生态：官方推出专用工具tinker，结合OpenEnv环境和ECHO算法，支持在无验证器情况下进行强化学习微调，或通过GOLD算法将知识蒸馏至端侧小模型。

基准测试结果

据披露数据，Inkling在关键基准测试中表现强劲，接近顶尖闭源模型水平：

HLE（人类水平评估）：得分40.5。

AIME 2026（数学竞赛）：得分99.2，展现极强数学推理能力。

SWE-bench Pro（软件工程）：得分62.1，代码修复与生成能力稳健。

MCP-Atlas（智能体工具使用）：得分76.8，验证了复杂工具调用的可靠性。

Inkling的发布标志着开源多模态大模型在参数规模、上下文长度及推理效率上的重大突破，为新一代多模态应用奠定了坚实基础。

【星途科讯 图文丨LCC 首发于ZAKER科技，转载请注明出处】