Jev 和 JSON 模式 / 结构化输出有什么区别？为什么它不是"更小的 LLM"

每次跟人聊 Jev，最常被反问的一句就是："这不就是结构化输出吗？我用大模型的 JSON 模式一样能拿到结构化结果。"这一周我把两者放在同一批判断任务上对照着用，越用越确定：它们看起来都返回结构化数据，本质却完全不是一回事。这篇文章我就把这个区别讲透，JSON 模式的做法和痛点、Jev 到底不同在哪、为什么说它不是"更小的 LLM"，以及在什么情况下该用哪一个。文中机制描述来自官方与我参考的第三方分析，Jev 仍处早期访问阶段。

一、JSON 模式做的是什么

先说清楚结构化输出（也叫 JSON 模式）到底在做什么。

它的本质是：约束一个大语言模型的输出形状，让它生成符合我给定 schema 的 JSON。但请注意关键词，它仍然是在"生成"。模型依旧逐个 Token 自回归地把这段 JSON 蹦出来，只是被约束得更规整。生成完之后，我这边通常还要解析、校验，确认字段合法才能用。

这套方案我用了很久，它能用，但有几个绕不开的痛点：本质仍是生成，延迟以秒计；概率通常不校准，模型说"我很确定"未必真准；而且约束只作用于形状，模型仍可能选错、甚至在某些实现下偏离预期。说到底，它是在一个"文本生成器"外面套了一层结构约束。

二、Jev 的不同：类型安全是模型内建的

Jev 的做法从根上就不一样。下面这张图把两条路径并排放在一起：

Jev 与 JSON 模式、结构化输出的本质区别

差异集中在三处。

第一，采样方式。JSON 模式是自回归逐字生成，Jev 是并行一次采样，直接产出所有判断。这决定了延迟一个以秒计、一个以毫秒计。

第二，类型保证的位置。这是我认为最本质的区别：JSON 模式的类型约束是"套在文本生成器外面的一层后处理"，而 Jev 的类型安全是"模型的一部分"，它的输出从设计上就只能落在我给定的 schema 内，不需要额外解析和校验，官方称这个性质"在类型上不可证伪"。

第三，概率是否校准。Jev 每个答案都带一个校准过的置信度，方向可信（高置信对应高正确率）；JSON 模式下模型自述的置信度通常和真实正确率对不上。

三、为什么说它"不是更小的 LLM"

很多人第一反应是"Jev 大概就是个裁剪过的小号大模型"，这个理解是错的。

它不是把 LLM 缩小，而是一个不同的架构，用一种叫 RLCD（面向校准决策的强化学习）的方法训练，训练目标是"带诚实概率的答案"，而不是 RLHF 那样的"人类偏好"。更关键的是，它根本不做文本生成，它评估一份 state 对若干类型化问题的答案，返回的是概率分布，而不是一段被约束的文字。

所以"更小的 LLM"这个说法从两头都不成立：架构不同、训练目标不同、输出形态也不同。它和 LLM 是并列的两类模型，而不是同一条技术路线上的大小之分。

四、一个我常用的判断标准：你要的是决策还是文本

那实际项目里到底该用哪个？我的判断标准非常简单，看我要的到底是"决策"还是"文本"。

如果我要的是一个判断：分类、路由、打分、真伪，答案空间固定、结果给代码消费，那 Jev 更合适，它更快、更便宜、类型上更安全，还带校准置信度。如果我要的里面包含"文本"：需要一段解释、一段回复、一段代码、或者一个开放式的、无法预先枚举选项的答案，那就得用大模型加 JSON 模式，因为 Jev 根本不生成文本。

这条线一划，绝大多数选择就清楚了。含"生成"的走大模型，纯"判断"的走 Jev。

五、两者其实经常配合使用

需要补充的是，它俩不是二选一的对立关系，在真实系统里我常常同时用。

典型模式是：用大模型做需要生成和推理的重活，用 Jev 接管链路里那些高频的原子判断，比如让大模型生成一段回答，再用 Jev 去给这段回答打质量分、做越狱检测、判断该不该放行。这时 JSON 模式和 Jev 各司其职，前者负责把结构化生成做规整，后者负责把判断做快做稳。把它们当成互补工具，而不是竞争关系，才能各取所长。

六、小结：区别在机制，不在表象

回到最初那个反问。JSON 模式和 Jev 表面都返回结构化数据，但一个是"让文本生成器把话说得规整再解析"，一个是"从模型层面直接给出类型化决策和校准概率"。前者的类型安全是外挂的后处理，后者的类型安全是内建的机制；前者仍受生成的延迟和不确定性拖累，后者用并行采样和 RLCD 换来了毫秒级和可校准。理解了这层机制差异，就不会再把 Jev 当成"另一种结构化输出"或"更小的 LLM"。它是一个为判断而生的新物种，用它还是用 JSON 模式，取决于你手里的活到底是决策，还是文本。