为什么大模型不适合做"判断"？从 Jev 看 Agent 架构的快慢分工

做过 Agent 的人大概都有同一个体感：一个看起来不复杂的智能体任务，跑一趟下来却调了几十上百次大模型，慢、贵、还偶尔崩。这一周我借着 Jev 这个新模型，重新审视了自己 Agent 里的每一次模型调用，得出一个结论，其中一大半根本不需要"生成"，只需要一个"判断"。这篇文章我想讲清楚：为什么让大模型来做这些高频判断是一种错配，Jev 提出的"快慢分工"到底解决了什么，以及我在自己的 Agent 里是怎么重新划分职责的。文中涉及的能力与数据均来自官方公开信息与第三方实践，Jev 仍处早期访问阶段。

一、Agent 里那些"其实只是判断"的调用

我把自己一个中等复杂度的 Agent 循环拆开数了一遍，模型调用大致分成两类。

一类是"生成"：写一段回复、总结一份文档、产出一段代码。这类调用确实需要大模型，无可替代。

另一类是"判断"：这一步该搜索还是查库？用户这句话是什么意图？这个工具调用该不该放行？这一步的结果对不对、要不要继续？返回的内容是不是包含敏感信息？这些调用有几个共同特征，高频、原子、答案空间很小（往往就是"是/否/选哪个"），而且结果是给代码消费的，不是给人读的。

问题就出在这里：我却一直在用同一个千亿参数的生成式大模型去回答这些"判断题"。这就像我只想问一句"是还是否"，对方却非要先组织一大段话、再在结尾附上答案。又慢又贵，那段解释还没人看。

二、用大模型做判断，错配在三个地方

把大模型硬用在判断上，代价具体体现在三处，这也是我实际踩过的坑。

第一是延迟。大模型是自回归的，逐字生成，哪怕我只要一个标签，它也得把整段 JSON 一个 Token 一个 Token 蹦出来，延迟以秒计。一个 Agent 任务里叠上几十次这样的判断，整体响应就被拖垮了。

第二是成本。生成式调用按 Token 计费，输入输出都要钱，输出往往更贵。高频判断意味着海量调用，账单会以惊人的速度累积。

第三是脆。让大模型输出结构化结果，我还得祈祷它 JSON 格式合法、字段不越界、别在结尾多写一句解释，这三件事任何一件出问题，下游流水线就断了。我为此写过大量的重试和容错代码，本质上都是在给"错配"打补丁。

三、快慢分工：Jev 想接管的是"快"的那一半

Jev 的思路，可以用认知心理学里"系统一/系统二"的比喻来概括，这也是它被称为 System One 模型的由来。

系统二是慢思考：规划、推理、生成，这些交给大模型。系统一是快判断：直觉式的、一秒能拍板的分类与选择，交给一个专门的决策模型。Jev 把自己定位在系统一，专门吃掉 Agent 里那些高频、原子的判断，用毫秒级延迟和极低成本完成，把大模型解放出来只做它真正擅长的生成与推理。

下面这张图是我重构 Agent 后的职责划分：

Agent 的快慢分工：慢思考交大模型，快判断交 Jev

负责组装和调度这套分工的工程层，业界习惯叫它 Harness。它决定什么时候该请大模型规划、什么时候把一个原子判断丢给 Jev、拿到带置信度的结果后又该走哪个分支。LangChain 等框架已经给出了把 Jev 接进 Agent 循环的集成实践，核心场景正是"把原来每次都要调一次完整大模型的快速结构化决策，换成又快又便宜的决策模型"。

四、我是怎么在自己的 Agent 里重新分工的

理念要落到代码里才有意义。我在自己的 Agent 上做了三步改造。

第一步，把判断从生成里剥出来。我逐个审视每次模型调用，凡是"答案空间固定、只要一个判断"的，全部标记出来，准备迁移。

第二步，用 Jev 承接这些判断。意图路由用 Choice，风险/紧急度分级用 Score，"是否命中某条规则"用 Noul。很多时候我把一步里的多个判断合并成一次 Jev 调用并行问，因为加问题几乎不增加延迟。

第三步，让置信度进入控制流。Jev 每个判断都带校准置信度，我按它分支：高置信度直接自动执行，中等的转人工或加一道校验，低置信度才升级回大模型或人工。这样一来，大模型的调用次数明显下降，只保留在真正需要"想清楚"和"写出来"的地方。

需要强调的是，判断的候选项和"能不能执行"始终由我自己的代码控制，Jev 只在我划定的边界内选，不替我决定动作本身。

五、边界：什么不该塞给 Jev

分工的另一半，是知道哪些判断不能交给它，这一点我踩过教训。

Jev 不会算数、不能可靠计数、不能把日期当作有序值比较、面对充满无关信息的超大状态会退化、遇到自相矛盾的指令不会自行调和，更不可能生成任何文本。所以像"算出这批订单的总额再判断是否超限"这种，我不会直接丢给它，而是先在代码里把金额算好，再让它判断"是否超限"这个纯粹的布尔问题。

一句话原则：把逻辑留在代码里，把生成留给大模型，只把那个"一秒能拍板的窄判断"交给 Jev。这三者各就各位，Agent 才会既快又稳又省。

六、这套分工意味着什么

回到最初那个体感，Agent 慢、贵、脆。经过快慢分工的重构，我的实感是：慢，是因为把快判断也用慢思考在做；贵，是因为用生成的价格买了判断；脆，是因为让文本生成器去承担类型安全。Jev 没有让大模型变强，它只是把一部分职责从大模型身上挪走，交给一个为判断而生的模型。这条"决策与生成分工"的线一旦画清楚，Agent 架构里很多长期别扭的地方就顺了。它会不会成为 Agent 时代的标准组件，还需要更多落地来验证，但这个分工的方向，我认为是对的。