幻觉率91%！Gemini 3 Flash评测出炉

Gemini 3 Flash一片好评之下，AA-Omniscience基准的最新结果令人震惊：Gemini 3 Flash的幻觉率达到91%，在参与测试的模型中处在末尾。所谓幻觉率，指的是模型在应该拒绝或承认不知道答案时错误回答的比例。

在更全面的LisanBench测试中，Gemini 3 Flash排名第12位（Glicko-2 Elo排名第13）。

LisanBench是一个轻量级基准测试，专注于前瞻性规划、词汇深度、约束遵守、注意力和长上下文持久力。它基于词汇链游戏变体，要求模型通过莱文斯坦距离为1的变换生成连续单词链。

测试者Lisan al Gaib使用了"reasoning effort high"设置，测试总成本略高于16美元。该模型与DeepSeek-V3.2 Thinking、Kimi-K2-Thinking等开源模型以及GPT-5、Sonnet-4等老牌前沿模型表现相当。

更值得关注的是平均有效性比率指标，它反映了模型在词汇链中生成错误链接/单词的频率。Gemini 3 Flash在这方面表现不佳，仅为87%，佐证了其潜在的幻觉问题。

从推理效率图来看，Gemini 3 Flash在平均输出token数量与平均最长有效链长度之间的平衡并不理想。相比开源替代品，其性价比存在明显差距。Gemini 3 Flash定价为0.5/3.00美元，而DeepSeek-V3.2 Thinking仅需0.28/0.42美元。后者得分更高、更便宜且使用更少的token。在低资源设置下，Gemini 3 Flash低配置版本的表现更差：得分约为高配置的一半，token使用量也减半，但有效性比率"绝对糟糕"。

在当前AI模型激烈竞争的背景下，Gemini 3 Flash的表现引发了关于模型平衡性的讨论。当年，Deepseek r1一样存在这样的声音。

高幻觉率问题不容小觑。虽然有人将其视为模型的"创造力"表现，但在实际应用中，这种不准确性可能带来严重后果。可以说，稳定性和准确性仍是评判模型质量的核心标准。