治理 AI 幻觉,尤其放在告警分诊这种"错一次就可能误杀或漏杀"的场景,我的经验是先分清两类幻觉:一类是事实型编造(字段、指标、实体不存在),一类是一致性幻觉(同一份数据前后结论打架)。两类的治法是不同的。
事实型幻觉,靠"带真值基准的校验"拦,而不是靠模型自觉。告警分诊里最该做的不是让模型直接判,而是先让它只产出"可被验证的假设"——比如它说某台机器 CPU 打满,必须同时给出来源指标和时间窗口,你拿监控真值去对,对不上就丢。我们实践里加了一层规则校验:模型输出的每条结论都必须能回溯到一个具体的监控样本,回溯不到的一律降级成"待人工确认",不让它进自动处置链路。这一层把大部分事实型幻觉挡在了动作之前。
一致性幻觉更隐蔽。同一个告警,上午模型说"建议重启",下午同条件说"建议观察",人审会被搞晕。做法是把分诊结论做成有状态的:同一类告警的历史处置结论要进上下文,让模型看到"上次同类是怎么判的",减少反复横跳。
至于误判率和人审负担的平衡,关键一句话:别想用 AI 把人审干掉,要想怎么让人审更便宜。我们的分法是三档——高置信且可回溯的自动处置;中置信进"人工秒级确认"(一键通过或驳回);低置信或自相矛盾的强制人工。这样人审只花在真正需要判断的那 20% 上,而不是逐条看。人审负担不是靠准确率抬上去解决的,是靠"把不确定的集中暴露出来"解决的。
我的判断:告警分诊里 AI 最危险的不是它编,是它编得很合理然后你懒得查。你们现在分诊是模型直接出处置建议,还是还留了一道人确认的闸?... 展开详请