
> AI 测试开发面试高频题："怎么检测和防控大模型幻觉？"
> 幻觉不是偶发 bug，而是生成模型的概率行为。测试的职责不是"消灭幻觉"，而是把它压进阈值、让它可观测、可告警、可回滚。这篇用一次"编造退款政策"的舆情事故，讲透三道防线。

## 一、真实事故：知识库没有的政策，机器人"确认"了

某运营商客服机器人上线三个月，一位用户问："30 天内可以无理由退话费吗？"机器人回答："可以。您可以在 APP 内发起 30 天无理由退话费申请，1-3 个工作日到账。"语气笃定，流程完整。用户截图去营业厅要求兑现，帖子在社交平台传开，客服部一天接了四百个同类咨询。

排查结论：知识库里**根本没有**这条政策。检索环节召回了两篇弱相关文档——一篇活动文案里出现过"30 天"，一篇资费说明里出现过"话费"——模型把两个碎片缝合成了一条不存在的政策，还补全了"1-3 个工作日到账"这种细节。这就是最危险的幻觉类型：不是答错，而是**把不存在的事实说得像真的一样**。

复盘时测试团队被问了三句话：上线前测出来了吗？上线后多久发现的？发现前还有多少用户收到了编造答案？三个问题，一个都答不上来——因为幻觉既没有进评测集，也没有进监控。

## 二、核心代码：把"胡说"变成一个可计算的指标

### 第 1 步：faithfulness 评测——拆分断言，逐条核对

幻觉检测的核心动作是：把回答拆成独立的事实断言，逐条问"这个断言能从检索到的原文推出来吗"，算支持率：

```python
import json
from openai import OpenAI
client = OpenAI()

def llm_json(prompt):
    r = client.chat.completions.create(
        model="gpt-4o", temperature=0,
        messages=[{"role": "user", "content": prompt}])
    return json.loads(r.choices[0].message.content)

def faithfulness(answer, contexts):
    """事实忠实度：回答中能被原文支持的断言占比"""
    claims = llm_json(
        f"把下面的回答拆成独立的事实断言，返回 JSON：{{\"claims\":[...]}}\n{answer}"
    )["claims"]
    if not claims:
        return 1.0
    ok = 0
    for c in claims:
        v = llm_json(
            f"断言「{c}」能否从以下原文推导出来？只返回 "
            f"JSON：{{\"supported\": true/false}}\n原文：{contexts}")
        ok += bool(v["supported"])
    return ok / len(claims)
```

事故里那条回答跑这个函数，faithfulness 是 0.25——四个断言三个无出处。如果有门禁，它根本出不了测试环境。

### 第 2 步：两类硬用例——无中生有 + 缝合怪

```python
def test_unanswerable_must_refuse():
    """知识库里没有的问题，必须拒答或忠实度达标，不许编"""
    r = rag.query("30 天内可以无理由退话费吗")   # 知识库无此政策
    refused = ("无法" in r.answer) or ("没有" in r.answer) or ("以官方" in r.answer)
    assert refused or faithfulness(r.answer, r.contexts) >= 0.9, \
        f"模型编造了不存在的政策：{r.answer[:80]}"

def test_no_stitching():
    """两个无关片段不许被缝合成因果关系"""
    r = rag.query("充值返现活动的话费能退吗")
    assert faithfulness(r.answer, r.contexts) >= 0.9
```

第一类盯"无中生有"，第二类盯"缝合怪"——检索回来的每句话都真实，但拼在一起就是假的，这是 RAG 幻觉里最隐蔽的一种。

### 第 3 步：线上监控——抽样评测 + 敏感词全量

```python
SENSITIVE = ("退", "赔", "政策", "优惠", "承诺", "保证")

def online_monitor():
    scores = []
    for log in today_logs.sample(rate=0.05):               # 日常抽样 5%
        if not any(w in log.answer for w in SENSITIVE):
            continue
        s = faithfulness(log.answer, log.contexts)         # 敏感词命中：必评
        scores.append(s)
        if s < 0.8:
            push_human_review(log)                          # 单条进人工复核队列
    if sum(scores) / len(scores) < 0.93:
        page_oncall("幻觉率超阈值，检查最近的知识库/提示词变更")
```

事故之后团队才明白：**幻觉是流量问题**。单条幻觉率 2% 听起来很小，日均十万次问答就是两千次胡说。所以监控不是"测完上线就结束"，而是和错误率一样的日常指标。

## 三、沉淀成方法：幻觉三道防线

| 防线 | 测什么 | 什么时候跑 |
|---|---|---|
| 离线评测集 | faithfulness + 无答案拒答率 + 缝合用例 | 每次提示词 / 知识库 / 模型变更 |
| 发布门禁 | 拒答率 100%、faithfulness ≥ 0.9 | 发布前，不达标不放行 |
| 线上监控 | 抽样评测 + 敏感词全量 + 均值告警 + 人工复核队列 | 每天 |

三条工程纪律：一是**幻觉用比率管理，不用零容忍**——追求 0 幻觉会把拒答率搞崩，产品没法用，要管的是"编造率低于阈值且趋势可控"；二是**拒答是产品能力不是失败**——训练集里必须有"该说不知道"的用例，模型敢说"我查不到，建议人工确认"才是合格；三是**裁判要校准**——每月用人工标注子集对齐 faithfulness 裁判的准确率，裁判本身也是被测对象。

## 四、面试追问，你答得上来吗

1. faithfulness 和 answer_relevancy 有什么区别？——答：faithfulness 查"回答是否忠于检索到的原文"，盯编造；answer_relevancy 查"回答是否切中用户问题"，盯答非所问。事故里那条回答 relevancy 很高（问退款答退款，非常切题）但 faithfulness 极低——**切题的胡说八道才是最危险的**，两个指标缺一不可。
2. 怎么让模型"敢说不知道"？——答：三管齐下：提示词明确"原文没有就拒答"；检索分数低于阈值时直接走拒答分支，不让模型自由发挥；评测集里放足无答案用例进门禁。拒答率要和忠实度一起看，防止模型学会"万事都说不知道"的摆烂。
3. 线上监控抽样比例怎么定？——答：按风险分层：敏感词（钱、承诺、政策）全量评，普通问答抽样 5%~10%；阈值从历史均值 ± 标准差定，连续两个窗口越界才告警，避免单条波动刷屏。监控的目标不是抓单条，是抓"分布漂移"——幻觉率突然抬升，往往意味着某次知识库或提示词变更出了问题。

---

下一篇预告：《用户一句话把客服机器人"带偏"——提示词注入与 AI 安全测试》


AI 测试开发面试高频题："怎么检测和防控大模型幻觉？" 幻觉不是偶发 bug，而是生成模型的概率行为。测试的职责不是"消灭幻觉"，而是把它压进阈值、让它可观测、可告警、可回滚。这篇用一次"编造退款政策"的舆情事故，讲透三道防线。

模型一本正经地胡说八道——幻觉检测与线上监控

人工智能

测试

后端

AI测试开发中，大模型幻觉是概率性行为而非偶发bug，测试目标是将其压制到可控阈值。核心方法分三道防线：离线评测集计算faithfulness指标（事实忠实度），发布门禁要求拒答率100%且忠实度≥0.9；线上监控采用敏感词全量+抽样评测，设置均值告警与人工复核队列；工程纪律上用比率管理、将拒答作为产品能力并定期校准裁判模型。

2026上云采购 | AI焕新·智启新局

lexiang

cscbot

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

AI测试开发中，大模型幻觉是概率性行为而非偶发bug，测试目标是将其压制到可控阈值。核心方法分三道防线：离线评测集计算faithfulness指标（事实忠实度），发布门禁要求拒答率100%且忠实度≥0.9；线上监控采用敏感词全量+抽样评测，设置均值告警与人工复核队列；工程纪律上用比率管理、将拒答作为产品能力并定期校准裁...

模型一本正经地胡说八道——幻觉检测与线上监控-腾讯云开发者社区-腾讯云

模型一本正经地胡说八道——幻觉检测与线上监控

模型一本正经地胡说八道——幻觉检测与线上监控

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐