AI 落地实战：从 Demo 到生产

AI 落地不是训练一个更大的模型，而是把模型能力嵌进业务流程，让它稳定、可控、可评估地干活。真正难的从来不是“调通 API”，而是场景选择、数据质量、评估体系和工程化兜底。

一、先认清四个真相

1. 模型能力只是起点。同样的大模型，有人做成客服助手，有人只能做玩具。
2. 数据质量决定上限。私有知识、业务规则、历史对话，往往比模型参数更关键。
3. 评估决定能否上线。没有评估集，调 Prompt 就是凭感觉。
4. 工程化决定成本与稳定。超时、限流、缓存、日志、权限、兜底，一个都不能少。

一句话：AI 落地 = 场景 × 数据 × 评估 × 工程化。

二、选场景：什么值得做

优先选四个条件同时满足的场景：高频、低风险、可验证、有数据。

适合先做的：客服知识库、内部制度问答、会议纪要、报告初稿、代码补全、内容审核、销售话术助手。

慎做的：高风险医疗/法律/金融决策、完全无人值守、没有明确评估标准的创意任务。

原则：先辅助人，再替代人；先内部，再外部；先小闭环，再大平台。

三、技术路线：Prompt → RAG → 微调 → Agent

• Prompt：最快，适合格式固定、知识量少的任务。
• RAG：企业知识库首选，解决私有数据和时效问题。
• 微调：有标注数据、需要固定风格或分类时再上。
• Agent：多步骤工具调用，适合流程自动化，但必须加权限和人工兜底。

很多团队一上来就微调，其实 Prompt + RAG 能解决 80% 的问题。

四、最小实战：企业知识库问答

目标：员工问“报销标准是什么”，系统基于制度文档回答，并给出来源。

流程只有五步：

1. 文档切片：按 300—500 字切，重叠 50 字。
2. 向量化入库。
3. 检索 top_k 相关片段。
4. 拼接 Prompt 生成回答。
5. 记录问题、命中片段、回答和用户反馈。

核心代码可以很少，下面就是 RAG 问答的最小逻辑：

def answer(question, top_k=3):
    q_vec = embed(question)
    hits = vector_db.search(q_vec, top_k)
    context = "\n".join(f"[{h['source']}] {h['text']}" for h in hits)
    prompt = f"""仅根据资料回答，不知道就说不知道，并给出处。
资料：{context}
问题：{question}"""
    return llm(prompt, temperature=0.2)

embed、vector_db、llm 可以是任意实现。真正要花时间的，是切片策略、权限过滤、评估和兜底。

五、评估：没有评估就没有落地

准备 100—500 条真实问题，标注标准答案和来源。核心指标：

• 命中率：该检索到的资料有没有被检索到。
• 准确率：回答是否符合资料。
• 幻觉率：是否编造资料外内容。
• 拒答率：不知道时是否老实说不知道。
• 延迟与单次成本。

上线后加人工抽检、A/B 测试和用户反馈按钮。每次改 Prompt、换模型、调检索，都要跑一遍回归测试。

六、部署：别让 Demo 直接见用户

生产环境至少要有：

• API 服务：异步、超时、重试、限流。
• 缓存：高频问题直接缓存答案。
• 日志：输入、输出、检索片段、耗时、token 消耗。
• 兜底：不知道就转人工，别硬答。
• 权限：按角色过滤文档，不同职级看不同内容。
• 灰度：先内部试用，再小流量开放。

七、成本与性能

小模型做分类和路由，大模型做复杂生成；流式输出提升体验；向量检索先过滤再排序；压缩上下文，缓存高频结果。算清楚：单次成本 × 日调用量，才知道能不能长期跑。

八、安全与合规

数据脱敏、审计日志、提示注入防护、内容安全、权限最小化。特别注意：不要把敏感数据直接发给公网 API。涉及用户隐私、财务、合同的内容，优先私有化或专有云部署。

九、常见坑

• 一上来就微调，忽略 Prompt 和 RAG。
• 没有评估集，凭感觉调效果。
• 只做问答，不做来源和反馈。
• 忽略延迟和成本，Demo 很酷，上线很贵。
• 没有人工兜底，出错就是事故。
• 追求大而全，迟迟不上线。

十、30 天落地计划

第 1 周：选场景，定指标，收集 100 条真实问题。 第 2 周：搭 RAG 最小闭环，跑通问答。 第 3 周：评估、调 Prompt、加权限和日志。 第 4 周：内部试用，收集反馈，灰度上线。

结语

AI 落地不是模型秀，而是业务闭环。先让 AI 辅助人，再让 AI 自动跑；先跑通一个小场景，再复制到更多流程。场景选对，数据喂好，评估跑通，工程兜底——这才是实战。