淘宝 AI 购物助手：基于 LLM-as-a-Judge 的在线评测与质量归因实践

AI Agent 上线后，如何持续判断每一次工具调用、业务路由和生成回复是否正确？淘宝技术在 AI 购物助手的购后服务场景中，建设了一套基于 LLM-as-a-Judge 的在线自动评测体系，通过生产会话清洗、分布式批量推理、六层 Rubric 评测标准以及人工校准机制，实现多业务域的日级质量监控。本文围绕这套方案的工程实现、评测可信度、典型故障归因和实践边界展开分析。