- 综合排序
- 最热优先
- 最新优先
大模型幻觉测试
大模型幻觉测试本方法为企业级可落地的全流程幻觉测试体系，融合学术界权威基准与工业界工程实践，覆盖从口径定义、用例设计、自动化执行、量化打分到归因优化的完整闭环。 生成内容与给定上下文/用户指令偏离摘要加戏、答非所问、推理越界、悄悄改变约束条件逻辑性/结构性幻觉推理逻辑自相矛盾，或输出结构不符合要求三段论错误、数值计算错误、JSON字段缺失、代码语法正确但逻辑错误权威来源：《大语言模型幻觉检测方法综述 ：TruthfulQA官方基准落地参考值：通用大模型≥70%为良好，垂直领域模型≥85%为良好业务落地补充指标整体幻觉率：出现幻觉的用例占总测试用例的比例幻觉率=幻觉用例数/总用例数分类幻觉占比：事实/ temperature=0.1，top_p=0.9），确保结果可复现通过API或CLI批量调用被测大模型，全量保存输入输出日志（问题、回答、模型版本、调用时间）单用例调用失败自动重试2次，排除接口波动导致的误判步骤 自动化流水线：拆解：用大模型将回答拆分为原子事实断言检索：从业务知识库/权威百科检索对应证据判定：用判别模型逐句判断证据是否支持断言打分：汇总计算FactScore与各维度幻觉率步骤4：人工复核与归因（
16710编辑于 2026-09-08- 来自专栏啄木鸟软件测试
大模型测试性能优化：测试专家必看
引言 随着ChatGLM、Qwen、DeepSeek、Llama系列等大语言模型（LLM）在金融、政务、医疗等关键场景加速落地，软件测试正面临前所未有的范式变革。 更严峻的是——大模型测试本身正成为性能瓶颈：单次Prompt-Response耗时数百毫秒至数秒，批量评估动辄数小时；RAG流水线需反复调用嵌入模型+向量检索+重排序+生成模型，端到端延迟陡增；而A/B 如何让测试‘跑得快、判得准、控得住’？本文从工程化视角，为测试专家梳理大模型测试性能优化的四大核心路径。 四、测试即代码（TaaC）：编排优化与资源感知调度 大模型测试不再是‘点一下Run’的黑盒操作。 结语 大模型测试的性能优化，本质是测试思维的升维：从‘验证输出是否正确’走向‘验证系统是否可持续交付高质量输出’。
62010编辑于 2026-03-04 - 来自专栏测试技术圈
LangSmith帮助测试大模型系统
LangSmith是评估大模型能力好坏的评估工具，能够量化评估基于大模型的系统的效果。LangSmith通过记录langchain构建的大模型应用的中间过程，从而能够更好的调整提示词等中间过程做优化。 为了测试我们依托讯飞星火大模型创建一个继承LangChain的CustomLLMSparkLLM的类（代码在6.2.1章节），依托对应的类我创建了如下的测试代码。 #! router_chain, destination_chains=chain_map, default_chain=default_chain, verbose=True ) # 测试 在项目下的列表中，我们多次执行LangChain构建的大模型的应用也可以做横向对比。 每一次的处理和反馈的Trace都可以展示响应时间和使用的Token数。 LangSmith完成了跟踪LangChain构建应用的所有的中间过程，这也为验收或者测试LangChain构建的基于大模型的应用提供了有力的手段。
2.4K10编辑于 2024-04-30 - 来自专栏老张的求知思考世界
详解性能测试三大模型
从我的实践经验来说，如果无法对系统和业务有足够的了解，没有较为精准的性能测试三大模型，则性能测试的结果无法对线上容量规划起到明显的参考价值。 今天这篇文章算是性能测试知识的科普内容，我会聊聊在实际工作中开展性能测试，前期最核心的工作。即业务模型、流量模型和数据模型这三大模型，该如何评估和建立。 为了便于大家理解三大模型，我会以电商业务下单的场景来举例说明，如下图： 业务模型 大家可以将业务模型看作功能测试中的业务场景。 ； 构建流量模型 下面是之前我实际工作中一次双11大促时的流量模型构建案例，仅供参考。 预估大促时的支付转化率为60%，则可得：大促峰值订单支付QPS为（200/40%）*60%*（200W/50W）=1200QPS。
91810编辑于 2024-10-28 - 来自专栏啄木鸟软件测试
大模型测试：技术深度解析
与此同时，传统软件测试范式——基于明确输入/输出断言、覆盖路径与边界值的方法——在大模型面前频频失效。 这些案例揭示一个现实：大模型测试不是‘加个Prompt跑几轮’，而是一场融合认知科学、统计推断、对抗攻防与领域知识的系统工程。 一、为何传统测试方法在大模型面前失灵？ 二、大模型测试的四维技术框架 业界领先实践已形成可落地的四维测试体系： ✅ 1. 三、实战案例：某省级政务大模型的测试攻坚 该模型需支撑12345热线智能分派与政策解读。 结语：测试不是模型发布的终点，而是可信AI的起点 大模型测试的本质，是建立人与AI之间的‘可信契约’：它不承诺绝对正确，但承诺可知的边界、可测的风险、可控的退路。
44700编辑于 2026-06-15 三大领域大语言模型安全基准测试
TRIDENT：金融、医疗和法律领域的大语言模型安全基准测试随着大语言模型（LLMs）在法律、金融和医疗等高风险领域的部署日益增多，系统评估其领域特定安全性和合规性变得至关重要。 为填补这一空白，研究首先基于某机构医学伦理原则、某机构专业行为示范规则和某机构道德准则，定义了大语言模型的领域特定安全原则。 在此基础上，推出了Trident-Bench基准测试，专门针对法律、金融和医疗领域的LLM安全性进行评估。 研究在Trident-Bench上评估了19个通用型和领域专用模型，结果表明该基准能有效揭示关键安全漏洞：强大的通用模型（如某中心GPT、某中心Gemini）能够满足基本要求，而领域专用模型往往难以处理细微的伦理差异 代码和基准测试将在以下网址发布：https://github.com/xxx
45100编辑于 2025-09-04大语言模型基准测试框架解析
大语言模型基准测试框架解析某研究者近日在代码托管平台发布了针对大语言模型的新基准测试框架。 该框架包含从实际与大语言模型对话记录中提取的近100项测试，涵盖以下技术场景：将Python函数转换为等效但更快的C函数解释压缩后的JavaScript代码功能识别数据编码格式（如uuencode编码） ：LLMRun：向语言模型发送提示词ExtractCode：从模型输出提取代码块CRun/PythonRun：在隔离环境中执行代码SubstringEvaluator：验证输出包含预期字符串复杂测试场景框架支持多步骤交互测试 ：避免复杂的提示工程，测试原始问题解决能力可扩展性：允许用户轻松添加自定义测试用例结论该基准测试框架为实践者提供了评估大语言模型实用能力的工具，特别适用于：研究代码辅助能力评估编程任务解决能力测试特殊领域知识验证研究者强调该框架不适合学术基准使用 ，但鼓励开发者扩展测试用例以评估模型在特定领域的实用性能。
48210编辑于 2025-08-23- 来自专栏啄木鸟软件测试
大模型性能优化测试实战指南
本文基于我们在金融、政务、制造领域的真实测试案例，系统拆解大模型性能优化的测试方法论与实战路径，聚焦‘可测、可调、可证’三原则，拒绝空谈架构，直击工程落地痛点。 一、性能测试不是压测，而是建模：定义属于大模型的SLI/SLO 传统Web服务常以TPS、P99延迟为黄金指标，但大模型服务存在显著异构性：输入长度（token数）动态变化、输出非确定性（流式生成）、计算负载高度不均衡 结语：性能优化是测试工程师的新护城河 大模型时代的性能测试，早已超越LoadRunner脚本编写。 在啄木鸟近期认证的‘大模型性能测试工程师’中，73%来自原SRE/算法工程岗——这印证了一个趋势：谁掌握性能验证闭环能力，谁就掌握大模型落地的最终话语权。 下一期，我们将发布《大模型可靠性测试白皮书V2.0》，涵盖混沌工程注入、对抗样本压力测试等前沿实践，敬请关注。
54010编辑于 2026-06-15 - 来自专栏啄木鸟软件测试
开源方案：大模型测试实战指南
引言：当大模型从实验室走向产线，测试不再是‘锦上添花’，而是‘安全底线’。 更值得关注的是，头部企业正悄然转向开源测试工具链——不是因为预算限制，而是因其透明性、可审计性与快速迭代能力，恰好匹配大模型‘黑盒深、行为动态、场景泛化’的测试挑战。 一、为什么传统测试方法在大模型面前集体失灵？ 二、四大开源利器：构建可落地的大模型测试流水线 1. 三、实战案例：用开源栈完成一次端到端大模型测试 以某电商客服大模型升级为例： - 步骤1：用`Promptfoo`构建测试集——导入历史工单对话（500条），标注‘意图类别+预期响应类型+合规关键词’；
81910编辑于 2026-03-09 - 来自专栏啄木鸟软件测试
大模型测试落地实践深度解读
引言：当大模型从实验室走向产线，测试不再是‘验证功能’，而是‘守护智能边界’ 2024年，国内超73%的头部科技企业已将大模型集成至核心业务系统——客服对话引擎、金融风控决策链、医疗报告生成平台……然而 这些并非算法缺陷，而是测试体系与大模型特性严重错配的结果。本文基于啄木鸟软件测试团队服务12家AIGC企业的实战沉淀，系统拆解大模型测试从‘不可测’到‘可度量、可追溯、可治理’的落地路径。 一、为什么传统测试范式在大模型面前集体失灵？ 传统测试依赖确定性输入->确定性输出的契约，而大模型本质是概率性生成系统。我们曾协助某银行测试其信贷问答大模型，发现：同一问题‘逾期会影响征信吗？’ 结语：测试不是给大模型戴枷锁，而是为其装上‘质量导航仪’ 大模型测试的终极目标，不是消灭所有不确定性（这违背其本质），而是将不确定性控制在可解释、可接受、可追溯的风险区间内。 当测试从质量终点站前移到价值创造链路，它就真正成为了大模型规模化落地的‘信任基建’。下一站，我们将探索‘测试即文档’——让每次测试用例自动生成模型能力说明书，让业务方读懂AI的边界与善意。
39010编辑于 2026-06-08 - 来自专栏啄木鸟软件测试
大模型测试团队如何成功转型？
而随着大语言模型（LLM）深度融入产品架构——从智能客服、代码补全到AI原生应用（AI-Native Apps），测试的边界正被彻底重构。 2023年Gartner报告指出，67%的头部科技企业已设立专门的大模型质量保障（ML-QA）小组；2024年微软Azure AI团队披露，其LLM服务上线前的测试周期中，传统功能测试占比不足30%，而提示鲁棒性验证 这背后不是测试工作的缩减，而是测试范式的升维——从验证‘是否正确实现’，转向保障‘是否安全、可信、可控地涌现价值’。 一、为什么传统测试方法论在大模型面前集体失灵？ 某政务大模型测试中，AI自动生成的‘惠民政策解读’虽语法完美，但将‘阶段性补贴’误读为‘永久性福利’，此类隐性逻辑谬误需领域专家交叉验证。 结语：测试的终极使命从未改变 大模型没有颠覆测试的本质，反而将其升华。测试从来不只是关于‘发现错误’，而是关于‘建立信任’——对技术边界的清醒认知，对用户期待的精准回应，对社会价值的坚定守护。
48610编辑于 2026-03-31 - 来自专栏啄木鸟软件测试
大模型测试：性能优化的5大实战策略
引言 随着ChatGLM、Qwen、DeepSeek及Llama系列大语言模型在金融、政务、医疗等关键场景加速落地，模型测试已远超传统‘功能是否正确’的范畴——性能成为决定能否上线的核心瓶颈。 这些并非个例，而是大模型测试进入深水区的典型信号：性能不是附加项，而是可信AI的第一道防线。 一、明确性能基线：拒绝‘拍脑袋’指标 大模型性能测试首要误区是套用小模型标准。 二、分层注入式压测：从单卡到集群的穿透验证 传统压力测试常止步于API层，而大模型性能瓶颈常藏于框架底层。 结语 大模型性能测试的本质，是构建‘可测量、可归因、可演进’的效能反馈闭环。 未来，随着MoE架构普及与稀疏化推理兴起，性能测试将更强调‘动态负载感知’与‘专家知识嵌入’——唯有将测试左移至模型编译阶段（如Triton Kernel Profiling集成），才能真正驾驭千亿参数时代的效能挑战
62310编辑于 2026-03-31 蜕变测试：大模型时代解决测试预言难题的银弹
然而，大模型时代的到来，让一种几乎被遗忘的测试方法重新焕发生机——蜕变测试(Metamorphic Testing)。 二、大模型蜕变测试的天然试验田 为什么大模型让测试预言问题雪上加霜 大模型的出现，将测试预言问题推向了新的极端： 输出空间爆炸：ChatGPT 对同一个问题可能生成数千种不同但都“合理”的回答 评判标准模糊 蜕变测试在大模型场景的自然优势 但大模型恰恰是蜕变测试最理想的应用场景，因为虽然我们不知道“正确答案”，但我们对“行为规律”有清晰的预期： 场景 1：语义等价变换 原始输入：“用 Python 写一个快速排序 第三阶段：大模型驱动的智能发现 大模型时代带来了质的飞跃：让 AI 来发现 AI 的测试规律。 在大模型时代，这种思维蜕变尤为关键： 保持技术敏感度：持续关注大模型的新能力和新风险，及时更新测试策略 培养关系思维：训练自己从“这个输出对吗”转向“这两个输出的关系合理吗” 拥抱 AI 辅助测试：让
47810编辑于 2026-04-21- 来自专栏啄木鸟软件测试
大模型测试常见误区，90%测试专家都踩过
引言 随着ChatGLM、Qwen、DeepSeek及Claude等大语言模型（LLM）加速落地，金融、政务、医疗、客服等关键领域正大规模引入AI能力。 然而，当传统测试方法被生搬硬套到大模型系统时，大量‘看似合理、实则失效’的测试实践正在悄然埋下质量隐患。 啄木鸟软件测试团队近两年深度参与6个行业级大模型应用项目（含某国有银行智能风控助手、省级12345政务大模型平台），发现超87%的测试团队在LLM测试中存在认知偏差或方法误用。 误区一：用‘功能点覆盖’替代‘能力域验证’ 传统Web/APP测试强调需求->功能点->用例的线性映射，但大模型没有明确‘功能边界’。 结语 大模型不是‘更聪明的API’，而是具备涌现性、状态依赖性与价值敏感性的新型认知组件。测试专家的核心竞争力，正从‘找Bug’升维为‘定义可信边界’。
26610编辑于 2026-06-15 - 来自专栏AI智能体开发
AI大模型的本地化测试
AI大模型本地化测试是确保模型在本地环境中能够正常运行、满足性能要求并符合预期功能的关键步骤。以下是AI大模型本地化测试的详细流程和方法。 测试方法：使用标准测试数据集进行验证。对比模型输出与预期结果的差异。测试边界情况（如空输入、超长文本）。2.性能测试测试内容：评估模型的推理速度（延迟）和吞吐量。 测试方法：持续运行模型，监控资源占用和错误日志。模拟高并发请求，测试系统的稳定性。4.兼容性测试测试内容：验证模型与本地硬件、操作系统和依赖库的兼容性。测试方法：在不同硬件配置和操作系统上运行模型。 五、测试报告与优化1.测试报告：记录测试结果，包括功能、性能、稳定性和安全性数据。分析问题并提出改进建议。2.模型优化：根据测试结果调整模型参数或优化代码。使用模型压缩技术（如量化、剪枝）提升性能。 2.Llama本地化测试：测试Llama模型在本地设备上的推理性能。检查模型对多语言输入的处理能力。通过以上测试流程和方法，可以确保AI大模型在本地化部署后能够稳定、高效地运行，并满足实际应用需求。
1.1K00编辑于 2025-03-08 - 来自专栏老张的求知思考世界
性能测试知识科普(六)：三大模型
今天的这篇文章是性能测试知识科普的第六篇，我会聊聊在实际工作中开展性能测试，前期最核心的工作。即业务模型、流量模型和数据模型这三大模型，该如何评估和建立。 在性能测试工作中，业务模型、流量模型和数据模型是至关重要且必须在项目中构建的，否则很可能导致测试的场景和实际差距很大，测试结果也无法为性能分析和优化提供足够有说服力的支撑。 为了便于大家理解三大模型，我会以电商业务下单的场景来举例说明，如下图： 业务模型 大家可以将业务模型看作功能测试中的业务场景。 ； 构建流量模型 下面是之前我实际工作中一次双11大促时的流量模型构建案例，仅供参考。 预估大促时的支付转化率为60%，则可得：大促峰值订单支付QPS为（200/40%）*60%*（200W/50W）=1200QPS。
1.8K20编辑于 2023-03-01 人类在被大语言模型“反向图灵测试”
你在考校大模型？ 其实它在反向“试探”你的智能众所周知，图灵测试是检验人工智能模拟人类反应能力的经典方法，而目前有趣的一点是，在实际人与大语言模型交互过程中，大语言模型似乎在进行一种更为微妙的反向图灵测试，通过映射我们的反应来检验对话者的智能水平和提示质量 有趣的是，这种通用能力正在大语言模型中逐步显现，但其实现形式与早期人工智能研究者的设想有所不同。大语言模型不仅展现出在各类语言任务中的多面性，还具备编程等跨领域能力。 关于大语言模型是否具有智能的讨论，最终取决于我们如何定义“智能”。大语言模型LaMDA通过了阿尔卡斯设计的心智理论测试，而心智理论被认为是自我意识的重要标志之一。不过，也有不少人对此持谨慎怀疑态度。 事实上，正如案例GPT 5.3的研究结果显示，ChatGPT已经能成功应对乔姆斯基提出的思维测试。然而，无论如何定义思维，仅凭语言都难以对其进行完整描述。
59411编辑于 2025-08-11大模型网络结构：模型接口测试用例参考
大模型的网络文件是模型训练的核心参考。 例如 MiniMind 项目中 /model/model_minimind.py 这份网络结构文件，它用来定义整套大模型的神经网络拓扑，包含配置参数、RMSNorm 归一化、GQA 注意力、RoPE 位置编码 注：代码完全是AI生成的，但经过了验证，可以应用到你自己的 自研大模型原型上测试。 为快速验证网络实现是否存在代码缺陷、维度错误、模块兼容性问题，这里提供两个可独立运行的测试用例。 执行测试用例能够对模型网络做基础完备性校验，自动输出模型运行状态报告，帮助开发者快速定位网络结构问题，可供用户参考与学习： 测试网络文件22项 此处我这边对Minimind模型进行了扩充功能，扩展增加了 texts = { "zh": "大模型推理引擎正在测试中文字符序列", "en": "The quick brown fox jumps over the lazy dog
15710编辑于 2026-09-20- 来自专栏muller的测试分享
人工智能，应该如何测试？（七）大模型客服系统测试
如何构建知识引擎首先我们现在处于一个大模型的时代， 所以一个类似 GPT 这样的大模型加入到产品中在大厂已经是比较普遍的现状了， 各个大厂都有训练自己的大模型。 有 GPT 这样的大模型在，可以极大的提升对话机器人的回答质量。 但我们上面也说了这样是不够的。 对于专业领域的问答， 需要有专业的知识库的建立。 ，它可能直接发回给大模型进行回答。 又或者是通用检索类的， 比如用户问现在苹果的股价是多少，这显然不能直接发给知识引擎和大模型，而是调用搜索引擎 API 来进行查询， 当然这个查询结果很多时候要经过大模型的二次包装，这个我们后面再讲。 如何针对这些模型进行测试可以看出对话机器人是由 N 多个模型组合在一起的系统。 知识引擎也是由多个模型组合在一起才完成的内容检索。 那么我们来看一下要如何测试这些模型。
1.3K12编辑于 2024-04-07 别让大模型陪你跑测试：MCP Server 的分层测试实践
别让大模型陪你跑测试：MCP Server 的分层测试实践前言前面几篇把 MCP 的安全话题聊得差不多了：从整体的安全边界，到工具描述投毒、供应链，再到权限模型，安全三部曲算是收了尾。 第一个话题是测试。MCP Server 的测试有个天然的坑：整条链路的"大脑"是大模型，而大模型是不确定的。同一句输入，这次调工具、下次直接回答；参数这次是合法 JSON、下次缺个字段。 这些问题在协议层和工具层就能测干净，不需要任何模型参与。这篇文章讲我怎么把 MCP Server 拆成三层来测：协议层、工具层、传输层各测各的，大模型只出现在最后一步冒烟。 五、最后一步才请出大模型：一条冒烟测试就够了前三层都绿了之后，才让真模型进场跑端到端：起一个真实 server 进程，用真实客户端（或 Inspector headless 模式）连上，给一句固定 prompt 原则一句话：把大模型挡在测试金字塔的最顶端。它是最贵的测试资源，也是最不稳定的断言工具——能用 JSON Schema 断言的事情，别让 token 替你判断。
8310编辑于 2026-10-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号