- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI 应用架构
Agent评测为什么比传统测试难 10 倍
一、Agent评测的本质：为什么它比传统软件测试难10倍？在讨论"怎么做"之前，先搞清楚"为什么难"。Agent评测的难度不是量的增加，而是质的变化。 让我们用一张图来对比两种系统的评测逻辑差异：Agent评测的四大核心挑战可以归纳为：第一，非确定性输出。同一个Prompt、同一个输入，跑10次可能得到10个不同的结果。 维护一批"黄金参考输出"——固定10条数据和它们在某个时间点的评测结果。每次新跑批前，先用这10条跑一遍，检查评测Agent是否发生了漂移。 基于6个Agent的实战数据：阶段传统方式Harness+CC加速比评测方案设计1-2天10-30分钟~10x评测集构建2-3天半天（含人工标注）~5x评测脚本/Agent开发2-3天1-2小时~10x 跑批执行同同1x结果分析+报告半天-1天10-20分钟~5x单Agent全流程约1.5周约1-2天~5x加速比最显著的两个环节是方案设计和评测逻辑开发，都达到了约10倍。
93679编辑于 2026-06-09 - 来自专栏CKL的思考空间
测试10问-下
话接上回（测试基础10问-上），继续问答之旅，答案是什么并不重要，重要的是引发一些思考。学问学问，边学边问。 06 测试是否需要过早的参与产品需求讨论？ 很多测试人员会以挖掘出一个经过N个步骤（N大于10之类的），才会出现的缺陷为荣。个人并不是很认可这种观点。从用户的操作行为来看，可能永远无法发现这类问题。 10 测试有没有钱途 这个问题本来想放在第一问的，毕竟是大家最关注的问题。但个人觉的这也不是个问题。 测试的天花板也没有你们想的那么低。没事多看看招聘信息，多和行业高手互动。测试还是大有可为的。 10问聊完，大家对测试是否有新的认知呢？ 在整理这10问题的时候，自己也做了更多的思考，测试这份职业还是比较好玩的。个人从事测试10多年，还是热爱这个行业的。测试相关的问题，欢迎沟通交流。 END 标星、点赞、关注三连走起，感谢支持。
45820编辑于 2023-02-01 - 来自专栏小雨的CSDN
10.性能测试
什么时候进行性能测试？ 在功能测试完成，所有的功能都比较稳定的时候，才可以做功能测试，一般在测试的中后期执行 性能测试术语 1.并发数： 广义并发数：同一时刻向服务器发送Http请求的用户数量；（有可能不是同一个功能） 在线用户数 性能测试类型 1.负载测试： （运行15min左右） 并发测试：在一定的软硬件环境下，系统的其他指标不变，测试系统在不同用户量访问级别下，系统性能的表现 容量测试：在一定的软硬件环境下，系统的其他指标不变 ，测试系统数据库数据量在不同的级别下，系统性能的表现 2.压力测试： 高于系统的最高负载，去运行系统，查看系统的表现 3.可靠性测试（疲劳测试）: 低于系统的最高负载，去运行系统，查看系统的表现 4.配置测试 ，比较每次测试结果，从而确定各个因素对系统性能的影响。
55710编辑于 2022-10-26 - 来自专栏cxuanAI
Agent开发神器！10K Star
它到底是什么 VoltAgent 是一个 TypeScript 的 AI Agent 工程平台。 它分成两块。 一块是开源框架，用来写 Agent。 更像是给 Node.js 团队用的 Agent 工程底座：代码里写 Agent，控制台里看运行过程。 2. 它解决什么麻烦 做一个 Agent demo 不难。 它把 Agent 运行时和观测台放在一起，让你不只是在代码里拼一次模型调用。 3. 核心看点 第一，Agent 定义比较集中。 把一次 Agent 调用在控制台里看完整。 这三步跑通以后，再加 RAG、Workflow、多 Agent 或 MCP。 6. 尤其是这几类场景： 要做带工具调用的 Agent。 要把内部知识库接成 RAG。 要跑多步骤流程，而不是单轮问答。 要看 Agent 在线上每一步发生了什么。
46110编辑于 2026-07-01 - 来自专栏ceshiren0001
Agent Skills 入门：技能包如何让测试 Agent 真正落地？
你写清楚“第一步读什么、第二步拆什么、第三步输出什么格式、遇到异常怎么处理”，Agent才知道该怎么干活。今天这篇文章，我从零拆一个测试人最常用的Skill——测试用例生成。看完你就能自己写第一个。 一、为什么测试Agent总是“落不了地”？过去一年，很多团队都在尝试用AI做测试。但真正跑起来的没几个。问题出在哪？不是模型不行，是你给它的东西，根本不是一个“能力单元”。 用大白话说：Skill就是把“资深测试工程师怎么做一件事”的完整经验，封装成一个Agent能随时调用的能力包。它和MCP的区别是什么？ MCP给Agent提供手，Skill给Agent提供操作手册。没有Skill，Agent有手也不知道怎么干活。三、技能包如何让测试Agent真正落地？ 测试人的经验，值得被封装成Skill。你今天花30分钟写一个“测试用例生成”的Skill，以后每一个项目都能复用。别只写提示词了。写一个SKILL.md，让Agent真正替你干活。
9300编辑于 2026-10-05 - 来自专栏软件测试学习
测试领域日报 | 2026年6月10日：AI Agent重塑测试范式，从脚本驱动到意图驱动的行业跃迁
测试领域日报 | 2026年6月10日 当自动化测试从”写脚本”进化到”说意图”，当AI测试工程师的年薪突破百万天花板，当大模型评测成为国家战略级赛道——2026年6月的测试行业，正经历一场前所未有的范式革命 价值侧——一个优秀的AI测试工程师，借助Agent工具能完成过去5到10人团队的工作量。从人效比角度看，高薪背后实际上是企业对”超级个体”的效率投资。 随着AI Agent在生产环境中的大规模部署，如何确保智能体的行为安全、可靠、可控，成为测试领域的新课题。 AI Agent测试与传统软件测试的根本区别在于：Agent的行为是非确定性的。 当前行业正在探索的AI Agent测试方法论包括：基于场景的对抗性测试（模拟恶意输入和边界场景）、行为一致性评测（在语义等价的输入下验证输出稳定性）、安全边界测试（验证Agent不会执行超出授权范围的操作 AI伦理审查先导计划启动 – 同花顺 以上就是2026年6月10日测试领域日报的全部内容。
1.4K10编辑于 2026-06-10 - 来自专栏DeepHub IMBA
AI Agent技术栈：10个构建生产级Agent的核心概念
本文就总结了构建AI系统时真正绕不开的10个基础概念 1、MCP：通用插件系统 假设你需要Agent读取Gmail、更新Notion、查询数据库。 有了长期记忆，Agent会让人觉得"它记得我"，而不是每次都像跟陌生人打交道。 来看一个场景：用户说过"我习惯把会开在上午10点之前"。这条偏好被写入长期记忆，关联到用户ID。 用户说"清理一下旧的测试数据"。Agent理解成删50,000条数据库记录。护栏介入：这个用户有删除权限吗？"旧测试数据"对应5万条记录，合理吗？系统把这标记为可疑操作，弹出确认。 5、工具发现：运行时自动获取新能力 把工具列表硬编码进Agent，下个月加了Jira集成，就得改代码、重新部署、全量回归测试。脆弱并且不可扩展。 三次重试都失败后，Agent告诉用户——"邮件服务暂时挂了，草稿已保存，10分钟后自动重发。"出了什么问题、接下来怎么办，交代得清清楚楚。
99110编辑于 2026-02-27 给 Coding Agent 加上质量门禁：测试如何进入 Agent Loop
文件发生修改后，根据预设规则触发对应的测试；测试通过，Agent就继续执行后续任务；测试失败，Harness将失败结果重新送回模型，让Agent进入下一轮修复循环（RepairLoop）。 这样才能兼顾验证强度和Agent的执行效率。失败结果的反馈回路测试进入AgentLoop后，并不代表测试跑起来就够了。对于Agent而言，测试结果本身也是上下文输入。 当测试结果开始参与控制Agent的下一步动作时，这些反馈本身是否可靠，也成了Harness需要管理的问题。测试本身的可信度还有一个更棘手的问题，就是Agent可能同时拥有业务代码和测试代码的写权限。 Agent可以为新功能补充测试，但关键的验收测试、回归测试，或是隐藏测试都由独立的Harness和CI管理。 如果Agent修改已有测试文件，则触发额外检查，判断是否删除断言、增加Skip、扩大Mock范围，或者放宽原有测试条件。变异测试也可以用来检查测试本身是否足够有效。
22610编辑于 2026-08-19- 来自专栏JAVA体系
10. 单元测试
测试通过执行软件的一系列操作，旨在发现潜在的错误、缺陷或问题，从而确保软件能够按照预期工作。而软件测试往往覆盖了不同的层次和类型，其中单元测试是针对软件中最小的独立单元（通常是函数或方法）进行的测试。 单元测试通常由开发人员编写，用于验证代码的正确性。 2、单元测试 单元测试是软件开发中的一种测试方法，用于验证代码中的最小单元（通常是函数或方法）是否按照预期工作。 单元测试旨在隔离和测试软件的各个独立部分，确保每个部分的行为都是正确的。 Python 中，单元测试是通过使用 unittest 模块来实现的。 这两个方法在每个测试方法执行前后分别被调用，以确保测试环境的准备和清理。 setUp：在每个测试方法执行之前调用。 通常用于准备测试环境，例如初始化变量、建立测试数据等，或在测试之前创建对象或设置必要的资源。 tearDown ：每个测试方法执行之后调用。
56610编辑于 2024-03-14 - 来自专栏CKL的思考空间
测试基础10问-上
最近在找资料的时候，翻出了早期从别的地方看到的关于测试基本知识30问。重新看了一遍，有很多感慨，原来自己也踩过那么多坑。故重新梳理了下，精简成10问，一起来看看那些看似小白，但又不太好回答的问题。 01 我适合做软件测试么？ 个人认为，没什么合适不合适的。测试不需要天赋异禀，只要你努力，达到中上水准的测试能力基本没啥问题，还到不了拼天赋的情况。 02 软件测试很简单么？ 在软件测试的初期，你可能只是需要按照别人给定的测试用例，机械地去执行就可以了，那是相对简单的。但是接下来，你需要形成自己的测试思维，结合业务去做用例设计。 3~4年之后，你要学习从整体上把控项目的测试进度，根据版本特性去制定测试策略，考虑测试的有效性和充分性。同时，需要通过一定的技术手段去提升测试效率。 去做更多的测试左移和右移。测试人员不应当把自己局限在测试的职责范围内，不断扩充自己的边界，不好么？测试难不难，取决于你的自我要求，市场会给你真实的答案，没事多看看相关的招聘信息。
41910编辑于 2023-02-01 - 来自专栏k8s技术圈
Kubernetes 动态创建 Jenkins Agent 压力测试
kubectl get node |grep "master" | wc -l 3 kubectl get node |grep "worker" | wc -l 13 1.3 CI 节点 选取其中的 10 NAME CPU(cores) CPU% MEMORY(bytes) MEMORY% ci1 67m 0% 1268Mi 8% ci10 cat /var/lib/kubelet/config.yaml|grep max maxOpenFiles: 1000000 maxPods: 110 10 个 CI 节点，总共能提供 1100 另外，由于 Jenkins Agent Pod 配置的是软亲和，当 CI 节点资源不足时，也可以调度到其他节点。 2. 在执行测试之前，执行 20 次流水线对节点进行预热。 主要进行五组测试，分别为 50、100、200、400、800 条流水线并发。
2.4K20发布于 2020-12-01 - 来自专栏软件测试
Prompt、Agent、测试智能体:测试的新机会,还是新焦虑?
在某技术社区的测试专场,一位有十年经验的测试总监分享了他们团队的实践:"我们引入测试智能体后,三个月内测试效率提升了5倍,团队规模从15人缩减到6人。"台下掌声雷动,但散场后我听到两种截然不同的声音。 这个场景折射出当下测试行业的核心困惑:从Prompt工程到Agent编排,再到测试智能体,这些新技术究竟是测试人员的机会,还是威胁?问题的本质不在于技术本身,而在于我们如何理解这场变革的底层逻辑。 某金融公司的测试架构师老王,在使用测试智能体时,工作方式发生了根本改变。 从"执行效率"到"决策质量":价值衡量的重心迁移效率陷阱:更快,但未必更好某互联网公司引入测试智能体后,测试负责人在月度汇报中展示了亮眼数据:用例生成速度提升10倍,自动化覆盖率从60%提升到95%,测试时间从 某金融公司的测试总监王总,从一开始就将智能化定位为"组织能力建设"。他推动建立了"测试智能体中台",将团队积累的Prompt模板、Agent编排模式、决策规则全部沉淀到平台。
51711编辑于 2026-01-17 多模态 Agent 如何规划 UI 测试路径
多模态 Agent 如何规划 UI 测试路径 文章封面 UI 自动化的难点，表面看是脚本维护成本高，深层看是测试设计无法持续跟上系统变化。 多模态 Agent 的价值，不是把脚本换一种写法，而是让系统具备持续感知页面、动态规划路径、执行后反馈修正的能力。目标也从“写自动化脚本”升级为“生成可回放、可审阅、可纳管的高质量测试用例”。 按照过往经验，单人单模块平均产出有效自动化用例约 10 条/天，且用例往往集中在正向主流程。 因此，真正要解决的是三个问题： 机器能否自己看懂页面当前状态 机器能否自主决定下一步测什么 生成的路径能否直接回放并纳入测试资产 Agent 测试闭环：感知、决策、执行、反馈 多模态 Agent 的核心思路 结语：让自动化从回放工具变成有记忆的探索系统 基于多模态 Agent 的 UI 自动化路径规划，关键不在于让模型替人点页面，而在于重构测试设计方式：人定义目标，系统感知状态，Agent 规划路径，工程约束负责校验
15710编辑于 2026-10-05- 来自专栏啄木鸟软件测试
安全测试工具（连载10）
星云测试 http://www.teststars.cc 奇林软件 http://www.kylinpet.com 联合通测 http://www.quicktesting.net
68120发布于 2019-12-12 - 来自专栏三流程序员的挣扎
2022-10-31-验收测试
验收测试 为了消除这些问题，就需要验收测试。 所说的验收测试更偏重于需求确认，对需求的跟踪。 要与客户保持沟通，是客户对可交付成果的验收测试，开发与 QA 做能覆盖所有需求的自动化测试。 测试不是额外工作，是节省时间和金钱的方法。 不要被动接受别人提供的测试，不能因为测试这么要求，就必须这么办。 持续集成，从测试角度来说，单元测试，功能测试，系统测试，验收测试一整套流程。 验收是项目阶段末或收尾做的，开发过程中要经常单元测试，集成测试。
47110编辑于 2022-11-11 - 来自专栏程序你好
持续测试资源前10名
下面是最流行的连续测试资源列表: continuous Testing eBook: 持续测试提供与开发中的应用程序相关的业务风险的实时、客观评估。 The Relationship Between Risk and Continuous Testing:了解业务风险和持续测试之间的关系，对持续测试的误解，以及如何帮助业务和技术经理在发布范围、时间和质量之间做出更好的权衡决策 学习关键的开发测试过程，以增加您的持续交付系统，以减少软件缺陷的自动发布的风险。 持续测试将带来三大商业利益。 1)连续测试驱动SDLC的中央决策系统，提供对应用程序健康状况的实时、可量化的评估。 2)持续测试建立了一个安全网，使软件开发人员能够更快地将新特性推向市场。 3)持续测试可以让管理者做出更好的权衡决策。
59830发布于 2018-07-23 - 来自专栏啄木鸟软件测试
精准测试及其工具（连载10）
4.3 缺陷定位算法 前置条件：有测试数据，测试用例有提交Bug 精准测试云平台根据测试用例的运行情况和测试用例覆盖到的函数这些信息，通过一定的计算，可确定每个函数可能存在缺陷的可疑度，然后针对可疑度较大的函数进行查看 在选择测试用例的时候，需要选择功能相近的测试用例（如登录成功和登录失败两个测试用例就是功能相近的测试用例），如果不能手动筛选出来测试用例，只需要运行聚类功能，对测试用例进行分类。 图78选择测试用例 4.4 最小测试用例集 前置条件：有测试数据。 精准测试云平台根据所有测试用例的覆盖块情况，计算出覆盖到所有块所需的最少的测试用例的集合，由于到后期测试用例越来越多，测试用例冗余也会越来越明显，主界面选择企业项下的最小测试用例集，弹出界面，点击界面分析按钮 ，得到最小测试用例列表，点击每个测试用例详细信息可查看该测试用例覆盖到的块信息。
1.5K20发布于 2019-12-12 - 来自专栏三流程序员的挣扎
2022-10-29-测试驱动
TDD 的三项法则 先写单元测试代码，然后再编写被测试代码。 一个单元测试失败，就停止编写测试代码，即保证每一次都是成功的，从这角度说，可以保证后续集成测试出现的 bug 变少。 产品代码恰好能够让当前失败的单元测试成功通过即可，不要多写。即写了必要的产品代码，就别写了，再先写测试代码，再写产品代码，不要多余。 TDD 的优势 确定性：就是无论改了什么，只要保证单元测试都覆盖到，只要保证单元测试都通过了，就可以确定代码没什么问题了，可以交付。 缺陷注入率：因为每写一点代码都要先测试，所以能够减少引入的缺陷。 文档：单元测试即文档，如果是遵循 TDD 的程序，只要看到单元测试，就能明白函数如何调用，什么参数，对象如何创建。 设计：比如一个函数调用其他函数，因为要单元测试，必须将两个函数解耦。 测试先行，会迫使你去考虑什么是好设计。事后写测试是防守，先写测试是进攻，强迫自己必须写出能够单元测试的解耦的代码。 专业人士的选择：TDD 是专业人士的选择。
34120编辑于 2022-11-12 Agent + MCP 架构下的功能测试模式变革
当业务需要新增“信用卡分期”功能测试时,测试工程师不需要从零写脚本,而是: 定义测试场景的DSL描述 Agent自动识别需要哪些能力(创建账户、绑定信用卡、发起分期、验证账单) Agent调用对应的MCP ,Agent自动重新组合测试流程,所有场景无缝适配。 智能化的能力编排 Agent不是简单执行预定义的脚本,而是根据测试意图动态规划执行路径。 例如,测试“用户购买VIP会员”这个场景: Agent理解测试意图:验证购买流程的完整性和支付后的权益生效 Agent查询可用的MCP能力:账户创建、商品浏览、下单、支付、权益验证 Agent生成执行计划 从“脚本小子”到“测试架构师”的跃迁,本质上是从“完成任务”到“创造价值”的跃迁。前者的成就感来自“又完成了10个用例”,后者的成就感来自“构建的测试能力让整个团队的效率提升了30%”。
50210编辑于 2026-04-15- 来自专栏Rust语言学习交流
【Rust日报】2022-10-10 Rust 不同的测试方式
Rust 不同的测试方式 本文主要探索了在 rust 中进行单元测试和集成测试的一些方式, 虽然是讲 测试为主,但是作者从 DI(依赖注入)的视角讲述了使用 cfg 来实现不同的环境进行不同的初始化的一些思路
55030编辑于 2022-11-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号