首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏测试技术圈

    面向AI应用的测试思考

    然而,由于AI是一种新的编程范式,无论在学术界还是工业界,对于AI测试的研究和实践尚处于起步阶段。” AI引导了新一轮的产业变革,随着AI在各行各业的应用日益广泛,对AI应用测试的需求也与日俱增。 由此可见,对于AI应用的质量保障显得愈发重要。 1 AI测试面临挑战 关于AI应用(系统)的组成,通常是由软件工程和机器学习模型结合。 现实世界中的ML应用程序/系统只有一小部分由ML代码组成,其他大部分都是由复杂的架构工程构成。对于AI产品业务的测试,可以从两个方面着手,数据验证测试和AI应用测试。 基于AI / ML应用程序的测试。 关于AI应用测试,可以总结概括4个关键要点,算法、数据质量、业务场景、分层专项。 ? 3 模型测试的常用方法 黑盒和白盒测试 测试ML模型涉及黑盒和白盒测试,非常类似于传统测试方法。但获得足够大且足够全面的训练数据集以满足 "机器学习测试" 的需求是一个重大挑战。

    2K51发布于 2020-09-08
  • 来自专栏测试人的日常

    软件测试下的AI之路(3)

    在这个快速演进的时代中,软件测试领域也受到了不小的冲击。虽然在当下,传统的软测技术仍然是绝对的主力,但是身为IT行业中的一员,近几年AI的全新业务体验与其超强的算力所带来的震撼感受也应该远超其他行业。 所以为了跟上时代的步伐,作为软测的大家是不是也应该考虑如何让AI辅助我们更加完整高效的完成日常的各类质量保障工作呢?    同样的,如果要获取资源的ID或者应用程序的ID,我们也可以在Tests中点击某一个测试用例集界面上方的命令行按钮。    这里同样会显示出测试用例集的ID和应用程序的ID,大家可以根据实际的测试需求来进行对应的任务触发和调用。 之后运行每次的测试任务,完成时都会生成一份名为report.xml的测试结果报告,界面如下: 3.

    2.2K30编辑于 2023-11-11
  • 来自专栏FunTester

    AI 驱动的应用,传统测试正在失效

    最近两年,测试圈子里弥漫着焦虑情绪:业务团队快速推进 AI 技术落地,智能客服、AI 助手等功能已成为 Web 应用标配;而测试工程师却越来越心虚,明明编写了大量用例并执行回归测试,但内心始终不安。 这种焦虑源于测试思维框架已过时——传统测试依赖确定性,而 AI 系统充满概率性和不确定性。 测试工程师最近的集体困惑 来看几个典型的AI测试场景,这些问题正在让测试工程师重新思考传统方法的有效性。 AI系统表现充满概率性和不确定性,传统测试最依赖的确定性判断能力正在AI的概率世界里逐渐瓦解。 传统测试的隐含前提 我们先深呼吸一下,暂时放下那些 AI 带来的焦虑,回到测试工程师这份工作的本质。 ,因为上周能跑通的这周也应该能跑通 • 把 CI 结果当作上线门禁,因为红灯亮起就是有问题需要解决 AI 应用天生不吃这套 好,现在问题来了:AI 驱动的 Web 应用,还满足我们刚才说的那些确定性前提吗 AI 驱动的 Web 应用,已经不再是我们传统测试方法所设想的那类系统。

    27510编辑于 2026-06-17
  • 来自专栏啄木鸟软件测试

    提示词测试:AI应用的性能优化新维度

    引言:当大模型成为基础设施,提示词就是新API 在AI原生应用爆发式增长的今天,越来越多团队发现:模型能力已非瓶颈,真正制约系统响应速度、成本效率与用户体验的,是那短短几十到几百字符的提示词(Prompt 而对它的系统性测试与优化,已构成AI工程化落地中不可忽视的性能优化新维度。 一、为什么提示词需要性能测试? 传统认知中,提示词属于‘逻辑层’,性能问题归于模型推理或后端服务。 Llama-3-70B在处理含5层嵌套指令的提示时,生成稳定性下降22%,出现‘卡顿-爆发’式输出(bursty generation),影响流式渲染体验。 3. 【剪枝指令】删除‘请一步一步思考’等元指令——现代大模型无需显式思维链引导,实测反而增加200ms推理开销 3. 、压力测试和灰度发布的代码,标志着AI应用开发正从‘实验范式’迈向‘工程范式’。

    46510编辑于 2026-05-08
  • 来自专栏项目管理

    玩转腾讯元宝(3):应用AI做好项目管理

    在当今这个技术飞速发展的时代,人工智能(AI)已经成为推动各行各业变革的关键力量。在项目管理领域,AI的应用更是为企业带来了前所未有的机遇。 与客户进行微信沟通或者邮件沟通时,适当的应用AI将沟通内容和沟通方法进行优化愈加必要。 2. 预测客户需求通过分析客户数据,AI能够预测客户的潜在需求,并据此推荐合适的产品或服务,增加成交机会。 此外,AI还可以帮助企业在市场变化中保持敏锐,及时调整战略方向,抓住新的商机。 五、持续学习与改进 1. 数据驱动的持续改进AI技术的应用本身就是一个不断学习的过程。 这包括定期组织培训活动,让员工了解AI的最新发展动态及其在项目管理中的应用实例;同时也应鼓励员工提出自己对AI使用的看法和建议,促进人机协同工作的有效开展。 AI技术在项目管理中的应用已经从理论探讨阶段进入到实际操作层面。无论是简化日常任务、提升决策质量还是促进团队协作等方面,AI都展现出了巨大潜力。

    1.8K10编辑于 2024-10-30
  • 来自专栏Python

    测试 Flask 应用

    没有测试过的应用将会使得提高现有代码质量很困难,二不测试应用程序的开发者,会显得特别多疑。如果一个应用拥有自动化测试,那么您就可以安全的修改然后立刻知道是否有错误。 Flask 提供了一种方法用于测试您的应用,那就是将 Werkzeug 测试 Client 暴露出来,并且为您操作这些内容的本地上下文变量。然后您就可以将自己最喜欢的测试解决方案应用于其上了。 这个测试客户端将会给我们一个通向应用的简单接口,我们可以激发对向应用发送请求的测试,并且此客户端也会帮我们记录 Cookie 的动态。 -------------------- Ran 3 tests in 0.332s OK 关于请求的头信息和状态值等更复杂的测试,请参考 MiniTwit Example ,在这个例子的源代码里包含一套更长的测试 如果您希望测试应用在不同配置的情况下的表现,这里似乎没有一个很好的方法,考虑使用应用的工厂函数(参考 应用程序的工厂函数) 注意,尽管你在使用一个测试用的请求环境,函数 before_request()

    1.1K00发布于 2018-07-31
  • 来自专栏Golang语言社区

    LollipopGolibrarylollipopcommon 测试3

    Golang语言社区 开源轻量级web应用框架,可以快速创建博客及商城等 git地址:https://github.com/Golangltd/lollipopgo /* Golang语言社区(www.Golang.Ltd ) 作者:cserli 时间:2018年3月2日 */ package main import ( "LollipopGo/library/lollipop/common" /

    1.3K90发布于 2018-03-05
  • 来自专栏Keegan小钢

    AI+Web3实战营日志 #10 | 测试网发布

    这是我的 AI + Web3 实战营 的第 10 篇研发日志,前 9 篇如下: AI+Web3实战营日志 #1|开营 AI+Web3实战营日志 #2 | 完成底层合约 AI+Web3实战营日志 #3 | Router合约 AI+Web3实战营日志 #4 | Rebalancer合约 AI+Web3实战营日志 #5 | 完成合约开发 AI+Web3实战营日志 #6 | 开始合约测试 AI+Web3实战营日志 #7 | 完成Core合约测试 AI+Web3实战营日志 #8 | 重构ETFRouterV1 AI+Web3实战营日志 #9 | 完成第二个里程碑 另外,关于 AI + Web3 实战营的相关介绍则有如下几篇文章 : 我要启动 AI + Web3 实战营了 再谈 AI+Web3 实战营:这到底能带给你什么? AI+Web3实战营,9月15日正式开营 成果 我们的链上 ETF 产品「BlockETF」,终于迎来了第三个里程碑——测试网正式发布!

    68410编辑于 2025-11-12
  • 来自专栏一个会写诗的程序员的博客

    Spring Boot 应用的测试Spring Boot 应用的测试

    Spring Boot 应用的测试 《Spring Boot 实战开发》(陈光剑) —— 基于 Gradle + Kotlin的企业级应用开发最佳实践 本书写到这里,Spring Boot 2.0.0 这是本书最后一章,本章介绍 Spring Boot 应用的测试(质量保障)相关的内容。我们在项目开发中使用分层架构,在测试中也进行分层测试。 测试代码目录结构设计如下 图15-1 测试代码目录结构 测试代码的分层逻辑与项目源代码中的 dao层、service 层、controller 层各自对应。 下面我们来开发具体的测试类。 运行上面的测试代码,测试成功: 图15-3 UserControllerTest测试成功 使用命令 $ gradle test 可以一次性全部执行 src/test 目录下面的测试类。 Spring Boot 应用对Web层测试提供强大的支持:采用MockMvc方式测试Web请求,根据传递的不用参数以及请求返回对象反馈信息进行验证测试。

    2.3K30发布于 2018-08-17
  • 来自专栏自学测试之道

    接口测试3

    上篇讲解到了一次性运行多个测试用例和运行结果的情况,这边继续说下测试报告的内容输出和可视化显示以及邮件抄送等 一、增加测试报告输出 1、首先在代码目录下新建一个文件夹test_report用来保存测试结果 2、导入测试报告库文件HTMLTestRunner_PY3(这个文件在网上可以下载后[https://blog.csdn.net/cjh365047871/article/details/80181530 3、定义测试用例和测试报告存放路径、读取测试用例方法和测试报告格式 #! q=keitwo&page=1&type=note # @QQ交流 : 3227456102 import unittest,time import HTMLTestRunner_PY3 if _ 3、导入发送邮件模块 ? 4、运行结果 ?

    64120发布于 2019-09-29
  • 来自专栏Keegan小钢

    AI+Web3实战营日志 #6 | 开始合约测试

    这是我的 AI + Web3 实战营的第六篇研发日志,前五篇如下: AI+Web3实战营日志 #1|开营 AI+Web3实战营日志 #2 | 完成底层合约 AI+Web3实战营日志 #3 | Router 合约 AI+Web3实战营日志 #4 | Rebalancer合约 AI+Web3实战营日志 #5 | 完成合约开发 另外,关于 AI + Web3 实战营的相关介绍则有如下几篇文章: 我要启动 AI + Web3 实战营了 再谈 AI+Web3 实战营:这到底能带给你什么? AI+Web3实战营,9月15日正式开营 前天完成了 BlockETF 的第一个里程碑目标——合约开发。之后,昨晚我们就开始进入 测试阶段。 第一版测试计划 第一版的测试计划文档已经相当完整,包括: 200+ 个测试用例,覆盖所有 4 个合约 12 个测试类别:功能、集成、安全、性能等 优先级标记:P0 / P1 / P2 测试执行计划与时间表

    33910编辑于 2025-11-12
  • 来自专栏测试开发干货

    【AI应用测试土话实战教程-01】Ai在测试领域可以做的十件事!

    如果您可以举一反三,那这个系列就是您成为AI测试大佬的第一步。 好,现在我们第一节,就来说三个问题: 1. 为什么要学AI? 2. AI到底难不难? 3. AI在软件测试行业到底能干点啥? ---- 现在,先来说第一个问题: 为什么要学AI? ---- 最后一个问题: AI在测试工作中能干点啥 ? 这种麻烦的事最好就是交给AI来做。 3. 根据需求自动生成测试用例。这个目前有两种方案,一种是直接交给chatGPT来做,一般公司都是弄个壳子平台。 让AI训练以往各个自动化脚本和其表现,再有新的脚本提交给AI后,就可以预测出这个脚本的质量如何了... 8. 性能测试。

    60822编辑于 2023-08-14
  • 来自专栏FunTester

    LevelDB在测试中应用应用

    LevelBase.Instance().get("FunTester_name") pwd = LevelBase.Instance().get("FunTester_pwd") } } Part3有状态服务 目前使用场景中还有一个就是将一个正常的Java服务变成一个有状态的服务,比如这个服务需要执行大量的耗时的任务,这些任务都是在内存中的,会分多个阶段,在分布式性能测试中经常碰见这样的情况。

    2.7K10编辑于 2022-01-05
  • AI测试

    AI抢不走测试人的饭碗,但会用AI的测试人,会抢走你的本文来自一个把AI测试真正落地并开源的团队:https://gitee.com/wwcs/ai_test_sheng附在线体验环境:http://111.229.22.12 痛点3:AI生成的脚本,根本不敢执行真实场景:AI写脚本一时爽,但生成的代码质量没保障,谁也不敢点"执行"——万一在测试环境乱点一通呢? ✅我们的解法:L1-L3故障自愈体系级别处理方式L1瞬态错误(timeout类)自动重试L2AI驱动修复:分析错误→修改代码→沙箱验证→自动重执行L3修复失败标记破损脚本,进入修复中心人工介入错误分类系统内置 测试,不如来体验一下真实跑起来的AI测试。 3AI脚本不敢执行沙箱执行+dry_run试运行+权限隔离4AI黑盒,没法复盘SSE流式对话,thinking/工具调用全过程可见5页面一改脚本全挂L1-L3故障自愈:重试→AI修复→人工介入6回归重复枯燥

    12910编辑于 2026-08-28
  • 来自专栏愚公系列-书籍专栏

    【愚公系列】《AIGC辅助软件开发》019-AI 辅助测试与调试:AI辅助测试与调试应用案例

    然而,传统的软件测试方法存在许多问题,如测试效率低、测试质量难以保证、测试成本高等。因此,AI技术在软件测试领域的应用已成为一种必然趋势。 应用领域 描述 测试需求分析 AI技术可以协助测试人员快速、准确地分析和整理测试需求,从而更好地理解需求,为后续的测试工作提供支持。 除了上述工作,AI技术还可以协助测试人员进行多种类型的测试,包括: 功能测试 性能测试 兼容性测试 安全测试 回归测试 此外,AI技术还可以帮助测试人员进行测试管理,包括测试流程、规范、标准等内容,从而提前发现和预防测试中的问题和风险 一、AI辅助测试与调试应用案例 1.制定测试策略 请根据以下上传文件的需求描述,制定一份详细的测试策略。需求描述如下: 1.文件数量限制:单次上传文件的数量不超过5个。 - **Appium**: 用于移动应用自动化测试,支持 iOS 和 Android 平台。 - **Cypress**: 现代前端测试框架,提供快速和可靠的测试。 ### 3.

    2.8K11编辑于 2024-12-23
  • 来自专栏测试开发技术

    到底什么是 AI 测试?AI 测试与传统测试的区别?

    面试官不会再问 “你知道哪些 AI 测试工具” 这类浅层问题,而是把AI 玩法揉进业务场景、技术方案设计,甚至开放性问题里 ——考查的是你对AI的理解深度和实际应用能力。 "我用ChatGPT写过测试用例"——这叫"用AI辅助测试",不叫"AI测试" 2. "我测过公司的大模型产品"——这叫"测试AI系统",是AI测试的一部分 3. 形态二:测试AI系统(Testing AI Systems) 定义:对AI模型、AI应用、AI服务进行质量验证和风险评估。 什么是AI 系统,可以简单理解为,凡是集成了AI 能力的应用,都可以称之为AI 系统。 如果等于3,就是Bug。 AI测试的世界里,模型回答"1+1约等于2"可能是对的(取决于上下文),但回答"1+1等于3"也可能是对的(如果上下文是"在某种特殊代数体系中")。 怎么判断这个回答的质量?

    1.3K20编辑于 2026-05-21
  • 来自专栏AI SPPECH

    55:L应用AI红队演练:蓝队的防御测试

    L将AI技术应用于红队演练,构建了一套智能红队演练系统,能够模拟基拉的攻击手法,测试防御系统的有效性。 更重要的是,传统红队演练难以模拟基拉等高级威胁的攻击手法,无法有效测试防御系统的真实防御能力。 2026年,AI技术在红队演练领域的应用成为热点。 我开发了对抗性攻击模拟系统,能够模拟攻击者与防御者之间的对抗过程,测试防御系统的实时响应能力。 3. 防御弱点自动发现 传统的红队演练需要人工分析防御系统的弱点,效率低下且容易遗漏。 这些创新点的融入,使得AI红队演练系统不仅能够模拟更加复杂的攻击场景,还能够自动发现防御系统的弱点,大大提高了红队演练的效率和效果。 3. 为了缓解这个问题,我结合了静态分析和动态测试,提高漏洞检测的覆盖率。 3. 攻击模拟真实性 AI模拟的攻击可能与真实攻击存在差异,影响演练效果。

    53210编辑于 2026-03-30
  • 来自专栏Keegan小钢

    AI+Web3实战营日志 #7 | 完成Core合约测试

    这是我的 AI + Web3 实战营 的第七篇研发日志,前六篇如下: AI+Web3实战营日志 #1|开营 AI+Web3实战营日志 #2 | 完成底层合约 AI+Web3实战营日志 #3 | Router 合约 AI+Web3实战营日志 #4 | Rebalancer合约 AI+Web3实战营日志 #5 | 完成合约开发 AI+Web3实战营日志 #6 | 开始合约测试 另外,关于 AI + Web3 实战营的相关介绍则有如下几篇文章 : 我要启动 AI + Web3 实战营了 再谈 AI+Web3 实战营:这到底能带给你什么? 为后续测试奠定了模板:这套完整的流程和经验,将直接应用到 Router、Rebalancer 等其他合约测试中,加快整体进度。 如果放在传统的测试流程中,这样规模的测试通常需要一个 2–3 人的测试团队,至少耗时 2–3 周 才能完成。而我们仅凭个人+AI 协作,就在不到 7 个小时里完成了同等甚至更高质量的测试。

    26110编辑于 2025-11-12
  • 来自专栏流柯技术学院

    Monkey测试3——Monkey测试结果分析

    Monkey测试结果分析 一. 初步分析方法: Monkey测试出现错误后,一般的差错步骤为以下几步: 1、 找到是monkey里面的哪个地方出错 2、 查看Monkey里面出错前的一些事件动作,并手动执行该动作 3、 若以上步骤还不能找出 ,可以使用之前执行的monkey命令再执行一遍,注意seed值要一样 一般的测试结果分析: 1、 ANR问题:在日志中搜索“ANR” 2、 崩溃问题:在日志中搜索“Exception” 二. 详细分析monkey日志: 将执行Monkey生成的log,从手机中导出并打开查看该log;在log的最开始都会显示Monkey执行的seed值、执行次数和测试的包名。 首先我们需要查看Monkey测试中是否出现了ANR或者异常,具体方法如上述。

    2.2K10发布于 2018-08-30
  • 欧洲AI新星获3亿元融资,破解企业AI应用难题

    欧洲AI新星Nexos.ai融资3000万欧元推动企业AI应用对大多数企业而言,人工智能要么是尚未兑现的承诺,要么是安全风险。立陶宛著名企业家组合为解决这一难题所做的努力正在获得关注与资金支持。 该平台通过充当员工与AI系统之间的中介,帮助企业安全采用AI工具。构建AI应用的"中立中介"在Okmanas看来,当前正在形成"最大的企业数据泄露"风险,因为员工会将敏感信息上传至大语言模型。 据公司发言人透露,某机构与Evantic Capital共同领投,公司估值达3亿欧元(约合3.5亿美元)。 技术架构:AI工作空间与AI网关目前,Nexos的AI产品包括面向员工的AI工作空间界面和面向开发者的AI网关。 实际应用案例对Okmanas而言,使命是消除更广泛AI采用的障碍。

    32900编辑于 2025-11-05
领券