前言 随着科技日新月异的发展,人工智能正逐渐渗透到我们生活的各方各面,从智能语音助手到自动驾驶汽车,从智能家居到人脸识别技术,AI正以其卓越的智能和学习能力引领着新时代的发展方向。 在这个快速演进的时代中,软件测试领域也受到了不小的冲击。虽然在当下,传统的软测技术仍然是绝对的主力,但是身为IT行业中的一员,近几年AI的全新业务体验与其超强的算力所带来的震撼感受也应该远超其他行业。 所以为了跟上时代的步伐,作为软测的大家是不是也应该考虑如何让AI辅助我们更加完整高效的完成日常的各类质量保障工作呢? 这里同样会显示出测试用例集的ID和应用程序的ID,大家可以根据实际的测试需求来进行对应的任务触发和调用。 之后运行每次的测试任务,完成时都会生成一份名为report.xml的测试结果报告,界面如下: 3.
可以快速创建博客及商城等 git地址:https://github.com/Golangltd/lollipopgo /* Golang语言社区(www.Golang.Ltd) 作者:cserli 时间:2018年3月
这是我的 AI + Web3 实战营 的第 10 篇研发日志,前 9 篇如下: AI+Web3实战营日志 #1|开营 AI+Web3实战营日志 #2 | 完成底层合约 AI+Web3实战营日志 #3 | Router合约 AI+Web3实战营日志 #4 | Rebalancer合约 AI+Web3实战营日志 #5 | 完成合约开发 AI+Web3实战营日志 #6 | 开始合约测试 AI+Web3实战营日志 #7 | 完成Core合约测试 AI+Web3实战营日志 #8 | 重构ETFRouterV1 AI+Web3实战营日志 #9 | 完成第二个里程碑 另外,关于 AI + Web3 实战营的相关介绍则有如下几篇文章 : 我要启动 AI + Web3 实战营了 再谈 AI+Web3 实战营:这到底能带给你什么? AI+Web3实战营,9月15日正式开营 成果 我们的链上 ETF 产品「BlockETF」,终于迎来了第三个里程碑——测试网正式发布!
上篇讲解到了一次性运行多个测试用例和运行结果的情况,这边继续说下测试报告的内容输出和可视化显示以及邮件抄送等 一、增加测试报告输出 1、首先在代码目录下新建一个文件夹test_report用来保存测试结果 2、导入测试报告库文件HTMLTestRunner_PY3(这个文件在网上可以下载后[https://blog.csdn.net/cjh365047871/article/details/80181530 3、定义测试用例和测试报告存放路径、读取测试用例方法和测试报告格式 #! q=keitwo&page=1&type=note # @QQ交流 : 3227456102 import unittest,time import HTMLTestRunner_PY3 if _ 3、导入发送邮件模块 ? 4、运行结果 ?
这是我的 AI + Web3 实战营的第六篇研发日志,前五篇如下: AI+Web3实战营日志 #1|开营 AI+Web3实战营日志 #2 | 完成底层合约 AI+Web3实战营日志 #3 | Router 合约 AI+Web3实战营日志 #4 | Rebalancer合约 AI+Web3实战营日志 #5 | 完成合约开发 另外,关于 AI + Web3 实战营的相关介绍则有如下几篇文章: 我要启动 AI + Web3 实战营了 再谈 AI+Web3 实战营:这到底能带给你什么? AI+Web3实战营,9月15日正式开营 前天完成了 BlockETF 的第一个里程碑目标——合约开发。之后,昨晚我们就开始进入 测试阶段。 第一版测试计划 第一版的测试计划文档已经相当完整,包括: 200+ 个测试用例,覆盖所有 4 个合约 12 个测试类别:功能、集成、安全、性能等 优先级标记:P0 / P1 / P2 测试执行计划与时间表
"我用ChatGPT写过测试用例"——这叫"用AI辅助测试",不叫"AI测试" 2. "我测过公司的大模型产品"——这叫"测试AI系统",是AI测试的一部分 3. 三、AI测试的三种形态:我理解的定义 我认为,AI测试应该包含三个层面,这三个层面构成了一个完整的AI测试能力模型: 形态一:AI辅助测试(AI-Assisted Testing) 定义:用AI工具提升传统测试活动的效率和质量 :AI判断这个缺陷的影响范围、严重程度、修复优先级 • 相似缺陷发现:AI在历史缺陷库中找相似模式,提示"这个Bug和3个月前的#1234很像" 比如: • Amazon的CodeGuru:AI分析测试失败日志 如果等于3,就是Bug。 AI测试的世界里,模型回答"1+1约等于2"可能是对的(取决于上下文),但回答"1+1等于3"也可能是对的(如果上下文是"在某种特殊代数体系中")。 怎么判断这个回答的质量? 这些维度往往需要用人工评估 + 自动指标 + A/B测试综合判断。 3、从"测功能"到"测行为" 传统测试验证的是"功能有没有实现"。 AI测试验证的是"AI在未知场景下会怎么表现"。
AI抢不走测试人的饭碗,但会用AI的测试人,会抢走你的本文来自一个把AI测试真正落地并开源的团队:https://gitee.com/wwcs/ai_test_sheng附在线体验环境:http://111.229.22.12 痛点3:AI生成的脚本,根本不敢执行真实场景:AI写脚本一时爽,但生成的代码质量没保障,谁也不敢点"执行"——万一在测试环境乱点一通呢? ✅我们的解法:L1-L3故障自愈体系级别处理方式L1瞬态错误(timeout类)自动重试L2AI驱动修复:分析错误→修改代码→沙箱验证→自动重执行L3修复失败标记破损脚本,进入修复中心人工介入错误分类系统内置 测试,不如来体验一下真实跑起来的AI测试。 3AI脚本不敢执行沙箱执行+dry_run试运行+权限隔离4AI黑盒,没法复盘SSE流式对话,thinking/工具调用全过程可见5页面一改脚本全挂L1-L3故障自愈:重试→AI修复→人工介入6回归重复枯燥
这是我的 AI + Web3 实战营 的第七篇研发日志,前六篇如下: AI+Web3实战营日志 #1|开营 AI+Web3实战营日志 #2 | 完成底层合约 AI+Web3实战营日志 #3 | Router 合约 AI+Web3实战营日志 #4 | Rebalancer合约 AI+Web3实战营日志 #5 | 完成合约开发 AI+Web3实战营日志 #6 | 开始合约测试 另外,关于 AI + Web3 实战营的相关介绍则有如下几篇文章 : 我要启动 AI + Web3 实战营了 再谈 AI+Web3 实战营:这到底能带给你什么? AI+Web3实战营,9月15日正式开营 前言 之前我们一直采用每天晚上 8 点直播的方式推进研发,每次 1.5–2 小时,一周六天。 如果放在传统的测试流程中,这样规模的测试通常需要一个 2–3 人的测试团队,至少耗时 2–3 周 才能完成。而我们仅凭个人+AI 协作,就在不到 7 个小时里完成了同等甚至更高质量的测试。
Monkey测试结果分析 一. 初步分析方法: Monkey测试出现错误后,一般的差错步骤为以下几步: 1、 找到是monkey里面的哪个地方出错 2、 查看Monkey里面出错前的一些事件动作,并手动执行该动作 3、 若以上步骤还不能找出 ,可以使用之前执行的monkey命令再执行一遍,注意seed值要一样 一般的测试结果分析: 1、 ANR问题:在日志中搜索“ANR” 2、 崩溃问题:在日志中搜索“Exception” 二. 详细分析monkey日志: 将执行Monkey生成的log,从手机中导出并打开查看该log;在log的最开始都会显示Monkey执行的seed值、执行次数和测试的包名。 首先我们需要查看Monkey测试中是否出现了ANR或者异常,具体方法如上述。
POC一般来说,会包含以下几个部分:1、为了验证概念所需的技术架构,如Framework、Pattern;2、利用UML语法所建构的概念模型;3、模拟解决方案;4、可被实际执行的解决方案原型(Prototype ); 确保测试周期汇中,都会把代码冻结应用于测试环境; 确保性能测试中,不会受到其他用户的影响(防止对性能测试执行和结果造成影响); 确定所有性能测试的目标,并征求各利益方(整个测试团队和相关人员)的同意 内部性能测试额外关注的点: 团队成员以及汇报制度(建立专门的性能测试团队或有内部测试专家组成的核心团队(大型公司); 最起码要确保您有一位项目经理和足够的性能测试工程师); 准备好性能测试中需要用到的测试工具和资源 第四步:创建性能测试场景 考虑如下几点: 你所做的性能测试属于哪种类型的性能测试: 基准测试、负载测试、渗透测试(疲劳测试)、压力测试(峰值测试)、非性能测试; 设置思考时间和步进时间(压力测试除外), 第六步(后测试阶段):分析测试结果、撰写测试报告和环境恢复 数据收集(收集并备份所有在性能测试项目中生成的数据); 对比项目需求设定的性能目标和测试结果,确定性能测试是否达标(提前确定性能指标的“一致性
通过结合AI与传统测试方法,企业能够更有效地应对复杂的开发环境,从而提高最终产品的质量和用户满意度。一、软件测试软件测试是软件开发中至关重要的一环,主要目标是查找软件中的缺陷(bug),保障软件质量。 ②作用提高速度和效率缺陷预测与分析③AI应用于软件测试的方式AI通过与测试工程师的互动来增强测试过程。通过输入具体的指令(Prompt),工程师可以指导AI生成所需的测试用例、报告或分析。 ④AI赋能软件测试的具体应用需求评审:AI可以帮助分析需求文档,识别潜在的模糊或不一致之处,提高需求的明确性。测试计划编写:AI可以根据项目需求和历史数据生成测试计划,节省时间并提高效率。 测试用例设计:通过自动生成测试用例,AI能够快速覆盖各种场景,尤其是在面对复杂系统时。测试报告生成:AI能够自动整理测试结果,并生成易于理解的报告,帮助团队做出决策。 自动化测试:AI赋能的自动化测试不仅可以执行重复性测试,还能在代码更新时自动调整测试用例,确保持续集成的有效性。业务代码编写:AI能够协助开发人员编写代码,并提供实时的错误调试和注释建议。
测试环境和生产环境不同,该如何做性能测试呢? 3、区别 1)一个线程只能属于一个进程,而一个进程可以有多个线程; 2)线程是进程工作的最小单位; 3)一个进程会分配一个地址空间,进程与进程之间不共享地址空间,即不共享内存; 4)同一个进程下的多个不同线程共享父进程的地址空间 进程的优点 1)每个进程相互独立,不影响主程序的稳定,子进程崩溃不影响其他进程 2)通过增加CPU就可以扩充性能【但损耗也会递增】 3)可以尽量减少线程加锁与解锁的影响,极大的提高了性能 进程的缺点 1 ,最大内存地址受限 2)线程之间的同步和加锁不易控制 3)一个线程的崩溃可能影响到整个程序的稳定性 Linux监控命令 一、实时监控 top:能够实时监控系统的运行状态,并且可以按照CPU及内存等进行排序 二、实时监控 - CPU mpstat:可以查看多核心CPU中每个计算核心的统计数据(前面3个命令不可以)。
前言 大家好,我是洋子,我们在进行接口测试的过程中,常常会遇到缺少测试数据的情况 举个例子(1),比如有一个赠送礼物,然后将送礼用户展示在排行榜的需求,该榜单可以一次性展示100位上榜的用户,我们在测试时就需要模拟这 ,往往需要先去构造测试数据,才能进行正常的测试流程 构造数据方法 根据构造数据量不同,我们有不同的构造数据的策略 构造少量数据 对于上面例子(2)是我们经常碰到的情况。 2, 18, 155, "女", "南京", "7783434", "1654855117", "1654855117" ); 最后用select SQL语句查询一下指定数据,有了测试数据后就可以开始测试了 先介绍一下工程结构 bean目录:存放类 controller目录:入口 dao目录:数据库相关操作 service目录:处理业务逻辑 utils目录:存放工具类 项目使用方法如下: (1)安装Python 3. 以及必要的依赖库,项目当中已经包含requirements.txt,所以在执行pip install -r requirements.txt即可安装依赖库 (2)Pycharm里面启动Flask Web服务 (3)
在这些测试社区和社群中,我遇到了许多关于AI测试的问题,例如什么是AI测试,如何进行AI测试,AI测试有哪些工具与方法等。 然而,当我在网上搜索AI测试相关的书籍时,却发现大量的AI开发相关书籍,却鲜有专门介绍AI测试的书籍。这说明测试业界仍在混沌中不断摸索前进。 AI测试的迷思 在讨论AI测试时,通常存在两种理解: 第一种是利用AI辅助当前的软件测试,例如使用AI系统学习测试分析和测试设计,进而自动生成测试用例并自动化实现这些测试用例。 因此,AI辅助测试仍有很长的路要走。 第三个问题:哪些软件系统能用AI辅助测试? 理论上,任何软件系统都可以使用AI来辅助自动化测试工作。 总结 通过上面对于问题的回答,希望能解决大家对于AI测试的困惑,包括了解什么是AI测试,自己的项目是否适合使用AI测试,以及未来是否需要在AI测试上投资等问题。
第3类:推理性幻觉(Reasoning Hallucination)AI的推理过程出现了跳跃或谬误,导致从正确的前提得出了错误的结论。 策略3:测推理性幻觉——过程导向的链式验证推理性幻觉最难测,因为结论可能恰好碰对,但推理过程是错的;也可能推理过程看似严谨,但藏着一步隐蔽的逻辑跳跃。 (如"美托洛尔"vs"美托洛尔琥珀酸盐")的剂量差异问超出AI应该回答的范围的问题(如"帮我直接开一个处方")——测试AI能否正确识别边界并拒绝第3层:对话一致性集(Consistency Set)设计多轮对话测试树 第3层(统计监控):汇总每类问题的幻觉率,建立时序数据,监控随模型更新的幻觉率变化趋势。测试发现了什么? 这些发现,直接驱动了3个产品决策:一是针对药物剂量类问题,强制添加免责声明并附上权威来源链接,把最终核实责任明确回传给医护人员。
简而言之,您不会像对其他项目进行质量检查那样对AI项目进行质量检查。这是因为对于AI项目而言,我们要测试的内容,测试方式以及测试时间的概念大不相同。 在AI的训练和推理阶段进行测试和质量保证,那些有机器学习模型训练经验的人都知道测试实际上是使AI项目正常工作的核心要素。您不仅可以开发AI算法,还可以将训练数据投入其中。 完成此操作后,您可以返回并使用其他预留测试数据来验证模型是否确实按预期工作。尽管这是测试和验证的所有方面,但它发生在AI项目的训练阶段。这是在AI模型投入运行之前。 这意味着,如果您不是从头开始编写代码,那么就实际代码而言,几乎没有什么要测试的-假设算法已经通过了测试。在AI项目中,假设已按照预期实施了QA,则质量检查将永远不会专注于AI算法本身或代码。 您需要测试将AI模型投入生产的代码-AI系统的操作组件。这可能会在AI模型投入生产之前发生,但是实际上您并没有在测试AI模型。相反,您正在测试使用该模型的系统。
本文主要聊一聊写测试时如何mock第三方json api数据。 在开发时经常会调用第三方API接口,抓取json api data后进行加工处理,那如何写测试呢?如何mock数据呢? andReturn(\GuzzleHttp\json_decode(file_get_contents($file->getRealPath()), true)); } } } 这样执行测试时就实现了读取本地的真实 两个测试的response数据的确来源于本地json文件的数据: ? 其实,就是一句话,写测试时如果调用了第三方 json api 读取数据时,使用Mockery库去mock数据,数据来源于本地文件夹的数据,且是真实有效的数据。至于mock部分的代码想咋写就咋写。
如: C:\ 2)dos界面进入对应的文件路径下 如: C:\iperf-3.1.3-win64> iperf工作模式: 服务器模式 iperf3 -s 客户端模式 jperf3 -c ---- dos 命令测试带宽命令示例 ? 3) C:\iperf-3.1.3-win64>iperf3 -c iperf.he.net -t 60 -i 1 -4 -u -b 1000M -M 1500 -t 时间 单位s -u UDP -b 设置UDP带宽(-b) -M MTU -4 ipv4 -i 报告间隔(-i) -p 设置端口(-p) -W 设置套接字缓冲区大小(-w) 下周一测试我们用客户端模式,HK设置server模式。
3,下列哪两个参数用于计算度量? A 跳数 B 正常运行时间 C 带宽 D 管理距离 4,默认情况下哪种路由协议具有最可信的管理距离? A 2 B 3 C 4 D 6 6,哪一条命令可以显示路由的管理距离?
什么是精准测试精准测试主要解决测试分析以及测试执行两个维度的问题,作为QA团队,变更的输入主要来源两方:一方是来自业务产品侧的业务变更,一方是研发侧的代码变更。 如何在需求/代码变更后快速准确的评估测试范围,高效召回并执行用例,最终通过覆盖率等量化指标评估测试效果是精准测试主要的价值体现。 AI+精准测试能做什么充分发挥LLM在信息理解以及生成方面的能力优势,LLM将原本干枯的系统链路信息,结合技术文档,API文档生成可读性更好的节点信息摘要;将召回的繁杂冗长的用例信息通过LLM进行信息摘要后变的可读性更好 3.用例召回及调度主要基于团队现有的CTC平台能力,平台的一个核心模块是用例管理模块,支持用例导入,以及手工用例和接口以及各类自动化用例的关联。因此通过最外层外部接口列表我们可以获取到各类自动化用例。 IM通知AI+精准测试能力升级LLM基于变更方法,系统链路以及召回用例信息输出测试建议。