首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >同一提交重复跑 N 次识别 flaky 用例时,N 取多少、以及「跨环境差异」该怎么和真正的不稳定区分开?

问同一提交重复跑 N 次识别 flaky 用例时,N 取多少、以及「跨环境差异」该怎么和真正的不稳定区分开?

提问于 2026-11-21 11:42:19
回答 1关注 0查看 10

我们在给 CI 做 flaky 用例识别,做法是关掉自动重试、`pytest --junitxml` 对同一个 commit 重复跑 N 次,再用 Python 标准库把每次的 `<testcase>` 压成 `test_id -> pass/fail`,既出现过 pass 又出现过 fail 就记为 flaky,全 fail 记为 always_fail 单独走缺陷单。目前卡在三个取舍上,想请教有落地经验的同学: 1. **N 取多少才够**。N 太小,偶发一次失败就把稳定用例误判成 flaky;N 太大,全套用例重复跑的成本扛不住。是固定 N=10,还是按用例历史失败率先分层、只给「可疑」用例加跑?分层的话,第一轮的判据用什么? 2. **怎么把环境漂移和用例自身的不稳定分开**。我们已经在采集时写了 `run_meta.json` 比对 `commit` 与镜像,但同一镜像下仍可能有共享数据库残留、外部服务抖动、并发度不同。这类「整批一起红」和「单个用例忽红忽绿」在报表上都是 fail,有没有比较实用的信号能区分(比如看该次运行里失败用例的占比、或看失败是否集中在同一个 `classname`)? 3. **隔离清单怎么避免变成永久欠账**。我打算给每条加 `owner`、`repro`、`expires_at`,到期未处理就让定时任务失败。但「隔离用例不阻塞发布」这条一旦开了口子,很容易被当成默认豁免。有没有更硬的约束,比如要求隔离期间仍要在旁路跑并保留失败样本? 一个最小情境(演示用占位值,非真实测量): ```json {"run": "run_1.xml", "commit": "DEMO_SHA", "test_id": "tests.test_billing::test_rounding[param=1]", "status": "pass"} {"run": "run_2.xml", "commit": "DEMO_SHA", "test_id": "tests.test_billing::test_rounding[param=1]", "status": "fail"} {"run": "run_3.xml", "commit": "DEMO_SHA", "test_id": "tests.test_billing::test_rounding[param=1]", "status": "pass"} ``` 像这种 3 次里 1 次 fail 的情况,各位是按 flaky 收进清单,还是先加跑到 N 次再判?如果加跑,加跑结果要不要和前 3 次一起算 `flip_rate`,还是只作确认、不进统计?谢谢。

回答

和开发者交流更多问题细节吧,去 写回答
相关文章

相似问题

相关问答用户
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档