温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:02
账单比上月多了400块,查到最后是同一个请求被重试了17次,而且每一次都返回成功。没有报错,没有五叉叉,没有超时告警,服务端每一次都老老实实处理完,返回200记一自费,只有我们这边的调用方以为他失败了。一个很好用的30秒定位法,看系统代理开没开,看进程实际读到的代理,再用corl打同一个地址,如果cor秒回P3卡死,基本就锁定是代理盒TLS握手那一层。抓出来的程序占顶,卡在传输层安全握手的轮巡上,无超时地阻塞,代码里写的超时等于30秒,对握手阶段根本不生效,请求其时发出去了,本地却判定超时,重试框架再发一次,服务端又处理又计费。
01:08
后来补了三层,校验请求层,每次请求生成稳定的请求编号,重试也带同一个编号,服务端按他做密等,计量层按发出的唯一编号记账,不按收到几个200对账层每天把本地日志和平台账单按编号拉平一次,核心式分子分母必须同源。阿姨系统里最贵的故障不是崩了,是安静递错了。我把它写成一条规矩,凡是阿姨自动生成、自动执行、自动计费的链路,都要有一个不依赖他自己输出的校验点,自己证明不了自己。
我来说两句