KV量化从哪个上下文深度开始明显掉链子？F16对比Q8/Q4的序列一致性实测思路

我其实是从计算机视觉和YOLO部署那块过来的。之前比对FP32参考模型和INT8部署模型时，就琢磨一个挺实用的调试问题：整体指标看着还行，但部署模型和参考模型到底从哪儿开始行为对不上了？

后来我也一直在看这边KV cache量化的讨论。有人做了50K上下文下23种KV精度组合的KLD扫描，回答了“整体差多少”这个问题。我想补一个角度：这个差异是从哪个上下文深度开始持续出现的？

于是弄了个PoC，第一版只改KV cache精度，权重、tokenizer、token序列、后端配置全一样，两边吃同一段前缀。一边F16 KV做参考，一边Q8/Q4 KV做目标，比的是按上下文深度展开的差异，而不是两边自由生成后对答案。

具体记录的有top1一致率、topk重叠、topk分区KL、truth_logprob_delta，还有第一次top1不匹配和明显分歧的上下文长度。我关心的不是哪一个token first flip，而是分歧随深度怎么走：是一直贴着基线、慢慢涨、暂时 spike，还是过某个深度就下不来了。

这东西不替换已有的PPL/KLD评测，也不是说量化误差一定单调涨。我自己机器跑不了长上下文的F16/Q8/Q4验证，所以先当实验性PoC发出来，欢迎有llama.cpp环境的人跑个冒烟测试或真实序列一致性测试，把模型和硬件后端这些贴出来就行。