回答情况：
提问时间：
问题标签：
0回答
推理成本治理：先上量化还是先上前缀缓存？
缓存、部署、量化、系统、大模型部署
背景：我在给一个 RAG 应用做推理成本治理，实测开启 prompt 前缀缓存后输入成本降了 60% 以上，量化（INT8）也把显存砍了一半。但继续往下优化时遇到两个问题：
1.量化（INT8 权重 + FP8 KV Cache）叠加后的质量归因。评测集上综合掉点约 1.5 个点，但说不清是权重量化还是 KV 量化贡献的。
浏览 6提问于2026-10-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号