用户12531518
256K 与 16K 的解码成本相差 3.6 到 7 倍:KV Cache 成本结构与上下文压缩实测
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
用户12531518
社区首页
>
专栏
>
256K 与 16K 的解码成本相差 3.6 到 7 倍:KV Cache 成本结构与上下文压缩实测
256K 与 16K 的解码成本相差 3.6 到 7 倍:KV Cache 成本结构与上下文压缩实测
用户12531518
关注
修改于 2026-11-13 10:47:55
修改于 2026-11-13 10:47:55
69
0
举报
概述
11 月 9 日,谷歌开源了 TPU Sync,一个面向 TPU 集群的 KV Cache 传输与分层库,官方称在特定测试条件下,KV 传输延迟降低超过 90%。11 月 3 日提交至 arXiv 的论文《You don't need long context》则测得,在三个开源模型上,服务 256K 上下文相比 16K,每生成一个 Token 的成本高出 3.6 到 7 倍。11 月 10 日的
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
agent
目录
一、成本为何随上下文增长
二、一个可复算的例子
三、论文的做法与结果
四、压缩器的实现骨架
五、系统侧:让大上下文更便宜
六、局限与不确定性
七、上线前核对
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档