首页
学习
活动
专区
圈层
工具
发布

#缓存

缓存就是数据交换的缓冲区(称作Cache),当某一硬件要读取数据时,会首先从缓存中查找需要的数据,如果找到了则直接执行,找不到的话则从内存中找。缓存的作用是帮助硬件更快地运行。

基于 Skills 的缺陷定位与根因分析体系

AI智享空间

不是那种一眼能看出来的 NPE(空指针异常),不是那种日志里清清楚楚写着“数据库连接失败”的错误。而是那种:系统运行正常,日志没有报错,监控指标平稳,但用户就是...

300

Claude Code 的工具延迟加载机制

CandyTong

腾讯 | 前端开发 (已认证)

模型的 prompt cache 以 system prompt 的前缀匹配为基础。如果工具列表在两次请求之间发生变化——比如 MCP 服务器重连后工具数量变了...

700

2026年了,后端程序员还有必要死磕八股文吗?

王中阳AI编程

面试官问:"Redis 缓存击穿你怎么处理?" 小伙伴张口就来:"互斥锁、布隆过滤器、永不过期……"

300

综合实战:构建功能完备的 AI IDE 能力层

安全风信子

作者: HOS(安全风信子) 日期: 2026-05-24 主要来源平台: GitHub 摘要: 本篇文章是第三卷的综合实战章节,旨在将前29篇文章中构建...

6200

Cache System:多级缓存与缓存一致性

安全风信子

作者: HOS(安全风信子) 日期: 2026-05-25 主要来源平台: GitHub 摘要: 缓存是AI IDE性能优化的关键基础设施。从Token缓...

8010

【DeepSeek 实战】降本增效:DeepSeek V4 推理成本控制与生产环境监控

行者全栈架构师

随着 DeepSeek V4 在企业内部的广泛应用,API 调用量呈指数级增长。如何在保证服务质量的同时控制成本,成为每个技术团队必须面对的课题。

11210

缓存技术:从CPU Cache到AI KV Cache (四)Web缓存

霞姐聊IT

Web缓存体系形成了多层协作结构:浏览器缓存→ 反向代理缓存 → CDN → P2P 。每层缓存利用不同局部性原理:

9110

【万字长文】LLM 缓存这笔账,藏着多少猫腻?

用户1127067

关键是它有没有把普通输入、缓存写入、缓存读取分开。只返回一个总 input token,这条链路就少了一半信息——可能真没缓存,也可能缓存了没透传,光看总 to...

13010

ollama v0.30.2 正式发布:自动安装 Cline CLI、Radeon 核显兼容、缓存 Token 统计、llama.cpp 升级完整实测文档

福大大架构师每日一题

Ollama v0.30.2于2026年6月3日正式上线,本次版本累计提交15次代码变更,修改38个代码文件,包含安全漏洞修复、llama.cpp内核版本升级、...

43720

PDF预览分片

IT小马哥

人民教育出版社 | Java开发工程师 (已认证)

PDF.js 是一个非常强大的 JavaScript 库,用于在网页中渲染 PDF 文档。它的分片加载(或称为流式加载)是其性能优化的一部分,允许在需要时按需加...

9610

缓存技术:从CPU Cache到AI KV Cache (三)数据库缓存

霞姐聊IT

本质上,数据库缓存并不是单纯缓存“数据”,而是在缓存SQL执行链路上最昂贵的中间结果。

11410

快被KV Cache搞破产了

乐小野

石化盈科信息技术有限责任公司 | 算法工程师 (已认证)

他把手机推过来,给我看监控面板:40%的A100显存被一个叫KV Cache的东西吃掉了。而且用户越多,对话越长,它吃得越狠。

13510

【AI内参】SciMaster:突破 20 万 Token 瓶颈,ML-Master 2.0 开启“长程自主科学”新纪元

乐小野

石化盈科信息技术有限责任公司 | 算法工程师 (已认证)

ML-Master 2.0 舍弃了 1.0 版本中侧重于并行搜索引导的“自适应内存”,转而引入了受计算机多级缓存系统启发、更具生物学深度的“分层认知缓存(HCC...

10610

Claude Code 每次调用 API 时,上下文是怎么"拼"出来的?

CandyTong

腾讯 | 前端开发 (已认证)

有一个关键约束贯穿整个设计:System Prompt 和 Tools 是缓存敏感的前缀层,Messages 才是持续增长的动态层。模型 API 会尽量复用稳定...

15720

缓存技术:从CPU Cache到AI KV Cache (二)Linux内核Cache

霞姐聊IT

上一节介绍了CPU 与内存之间的速度差及其解决方案,本节我们关注内存与磁盘之间的速度差,以及操作系统和数据库等软件如何通过缓存机制缓解这一瓶颈。

9910

TCIceberg 实时入湖:百万级/秒背后的六大技术

腾讯QQ大数据

Alluxio 本地缓存 + 亲和性调度。对象存储(COS)的顺序读性能不错,但随机读、小文件读延迟较高。DLC 在 Serverless Spark 集群上部...

12810

腾讯TAPD x CNB:基于云原生与AI驱动的下一代研发效能与降本增效体系

gawain2048

腾讯科技(深圳)有限公司 | 市场研究 (已认证)

本文介绍了腾讯TAPD联合CNB推出的基于云原生与AI驱动的下一代研发效能体系。针对企业在规模化研发中面临的管理黑盒、大仓性能瓶颈及并发构建冲突等痛点,该方案通...

17610

腾讯云Redis缓存服务的性能与可用性优化技术解析

IT前沿资讯站

腾讯科技(深圳)有限公司 | 数据分析 (已认证)

腾讯云Redis是一种完全托管的分布式缓存服务,基于开源Redis协议构建。其核心差异化卖点在于:通过可扩展的集群架构和智能的Proxy层,实现了对业务透明的高...

5310

TokenHub 已上架的国产旗舰:混元 Hy3 preview、DeepSeek-V4、GLM-5.1、Kimi-K2.6、MiniMax-M2.7

gavin1024

摘要: 腾讯云 TokenHub 已经把国产开源旗舰阵营里讨论度最高的几款模型集中上架到同一个平台:混元 Hy3 preview、DeepSeek-V4-Pro...

34510

Elasticsearch Serverless 如何将向量搜索吞吐量提升一倍

点火三周

从向量搜索到强大的 REST API,Elasticsearch 为开发者提供了最全面的搜索工具集。您可以查阅 Elasticsearch Labs 代码库 中...

10110
领券