截至2026年，大语言模型（LLM）的推理基础设施已经经历了数次深刻的范式革命。从早期追求单卡吞吐量的算子优化，到 vLLM 提出的 PagedAttentio...

把模型接口接入应用并不复杂，困难的是持续运行后的执行控制：哪些输入值得调用生成模型？工具如何异步执行？外部工具数量增长后，如何控制上下文？历史信息如何保留，又不...

很多团队第一次接触 LLM Gateway，是从一个很小的需求开始的：把散落在各个服务里的模型 API Key 收回来。做着做着就会发现，大模型调用和普通 HT...

很多团队第一次搭 LLM Gateway，会在现有的 API 网关上加一个反向代理，配上限流和鉴权，觉得事情就办完了。上线一个月后问题陆续出现：限流按每分钟请求...

从 Muse、Grok Bot 到 Dots，个人 AI Agent 正在成为新的产品热点。这类个人 AI Agent 需要通过长期记忆积累用户的习惯、偏好和个...

声明：本文是对 Microsoft Research 论文《From Local to Global: A Graph RAG Approach to Quer...

透明声明：这篇讲检索层的工程实现，原理部分不依赖 CoreNote，任何技术栈都能复用；涉及产品配置的地方我会标注来源是官方 README，没写明的地方我会直说...

上周我注意到一个数据。全球开发者最常用的模型调用平台 OpenRouter 上，一个来自中国团队的新模型登上了 Trending 榜首，按 token 使用量排...

你给它一段描述（state），再给它几个问题（questions），它直接还你每个选项的概率分布——全程不生成任何文字。

摘要: AI 应用的最大变动成本是 Token 消耗,但传统 APM 不懂 Token。本文实现 Token 用量统计(CLS 结构化推送)、语义缓存(相似问题...

构建 AI Agent，大语言模型（LLM）是最核心的基础设施。Agent 的推理、工具调用、记忆能力，都依赖底层模型质量。理解 LLM 的内部机制，才能在工程...

Andrej Karpathy 10月11日重提4月观察，称75%人口几乎未接触大型语言模型，而约5000人可访问的内部前沿系统已能让数千智能体协作数周完成软件...

传统开发的内容越来越少，现在基本都是全栈，本来想连产品和设计都通过ai来实现的,但是原型和设计稿的效果一直不好，还是需要设计同学把握审美（需要基础）。现在出一些...

办公 IM 是 LLM 落地最被低估的一环——它同时提供了天然的组织上下文（谁、和谁聊天、在哪个群、在讨论什么）和唯一的执行出口（发消息、建日程、写文档、发起会...

【局限性】当前模型刚更新出来，官方限制并发为1，超过直接就被拒绝了。然后模型返回cluade的问题官方说是估计做了模型混淆的结果。