首页
学习
活动
专区
圈层
工具
发布

#压缩

LLM API调用的四个真相,帮你省一半算力成本

用户12493922

700

一行命令砍掉92%的token,GitHub万星Headroom凭什么

乐小野

石化盈科信息技术有限责任公司 | 算法工程师 (已认证)

第三,与模型的协同问题。Headroom的压缩是对模型透明的,模型并不知道自己看到的是压缩版本。如果未来模型本身内置了context压缩能力(比如Claude已...

6510

压缩 128 倍之后:BrainJanus 如何用离散 token 统一脑、视觉与语言

唐国梁Tommy

压缩过程不只是降维,论文的消融实验显示它同时还起到了滤波作用,能过滤掉高频噪声;但编码本再往大调(超过128 到256)收益就很有限了——压缩率越低固然重建越准...

6900

如何用 120 行提示词让 AI 写少一半的代码——ponytail

深蓝studyzy

LLM 的训练数据里充斥着教程、博客、开源项目。这些代码的共同特征是完整——类要有构造函数,方法要有错误处理,模块要有清晰的接口边界。说实话,这不是坏代码。但这...

16310

抢走岗位之前,AI先终结了按小时收费

随机比特

腾讯 | 高级前端工程师 (已认证)

律师、咨询师、会计师、审计师以及大量专业服务从业者,长期依赖一个隐含前提:时间可以近似代表价值。项目耗时越长,收费越高;投入人天越多,交付越有分量。AI 正在削...

10010

使用 Bandizip 处理开发中 5 个常见的压缩包问题

PC电脑医生

开发工作中经常遇到各种压缩包相关的问题:从 GitHub 下载的源码包解压后文件名乱码、CI/CD 流水线产出的构建包在不同系统间传输后损坏、大体积依赖包的压缩...

9510

Hermes Agent实战避坑:高效用本地AI Agent,这些坑别踩!

胖头鱼的鱼缸

Hermes Agent内置了很多命令,覆盖新建会话、命名、上下文压缩、会话复用等核心功能,输入/commands即可查看全部命令,/commands N可翻页...

12410

AI正在终结传统ERP?麦肯锡最新报告揭示五大颠覆路径

heidsoft

麦肯锡明确指出:AI智能体可将ERP实施工作量降低至少50%,将实施周期缩短50%。这是ERP史上最大的一次经济模型重构。

12810

模型量化算法详解:从 PTQ 到 AWQ 的大模型压缩实战指南

heidsoft

随着 GPT、LLaMA、DeepSeek 等大语言模型的兴起,模型规模呈指数级增长:

16710

上下文腐烂 - 单次对话

用户11705094

这种现象的数学本质是,位置偏置把权重抬到两端,softmax把差距指数放大,有限容量让中间首先被压缩掉。

10100

谁吃到了 AI 红利?

用户11705094

AI 的优势在于压缩中间层和实现快速闭环,而传统企业组织则依赖层级、分工与权力链条。

7410

如何打造现象级 Agentic 产品,深度剖析小龙虾成功之道

用户12057812

它让记忆随着时间逐渐压缩。最近发生的事情会被完整保留,而几天之前的内容则会被自动整理和归纳,再往前的记录则会变得更加模糊。

12200

不只是平均池化:EvoPool 如何把同源序列“压缩”进蛋白语言模型表示?

Tom2Code

蛋白质语言模型(Protein Language Models, PLMs)通常会把一条氨基酸序列编码成一串 residue-level embeddings:

14610

打破固有范式?CubeAttn‑X实现最高83%内存节约,LRR提升45%

山野大叔

原因:交替排列让两种层形成"压缩—检索—压缩—检索"的循环——每个 CubeAttn 层接收到 Softmax 精炼过的位置信息再压缩,每个 Softmax 层...

11010

换哪个数据库,我还能省100万,创造业绩

AustinDatabases

《告别迁移焦虑:OceanBase MySQL 模式能否兼容 DBA 的“祖传”运维 SQL?》

10710

惊人 82.8% 压缩率!Webman Phar 启用 Gzip 后仅 1MB

Tinywan

实际测试中,无压缩 Phar 可能达 30-40MB,启用 Gzip 后可压缩至 7-10MB(压缩率约 70-80%),具体取决于项目中代码与资源比例(纯代码...

12100

从 io.Reader 到 io.WriterTo:Go I/O 抽象为什么这么耐用

技术圈

Go 标准库里有些接口小到近乎朴素,io.Reader 就是典型代表。它只有一个 Read 方法,却贯穿文件、网络、压缩、加密、HTTP 请求体、命令行管道和内...

8400

Headroom:Netflix 工程师开源的上下文压缩工具,省 token 还是烧 token?

用户11563501

Headroom 把自己定位成"AI Agent 的上下文压缩层"。在 Agent 把数据发给 LLM 之前,它先拦截下来,做一轮智能压缩。

25810

你的 Agent 刚帮用户烧了 38 美元,就为了跑一个查询

HELLO程序员

GSK(中国) | 全栈架构师 (已认证)

倒不是因为它处理了什么惊世骇俗的复杂逻辑,而是因为它把同一份文件连续总结了 47 次。它发现活儿已经干完了,然后……决定再干一遍。没崩溃,没报警,只有一个不停旋...

11610

大模型终于能读千页文档了!DeepSeek-OCR 用 1 招压缩 10 倍,准确率还能 97%

HELLO程序员

GSK(中国) | 全栈架构师 (已认证)

“给大模型喂一份 1000 页的财报,它要么‘内存爆炸’,要么切片段后逻辑全乱 —— 这难题终于被破解了!” 近期 DeepSeek 发布的 DeepSeek-...

12910
领券