- 综合排序
- 最热优先
- 最新优先
- 来自专栏Reinvent Data Science
探索 GPTCache｜GPT-4 将开启多模态 AI 时代，GPTCache + Milvus 带来省钱秘籍
本文将深入介绍 GPTCache，并探讨如何使用 GPTCache 与 Milvus 提供更好的多模态场景用户体验。 01. GPTCache 包含以下几个重要组件： LLM 适配器：负责确保 GPTCache 能够与各种大模型无缝协作。 上下文管理器：使系统能够在不同阶段灵活处理各种数据。 GPTCache 架构 以下代码片段展示了如何在 GPTCache 中配置不同模块和初始化缓存。 GPTCache 保留了机器学习中温度参数的概念，在使用 GPTCache 时，可以选择以下 3 个选项来调节温度： a. 如果缓存中没有令人满意的结果，GPTCache 则会调用图像生成模型。随后，模型生成的图像和文本将保存在 GPTCache，从而丰富缓存的数据库。
62520编辑于 2023-08-25 - 来自专栏Reinvent Data Science
GPTCache：LLM 应用必备的【省省省】利器
用 GPTCache。 想提升 LLM 应用性能的同时降低开销？还得用 GPTCache！ GPTCache 的前世今生 如果要追本溯源，GPTCache 的灵感其实来自 OSSChat[2]。 用 GPTCache。想提升 LLM 应用性能的同时降低开销？还得用 GPTCache！ 欢迎大家点击【阅读原文】或复制链接【https://github.com/zilliztech/GPTCache】使用 GPTCache 开源项目！ 同时，如果你对 GPTCache 有任何建议，也欢迎告诉我们或在 GPTCache 贡献代码[5]！
98130编辑于 2023-08-26 - 来自专栏Reinvent Data Science
我决定给 ChatGPT 做个缓存层 >>> Hello GPTCache
这次，我想先讲讲 GPTCache。 01. 由一次午饭时闲聊开始的项目…… 是的，你没看错，GPTCache 的灵感起源是从一次午饭闲聊时开始的。 在展开讲述前，先普及一个背景。 所以，需要专门为 AIGC 应用设计搭建了一种全新的缓存，我们给它命名为——GPTCache。 GPTCache 能干什么？ 有了 GPTCache，用户只需修改几行代码便可缓存 LLM 响应，将 LLM 应用提速 100 多倍。 当然，进行到这里，GPTCache 还只是一个概念。是否真正具备可行性还需要进一步验证。 从零搭建 GPTCache 话不多说，先放一张 GPTCache 的架构图： 为了简化流程，我们最终决定了删除上下文管理器，所以整个 GPTCache 系统共包含五个主要组件： LLM 适配器（LLM 在进一步规划上面，团队正努力在 GPTCache 中接入更多 LLM 模型和向量数据库。此外，GPTCache Bootcamp 也即将发布。
77030编辑于 2023-08-26 - 来自专栏Reinvent Data Science
解码 LangChain ｜ LangChain + GPTCache =兼具低成本与高性能的 LLM
本文为解码 LangChain 系列，将从 GPTCache 的适用场景出发，厘清 GPTCache 和 LangChain 集成的原理，并附赠集成教程。 01. GPTCache 的功能和原理 GPTCache 能做什么？ GPTCache 的推荐场景有哪些？ GPTCache 首先将输入的问题转化为 embedding 向量，随后 GPTCache 会在缓存中进行向量近似搜索。 以下示例中在 LangChain 中集成了 GPTCache，并使用了 GPTCache 进行向量相似性检索。
86030编辑于 2023-08-26 - 来自专栏量子位
修改几行代码就让LLM应用提速100多倍！这个团队两周搭建ChatGPT缓存层，曾被老黄OpenAI点赞
最近，有这样一个项目引发业内关注和讨论——GPTCache（https://github.com/zilliztech/GPTCache）。 有了 GPTCache，用户只需修改几行代码便可缓存 LLM 响应，将 LLM 应用提速100多倍。 当然，进行到这里，GPTCache 还只是一个概念。是否真正具备可行性还需要进一步验证。 从零搭建GPTCache 话不多说，先放一张 GPTCache 的架构图： 为了简化流程，我们最终决定了删除上下文管理器，所以整个 GPTCache 系统共包含五个主要组件： LLM 适配器（LLM GPTCache 支持三种评估函数：精确匹配（exact match）、向量距离（embedding distance）和 ONNX 模型评估。 相似性评估模块对于 GPTCache 同样至关重要。 在进一步规划上面，团队正努力在 GPTCache 中接入更多 LLM 模型和向量数据库。此外，GPTCache Bootcamp 也即将发布。
99210编辑于 2023-05-06 - 来自专栏Reinvent Data Science
解码 LangChain｜用 LangChain 和 Milvus 从零搭建 LLM 应用
为 GPTCache 等 LLM 平台提供语义缓存，优化性能并节省成本。 实现文档知识功能，降低 LLM 应用产生幻觉概率（如：OSSChat）。 如何解决 ChatGPT 的幻觉问题？ 提升 AIGC 应用程序性能：使用 GPTCache 如果想要提升 AIGC 应用性能并节省成本，可以试试 GPTCache。这个创新项目旨在创建语义缓存，以存储 LLM 响应。 具体而言，GPTCache 会缓存 LLM 的响应。在收到问题时，GPTCache 使用向量数据库检索相似的问题并查询此前缓存的响应。这样一来，应用便可快速准确地回答用户。 GPTCache 可有效避免重复问题多次调用 LLM 接口所产生的费用以及需要等待的响应时间，从而提供更快速、更准确的答案，使 AIGC 应用更受用户欢迎。
2K80编辑于 2023-08-25 - 来自专栏Reinvent Data Science
LangChain 联合创始人下场揭秘：如何用 LangChain 和向量数据库搞定语义搜索？
对此，Filip 建议集成 GPTCache 与 LangChain，使用 GPTCache 存储 LLM 生成的问题和答案。 在用户下一次提出类似查询时，GPTCache 会先在缓存中搜索是否是已经问过的重复问题，之后如有必要再执行语义搜索并调用 LLM。这样一来，可以大大节省 LLM 的调用成本。 04.
1.3K30编辑于 2023-08-26 - 来自专栏Reinvent Data Science
Auto-GPT 迈向智能体的第一步——从信息增强和上下文理解开始
目前，已经有针对响应的解决方案出现，例如 GPTCache（点击了解更多）。
83930编辑于 2023-08-26 - 来自专栏Reinvent Data Science
Ask AI 上线！构建企业级的 Chatbot
Zilliz Cloud 官方文档和云产品中集成该功能 探索 LLM 在技术要求更严苛的 Support 场景中的应用，解决包括准确性、数据隐私安全和权限在内的各类问题 利用 Serverless 和 GPTCache
77410编辑于 2024-06-13 - 来自专栏AI科技评论
大模型商用新解法：CVP架构崛起，向量数据库破圈
milvus.io https://github.com/milvus-io/milvus VectorDBBench： https://github.com/zilliztech/VectorDBBench GPTcache ： https://github.com/zilliztech/GPTCache
1.3K10编辑于 2023-09-07 - 来自专栏深度学习与python
大模型应用的 10 种架构模式
对于刚入门的用户，可以选择使用预先构建的服务，如 GPTCache，或者使用常见的缓存数据库，如 Redis、Cassandra、Memcached 来运行自己的服务。
86410编辑于 2024-04-12 - 来自专栏山行AI
基于LangChain的优秀项目资源库
服务 •GPTCache[35]: 一个用于创建LLM查询的语义缓存的库•Gorilla[36]: 一个LLM的API商店•LlamaHub[37]: 由社区制作的LLM数据加载器的库•EVAL[38] https://github.com/homanp/langchain-ui [34] Yeager.ai: https://github.com/yeagerai/yeagerai-agent [35] GPTCache : https://github.com/zilliztech/GPTCache [36] Gorilla: https://github.com/ShishirPatil/gorilla [37] LlamaHub
4K21编辑于 2023-06-26 - 来自专栏喔家ArchiSelf
大模型应用的10种架构模式
对于刚入门的用户，可以选择使用预先构建的服务，如 GPTCache，或者使用常见的缓存数据库，如 Redis、Cassandra、Memcached来运行自己的服务。
5K11编辑于 2024-04-03 - 来自专栏数据派THU
独家 | 生成式AI的设计模式：一份全面的指南
对于入门来说，可以使用GPTCache等预构建的工具，或者利用Redis, Apache Cassandra, Memcached等常用缓存数据库自己构建。
1K10编辑于 2024-04-01 - 来自专栏量子位
给大模型持久记忆！GitHub 2万星向量数据库云服务升级，国内云产品7月上线
比如说，开源项目GPTCache可以将大模型的查询结果缓存至向量数据库，避免重复计算，提高查询效率，这有点像CDN和Redis对网站数据的作用。 6、构建更复杂的AI系统。
62760编辑于 2023-08-05 - 来自专栏Datawhale专栏
LLM 工程师工具箱：120+大模型库全攻略！
Cache Library Description GPTCache A Library for Creating Semantic Cache for LLM Queries.
76300编辑于 2025-04-04 - 来自专栏数据猿
这家ChatGPT概念股年报遭监管关注，如何实现逆风翻盘？
Zilliz 产品生态丰富，致力于构建开源+云的大模型加强方案，其中开源向量数据库 Milvus 扮演着大模型知识库的角色；Towhee 可以为大模型提供编排服务；GPTCache 则为大模型提供缓存；
35230编辑于 2023-09-27 - 来自专栏运维有术
双王联合！DeepSeek + DeepSearcher ，打造搜索 AGI 的最新 RAG 范式！
'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like GPTCache
3.5K20编辑于 2025-02-25 - 来自专栏山行AI
「长文」可能是目前最全的LangChain AI资源库之一
工具包 [52]•Yeager.ai[53]：Yeager.ai Agent是第一个设计用于帮助您轻松构建、原型和部署AI驱动的代理的Langchain Agent创建工具 [54]" 服务[55] •GPTCache 68747470733a2f2f696d672e736869656c64732e696f2f6769746875622f73746172732f79656167657261692f79656167657261692d6167656e743f7374796c653d736f6369616c [55] 服务: https://github.com/kyrolabs/awesome-langchain/blob/main/README.md#services [56] GPTCache : https://github.com/zilliztech/GPTCache [57] : https://camo.githubusercontent.com/00b53511e42ff679259ffae7a508ddc2ccdd07f82c0f56adee16f17f4f6a5033
3.7K50编辑于 2023-09-08 - 来自专栏深度学习与python
将GPT推到企业级应用，我们趟过哪些坑｜对话惟客数据
另外，最近还有一些新的技术比如 GPTCache，通过重复使用的方式去降低这个消耗。 InfoQ：使用“GPT”模型能写出比数据分析师更好的 SQL 吗？
64020编辑于 2023-04-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号