- 综合排序
- 最热优先
- 最新优先
- 来自专栏xiaosen
检索增强生成（RAG）
检索增强生成（Retrieval-Augmented Generation, RAG）是一种结合了检索机制和生成模型的先进技术，旨在提高自然语言处理系统的准确性和上下文相关性。 本文将详细介绍如何从零开始构建一个RAG系统，包括数据处理、检索、生成以及部署等各个环节。 RAG系统的核心组件 一个完整的RAG系统通常由以下几个核心组件构成： 索引管道：负责数据的摄取和预处理，创建向量嵌入，并将其存储在快速访问的向量数据库中。 构建RAG系统的步骤 1. 数据摄取与预处理 在构建RAG系统之前，需要准备好用于训练和检索的数据。 向量嵌入生成 向量嵌入是RAG系统的基础，它将文本数据转换为数值表示，使得计算机能够理解其语义。
1.3K10编辑于 2025-01-03 - 来自专栏大数据杂货铺
使用检索增强生成 （RAG） 增强 SQL 代理
在本文中，我们将探讨如何通过合并高级分析功能来增强 SQL 代理的功能。想象一下，代理不仅能够提供基本的统计数字，例如客户支付的平均金额，而且还能够提供更高级和更有趣的见解。 检索增强生成 （RAG） 为了便于您的代理了解如何使用这些功能，我建议采用一种称为检索增强生成 （RAG） 的技术。 此方法有助于根据查询查找相关说明。 让我们构建 RAG 要创建 RAG 系统，首先要准备文档。将这些文档转换为向量并将它们保存在向量数据库中，我们将其称为向量数据库。 此外，我们还讨论了创建一个 RAG 来检索相关的语法指令信息。现在，让我们探讨如何无缝集成这两个组件。 RAG 作为工具 在这篇博客中，我详细介绍了 如何利用SQL 代理与数据库交互等工具。 代理结果 结论 通过将 SQL 代理与 RAG 相结合，我们将 LLM 模型的强大功能提升到一个新的水平。此方法允许创建另一个 RAG，使您的代理能够根据结构化数据和文本数据回答问题。
1.1K10编辑于 2024-04-02 - 来自专栏人工智能
检索增强生成（RAG）技术详解
检索增强生成（Retrieval-Augmented Generation，RAG）通过将外部知识检索与生成相结合，有效解决了这些问题。 RAG技术概述 什么是RAG RAG是一种结合信息检索和文本生成的AI架构，工作流程如下： 用户查询 → 检索相关文档 → 生成增强回答 → 返回结果 ↓ ────────────────┐ │ │ │ LLM生成模块 │ │ │ │ 查询 + 检索文档 → 增强提示 # RAG检索增强生成实践代码 import torch import numpy as np from typing import List, Dict, Optional, Tuple import print(f"\n生成的增强提示：") print(result['prompt'][:300] + "...
1K10编辑于 2026-01-21 - 来自专栏机器学习
介绍 RAG（检索增强生成）
RAG 的基本原理RAG 模型的工作流程可以分为以下几个步骤：检索：从一个大型知识库或文档集合中检索与输入查询相关的文档或段落。 RAG 的应用场景RAG 模型在多个领域有广泛的应用，包括但不限于：开放域问答：在回答开放性问题时，RAG 可以从大量文档中检索相关信息，生成更准确和详尽的回答。 信息检索增强：在需要综合多个信息源的任务中，RAG 可以提供更全面的回答或内容。RAG 的优势上下文丰富：通过检索相关信息，RAG 可以生成更符合上下文的回答或内容。 print(response)总结RAG（检索增强生成）通过将检索和生成相结合，能够在需要丰富背景信息的任务中表现出色。 它不仅在开放域问答和对话系统中具有很大的应用潜力，还可以用于文档摘要和信息检索增强等任务。通过适当的数据准备、检索模型训练、生成模型训练和模型融合，可以构建出一个强大的 RAG 系统。
2.4K00编辑于 2024-07-29 - 来自专栏AIGC
【AIGC】检索增强技术深度剖析（RAG）
在这种情况下，检索增强生成 （RAG） 开辟了新的视角。RAG 允许将 AI 模型与公司的特定内部数据集成，不仅可以进行处理，还可以对这些知识进行智能解释和利用。在本文中，我们将探讨如何实现这一点。 一、检索增强定义RAG 是一种技术，它允许通过从大型文档数据库中实时检索信息来扩展预训练语言模型的知识。 二、深度使用检索增强想更深入地了解这个简单的例子吗？ 这是它的样子：在这种情况下，检索增强生成 （RAG） 就派上用场了。我们可以通过向提示添加上下文信息来简单地扩展机器学习模型的知识。从理论上讲，它如下所示：从理论上讲，它会起作用。 小节本节我们学习了检索增强，我们知道了什么是检索增强，我们为什么需要检索增强以及检索增强构建思路，后面章节我们会专门整理出来检索增强服务的构建过程，大家敬请期待吧。
1.1K10编辑于 2024-05-11 - 来自专栏云云众生s
评估检索增强生成（RAG）：TruLens + Milvus
越来越多地，向量搜索已成为生成式 AI 在问答应用中的关键企业用例，即所谓的“检索增强生成（retrieval augmented generation）”或RAG。 构建 RAG 在构建高效的 RAG 式 LLM 应用程序时，有许多配置选择可供优化，这些选择可以显着影响检索质量。 具体案例 如前所述，我们的 RAG 许多配置选择可能对幻想有重大影响。为说明这点，我们基于少量城市维基百科文章构建问答 RAG 应用。LlamaIndex 作为该应用的框架。 过程中，我们构建一系列具有不同配置的 RAG，评估每个并选择最佳配置。 如前所述，我们将配置空间限制在 RAG 一些重要选择上。 用TruLens和Milvus构建更好的RAG 本文中，我们学习使用各种配置和参数(包括索引类型、嵌入模型、前 k 个和块大小)构建 RAG。
91310编辑于 2024-03-28 SpringAI 全栈开发 + RAG 检索增强实战
1.2 RAG检索增强生成底层逻辑 RAG（Retrieval Augmented Generation，检索增强生成）是解决大模型幻觉、知识滞后、私有数据安全接入三大核心痛点的最优方案，其核心逻辑是在大模型生成回答前 RAG全流程分为两大核心阶段，对应的流程图如下： 这里必须明确区分RAG与大模型微调（Fine-tuning）的核心差异，避免开发者选型错误： 特性 RAG检索增强生成 大模型微调 核心能力 实时接入私有数据 需将训练数据传入大模型，存在数据泄露风险 开发成本 极低，小时级可落地 极高，需要大量标注数据与算力资源 适用场景 企业知识库、智能客服、文档问答、私有数据查询 特定领域的生成风格优化、垂类任务能力增强 实战项目接口文档") .description("企业级AI应用开发与RAG检索增强系统接口文档") .version 4.4 智能检索与RAG问答实现 智能检索是RAG的核心环节，核心是将用户的问题向量化，然后从向量数据库中检索出语义最相似的文本块，作为上下文提供给大模型，实现基于私有知识库的精准问答。
6610编辑于 2026-04-14- 来自专栏人工智能
LLM的检索增强--SELF-RAG
通常人们会使用RAG来解决大模型的幻觉问题，检索增强生成（RAG）是一种通过检索相关知识来增强 LLMs 输入的方法，可以减少这类问题。 框架，旨在通过自我反思和检索增强来提高语言模型的生成质量和事实准确性。 本文将深入探讨SELF-RAG框架的工作原理及其优势。什么是SELF-RAG？ SELF-RAG如何工作？ **增强多功能性**：SELF-RAG不会损害语言模型的多功能性，它能够根据任务需求灵活地调整检索和生成策略。
52810编辑于 2024-11-25 【RAG】检索增强生成的评估·综述
相关工作的文章和代码汇总在：Awesome RAG Evaluation 摘要 RAG（Retrieval-Augmented Generation，检索增强生成）由于其复杂的结构性和对检索知识库的依赖 为了更好地理解这些挑战和标准化RAG评估体系，我们提出了A RAG Unified Evaluation Process of RAG （Auepora）。 最后基于当前基准测试的局限性，指出了RAG基准测试领域发展的潜在方向，为接下来的RAG评测标准提供参考。 of RAG（Auepora）来应对上述挑战并整理最近的RAG评估框架。 为了全面评估整个RAG系统的性能，需要有多样化和特定于RAG的基准测试。
1.9K51编辑于 2024-07-19- 来自专栏AIGC
【RAG】六步学习检索增强（RAG）,打造你的私域助理
到目前为止，大多数技术人员都听说过 RAG - Retrieval Augmented Generation。简单来说，RAG 只是一种将文档或某些知识源链接到 AI 模型的方法。 即使您对成为 AI 专家不感兴趣，了解 RAG 的所有部分的工作原理也肯定会为您提供良好的服务，因为许多公司将整合这些工作流程。 第四步：RAG with text query(通过检索增强查询文本)我们需要在带有嵌入的库中获取某种形式的知识，并将这些碎片与模型组合在一起。 了解如何将正确的 RAG 策略与深思熟虑的检索和查询策略结合使用正确的模型来完成工作。第五步：RAG with Semantic Query（通过检索增强进行语义查询）现在，您可以开始语义搜索了。 第六步：RAG with Multi-Step, Hybrid Query（通过检索增强进行多步混合查询）并学习如何在笔记本电脑上使用 Hugging Face 中的量化 DRAGON-YI-6b-GGUF
54510编辑于 2024-05-01 - 来自专栏JadePeng的技术博客
知识图谱增强的KG-RAG框架
昨天我们聊到KG在RAG中如何发挥作用，今天我们来看一个具体的例子。 我们找到一篇论文： https://arxiv.org/abs/2311.17330 ，论文的研究人员开发了一种名为知识图谱增强的提示生成（KG-RAG）框架（https://github.com/BaranziniLab KG-RAG框架介绍 KG-RAG框架，较好的结合了生物医学知识图谱SPOKE和LLM的优势。 实体识别 区别于用小模型去做NER，KG-RAG里使用LLM识别实体。 1. KG-RAG 在应用中落地思考 KG-RAG 给出了如何结合KG来做RAG的一个有效方案，但这里再工业场景中落地，还有很多是我们细致去思考的。
2.4K10编辑于 2024-04-12 从 0 到 1 构建 RAG 检索增强系统
检索增强生成（RAG，Retrieval-AugmentedGeneration）成为连接大模型与外部知识的重要方式。 本文从0到1系统讲解RAG的核心原理、系统结构及落地步骤，帮助读者构建一个可用、可扩展的RAG检索增强系统，为智能体和企业级AI应用提供可靠基础。 目录一、什么是RAG二、为什么需要RAG三、RAG系统核心架构四、从0到1搭建RAG系统五、一个典型RAG流程示例六、常见问题与优化经验七、总结一、什么是RAGRAG（检索增强生成）是一种将信息检索与文本生成结合的技术框架 RAG可以：接入内部知识库保障数据安全提供定制化答案3.降低幻觉风险当模型基于真实检索内容回答时：胡编概率显著下降可追溯性增强结果更可信4.成本可控相比微调大模型：RAG成本更低维护更简单迭代更灵活因此 三、RAG系统核心架构一个标准RAG系统通常包含以下模块。1.文档处理模块负责数据准备：文档清洗分段切分去噪处理高质量数据是RAG效果的基础。
61710编辑于 2026-02-02检索增强生成（RAG）的版权新关注
技术层面，这被称为“检索增强生成”（Retrieval-Augmented Generation，简称RAG），本质上是“语言生成模型” 与“信息检索技术”的整合。 欧盟知识产权局（EUIPO）2025年5月发布的《从版权视角看生成式人工智能的发展》指出，RAG在动态检索场景下通常仅临时保存内容，这更接近于文本与数据挖掘例外或临时复制的例外。 七、“检索增强生成”涉及“合理使用”之争首先，在“数据检索收集”阶段，是否构成版权法上“合理使用”的责任豁免，因数据来源不同而存在差异。一方面，使用盗版内容构建RAG知识库原则上难以构成合理使用。 15但欧洲议会2025年7月发布的《生成式人工智能与版权：训练、创作及监管》报告则表示，即使未发生长期存储，但如果摘要内容实质替代了对受保护作品的访问，RAG系统仍可能引发侵权问题。 原告指出：“在输入阶段，Perplexity AI未经许可大量复制原告的受版权保护作品，将其纳入其检索增强生成（RAG）索引，这构成了版权大规模侵权，甚至不构成任何可辩称的合理使用。
47400编辑于 2025-08-14- 来自专栏muller的测试分享
人工智能|RAG 检索增强生成
而 RAG（Retrieval-Augmented Generation），通过将检索模型和生成模型（LLM）结合在一起，即可提高了生成内容的相关性和质量。 RAG 的优点外部知识的利用。 RAG 的应用场景RAG 技术的主要应用场景为：问答系统（QA Systems）：RAG 可以用于构建强大的问答系统，能够回答用户提出的各种问题。 RAG 检索增强的原理从上图可能很多同学非常好奇，大模型是如何与“外挂”数据库进行交互的。不是说大模型不能联网吗？其实大模型和数据库的交互，也是通过提示词完成的。 如下这张图便是 RAG 的完整过程：RAG 实践应用LangChain 包括 ChatGPT 的官方 assistant 的 Retrieval 其实都利用了 RAG 的原理。 相关资料RAG 官方文档说明总结理解什么是 RAG 检索增强。理解 RAG 检索增强应用场景。了解 RAG 检索增强有哪些相关的使用方法。
66910编辑于 2024-07-24 - 来自专栏数据STUDIO
增强RAG：选择最佳的嵌入和重排模型
在构建检索增强生成（RAG）管道时，关键组件之一是检索器。我们有多种嵌入模型可供选择，包括 OpenAI、CohereAI 和开源的sentence transformers。 Voyage：具有强大的初始性能，通过 CohereRerank 进一步增强（命中率0.91573，MRR 0.851217），表明对重排有很高的响应性。 CohereRerank：在所有嵌入模型中一致性地增强了性能，通常提供了最佳或接近最佳的结果。 重排器的必要性 数据清楚地表明了重排器在优化搜索结果中的重要性。 结论 在这篇博客文章中，我们展示了如何使用不同的嵌入模型和重排器来评估和增强检索器的性能。以下是我们的最终结论。 作者：Ravi Theja 编译：ronghuaiyang 英文原文：https://www.llamaindex.ai/blog/boosting-rag-picking-the-best-embedding-reranker-models
1.9K10编辑于 2024-07-24 - 来自专栏云云众生s
使用RAG和SEM-RAG提供上下文增强AI编码助手
这种方法称为 检索增强生成 (RAG)，已成为聊天机器人、AI 助手和成功服务于企业用例的代理的关键组成部分。 当 LLM 收到增强提示和上下文时，它会生成与上下文中已有的代码对齐的代码片段。 将 RAG 应用于编码助手可以提高 LLM 生成的代码的性能、准确性和可接受性。 这种演变能力使 RAG 成为动态开发环境中非常强大的工具。 使用语义记忆增强 RAG 语义检索增强生成 (SEM-RAG) 是 RAG 技术的高级迭代，旨在扩展 RAG 的准确性和语境化。 它通过使用语义记忆而不是向量搜索来增强编码助手，从而将语义理解集成到检索过程中。 与主要依赖向量空间模型来检索相关代码片段的传统 RAG 不同，SEM-RAG 采用了一种更细致的语义索引方法。 利用人工智能增强代码质量和开发人员生产力 选择通过 RAG 和 SEM-RAG 等高级技术融入上下文感知的人工智能编码助手，标志着软件开发工具演变中的变革性一步。
56610编辑于 2024-05-15 - 来自专栏NLP/KG
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成 由于 RAG 的整体思路是首先将文本切分成不同的组块，然后存储到向量数据库中。 2.RAG 架构优化 2.1 Vector+KG RAG 经典的 RAG 架构中，context 增强只用到了向量数据库。这种方法有一些缺点，比如无法获取长程关联知识 [3]、信息密度低。 LangChain 官网提供了一个通过 Graph 对 RAG 应用进行增强的 DevOps 的例子，感兴趣的读者可以详细研究 [5]。 2.2 Self-RAG 经典的 RAG 架构中（包括 KG 进行上下文增强），对召回的上下文无差别地与 query 进行合并，然后访问大模型输出应答。 而图 1 右侧的 Self-RAG 可有效解决 RAG 中存在的无差别检索上下文的问题。他的大致原理如下： 预测 prompt 是否需要上下文来增强文本生成结果。
5.2K45编辑于 2024-01-10 - 来自专栏人工智能
RAG 技术合集：检索增强生成的实践指南
RAG 技术合集：检索增强生成的实践指南—— 从 BM25 到 Learned Retriever，用 400 行代码跑通「开源模型 + 私有数据」端到端场景00 为什么又是 RAG？ RAG（Retrieval-Augmented Generation）把“闭卷考试”变成“开卷带小抄”——先检索后生成，既不改权重，也能把私域知识塞进 7 B 模型，效果常追平甚至反超 60 B。 本文用一份代码仓库（文末链接）串联 BM25、Dense、ColBERT、Rerank、FLARE 五类范式，帮你画出一条“能跑、能测、能上线”的 RAG 成长曲线。 07 范式 5：迭代式检索 FLARE——当模型自己决定“再查一次”传统 RAG 一次取回 5 段即生成，若答案需跨段落推理，仍可能遗漏。 09 生产部署：FastAPI + Ray Serve 一键起服务@app.post("/rag")def rag_endpoint(req: Query): candidates = colbert_search
62210编辑于 2025-09-28 检索增强生成机理探寻：为什么要RAG？
检索增强生成机理探寻：为什么要RAG？本文是关于RAG的第三篇文章，前两篇可从作者主页进去。 RAG系列文章的核心观点来自于“灯塔书”《知识增强大模型》第4章《检索增强生成》的内容，这些内容是对书中内容进行补充和概览。 关于为什么要使用RAG，在“灯塔书”《知识增强大模型》详细比较了RAG、SFT、LoRA和长上下文的各自优劣，并以“锂电池供应链管理”的案例作为例子来说明。本文是对其的一点总结和补充。 此外，来源标注或引用功能增强了AI输出的透明度（见下一节），允许用户追溯信息的来源并验证其准确性，这对于在各个领域建立和维持对AI系统的信任至关重要。 RAG通过使用户能够将用于生成响应的信息追溯到其原始来源来增强信任。这种透明度不仅允许验证准确性，而且还帮助用户了解信息的上下文和可靠性，从而增强了对AI系统的信心。
86910编辑于 2025-04-27- 来自专栏自然语言处理
RAG科普文！检索增强生成的技术全景解析
检索增强生成增强了 LLM 响应的可靠性和可信度 如今，RAG 涵盖了广泛的技术、模型和方法。对于新手来说，这可能会有点难以理解。 增强：将检索到的信息添加到用户查询的过程。 生成：在提供增强提示时，LLM 生成结果的过程。 管道设计 4.A — 幼稚的 RAG 朴素 RAG：一种具有顺序索引、检索、增强和生成过程的基本线性方法。 随着检索层的增加，RAG 系统的成本和延迟进一步增加。 RAGOps 栈包含关键层和必要层 5.C — 增强层 增强层：提高系统效率、可扩展性和可用性的层。 对比 RAG：整合对比学习技术，通过区分相关和不相关文档来增强检索过程。
2.1K31编辑于 2025-02-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号