- 综合排序
- 最热优先
- 最新优先
- 来自专栏NLP/KG
语义检索-BAAI Embedding语义向量模型深度解析：微调Cross-Encoder以提升语义检索精度
语义检索-BAAI Embedding语义向量模型深度解析：微调Cross-Encoder以提升语义检索精度 语义向量模型（Embedding Model）已经被广泛应用于搜索、推荐、数据挖掘等重要领域 然而，当前中文世界的高质量语义向量模型仍比较稀缺，且很少开源 BGE 出色的语义表征能力源于两方面要素：1）针对表征的预训练，2）大规模文本对训练。 BGE 在悟道 、Pile 两个大规模语料集上采取了针对表征的预训练算法 RetroMAE ：将低掩码率的输入编码为语义向量（Embed），再将高掩码率的输入与语义向量拼接以重建原始输入。 这样一来，BGE 得以利用无标签语料实现语言模型基座对语义表征任务的适配。 65K的负样本规模，增强了语义向量的判别能力。
1.3K10编辑于 2024-07-09 - 来自专栏架构进阶
Postgresql中的检索:中文分词及语义检索
一 前言 在上一篇文章中提到，在postgresql中，使用pgvector可以实现向量存储和检索，使用pg_trgm基于三元组文本模糊匹配和相似度计算，结合GIN 索引和GiST索引实现全文检索 但pg_trgm并不是一个专业的中文分词工具，它是基于字符层面的处理，不理解语义。 zhparser等分词插件的情况下，执行SELECT show_trgm('中文测试');时会发现结果为空，因此需要结合zhparser、jiebaR，或使用ElasticSearch等插件或工具实现中文分词/全文检索
1.6K00编辑于 2025-06-23 - 来自专栏Reinvent Data Science
Milvus x Lucidworks 快速构建语义检索
语义检索 [1]（Semantic Search) 是能帮助你的客户或员工找到正确的产品或信息的绝佳工具，它甚至可以检索到一些难以被索引的信息，从而获得更好的结果。 如果低效的语义检索难以胜任，那么如何进行高速的语义检索呢？ 幸运的是，Lucidworks 热衷于解决此类问题。 执行语义检索 为了让机器学习达到闪电般快的速度，Lucidworks 通过向量搜索的方法执行语义检索，由两个关键部分组成。 第一部分：机器学习模型 首先，你需要将文本编码为特征向量。 使用语义检索 在了解了 Milvus 如此重要的原因后，让我们回到语义检索的工作流程。 语义检索分为三个阶段：第一阶段是加载和/或训练机器学习模型；接着，将数据导入到 Milvus 和 Solr 中并建立索引；最后是查询阶段，即实际搜索发生的阶段。下面将重点介绍后两个阶段。
1.2K40发布于 2021-06-25 - 来自专栏AI SPPECH
Search Engine：全库搜索与语义检索
本文讲解Search Engine的实现：全文索引、语义向量检索、查询解析器、搜索结果ranking、以及如何将传统搜索与AI搜索融合，提供更精准的检索结果。 语义搜索：向量嵌入与近似最近邻检索 3.1 从关键词到语义的跨越 3.2 代码嵌入的特殊性 3.3 向量检索的工程实现 3.4 混合检索架构 4. 它将文本映射到高维向量空间，使语义相似的代码片段在向量空间中彼此接近。即使变量名完全不同，只要功能语义相同，就能被检索到。 语义搜索：向量嵌入与近似最近邻检索 3.1 从关键词到语义的跨越 语义搜索的核心思想是将查询和文档都映射到高维向量空间，通过向量距离衡量语义相似度。 现代搜索系统通常将语义搜索与传统搜索结合，形成混合检索架构： 分数融合策略是混合检索的核心。
36911编辑于 2026-06-02 - 来自专栏NLP/KG
语义检索系统：基于无监督预训练语义索引召回：SimCSE、Diffcse
它还具有可调整参数，可以根据需要来优化精度和速度之间的平衡，例如一次查询返回的最大邻居数、检索阈值等。 由于Hnswlib不依赖于任何特定类型的特征或数据格式，因此它可以应用于各种任务，例如图像检索、自然语言处理等。 预测 我们可以基于语义索引模型预测文本的语义向量或者计算文本 Pair 的语义相似度。 DiffCSE 模型同样适合缺乏监督数据，但是又有大量无监督数据的匹配和检索场景。 DiffCSE 模型同样适合缺乏监督数据，但是又有大量无监督数据的匹配和检索场景。
1.7K00编辑于 2023-08-02 - 来自专栏NewBeeNLP
语义信息检索中的预训练模型
由于待训练的模型参数很多（增加model capacity），而专门针对检索任务的有标注数据集较难获取，所以要使用预训练模型。 2. 检索模型的分类 检索的核心，在于计算query和document的 相似度 。 依此可以把信息检索模型分为如下三类： 基于统计的检索模型 使用exact-match来衡量<query,document>相似度,考虑的因素有query中的词语在document中出现的词频TF、document 基于exact-match的检索模型是召回中必不可少的一路。 其实，在现在常用的深度检索模型中也经常增加这种人工构造的特征。
2.5K10编辑于 2022-11-11 - 来自专栏NewBeeNLP
BM25 比语义向量检索效果好？
NewBeeNLP公众号原创出品 公众号专栏作者 @Maple小七 北京邮电大学·模式识别与智能系统 TL;DR 虽然以SentenceBERT为代表的语义向量检索展现出了超越传统的以 然而现实世界并不会这么理想，稀疏向量查询通常会存在棘手的词汇空缺或语义鸿沟问题(lexical/semantic gap)。 「语义鸿沟」可以理解为是自然语言词汇的稀疏性和语法的多样性，这些现象可以通过同义词典、句式变换等方式来改善。 这正是稠密向量查询想要达到的效果，也就是将查询和文档映射到同一个低维向量空间，通过计算余弦相似度来检索相关文档，关于稠密向量表示的探索可以追溯到经典的潜在语义分析(LSA)，2013年的DSSM首次将深度学习方法引入了稠密向量检索 ，目前，以SentenceBERT为代表的语义检索模型在很多数据集上超越了基于稀疏向量的检索方法。
3.2K20发布于 2021-06-25 - 来自专栏NewBeeNLP
语义信息检索中的预训练模型（下）
语义信息检索中的预训练模型 这一篇将介绍预训练模型在深度召回和精排中的应用。 4. 所以，应该设计专门针对检索任务的预训练任务。 文章Pre-training Tasks for Embedding-based Large-scale Retrieval提出了三个针对检索设计的预训练任务，都是使用Wikipedia的大量无标注数据进行自监督训练 Approximate Nearest Neighbor Negative Contrastive Learning for dense text retrieval[2]） 文中指出，端到端训练的深度检索模型有时效果甚至不如基于 exact-match的稀疏检索模型，这是因为过多的使用简单负例（random或者in-batch负采样）没有提供很多信息量，其 梯度范数较小、收敛速度慢 。
2.6K30编辑于 2022-11-11 - 来自专栏网罗开发
大模型如何提升信息检索效率：语义检索与向量数据库的结合
通过引入大模型的语义理解能力，检索系统能够更好地理解用户意图，而向量数据库则能够高效地存储和检索高维向量数据。本文还提供了一个可运行的示例 Demo 代码模块，展示了如何在实际应用中实现语义检索。 这些模型能够理解文本的语义，从而提升信息检索的效率和准确性。本文将介绍如何利用大模型实现语义检索，并结合向量数据库优化检索效率。 语义检索的实现大模型的语义理解能力大模型（如BERT、GPT等）通过预训练和微调，能够理解文本的语义。 语义检索的流程语义检索的流程通常包括以下几个步骤：查询理解：利用大模型对用户查询进行语义理解，生成查询向量。文档编码：利用大模型对文档库中的文档进行编码，生成文档向量。 通过引入大模型的语义理解能力，检索系统能够更好地理解用户意图，而向量数据库则能够高效地存储和检索高维向量数据。本文还提供了一个可运行的示例代码模块，展示了如何在实际应用中实现语义检索。
1.9K10编辑于 2025-03-04 - 来自专栏NLP/KG
语义检索系统：基于Milvus 搭建召回系统抽取向量进行检索，加速索引
语义检索系统：基于Milvus 搭建召回系统抽取向量进行检索，加速索引 目标：使用 Milvus 搭建召回系统，然后使用训练好的语义索引模型，抽取向量，插入到 Milvus 中，然后进行检索。 向量检索 5.1 基于Milvus的向量检索系统搭建 数据准备结束以后，开始搭建 Milvus 的语义检索引擎，用于语义向量的快速检索，使用Milvus开源工具进行召回，Milvus 的搭建教程请参考官方教程 参考项目，导出自己的静态图模型：语义检索系统：基于in-batch Negatives策略的有监督训练语义召回 数据量 显卡 时间 1000万条 V100 32GB 3h41min 1000万条 A100 针对第三个问题：Milvus只起到加速的效果，这个跟模型相关，并且关键字匹配不推荐使用语义检索，如果是句子级别的匹配，使用语义检索更合适；推荐进行双路召回【语义+关键字】 进入重点如何启动milvus向量库以及涉及到 图片 图片 6.FAQ 6.1 抽取文本语义向量后，利用 Milvus 进行 ANN 检索查询到了完全相同的文本，但是计算出的距离为什么不是 0？
3.8K00编辑于 2023-08-02 - 来自专栏AI算法之心
京东电商搜索中的语义检索与商品排序
文章作者：王松林、唐国瑜 京东算法工程师 编辑整理：Hoh 内容来源：作者授权 出品平台：DataFunTalk 导读：本文将介绍京东搜索场景中的两块技术，语义检索与商品排序。 下面我们分别介绍，基于向量检索召回和商品排序： 02 向量召回 向量检索作为一种信息检索方式在工业界已经被广泛应用，它能解决传统倒排检索不能解决的问题。 如下图所示，不同的 head 可以捕获 query 不同的语义 ( query=苹果，语义可以是手机和水果 )，捕获不同的品牌属性 ( query=手机，品牌可以是华为、小米 )，捕获不同的产品属性 ( 语义检索效果展示 语义检索上线后获得了很好的体验效果，不仅提升了转化，长尾流量降低了近10%的 query 改写率，也就是说用户不需要多次改写 query，就能获得想要的商品结果。 ? 04 总结 我们介绍了语义检索召回和商品排序，在京东搜索服务上部署并取得了良好效果。我们还在尝试一些业内其他流行的方法，比如 GNN、KG、MMoE 等方向，也获得了不错的成绩。
1.8K20发布于 2020-06-09 - 来自专栏DeepHub IMBA
Prompt 缓存的四种策略：从精确匹配到语义检索
实际上这些差异对语义毫无影响。 解决办法是在缓存前先做规范化处理。 语义缓存流程 工具选型方面，Embedding 可以用 OpenAI 的接口，向量存储可以选 Pinecone、Weaviate 这类专门的向量数据库，小规模场景下在内存里做相似度搜索也够用。 语义缓存的核心风险在于阈值设定。 L1 是进程内存缓存，速度最快但作用域最小；L2 一般用 Redis，多个实例可以共享同一份缓存；L3 是语义缓存层，处理那些文本不同但意思相近的 Prompt。 语义缓存只在业务确实需要时才引入，因为它带来了额外的复杂度和向量计算开销。TTL 和版本控制是必须配套的机制。最后缓存命中率要持续监控，因为这是判断缓存策略是否有效的核心指标。
87110编辑于 2026-02-27 - 来自专栏WeOps
RAG 强化之选：OpsPilot Rerank 重排序弥补语义检索短板
嘉为蓝鲸OpsPilot依托RAG技术打造高效知识处理体系，提取与分块拆分语义单元，为后续流程筑牢根基；Embedding及检索将问题与知识库中内容匹配定位。 Rerank（重排序）的具体实现是通过机器学习模型，捕捉复杂语义（如一词多义、隐含意图），对初步检索结果进行二次语义评估。 具体步骤如下：从而实现以下作用，优化检索结果：弥补语义短板：突破传统检索的表面匹配，找到“关键词不同但意思相近”的优质内容。精准筛选排序：通过多维度打分剔除低质信息，让检索结果更聚焦用户真实需求。 内置了bce-Reranker-base模型提供Rerank功能，对比其他Rerank模型，本模型的核心优势可总结为以下三点：排序精准性更强：通过大量对比“好内容”和“差内容”训练模型，让模型更会判断语义匹配度 04.嘉为蓝鲸OpsPilot——更懂运维的AI平台嘉为蓝鲸OpsPilot是集知识库管理、技能配置、机器人管理及工具管理于一体的智能运维支撑平台，深度融合LLM大模型的语义理解、知识增强与多模态处理能力
70410编辑于 2025-04-28 - 来自专栏大数据生态
「最佳实践」腾讯云 ES 8 向量化语义混合检索测试指南
语义检索 所有准备工作就绪，下面将演示向量检索，我们分别用向量检索和分词检索测试两者的检索效果： cd /root/tencent-es_vector/ vim vector_search.py 修改配置信息 {json_output}") counter += 1 counter = 1 with col2: st.write("### 混合检索结果 检索效果测试 我们模拟用户在商城搜索栏输入一个手机型号：小米 12 pro max ● 向量检索结果可能会召回不相关的内容 ● 而使用 ES 的混合检索，利用前置过滤，在提高效率的同时，可以大幅提升召回率 ● ES 也支持在在混合检索场景使用聚合查询 8. 总结 从检索效果可以直观看出，使用纯向量检索，往往是达不到业务需求的。如果想提升召回率，则需要配合混合检索，不仅可以提前过滤一些不相关的内容，对性能有一定提升。
1.5K4039编辑于 2024-04-11 - 来自专栏为了不折腾而去折腾的那些事
向量数据库入坑：传统文本检索方式的降维打击，使用 Faiss 实现向量语义检索
”，初步接触到了“语义检索”这种对于传统文本检索方式具备“降维打击”的新兴技术手段。 有朋友在聊天中提到，希望能够聊点更具体的，比如基于向量技术实现的语义检索到底比传统文本检索强多少，以及是否有局限性，能不能和市场上大家熟悉的技术产品进行一个简单对比。 至于关于如何实现语义检索，我们等会聊。先来看看如何使用传统检索技术来解决“一对多”、“多对多”这种场景下的内容查找问题吧。 使用 Faiss 来进行语义检索 接下来，我们来聊聊对传统技术具备降维打击的“向量语义检索”技术。依旧是先来准备 faiss 的运行环境，完成 faiss 和相关软件的安装。 当模型构建完毕之后，我们就可以来体验和使用基于“向量相似度检索”的语义检索啦。
4.1K50编辑于 2022-09-10 - 来自专栏#热点技术openclaw
语义检索 vs 精确匹配：为什么 OpenClaw 需要向量数据库
这串数字就是这段文字的向量表示，它编码了这段文字的"语义"。神奇之处在于：语义相近的文字，它们的向量在数学空间里也会很近。 向量数据库（如Milvus、Pinecone、Weaviate）专门为这个场景设计了特殊的索引结构（如HNSW、IVF），可以在毫秒级别完成亿级向量的相似度检索。 实际应用场景长期记忆检索：用户说"上次我们讨论的那个项目"，Agent能准确找到相关对话上下文理解：即使用户没有明确提到关键词，Agent也能理解隐含意图个性化推荐：基于用户历史兴趣的语义相似度推荐相关内容五 （行列表格）高维向量（浮点数组）查询方式SQL，基于规则给一个向量，找最近的N个一致性保证ACID事务最终一致性为主典型用途用户信息、订单、日志语义搜索、推荐、记忆检索在OpenClaw里的角色存会话元数据 、用户配置存对话向量，检索相关记忆实际上，成熟的Agent系统往往两者都需要：MySQL管结构化的状态数据，向量数据库管语义化的记忆检索。
62620编辑于 2026-03-09 - 来自专栏小小挖掘机
KDD 2020 | 详解语义Embedding检索技术在Facebook搜索中的应用实战
本文讨论了如何将embedding检索技术应用在Facebook搜索的技术方案，我们提出了一套统一的embedding框架用于建模个性化搜索中的语义embedding，以及基于经典的倒排索引进行在线embedding 检索的系统。 背景 从query中准确计算出用户的搜索意图以及准确表达文档的语义含义是非常困难的，因此之前的搜索算法主要还是通过关键词匹配的方式进行检索。 embedding技术在搜索检索层的应用通常被称为基于embedding的检索或者简称为EBR。 Training data feedback loop 由于语义召回的结果召回高但是精度低，所以本文就采用了人工的方式对语义召回的结果进行标注，对每个query召回的结果进行标注。
2.7K20发布于 2020-09-07 语义检索与向量数据库选型：从 FAISS 到 Milvus 的落地对比
向量检索本质是近似最近邻（ANN）搜索，常见索引有几类：暴力检索（Flat）：逐一计算距离，准确率 100%，但耗时随数据量线性增长，仅适合万级以内数据或作为评测基线。 IVF 系列（IVF-Flat / IVF-PQ）：先聚类再在最近簇内检索。 ① 维度一致性：embedding 模型与检索端必须用同一模型，否则向量不在同一语义空间，相似度毫无意义。维度通常 768（bge-base）或 1024（bge-large）。 ③ 混合检索：向量召回叠加 BM25 关键词，召回率通常优于单一向量检索；可给 BM25 0.3–0.5 的融合权重。 小结：没有万能选型，按数据规模、延迟要求、现有技术栈三要素综合判断；先把检索质量测起来，再谈优化。
19900编辑于 2026-08-17生成式检索中的地域实体如何建立语义关联：以武汉为例
上下文决定了地域实体究竟承担什么语义角色。五、地域名称出现得多不代表信息更完整在一些文本中，同一个城市名称会连续出现很多次。 因此，在分析地域语义时，更应该关注信息增量，而不是词语出现次数。六、标题与正文之间也存在实体关系地域实体不仅存在于正文。标题本身也参与主题判断。 七、页面之间也会形成语义网络检索系统分析的并不一定只是单个页面。不同页面之间还可能通过链接和相同实体形成信息网络。例如三个页面分别描述：页面A：测试地点为武汉。页面B：测试环境使用某服务器节点。 九、生成式检索为什么关注关系而不仅是词语生成式检索需要把已有信息组织成自然语言回答。这意味着系统不仅需要找到包含某个词的页面，还需要判断页面中的信息能否组成完整答案。 从技术实现角度来看，这类问题可以归入命名实体识别、实体消歧、关系抽取和信息检索等多个方向。把地域名称放回完整的语义关系中分析，才能更准确地理解生成式检索系统是如何处理地域信息的。
12110编辑于 2026-08-14- 来自专栏WeOps
OpsPilot技术赋能：语义空间构建与多模态检索的运维新范式
直达原文：OpsPilot功能上新：Embedding重构语义空间，混合检索驱动知识发现（内附体验环境）随着技术的快速发展，检索增强生成（RAG）成为构建智能知识库的核心方案。 2）检索设置：通过向量相似度匹配，从海量知识库中快速定位相关信息以混合检索（文本 + 向量）为例，结合关键词搜索与向量语义搜索，通过打分机制综合判断，既能利用关键词快速过滤，又能通过向量相似度挖掘深层语义关联 可挖掘语义层面的关联信息，弥补关键词搜索的局限性，例如，当用户查询含模糊语义时，向量搜索能通过语义相似性定位相关知识。 混合检索：同时开启文本搜索与向量搜索，系统会根据各自权重综合打分，兼顾关键词匹配和语义相似性，将最终结果按打分从高到低展示，提升检索全面性与准确性。 Embedding转换文本为语义向量，混合检索融合关键词匹配与向量搜索，内置双模型适配中文及跨领域场景，实现精准语义关联与高效知识闭环，赋能智能运维。
47610编辑于 2025-04-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号