- 综合排序
- 最热优先
- 最新优先
- 来自专栏NLP/KG
语义检索-BAAI Embedding语义向量模型深度解析：微调Cross-Encoder以提升语义检索精度
语义检索-BAAI Embedding语义向量模型深度解析：微调Cross-Encoder以提升语义检索精度 语义向量模型（Embedding Model）已经被广泛应用于搜索、推荐、数据挖掘等重要领域 然而，当前中文世界的高质量语义向量模型仍比较稀缺，且很少开源 BGE 出色的语义表征能力源于两方面要素：1）针对表征的预训练，2）大规模文本对训练。 BGE 在悟道 、Pile 两个大规模语料集上采取了针对表征的预训练算法 RetroMAE ：将低掩码率的输入编码为语义向量（Embed），再将高掩码率的输入与语义向量拼接以重建原始输入。 65K的负样本规模，增强了语义向量的判别能力。 另外，BGE 借鉴 Instruction Tuning [3] 的思想，采取了非对称的指令添加方式，在问题端添加场景描述&
1.3K10编辑于 2024-07-09 - 来自专栏架构进阶
Postgresql中的检索:中文分词及语义检索
一 前言 在上一篇文章中提到，在postgresql中，使用pgvector可以实现向量存储和检索，使用pg_trgm基于三元组文本模糊匹配和相似度计算，结合GIN 索引和GiST索引实现全文检索 但pg_trgm并不是一个专业的中文分词工具，它是基于字符层面的处理，不理解语义。 zhparser等分词插件的情况下，执行SELECT show_trgm('中文测试');时会发现结果为空，因此需要结合zhparser、jiebaR，或使用ElasticSearch等插件或工具实现中文分词/全文检索 SEARCH CONFIGURATION chinese_zh ADD MAPPING FOR n, v, a, i, e, l, j, d, t WITH simple; -- 3. 测试 SELECT to_tsvector('chinese_zh', '上海自来水来自海上'); -- 分词结果：'上海':1 '来自':3 '自来水':2 -- 4.
1.7K00编辑于 2025-06-23 - 来自专栏Reinvent Data Science
Milvus x Lucidworks 快速构建语义检索
语义检索 [1]（Semantic Search) 是能帮助你的客户或员工找到正确的产品或信息的绝佳工具，它甚至可以检索到一些难以被索引的信息，从而获得更好的结果。 如果低效的语义检索难以胜任，那么如何进行高速的语义检索呢？ 幸运的是，Lucidworks 热衷于解决此类问题。 执行语义检索 为了让机器学习达到闪电般快的速度，Lucidworks 通过向量搜索的方法执行语义检索，由两个关键部分组成。 第一部分：机器学习模型 首先，你需要将文本编码为特征向量。 为了解决这些难题，我们在 Fusion 5.3 版本[2]中添加了向量搜索引擎 Milvus[3]。Milvus 是一款开源软件，拥有极高的搜索速度。 使用语义检索 在了解了 Milvus 如此重要的原因后，让我们回到语义检索的工作流程。
1.2K40发布于 2021-06-25 - 来自专栏AI SPPECH
Search Engine：全库搜索与语义检索
本文讲解Search Engine的实现：全文索引、语义向量检索、查询解析器、搜索结果ranking、以及如何将传统搜索与AI搜索融合，提供更精准的检索结果。 语义搜索：向量嵌入与近似最近邻检索 3.1 从关键词到语义的跨越 3.2 代码嵌入的特殊性 3.3 向量检索的工程实现 3.4 混合检索架构 4. 它将文本映射到高维向量空间，使语义相似的代码片段在向量空间中彼此接近。即使变量名完全不同，只要功能语义相同，就能被检索到。 语义搜索：向量嵌入与近似最近邻检索 3.1 从关键词到语义的跨越 语义搜索的核心思想是将查询和文档都映射到高维向量空间，通过向量距离衡量语义相似度。 现代搜索系统通常将语义搜索与传统搜索结合，形成混合检索架构： 分数融合策略是混合检索的核心。
51211编辑于 2026-06-02 - 来自专栏NLP/KG
语义检索系统：基于无监督预训练语义索引召回：SimCSE、Diffcse
它还具有可调整参数，可以根据需要来优化精度和速度之间的平衡，例如一次查询返回的最大邻居数、检索阈值等。 由于Hnswlib不依赖于任何特定类型的特征或数据格式，因此它可以应用于各种任务，例如图像检索、自然语言处理等。 预测 我们可以基于语义索引模型预测文本的语义向量或者计算文本 Pair 的语义相似度。 DiffCSE 模型同样适合缺乏监督数据，但是又有大量无监督数据的匹配和检索场景。 DiffCSE 模型同样适合缺乏监督数据，但是又有大量无监督数据的匹配和检索场景。
1.7K00编辑于 2023-08-02 语义搜索是什么？向量检索与关键词检索全面对比
用户搜"冬天穿的外套"，关键词检索可能只召回标题里带"冬天"和"外套"的商品，把"轻薄羽绒服"漏掉；换成语义检索，能召回语义相近的羽绒服，却可能把"冬天用的暖手宝"也算进来。 ##关键要点-关键词检索匹配字面与词频，语义检索匹配向量距离，两者的召回逻辑根本不同。-语义检索的核心价值是解决词汇鸿沟：用户用词与文档用词不一致时仍能召回。 ##二、语义检索：把意思编码成向量语义检索（也称向量检索、稠密检索）先把文本映射成固定维度的稠密向量（embedding），语义相近的文本在向量空间中距离更近；查询时把查询词也编码成向量，再检索距离最近的若干条 ##常见问题>**问：语义搜索会取代关键词搜索吗？**>>答：不会。语义检索擅长跨越词汇鸿沟，关键词检索在精确型号、编码、人名等场景仍明显更强，且可解释、成本低。主流做法是混合检索。 3.Elasticsearch《Whatisvectorsearch?》：向量检索把非结构化数据映射为稠密向量并按相似度召回。
12510编辑于 2026-09-29- 来自专栏NewBeeNLP
语义信息检索中的预训练模型
检索模型的分类 检索的核心，在于计算query和document的 相似度 。 基于exact-match的检索模型是召回中必不可少的一路。 其实，在现在常用的深度检索模型中也经常增加这种人工构造的特征。 精排阶段还可增加更多特征，如多模态特征、用户行为特征、知识图谱等） 3. 代表工作：docTTTTTquery[3] 同样地，也可以对query进行扩增。
2.6K10编辑于 2022-11-11 - 来自专栏NewBeeNLP
BM25 比语义向量检索效果好？
NewBeeNLP公众号原创出品 公众号专栏作者 @Maple小七 北京邮电大学·模式识别与智能系统 TL;DR 虽然以SentenceBERT为代表的语义向量检索展现出了超越传统的以 然而现实世界并不会这么理想，稀疏向量查询通常会存在棘手的词汇空缺或语义鸿沟问题(lexical/semantic gap)。 「语义鸿沟」可以理解为是自然语言词汇的稀疏性和语法的多样性，这些现象可以通过同义词典、句式变换等方式来改善。 这正是稠密向量查询想要达到的效果，也就是将查询和文档映射到同一个低维向量空间，通过计算余弦相似度来检索相关文档，关于稠密向量表示的探索可以追溯到经典的潜在语义分析(LSA)，2013年的DSSM首次将深度学习方法引入了稠密向量检索 ，目前，以SentenceBERT为代表的语义检索模型在很多数据集上超越了基于稀疏向量的检索方法。
3.2K20发布于 2021-06-25 - 来自专栏NewBeeNLP
语义信息检索中的预训练模型（下）
语义信息检索中的预训练模型 这一篇将介绍预训练模型在深度召回和精排中的应用。 4. 所以，应该设计专门针对检索任务的预训练任务。 exact-match的稀疏检索模型，这是因为过多的使用简单负例（random或者in-batch负采样）没有提供很多信息量，其 梯度范数较小、收敛速度慢 。 3) CEDR （CEDR: Contextualized Embeddings for Document Ranking[5] ） 先使用BERT获得query和document中每个词的上下文表征 target=https%3A//arxiv.org/abs/1904.07094
2.7K30编辑于 2022-11-11 - 来自专栏网罗开发
大模型如何提升信息检索效率：语义检索与向量数据库的结合
通过引入大模型的语义理解能力，检索系统能够更好地理解用户意图，而向量数据库则能够高效地存储和检索高维向量数据。本文还提供了一个可运行的示例 Demo 代码模块，展示了如何在实际应用中实现语义检索。 这些模型能够理解文本的语义，从而提升信息检索的效率和准确性。本文将介绍如何利用大模型实现语义检索，并结合向量数据库优化检索效率。 语义检索的实现大模型的语义理解能力大模型（如BERT、GPT等）通过预训练和微调，能够理解文本的语义。 语义检索的流程语义检索的流程通常包括以下几个步骤：查询理解：利用大模型对用户查询进行语义理解，生成查询向量。文档编码：利用大模型对文档库中的文档进行编码，生成文档向量。 通过引入大模型的语义理解能力，检索系统能够更好地理解用户意图，而向量数据库则能够高效地存储和检索高维向量数据。本文还提供了一个可运行的示例代码模块，展示了如何在实际应用中实现语义检索。
2K10编辑于 2025-03-04 - 来自专栏NLP/KG
语义检索系统：基于Milvus 搭建召回系统抽取向量进行检索，加速索引
语义检索系统：基于Milvus 搭建召回系统抽取向量进行检索，加速索引 目标：使用 Milvus 搭建召回系统，然后使用训练好的语义索引模型，抽取向量，插入到 Milvus 中，然后进行检索。 1.Milvus简介（2019） 1.1 什么是向量检索 向量是具有一定大小和方向的量，可以简单理解为一串数字的集合，就像一行多列的矩阵，比如：2,0,1,9,0,6,3,0。 向量检索 5.1 基于Milvus的向量检索系统搭建 数据准备结束以后，开始搭建 Milvus 的语义检索引擎，用于语义向量的快速检索，使用Milvus开源工具进行召回，Milvus 的搭建教程请参考官方教程 参考项目，导出自己的静态图模型：语义检索系统：基于in-batch Negatives策略的有监督训练语义召回 数据量 显卡 时间 1000万条 V100 32GB 3h41min 1000万条 A100 针对第三个问题：Milvus只起到加速的效果，这个跟模型相关，并且关键字匹配不推荐使用语义检索，如果是句子级别的匹配，使用语义检索更合适；推荐进行双路召回【语义+关键字】 进入重点如何启动milvus向量库以及涉及到
3.9K00编辑于 2023-08-02 - 来自专栏AI算法之心
京东电商搜索中的语义检索与商品排序
文章作者：王松林、唐国瑜 京东算法工程师 编辑整理：Hoh 内容来源：作者授权 出品平台：DataFunTalk 导读：本文将介绍京东搜索场景中的两块技术，语义检索与商品排序。 倒排通过字面匹配方式召回商品，这种方式存在一种缺陷，不能召回字面不匹配但语义层面相近的商品， 如 query='2-3周岁宝宝玩具'是无法召回 sku='托马斯小火车'的。 ? 模型 servable 服务，我们将向量检索和 tfs 合成一个服务，不仅减少一次网络访问，降低系统 3-5ms 的平响，而且将模型分片部署，从而可以支持上百个模型同时服务或者 A/B 实验。 语义检索效果展示 语义检索上线后获得了很好的体验效果，不仅提升了转化，长尾流量降低了近10%的 query 改写率，也就是说用户不需要多次改写 query，就能获得想要的商品结果。 ? 04 总结 我们介绍了语义检索召回和商品排序，在京东搜索服务上部署并取得了良好效果。我们还在尝试一些业内其他流行的方法，比如 GNN、KG、MMoE 等方向，也获得了不错的成绩。
1.8K20发布于 2020-06-09 - 来自专栏python3
3没有语义的标签
3、没有语义的标签（div、span） HTML中大部分标签都是具有语句的（有固定格式），有语义的标签在使用时一定要注意不能乱用。还有一部分标签是没有语义的，没有语义的标签只用来进行页面布局。 注意： 1、一个属性名（键）对应一个属性值（值），一般我们把这种对应关系代码称之为键值对； 2、最后一个属性值可以不加分号，但是不建议这么写； 3、在对应标签内部是可以直接设置样式的，但是实际开发不会这么写
98410发布于 2020-01-07 - 来自专栏desperate633
第2-3课 检索数据检索列检索排序数据
这两课主要介绍sql中利用select语句对数据的简单检索。 下面分别讨论不同类型的检索 检索列 单个列 select prod_id from Products; 多个列 select prod_id, prod_name, prod_price from Products ; 所有列 select * from Products; 检索不同值 的列 select distinct vend_id from products; 检索前几列或者后几列 select prod_name from products limit 5; select prod_name from products limit 5 offset 5; 检索排序数据 单个列排序 select prod_name
1.3K20发布于 2018-08-22 语义分块：用滑动窗口与重叠策略提升检索召回
重叠窗口能保留跨句语义。实验显示召回率提升明显。该方法不依赖第三方库。适合在检索系统中快速落地。" {i} ({len(c)}字): {c}")真实输出与块长度统计真实运行输出：Chunk 1 为 43 字（含前 3 句），Chunk 2 为 35 字，Chunk 3 为 24 字，共生成 3 个块； 其中 Chunk 2 与 Chunk 1 共享"重叠窗口能保留跨句语义"这一句，说明 overlap=1 已生效，跨句语义没有被切断。 ，块太小会引入噪声、块太大会截断语义，window=3/overlap=1 是短技术文的经验起点。 内容长、主题跳跃时，再切到 embedding 版用 0.72 阈值做语义簇合并。分块质量直接决定后续切片、召回、引用的上限，应作为检索链路的第一个被验证的环节。
10910编辑于 2026-09-13- 来自专栏机器学习、深度学习
语义分割 DeepLabv3
Rethinking Atrous Convolution for Semantic Image Segmentation https://arxiv.org/abs/1706.05587v1
1.2K20发布于 2019-05-26 - 来自专栏Langchain
【LangChain系列3】【检索模块详解】
用于日志记录、监控、流传输和其他任务；1-3、特点LangChain的特点如下：大语言模型(llm): LangChain为自然语言处理提供了不同类型的模型，这些模型可用于处理非结构化文本数据，并且可以基于用户的查询检索信息 依赖包安装：pip install pymilvus2-5、检索器检索器： 一旦数据在数据库中，您仍然需要检索它. LangChain支持许多不同的检索算法，并且是我们增加最多价值的地方之一. 我们支持易于入门的基本方法-即简单的语义搜索. 但是，我们还添加了一系列算法以提高性能. 这些算法包括:父文档检索器: 允许您为每个父文档创建多个嵌入，允许您查找较小的块但返回较大的上下文.自查询检索器: 用户的问题通常包含对不仅仅是语义的东西的引用，而是表达一些最好用元数据过滤器表示的逻辑 .自查询允许您从查询中解析出语义部分和查询中存在的其他元数据过滤器.集合检索器: 有时您可能希望从多个不同的来源或使用多个不同的算法检索文档.集合检索器使您可以轻松实现此目的.附录1、报错：cannot
2.2K10编辑于 2025-01-07 - 来自专栏DeepHub IMBA
Prompt 缓存的四种策略：从精确匹配到语义检索
实际上这些差异对语义毫无影响。 解决办法是在缓存前先做规范化处理。 策略 3：语义缓存 "What is REST?" 和 "Explain REST architecture" 说的其实是同一件事，但无论精确匹配还是规范化匹配都会把它们当作两个完全不同的请求。 语义缓存的核心风险在于阈值设定。 典型的三层架构长这样： L1 Cache (In-memory, per instance) | L2 Cache (Redis / Shared Cache) | L3 L1 是进程内存缓存，速度最快但作用域最小；L2 一般用 Redis，多个实例可以共享同一份缓存；L3 是语义缓存层，处理那些文本不同但意思相近的 Prompt。
92710编辑于 2026-02-27 - 来自专栏WeOps
RAG 强化之选：OpsPilot Rerank 重排序弥补语义检索短板
嘉为蓝鲸OpsPilot依托RAG技术打造高效知识处理体系，提取与分块拆分语义单元，为后续流程筑牢根基；Embedding及检索将问题与知识库中内容匹配定位。 Rerank（重排序）的具体实现是通过机器学习模型，捕捉复杂语义（如一词多义、隐含意图），对初步检索结果进行二次语义评估。 具体步骤如下：从而实现以下作用，优化检索结果：弥补语义短板：突破传统检索的表面匹配，找到“关键词不同但意思相近”的优质内容。精准筛选排序：通过多维度打分剔除低质信息，让检索结果更聚焦用户真实需求。 内置了bce-Reranker-base模型提供Rerank功能，对比其他Rerank模型，本模型的核心优势可总结为以下三点：排序精准性更强：通过大量对比“好内容”和“差内容”训练模型，让模型更会判断语义匹配度 04.嘉为蓝鲸OpsPilot——更懂运维的AI平台嘉为蓝鲸OpsPilot是集知识库管理、技能配置、机器人管理及工具管理于一体的智能运维支撑平台，深度融合LLM大模型的语义理解、知识增强与多模态处理能力
73510编辑于 2025-04-28 - 来自专栏大数据生态
「最佳实践」腾讯云 ES 8 向量化语义混合检索测试指南
3. 语义检索 所有准备工作就绪，下面将演示向量检索，我们分别用向量检索和分词检索测试两者的检索效果： cd /root/tencent-es_vector/ vim vector_search.py 修改配置信息 , knn) # 创建三列 col1, col2, col3 = st.columns(3) counter = 1 with col1: st.write {json_output}") counter += 1 counter = 1 with col3: st.write("### 混合检索聚合结果 总结 从检索效果可以直观看出，使用纯向量检索，往往是达不到业务需求的。如果想提升召回率，则需要配合混合检索，不仅可以提前过滤一些不相关的内容，对性能有一定提升。
1.6K4039编辑于 2024-04-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号