- 综合排序
- 最热优先
- 最新优先
- 来自专栏程序随笔
聊聊Embedding(嵌入向量)
概述 简单来说，嵌入是用向量表示一个物体，这个物体可以是一个单词、一条语句、一个序列、一件商品、一个动作、一本书、一部电影等，可以说嵌入(Embedding)涉及机器学习、深度学习的绝大部分对象。 此后，人们想到用数值向量或标识符嵌入（Token Embedding）来表示，即通常说的词嵌入（Word Embedding），又称为分布式表示。 不过Word Embedding方法真正流行起来，还要归功于Google的word2vec，word2vec，是一群用来产生词向量的相关模型。 的一大进步，通过word2vec转换后，一个单词对应一个向量，单词的表现更丰富了，甚至一些相近的词在空间上也有明显的表现。 ELMo的缺点： ELMo模型可以根据上下文更新词的特征表示，实现了词向量由静态向动态的转变。
2.3K10编辑于 2023-10-19 - 来自专栏龙进的专栏
Word-Embedding词向量
在自然语言处理任务中，词向量（Word Embedding）是表示自然语言里单词的一种方法，即把每个词都表示为一个N维空间内的点，即一个高维空间内的向量。 隐藏层： 一个形状为V×N的参数张量W1，一般称为word-embedding，N表示每个词的词向量长度，我们假设为128。 输入张量和word embedding W1进行矩阵乘法，就会得到一个形状为C×N的张量。 此时新定义的W0和W1均为形状为[vocab_size, embedding_size]的张量。 假设有一个中心词c和一个上下文词正样本tp。 词向量的有趣应用 在使用word2vec模型的过程中，研究人员发现了一些有趣的现象。比如得到整个词表的word embedding之后，对任意词都可以基于向量乘法计算出跟这个词最接近的词。
1.2K20编辑于 2022-10-31 - 来自专栏CSDNToQQCode
腾讯向量数据库——Embedding
Embedding 功能提供将非结构化数据转换为向量数据的能力，自动将原始文本转换为向量数据后插入数据库或进行相似性计算，更简单地使用向量数据库。 概述 Embedding 功能是腾讯云向量数据库（Tencent Cloud VectorDB）提供将非结构化数据转换为向量数据的能力，目前已支持文本 Embedding 模型，能够覆盖多种主流语言的向量转换 开启 Embedding 功能并在创建 Collection 时配置模型，在插入、更新和相似性检索数据时直接传入原始文本，向量数据库会自动将原始文本进行转换，生成对应的向量数据后插入数据库或进行相似性计算 腾讯向量数据库的基础Web端使用-CSDN博客 向量数据库 二、Python链接向量数据库 需要包 pip install tcvectordb 访问代码 import tcvectordb from 信息 /collection/create 创建集合 指定 Embedding 模型，配置输入文本的字段名及其输出的向量字段。
2.2K60编辑于 2023-11-19 - 来自专栏ml
paddlepaddle如何预加载embedding向量
使用小批量数据时，模型容易过拟合，所以需要对全量数据进行处理，我是用的是word2vec训练的词向量. 那么训练好对词向量如何加载呢？ #! dtype=dtype) assert len(shape) == 2, '{} must equal 2'.format(len(shape)) alias_emb = layers.embedding =alias_id, size=shape, param_attr=fluid.param_attr.ParamAttr(name="embedding = fluid.global_scope().find_var( "embedding_words").get_tensor() words, embeddings = load_parameter ("/Users/gongxijun/data/item2vec.txt") embedding_param.set(embeddings, place)
1.2K10发布于 2019-12-10 - 来自专栏小巫技术博客
第04期·Embedding向量化
DAILY AI KNOWLEDGE Embedding 向量化 每天搞懂一个 AI 知识点 · 第 04 期 2026.3.31 什么是 Embedding？ 所以在 AI 处理文本之前，需要把文字转换成数字——这个过程就叫 Embedding（向量化）。 但 Embedding 不是简单地把每个字转成一个数字，而是把一段文字转成一个高维向量（一组数字），并且这组数字能够保留语义信息。 Embedding 就是给每个词/句子在一个语义空间里分配一个坐标，语义相近的内容，坐标也相近。 // 向量空间示意 "猫" → [0.2, 0.8, 0.1, ...] 通过神经网络，把整句话的语义压缩成一个向量： "今天天气真好" → [0.23, 0.67, -0.12, ...] // 代表整句话 Embedding 的核心应用 1.
23010编辑于 2026-04-13 Embedding 与向量数据库
本节目标：理解如何把文字变成数字（Embedding），以及如何高效地存储和搜索这些数字（向量数据库）。这是构建RAG系统的基础。一、什么是Embedding？ 1.1通俗理解Embedding就是把文字变成一组数字（向量），让计算机能理解文字之间的语义关系。 文档——开源Embedding模型库MTEB排行榜——Embedding模型评测排行推荐Milvus文档——生产级向量数据库Pinecone学习中心——优秀的向量数据库教程WhatAreEmbeddings （VickiBoykis）——深入理解Embedding的好文章动手实践用Chroma构建一个简单的文档搜索系统对比不同Embedding模型在中文搜索上的效果试试在同一数据集上，纯向量检索vs混合检索的效果差异 >下一篇章预告：将讲解RAG（检索增强生成）——把Embedding和向量数据库用起来，让大模型能够基于你的私有文档来回答问题！
23810编辑于 2026-05-01- 来自专栏Reinvent Data Science
「X」Embedding in NLP｜神经网络和语言模型 Embedding 向量入门
我们在后续的文章中将基于这个原则探讨 Embedding 向量。隐藏层的概念对理解向量搜索至关重要。 换句话说，h 编码了输入序列的语义，而由 h 定义的有序浮点值集合就是 Embedding 向量，简称为 Embedding。 这些向量表示广泛构成了向量搜索和向量数据库的基础。 尽管当今自然语言的 Embedding 是由另一类称为 Transformer 的机器学习模型生成的，而不是 RNN，但本质概念基本相同：将文本内容编码为计算机可理解的 Embedding 向量。 我们将在下一篇博客文章中详细讨论如何使用 Embedding 向量。 04. 总结 我们在 PyTorch 中实现了一个简单的循环神经网络，并简要介绍了语言模型Embedding。 在接下来的教程中，我们将使用开源的 Transformer 模型来生成 Embedding 向量，并通过对它们进行向量搜索和运算来展示向量的强大功能。
56610编辑于 2023-12-18 - 来自专栏皮皮鲁的AI星球
什么是词向量？如何得到词向量？Embedding 快速解读
Embedding 给我的印象是，可以将词映射成一个数值向量，而且语义相近的词，在向量空间上具有相似的位置。 有了 Embedding ，就可以对词进行向量空间上的各类操作，比如用 Cosine 距离计算相似度；句子中多个词的 Embedding 相加得到句向量。 图1 Word2Vec 时期，Embedding 可以将词映射到向量空间，语义相似的词在向量空间里有相似的位置 那 Embedding 到底是什么？Embedding 怎么训练出来的？ 以词向量为例， Embedding dict 的 Key 是词在词表中的索引位置（Index），Embedding dict 的 Value 是这个词的 dim 维的向量。 在当前这个例子中，某个词被映射为3维的向量，经过 Embedding 层之后，输出是 Index 为1的 Token 的3维词向量。 Embedding 里面是什么？
3.2K20编辑于 2022-09-20 - 来自专栏具身小站
详解BERT模型的向量（Embedding）生成过程
例如，BGE-M3可以同时生成稠密向量、稀疏向量和多向量表示，兼顾语义理解与关键词匹配的精确性。Qwen3-Embedding等则针对特定任务（如代码检索）进行优化。 输出与向量提取：如何获得想要的句子向量 经过多层编码器后，会得到一串向量，每个输入Token对应一个输出向量。那么，想要的“句子向量”从哪来呢？ 可以选择像all-MiniLM-L6-v2这样轻量、快速的模型，也可以选择像Qwen3-Embedding这样性能更强的模型，还可以通过 ONNX（开放神经网络交换格式） 等格式将模型导入数据库内部，让向量生成过程在数据附近执行 环节 核心任务 技术/模型选项 关键考量因素 嵌入模型选择 将文本转化为向量 通用型：all-MiniLM-L6-v2 (384维)、BGE系列高性能型：Qwen3-Embedding (1024维)、 OpenAI text-embedding-3-small 语义理解能力、向量维度（影响存储和速度）、最大Token长度、部署成本（开源免费 vs.
56610编辑于 2026-03-31 - 来自专栏具身小站
向量嵌入（Embedding）概念及原理解析
在这个比喻中： 朋友 ：原始数据（文本、图像、音频） 简笔画 ：向量嵌入（Embedding） 画画的规则 ：嵌入模型（如BERT、CLIP） 2. 举个例子 文本嵌入 ： 输入句子："我喜欢吃苹果" 嵌入模型（如OpenAI的text-embedding-3-small）输出一个1536维的向量： [0.023, -0.456, 0.789, .. 在向量空间中： “猫”和“猫咪”的向量非常接近 “猫”和“狗”的向量也较近 “猫”和“汽车”的向量相距很远 这意味着我们可以用向量间的距离（如余弦相似度）来衡量语义相关性。 3. 推荐系统 用户嵌入 ：根据用户历史行为生成用户向量 物品嵌入 ：为每个物品生成向量 在向量空间中找与用户向量最近的物品，实现个性化推荐 4. 图像/视频检索 以图搜图、以文搜图。 在实际工程中，通常使用预训练模型来生成嵌入： 文本嵌入模型 模型 开发者 维度 特点 text-embedding-3-small OpenAI 1536 质量高，收费 text-embedding-
1.3K10编辑于 2026-03-31 - 来自专栏Spring AI 系列
Spring AI 增加混元 embedding 向量功能
今天，我们进一步优化和扩展了该项目，新增了一个向量化功能。如图所示：好的，首先就是对接API接口。我们开始。向量功能接口调用腾讯的所有接口共享同一个域名，并且接口之间并没有按照请求路径进行细分。 "; public static final String DEFAULT_EMBEDDING_MODEL = "hunyuan-embedding"; .......}HunYuanAutoConfiguration 这里就是单独配置一下我们需要的embedding模型的接口配置了。 ，确保了系统能够顺利进行向量化处理，并与其他模块良好协作。 小结在本次更新中，我们进一步优化了spring-ai-hunyuan项目，新增了向量化功能。
91341编辑于 2025-03-25 - 来自专栏个推技术实践
词向量Word Embedding原理及生成方法
一、Word Embedding初探 什么是Word Embedding 一句话概述，Word Embedding即词向量，是一种函数映射关系。我们知道，在机器学习中，特征都是以数值的形式进行传递的。 例如，我们将单词“你好”进行Word Embedding后，可以把其映射成一个5维向量：你好 ——> (0.1, 0.5, 0.3, 0.2, 0.2)。 二、使用One-Hot和SVD求Word Embedding方法 One-Hot（词——>向量空间1） One-Hot是目前最常见的用于提取文本特征的方法之一。 CBOW 思路： 假设已知一个center word和一串context 可尝试训练一个矩阵V，它的作用是把单词映射到新的向量空间中去（这就是我们想要的embedding！） 同时还可训练一个矩阵U，它的作用是把embedding后的向量映射到概率空间，计算一个词是center word的概率 训练过程： 过程详述： （1）假设X的C次方是中间词，且context的长度为m
4.9K20发布于 2021-05-24 - 来自专栏Datawhale专栏
一文详尽之Embedding（向量表示）！
Datawhale干货 作者：杜晓东，Datawhale成员 在大模型时代，Embedding（向量表示）的重要性愈发凸显。 不论是在 RAG 系统，还是在跨模态任务中都扮演着关键角色。 贝叶斯学派和频率学派“正统”之争（https://www.zhihu.com/question/20587681/answer/23060072） 1.4 词向量 词向量（词嵌入，Word Embedding 1.5 句向量 句向量（Sentence Embedding） 是将整个句子转换为固定长度的向量表示的方法。 最简单的句向量获取方式是基于平均词向量的方法：将句子中的每个词转换为词向量，然后对这些词向量取平均得到句子向量。 各项异性问题的优化方法： 有监督学习优化： 通过标注语料构建双塔Bert或者单塔Bert来进行模型微调，使靠近下游任务的Bert层向量更加靠近句子相似embedding的表达，从而使向量空间平滑。
7K10编辑于 2025-01-19 - 来自专栏阿泽的学习笔记
【Embedding】GloVe：大规模语料中快速训练词向量
Introduction 今天学的论文是斯坦福大学 2014 年的工作《GloVe: Global Vectors for Word Representation》，在当时有两种主流的 Word Embedding Conclusion 至此，我们便结束了 GloVe 的介绍，用一句话总结便是：GloVe 使用具有全局信息的共现矩阵，并采用类似矩阵分解的方式求解词向量，通过修改代价函数将 Word2Vec 关注局部特征的优点加入进来
1.5K20发布于 2020-07-21 - 来自专栏DeepHub IMBA
无 Embedding、无向量数据库的 RAG 方法：PageIndex 技术解析
PageIndex 是一种无向量、基于推理的检索增强生成（RAG）方法，无需 Embedding、分块或向量数据库即可从长文档中检索答案。 多数 RAG 系统依赖 Embedding 和向量数据库：把文档拆成块，转成向量，用余弦相似度找答案。但相似度不是推理。PageIndex 采用了另一个方法，通过文档结构的推理而非语义搜索来检索信息。 完整剧本不会被整体发送，不会生成 Embedding，也不会执行向量相似度搜索。LLM 接收到的只有三样东西：用户的问题、层次化映射（JSON 树）、每个节点的摘要。不是完整剧本，只有结构。 这是逻辑推理，不是向量相似度计算。 步骤 2：深入探索 PageIndex 随后仅检索这些特定节点对应的原始文本。不扫描 50 页内容，只取回 2-3 个聚焦章节。 向量搜索按语义接近度检索，不考虑叙事相关性——本质上是在做"氛围匹配"。 PageIndex 不存在这个问题。
34010编辑于 2026-04-21 - 来自专栏Coding迪斯尼
用深度学习实现自然语言处理：word embedding，单词向量化
接下来我们要看自然语言处理中一个极为关键的概念叫word embedding，也就是用非零向量来表示每一个单词。 one-hot-vector对单词进行编码有很多缺陷，一是冗余过多，一大堆0，然后只有一个1，二是向量的维度过高，有多少个单词，向量就有多少维度，这会给计算带来很多麻烦，word-embedding把原来高维度的冗余向量转换为低纬度的 keras框架给我们提供了现成可用的类似网络，我们看下面一段代码： from keras.layers import Embedding #Embedding对象接收两个参数，一个是单词量总数，另一个是单词向量的维度 32条句子，每条句子最多包含10个单词，那么我们提交的输入参数就是(32, 10)，Embedding一开始会给每个单词随意生成一个含有64个元素的向量，然后通过读入大量的数据，调整每个单词对应的向量， 还记得前面我们使用预先训练好的网络大大提升图片识别率吗，单词向量化也一样，有人使用上面提到的Embedding网络层分析读取大量文本后，为常用的英文单词都建立了对应的向量。
1.5K11发布于 2018-08-16 - 来自专栏小七的各种胡思乱想
无所不能的Embedding 2. FastText词向量&文本分类
Fasttext是FaceBook开源的文本分类和词向量训练库。 先对文本的每个词做embedding得到 w_i , 然后所有词的embedding做平均得到文本向量 w_{doc} ，然后经过1层神经网络对label进行预测 \[\begin{align} w_{ 当然副作用就是需要学习的embedding规模会大幅上升，只是2-gram就会比word要多得多。 Fasttext 词向量模型 Fasttext另一个模型就是词向量模型，是在Skip-gram的基础上，创新加入了subword信息。 也就是把单词分解成字符串，模型学习的是字符串embedding ，单词的embedding由字符embedding求平均得到，这也是Fasttext词向量可以infer样本外单词的原因。
2K20发布于 2020-09-08 向量检索的流程是怎样的？Embedding 和 Rerank 各自的作用？
Embedding 向量化使用 Embedding 模型将每个文本块转换成固定长度的浮点数向量（例如 768 维、1536 维）。→ 向量代表该文本的语义特征。 Query 向量化使用同一个 Embedding 模型将 Query 转换成向量。向量相似度搜索在向量数据库中检索与 Query 向量最相似的 Top-K 个向量（例如 K=100）。 二、Embedding 的作用Embedding 模型（又称双编码器，Bi-Encoder）将文本映射到向量空间。核心特点独立编码：Query 和 Document 分别独立通过模型生成向量。 面试回答我觉得可以把向量检索理解成一个‘从粗到细的查找过程’，主要分三步：提前建库：先把所有文档（或商品、图片等）通过 Embedding 模型转成向量，存到向量数据库里。 Embedding 的作用是把非结构化数据变成语义向量，核心是召回。它要保证：意思相近的内容，在向量空间里距离也近。比如‘怎么退火车票’和‘取消高铁订单’的向量会很接近。
33211编辑于 2026-04-22换了 Embedding 模型向量全废了？Go 实战大规模数据平滑重构
简单来说，向量是文本在特定多维空间中的坐标，而这个空间是由 Embedding 模型定义的。 一旦更换了模型（例如从 OpenAI 的 text-embedding-ada-002 迁移到 DeepSeek 的模型），所有旧向量的坐标系就彻底失效了。 面对百万级甚至千万级的数据量，如何在不中断业务的前提下完成 Embedding 数据的平滑重构？这不仅是一个数据搬运问题，更是一个涉及并发控制、内存管理与系统可观测性的综合工程挑战。 向量迁移的性能瓶颈与挑战 向量迁移的核心难点在于“重索引（Re-indexing）”。这意味着每一条存量数据都需要重新经过 Embedding 模型计算，再重新写入新的向量库。 在这个过程中，瓶颈通常呈现为三个维度： 外部接口 QPS 限制：Embedding API（如 OpenAI）通常有严格的速率限制。
8310编辑于 2026-05-19- 来自专栏心源易码
文本向量化模型新突破——acge_text_embedding勇夺C-MTEB榜首
在支撑这些大型语言模型应用落地方面，文本向量化模型（Embedding Model）的重要性也不言而喻。 近期，我在浏览huggingface发现，国产自研文本向量化模型acge_text_embedding（以下简称“acge模型”）已经在业界权威的中文语义向量评测基准C-MTEB（Chinese Massive Text Embedding Benchmark）中获得了第一名。 今天这篇文章将围绕以下问题，为大家带来acge_text_embedding模型解读以及应用思考：• 文本向量化acge模型是什么？原理是什么？ 由上表可以看到，acge_text_embedding模型在“Classification Average (9 datasets)”这一列中，acge_text_embedding取得了72.75的分数
4.2K21编辑于 2024-04-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号