首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >言必称Embedding,Transformer的Embedding与RAG的Embedding是什么关系?傻傻搞不清。。。干货满满,专治各种懵懵懂懂!!!

言必称Embedding,Transformer的Embedding与RAG的Embedding是什么关系?傻傻搞不清。。。干货满满,专治各种懵懵懂懂!!!

作者头像
烟雨平生
发布2026-04-14 18:49:28
发布2026-04-14 18:49:28
330
举报

先讲结论:Transformer的Embedding是模型的输入层,RAG的Embedding是一个完整的编码模型(如BERT),用于语义检索。

具体来说,Transformer架构中的Embedding,是整个Transformer模型的初始输入处理模块,是模型的输入层。在标准的Transformer架构中,Embedding层的作用是将输入的离散符号(如单词、子词)映射为连续的向量表示。

RAG中的Embedding是RAG系统中的一个子模块,是一个完整的编码模型(如BERT),用于语义检索。

在RAG框架中,Embedding是指用于检索的Embedding模型,它通常是一个独立的、完整的Transformer编码器(如BERT)。核心作用是实现文本与向量的语义映射:知识库构建阶段,把业务知识文本进行语义编码,向量化,该向量会存向量数据库;检索问答阶段,把用户的问题进行语义编码,向量化,该向量用于从向量数据库中检索语义最相似的向量,精准定位与用户问题相关的业务知识片段

字有点多,来张图:

可以看到RAG中的Embedding是一个模型,在RAG系统中是一个独立的子模块。

再看一张RAG系统中Embedding模型的架构图:

从图上可以看到,Transfromer架构中的Embedding组件只是其中的一个部分。

总结一下:

Transformer的Embedding,是一个架构的组件,是一个模型的组成部分,不能单独对外提供服务。

RAG系统中的Embedding,是一个模型,可以单独对外提供服务。

简单的讲,Transformer的Embedding在模型里打下手,RAG的Embedding在外面当主力。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2026-01-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 的数字化之路 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档