00:00
检索这件事儿,你是不是拼了?四个系统关键词,一个向量库,一个重排,一个推荐,再来一个,每多一个系统就多一份数据同步,多一份运维。今天这一个索引,四种能力全包,四个开关,一次讲性。眼前是710万篇英文为100g,索引完299个G,大约600亿token全装在一个tic surface索引里,后端是last search sance不用调节,点开内存,先用中文内语推车回来全是英文文章,可复用,实验航天器、载人航天工程、空天飞机计划,英文维机里没有一个重点字,我一行inbeding代码的媒字。这一步靠的是GINA的embddy模型,三个点值得记住,模型是GINA embeddings-B5TEXT small.
01:00
6亿参数1024位第一,Elastic search通过inference API原生调用码索引和查询同一个模型,同一个空间换模型只感K。第二,100多种语言映射进同一个语义空间,中文查英文才是能立。第三,它带任务适配器,检索相似分类,各用各的一个模型,当三个人第二个开关组则检索先关掉,搜一个编号27003,回来一整这个小区分列表,纯语义,把它当成一个数字打开,混合显示ISO27003信息安全管理体系标准直接第一。
02:00
再看C编号开着的时候,Logs需要排第一。关掉他跳到第二层。这就是为什么我们必须要由混合检测,一次查询跑两步,关键词和向量用RRF按名次融合,真实查询里既有概念,也有必须自对自命中的编号和型号,所以仅有向量搜索是不够的。第三个铜牌中文问一句,谁提出了相对论?第一名是相对论优先权认证,第二名是DTL起点,一个黑洞,宇宙学的条面明显好往下翻,爱因斯坦本人在第10位,打开平牌相对论主条目第一,爱因斯坦从第10L到第5 BKL起点升到第10,前三名起平卷行。这是两段是第一段向量检索快,但是出行,第二段用心量的柔软可行,把查询和每条候选放在一起。
03:12
读一遍只对这十来条金牌,它比向量检索慢,但只处理少量后选整体还是零点几秒这一环在RNG里最值钱。大模型只读你喂进去的前几条,喂错了答案就错了。最后一个用法,点一下这篇文章的摘要图地址栏从query变成麦,从搜索切到推荐图返回的实事,中国航空器这一步一次在线模型都能调用的是文章里预存都向量,原文和向量存在同一篇文档里,查到就能连原文一起想。现在看分类,这些类目标签是一样本自动版本,没有标注训练体文章项链和类目项量的,具体的用的是图书馆旧体系标签不一定是换成你自己的业务标签是最好的。擎语擎回顾一下,710万块钱一个索引,一个隐形。
04:12
大语言混合检索重排推荐存在的这份数据能加到299个G,靠的是向量量化。A呢,这个模型从设计上就对量化,有从语义搜索到rag再到agent的数据地基,从一份索引落到你自己的数据上,改的是配置,不是架构,别再拼四五个系统检索这件事儿,一个last text search就够了,我是点火三周。
我来说两句