视频检索 VideoSearch-R1：用8个看不见的token改写搜索结果

想象一下，你让一个AI助手去一个海量视频库里，找出“一个穿深灰色T恤、在室内给一只黑色鞋子涂乳液的男人”，然后精确报出这个动作发生在视频的第几秒到第几秒。

论文链接：https://arxiv.org/pdf/2607.00446

这其实是两件事：先从成千上万条视频里捞出对的那一条（检索），再在这条视频内部精确定位到具体的时间片段（定位）。绝大多数系统把这两步当成流水线——先搜、后看，中间没有回头路。可现实是，第一步搜索经常会给出一个“看起来很像但细节不对”的候选，比如同样是男人涂乳液的画面，衣服颜色、场景、鞋子颜色全都对不上。一旦第一步走错，后面再怎么精细地看视频也是白费。

来自 KAIST 与高丽大学的团队在被 ECCV 2026 接收的论文 VideoSearch-R1 中，提出了一个思路：检索和推理不该是两个各干各的模块，而应该是一个能互相纠错的闭环。而这个闭环里最巧妙的设计，是让智能体不再用文字重新提问，而是直接在连续的隐空间里“悄悄”调整搜索向量。

检索和推理，被拆成了两件互不知情的事

论文把这个联合任务称为 Video Corpus Moment Retrieval（VCMR）：给定一句文字查询，系统要先从一个大规模视频语料库里检索出相关视频（跨视频推理），再在这条视频内部做时间定位，即预测目标片段的起止时间戳（视频内推理）。

现有做法基本分两派，但都绕不开同一个软肋。一派是CLIP系视频检索模型，靠双塔结构把视频和文本各自编码成向量、算余弦相似度做排序，效率高但只能捕捉粗粒度的语义对齐。另一派是近两年火起来的视频智能体框架，它们能调用目标追踪、OCR、时间定位器等工具做精细的视频内推理，但几乎全都默认“目标视频已经找好了”，直接跳过检索这一步。

于是两派拼接出的传统流水线里，检索被当作一次性的预处理：一旦检索没找对，后面的精细推理无从谈起，也没有任何反悔机制。这正是 VideoSearch-R1 想要打破的假设。

VideoSearch-R1：把检索和推理拧成一个能自我纠错的循环

VideoSearch-R1 的做法是让模型和一个外部视频搜索引擎（Qwen3-VL-Embedding-2B）反复对话，而不是只问一次。每一轮交互大致是这样的：

• 模型拿当前的查询去调用搜索引擎，引擎返回相似度最高的第一名视频；
• 模型对照查询和这条视频，做一次“验证”：这条视频到底符不符合查询里的细节？并生成一段推理过程说明理由；
• 如果判定不匹配，模型不会干等，而是生成一段用于精化查询的隐向量，把它拼在原始查询后面，用新的查询再去搜一次；
• 如果判定匹配，模型就转入视频内推理，直接预测目标片段的起止时间戳。

这个循环会持续到确认匹配、或者达到预设的最大轮数为止。论文的实验显示，性能从第一轮到第二轮有明显提升，到第三轮基本就饱和了——多问两轮就够了，不需要无限纠缠。

核心创新：不重写问题，直接在隐空间里“悄悄纠偏”

VideoSearch-R1 最值得记住的设计，是它处理“查询精化”的方式。常规思路（论文称之为 Hard Query Refinement，硬查询精化）是让模型重新写一遍文字查询，比如把“一个男人涂乳液”改写成“一个穿浅灰色T恤、在户外给鞋子涂乳液的男人”。这种方式直观，但代价不小：论文实验里，硬查询精化平均要生成 26.8 个文字token，而且改写出来的长查询反而可能引入噪声，让本身依赖向量相似度、而非指令理解能力的搜索引擎更困惑。

VideoSearch-R1 提出的 Soft Query Refinement（SQR，软查询精化）换了一条路：不生成文字，直接生成连续隐空间里的向量。具体做法是，模型自回归地生成 8 个隐向量token，解码时上一步的隐藏状态经过一层线性投影，直接作为下一步的输入嵌入——整个过程完全在向量空间里滑动，不落地成任何可读文字。这些隐向量会被拼接在最初的原始查询后面（而不是拼在上一轮已经精化过的查询后面），构成新一轮的检索输入。

论文的一组对比实验很能说明问题：在 ActivityNet-FIG 数据集上，SQR 只用 8 个隐向量token，检索指标 R@1 的提升幅度是硬查询精化的近两倍，而硬查询精化平均要用掉 26.8 个文字token才能达到更弱的效果。

论文里有一个具体的定性案例：搜索“一个女人梳头发”，最初搜索引擎因为只捕捉到“女人梳头”这种粗粒度概念而找错了视频；随着隐向量一个个被追加，检索结果开始捕捉更具体的细节，比如“金发”“被人梳理”；用满 8 个隐向量之后，模型进一步捕捉到“浅蓝色墙壁”这个场景线索，目标视频终于被排到检索结果的第一名。软查询token不是装饰，它们在真实地一步步收窄语义范围。

训练方式：先用思维链打地基，再用强化学习练真功夫

要让模型既会验证匹配、又会生成有效的隐向量、还要精准定位时间戳，论文采用了两阶段训练。

第一阶段是监督微调冷启动，底座是 Qwen3-VL-2B-Instruct。为了让模型学会结构化的推理格式，团队用更强的 Qwen3-VL-30B-A3B-Thinking 模型对 2000 条查询-视频样本（1000条能搜对、1000条搜不对）生成思维链标注，教会模型如何解释“匹配”或“不匹配”的判断依据、以及如何论证时间边界。而隐向量本身没有现成的文字标注可学，团队用了一个对比学习目标（InfoNCE）：让精化后的查询向量在搜索引擎的嵌入空间里，与正确视频的相似度尽量高、与负样本视频的相似度尽量低。

第二阶段是基于 GRPO（Group Relative Policy Optimization）的强化学习，从第一阶段的模型出发，用四种奖励信号联合驱动：格式合规奖励（输出是否符合规定的标签结构）、验证准确奖励（匹配判断对不对）、检索对齐奖励（复用前面的对比学习目标，隐向量是否真的把查询推近了目标视频）、以及时间定位奖励（预测的时间片段与真值的IoU）。四类奖励求和后，在同一批采样内做组内归一化得到优势值，用于更新策略。

消融实验显示了一个很直观的现象：仅靠监督微调，模型能学会格式和基本的软查询能力，检索指标提升明显，但时间定位几乎没有真正变好；真正让时间定位质量跃升的，是后续强化学习阶段里的时间定位奖励。而如果去掉验证奖励，模型分辨“匹配”与“不匹配”的准确率会明显掉档——四个奖励信号各自对应流程里不同的环节，缺一个都会拖累整体表现。

效果：三个数据集全面登顶，纠偏能力经得起细看

在 ActivityNet-FIG、Charades-FIG、DiDeMo-FIG 三个 VCMR 基准上，VideoSearch-R1 相比同等参数规模、同样底座却不做软查询精化的微调基线，全面胜出。几个比较直观的数字：在 DiDeMo-FIG 上，VCMR 在IoU阈值0.3下的R@1从 23.6 提升到 33.3；在 ActivityNet-FIG 上，纯检索指标 R@1 从 55.1 提升到 61.1。值得注意的是，两个对照基线（零样本模型和微调模型）在纯检索指标上的表现完全一样——因为它们在多轮交互里都不会更新查询表示，只是机械地往下翻候选列表，这也从侧面印证了软查询精化才是检索能力提升的真正来源。

论文里最完整的一个案例，把这套自我纠错机制讲得很清楚：查询是“一个穿深灰色T恤、在室内给一只黑色鞋子涂乳液的男人”。第一轮搜索返回的候选视频只是表面相似——同样是男人给鞋子涂东西，但细看会发现衣服其实是浅灰色、场景在户外、缺少查询里提到的木门和相框。模型的验证步骤准确捕捉到了这些差异，判定“不匹配”，随即生成软查询隐向量并重新检索。第二轮检索里，真正目标视频的排名从第 14 名直接跃升到第 1 名，模型确认匹配后，精确定位出片段起止时间为 0.0 秒到 9.86 秒，与真值的 IoU 达到 0.89。

局限与更大的想象空间

这套框架目前只在 VCMR 这一个任务形态上做了系统验证，检索能力的天花板仍然受限于外部搜索引擎Qwen3-VL-Embedding-2B本身的向量空间质量——软查询精化能做的，是在这个既有空间里精细调整，而不是重新定义相似度的度量方式。另外，隐向量虽然比文字改写更省token、效果更好，但它牺牲了可解释性：文字改写好歹能读出模型“改了什么念头”，隐空间里的调整则完全是一个黑箱，人工审查和调试都会更困难。

不过，这篇论文真正有价值的地方，或许不在于刷新了某几个榜单数字，而在于提出了一个更值得推广的思路：检索和推理不应该是流水线上互不知情的两个独立阶段，而应该被绑进一个可以互相纠错的闭环；而“用连续隐向量做非文字的精细调整”这种做法，未必只对视频检索有效——任何需要多轮检索、验证、纠偏的智能体场景，都可能是这个思路的用武之地。

进阶学习

大模型的竞争，正在从“会不会生成文字”，转向“能不能理解真实世界”。

如果你已经学过 LLM、RAG、Agent，但还没有系统学习图文理解和视频理解，那么你现在缺的，可能正是下一阶段 AI 技术进阶中最关键的一块拼图。

如果你希望系统掌握多模态大模型前沿技术与应用，推荐你学习我的精品课程课程覆盖主流多模态架构、图文对齐，多模态Agent、数据构建、训练流程、评估与幻觉分析，并配套多个项目实战：LLaVA、LLaVA-NeXT、Qwen2/3-VL、InternLM-XComposer（IXC）、TimeSearch-R视频理解，包含算法讲解、模型微调/推理、服务部署、核心源码解析等，带你系统掌握多模态大模型的核心能力。

🌟 关注“唐国梁TGLTommy”，一起持续追踪 AI 技术演进背后的长期趋势。