如何评估用于现实世界部署的通用机器人策略

机器人基础模型取得了显著进展。当今的出色系统可以遵循自然语言指令来选取、放置、分类和操作各种物体。但是，随着这些模型的功能越来越强大，严格评估它们已成为该领域最难解决的难题之一。在这篇博客文章中，我们将介绍关键问题及其解决方法。

为什么当前的基准测试不符合要求

现实世界的测试成本高昂、速度缓慢且难以重现。为了彻底评估机器人在现实世界中的性能，我们需要一个合理的代理。仿真是运行大规模机器人评估的理想场所。然而，大多数现有基准测试都存在一些关键问题。

训练和评估中的视觉领域重叠

首先，策略训练和评估中使用的数据和环境几乎总是来自同一视觉来源。当模型在模拟数据上进行微调并在相同的模拟环境中进行评估时，强大的性能仅显示模型记住了设置，而无法泛化。这仍然是机器人评估中的一个关键问题，因为仿真的视觉质量无法与现实世界的图像观察相美。Real2sim 方法通过使用 Gaussian Splatting 等技术根据真实图像重建逼真的环境来解决这一问题，但每个场景的设置可能超过一小时，因此无法进行大规模测试。

Comparison of simulation benchmark approaches, showing tradeoffs between visual realism, task diversity, and scene generation effort.

图 1. 现有的仿真基准测试存在视觉和任务领域重叠、低真实度以及场景和任务生成的高开销问题。传统的程序化场景生成通常存在渲染质量低下的问题，从而造成巨大的 sim2real 视觉差距。3D 重建 (3DR) 环境通过修补或高斯射等方法为模拟环境带来更多的真实感，但通常以生成每个场景的人工努力为代价。

基准测试饱和度

其次，生成任务是一项繁琐的工作。大多数基准测试都有一个固定的任务集，很少更新。这很快就会导致性能饱和：模型在静态任务集上快速获得最大分数，从而无法分辨出哪个模型真正更有能力。当每个系统在同一基准测试中报告的成功率超过 90% 时，这些数字就没有那么重要了。

Chart showing benchmark saturation, where many robot models achieve similarly high scores, making performance differences harder to distinguish.

图 2. 几乎每篇模型论文都会报告此基准测试的结果，但所示的饱和度使得我们很难就模型性能得出有意义的结论。

诊断差距

诊断差距也更大。二进制成功/失败分数无法解释机器人失败的原因。被物体的颜色混淆了吗？指令措辞？镜头切换？它是否根据特定语言指令高效地执行任务？如果没有这些问题的答案，研究人员就没有什么可以采取行动的。

Example of a robot evaluation episode performing a tabletop object manipulation task.

图 3. “将橙色量杯和蓝色量杯置于板外”任务的评估示例，策略 pi0.5

统计可信度

每个物理引擎和策略都会受到一些随机性的影响。N 次部署的成功率几乎无法表明您应该对策略的真正性能有多自信。如果一项策略成功了九成，那么它是“90% 的成功”策略，还是 80% 或 95% 的策略在小样本中幸运？为此，我们研究了 Clopper-Pearson 方法。

Graph illustrating how the Clopper-Pearson method estimates confidence intervals for a binomial success rate.

图 4. Clopper Pearson Interval 是一种“精确”的二项式成功率边界方法。

Clopper-Pearson 方法是一种“精确”方法，用于围绕成功率构建二项置信区间，直接通过二项分布计算得出。我们来看看以下示例：对于观察到的 90% 的成功率和仅 70 次发布，95% 的 Clopper-Pearson 置信区间可以达到 15.4 个百分点 (成功率为 80.5% 到 95.9%) 。在 1030 版发布后，此误差将缩小到+ 2 个百分点的范围 ( 88.0% 到 91.8% 的成功率) 。在比较两种策略的性能时，大多数已发布的基准测试的推出次数都不足以实现统计意义。

Graph showing that confidence intervals become narrower as the number of evaluation rollouts increases.

图 5. 95% 的 Clopper-Pearson 间隔表示成功率为 90%，蓝色破折号表示 CP 间隔约为 90%。将置信区间从 10% 缩小到 2 个百分点大约需要 15 倍的发布时间 ( 70% 到 1030%) 。

隆重推出 RoboLab

我们构建了一个名为 RoboLab 的模拟基准测试平台来解决这些问题。RoboLab 围绕三个原则构建：

1. 对任务进行与机器人无关的评估，同时提供有意义的指标
2. 支持快速生成新任务，避免基准测试饱和，并支持代理式 AI 工作流
3. 提供全套分析工具，全面了解策略的表现、失败时间以及失败原因。

Illustration showing how robot benchmarks should expand as model capabilities improve.

图 6. 随着领域的发展，基准测试需要适应新的功能。一旦现有基准测试性能饱和，就该调整和扩展基准测试了。

代理式 AI 时代的机器人基准测试

Diagram illustrating RoboLab's three-step workflow for generating robot evaluation scenes, tasks, and environments.

图 7. RoboLab 的 3 步场景、任务和环境生成流程。

RoboLab 反映了一个真实的设置过程：放置物体、添加语言指令和运行策略。给定一个对象库，用户只需将对象放置在场景中，然后指定一种或三种语言指令即可整个过程只需几分钟即可完成。RoboLab 还附带智能体技能，编码智能体可以利用这些技能，直接在用户的工作流程中生成新任务。这种效率也为基准测试提供了未来保障：随着通用模型的改进，可以添加新任务，并淘汰过时的任务。

自带机器人 

构建通用机器人策略需要解决一系列特定任务，而且没有一个团队在每个实施过程中都拥有丰富的数据。实验室可能需要使用 Franka 手臂数千小时，但几乎没有使用人形机器人，反之亦然。与特定机器人绑定的基准测试会迫使每个用户进入相同的数据缺口，而不管他们实际尝试构建或测试什么。

RoboLab 任务与机器人和策略无关，这意味着无论机器人的具身或策略架构如何，都可以评估同一组任务。用户可以自由地做出自己的设计选择；RoboLab 只需根据他们带来的机器人编译相同的场景和任务即可。随着未来机器人具身选择的数量不断增加，这一点也有意义；使用哪种机器人进行数据生成和训练无关紧要，只有它能完成任务。

特定于功能的任务

一个有用的基准测试需要分离出不同的功能，而不仅仅是衡量机器人是否完成了一项任务。我们观察到，通用操作至少需要三种不同的能力：

• 视觉能力测试策略是否能够识别感知属性 (例如颜色、大小和语义类别) 并据此采取行动，例如区分红色小杯与桌子上的其他物体。
• 程序化能力评估面向行动的推理：堆叠对象、调整对象方向或推理如何与工具交互。
• 关系能力可用于探索空间和语言逻辑，包括会合 (“选取橙色和石灰”) 、计数以及左侧或内部等相对位置。

通过设计每个任务都针对一种或多种特定功能的任务，我们可以确保广泛覆盖通用策略所需的整个技能空间。RoboLab-120 是我们最初的基准测试，测试了 120 个人类精心策划的桌面拾取和放置任务，每个任务都用所需的多种功能进行了标记，因此基准测试的能力范围保持明确和平衡，并随着新任务的添加而调整。

评估机器人策略

哪些指标可以证明机器人策略“良好”？ 

仅仅是成功率几乎无法告诉你机器人如何执行任务，只有它是否跨过了终点线。抓取正确物体但提早丢弃的策略可以注册为失败策略，而只有在出现不稳定、或慢动作后才成功的策略可以注册为成功策略。这两种情况都不是通过二进制成功捕获的。为解决这一问题，RoboLab 使用了三种额外的评估工具，这些工具共同描绘了更全面的策略行为：

• 分级任务分数：在多步骤指令中完成子任务的分数是部分的，因此，如果机器人抓住正确的物体但未击中掉落目标，其得分与完全不做任何事情的机器人不同。
• 轨迹质量：通过路径长度和 SPARC (Spectral Arc-Length) 测量运动效率，SPARC 是一种人类对齐的指标，通过里叶速度频谱捕捉平滑度。建议使用更短、更流畅的动作。
• 执行速度：测量终端效应器速度，这是另一个与人类匹配的指标，用于捕捉人类的感知，即更快的运动是首选。

机器人策略何时失败？ 

了解任务出错的原因与了解任务出错的原因同样重要。除了通常的性能指标之外，RoboLab 还深入探讨了策略成功或失败的原因，以及在流程中发生故障的确切位置。故障事件日志记录可自动追踪抓取目标错误、掉落物体和抓手碰撞，从而精确定位任务执行脱轨的位置。我们来观察以下任务：“将所有塑料瓶放入垃圾桶”。该策略会拾起所有的塑料瓶，并将其放入垃圾桶内；不过，该策略还会在垃圾桶中额外放置一个橙色瓶子。可以看到，从技术上讲，任务是成功完成的！从技术上讲，一项任务可以根据规范完成，但机器人在恢复之前仍可能在途中抓住错误的物体。

Sequence of robot actions highlighting multiple failure events during a task that ultimately succeeds.

图 8. 在成功推出“将所有塑料瓶放入垃圾桶”的策略执行过程中，发生了三个单独的故障事件。

为了检查这些事件，RoboLab 内置了一个控制面板，该控制面板会在事件发生时显示事件，以便用户直接跳转到发生故障的帧。这将手动事后猜测游戏中的诊断转变为更接近于机器人行为调试器的东西：您可以问“它到底在哪里停止了工作，导致该事件发生的背景是什么？”而不是问“它有用吗？”

Screenshot of the RoboLab dashboard highlighting failure events during a robot evaluation episode.

图 9. RoboLab 内置控制面板，可用于查看剧集期间的活动。这使得用户能够快速了解故障发生的时间以及故障的上下文。

您的机器人策略在应对日益复杂的挑战方面有多稳健？

现实世界的部署很少能提供基准测试所需的干净、可控的条件。指令的表述方式不计其数，场景通常是杂乱而非稀疏的，任务可以跨越多个步骤，而不仅仅是一到两个步骤。要了解策略是否真正可靠，我们必须针对语言、场景和任务范围中日益复杂的情况分析性能。

语言复杂性

只理解措辞精确的命令的机器人在实验室外的用途有限，因为人们自然而然地以各种不精确的方式表述指令。针对多种语言指令进行的测试表明，与真正的任务理解相比，策略在多大程度上依赖于精确的措辞。RoboLab 允许用户在其任务规范中指定多种语言指令，并选择在运行时使用的变体。在初始基准测试中，我们提供了 3 种变体：模糊、默认和特定。我们发现，模糊的指令会不断导致失败，这表明当前的模型在措辞上仍然站不住脚。我们还发现，有时指令中的细节过多也会导致性能下降。

Sequence showing a robot policy performing worse as language instructions become more vague.

图 10. 当语言命令变得越来越模糊时，策略就会陷入困境。任务是从垃圾桶中取出全部 3 个香蕉，但随着指令变得越来越模糊且需要更多推理，策略无法理解预期任务目标。

场景复杂性

现实环境很少能像训练场景那样整洁，通常包含干扰对象、杂乱无章和视觉噪音，可能会混淆物体识别。在场景复杂性增加的情况下评估性能，可以看出策略是否仍然可以在视觉干扰因素中隔离出正确的目标。

任务复杂性：任务周期短与任务周期长

许多现实世界的任务并不是单步操作，而是一系列相关子任务，其中早期的小故障可能会在之后演变为完整的任务故障。例如，“把杯子放在柜子里”之类的任务可能需要先打开柜子，然后再抓取杯子。通过测量性能如何随着任务范围的扩大而降低，我们可以了解到策略在维持扩展推理链准确性方面的表现如何。任务设计师可以在 RoboLab 任务中指定子任务的预期序列，并跟踪策略的进展情况。我们发现，大多数策略难以处理长时程任务，没有任何策略能够成功执行四个以上的复杂子任务。

您的机器人策略对变异的敏感度如何？

Diagram showing how sensitivity analysis identifies which scene variables have the greatest impact on robot performance.

图 11. 可能会影响性能的场景变化。在一次部署中测试每个变体的实验数量呈指数级增长。我们引入了敏感度分析，使我们能够查明影响性能的变量，而无需单独进行测试。

某些环境变化可能会导致性能下降，但在大规模情况下，单独测试每个变量很快就会变得棘手。相反，我们会同时对许多场景变化进行评估，并应用敏感度分析，确定哪些环境变量与成功或失败最相关，将“摄像头位置可能很重要”等直觉转化为量化结果。

在观测到的结果为 𝜃 的变体 𝑥 下，给定剧集展开 (例如，任务成功) ，后验分布 𝑝⁡(𝜃 ∣𝑥) ∝𝑝⁡(𝑥 ∣𝜃)⁢𝑝⁡(𝜃) 描述了 𝜃 与结果 𝑥 最相关的条件。我们使用神经后验估计 (NPE) 进行后验估算，这使我们能够准确地确定哪个环境变量导致了给定的性能下降，而不是逐一猜测每个因素的影响。

为何如此重要

机器人基准测试仍然远远落后于其他 AI 研究，如果没有符合现场标准的基准测试平台，就很难衡量进展。随着策略能力的提升，仅凭成功率无法判断模型是真正泛化还是仅记住其测试条件，而这种差距只会随着模型的改进而扩大。未来的评估需要与所测量的模型一样快速发展：扩展而非饱和的基准测试、诊断而非简单评分的指标，以及不仅告知研究人员策略表现如何，而且告知其如何改进的分析。RoboLab 建立了一条可扩展的路径，可使用仿真对诊断机器人进行实际策略评估。

RoboLab 由 NVIDIA Research 开发，其中包括悉尼大学和多伦多大学的研究人员。

作者: MingYu Yang