首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >NVIDIA Isaac Teleop 与 GR00T 1.7 VLA 模型正式接入 LeRobot

NVIDIA Isaac Teleop 与 GR00T 1.7 VLA 模型正式接入 LeRobot

作者头像
GPUS Lady
发布2026-07-08 13:35:48
发布2026-07-08 13:35:48
100
举报
文章被收录于专栏:GPUS开发者GPUS开发者

2026 年 7 月7日,英伟达联合 Hugging Face 在官方博客发布重磅更新:NVIDIA Isaac Teleop 远程操控框架与 GR00T 1.7 开源视觉语言动作(VLA)人形机器人基础模型,全面适配 Hugging Face LeRobot 开源机器人开发库。此次深度打通,将英伟达 Isaac 机器人仿真、远程示教、通用 VLA 大模型能力,与 LeRobot 标准化数据集、模型训练、开源分发生态融为一体,连接英伟达 300 万机器人开发者与 Hugging Face 超 1600 万 AI 开发者,大幅降低人形机器人、机械臂具身智能的研发门槛,构建一套从远程数据采集、仿真训练、模型微调、真机部署全链路标准化开源工具链。

本次更新核心包含两大核心组件:Isaac Teleop 标准化示教采集工具、GR00T 1.7 商用开源 VLA 基础模型,二者原生兼容 LeRobot 数据格式,开发者无需额外适配即可完成从人类示范数据采集到机器人自主策略落地的完整流程,后续英伟达还将把 Cosmos 3 物理世界生成模型同步接入 LeRobot 生态,进一步补齐机器人仿真数据生成能力。

两大核心技术:Isaac Teleop 远程示教框架与 GR00T 1.7 VLA 模型

1. Isaac Teleop:首个开放商用机器人远程示教采集系统

NVIDIA Isaac Teleop 是英伟达面向物理 AI 打造的标准化远程操控工具,也是业内首款支持开源商用落地的机器人示教框架,核心作用是快速生成高质量人类示范数据集,完美适配 LeRobot 数据标准格式(Parquet 结构化机器人轨迹文件)。

多终端沉浸式操控采集

兼容 XR 头显、动作捕捉手套、全身追踪设备,操作者以第一视角远程控制仿真机器人或实体机械臂、人形机器人,实现亚毫米级动作捕捉,精准记录关节运动、手部精细抓取、双目视觉画面、自然语言指令等多模态信息,同步输出 LeRobot 可直接读取的标准化数据集,省去格式转换、数据清洗的大量开发成本。

仿真 + 真机双场景数据互通

无缝对接 NVIDIA Isaac Sim、Isaac Lab 仿真环境,开发者可先在虚拟场景完成示教采集,再迁移至真实机器人复现动作;采集到的示范数据可直接导入 LeRobot,用于 GR00T 模型微调、策略复现与性能评测,搭建 “仿真到现实”(Sim-to-Real)的闭环开发管线。

全流程集成 LeRobot 工作流

LeRobot 内置 Teleop 专用启动脚本,一行命令即可启动远程操控采集、自动标注任务文本、可视化回放动作轨迹,搭配 Rerun 可视化工具实时查看相机画面、关节动作、模型预测输出,方便快速调试示教逻辑与数据集质量。

2. GR00T 1.7:面向人形机器人的商用开源 VLA 基础模型

GR00T 1.7(N1.7)是英伟达迭代后的通用人形机器人视觉 - 语言 - 动作基础模型,3B 参数轻量化架构,采用Cosmos-Reason2-2B 视觉语言主干 + Diffusion Transformer 动作解码器双层架构,兼顾长任务推理与高精度连续动作生成,且开放商用授权,企业可直接用于工业场景落地。

核心技术升级亮点

长时序多步骤任务推理:新增任务 / 子任务分层推理能力,解决传统 VLA 模型长流程操作逻辑断裂问题,可自主拆解 “取料 - 组装 - 收纳” 等复杂工业流程,无需人工编写分步逻辑。

手指级精细灵巧控制:支持五指独立驱动,适配小零件装配、试剂操作、精密分拣等接触密集型任务,突破传统机械臂粗粒度抓取局限。

EgoScale 人类视觉预训练底座:基于超 20800 小时人类第一视角视频完成预训练,建立机器人灵巧性数据缩放定律,人类示范数据越多,机器人操作精度、泛化能力线性提升。

原生适配 LeRobot 数据标准:完全兼容 LeRobot v2 数据集格式,Teleop 采集的示教数据无需二次转换,直接送入 GR00T 1.7 完成微调训练,支持 Unitree、Agibot 等人形机器人、多自由度机械臂跨硬件迁移。

轻量化端侧部署优化:针对 Jetson 嵌入式平台做 TensorRT 加速优化,可直接部署在小型机器人机载算力设备,不依赖云端大 GPU 集群。

Isaac+GR00T+LeRobot 一体化完整开发流程

依托本次生态打通,开发者可搭建标准化、可复现的机器人开发流水线,完整链路分为四大环节:

数据采集:Isaac Teleop 远程示教生成数据集

通过 VR / 动作捕捉设备操控机器人,采集视觉图像、语言指令、关节动作序列,工具自动输出 LeRobot 标准数据集,支持批量标注、数据过滤、异常轨迹剔除。

模型微调:LeRobot 加载 GR00T 1.7 做任务定制

调用 LeRobot 内置训练接口,基于 Teleop 采集的自有示范数据微调通用 VLA 模型,支持自定义动作预测窗口、语言提示模板、多相机输入配置,内置评测脚本快速验证策略效果。

仿真验证:Isaac Sim 闭环测试机器人策略

将微调完成的 GR00T 策略导入 Isaac 仿真环境,批量自动化执行上百组任务场景,通过 LeRobot 评测工具量化抓取成功率、任务完成时长、动作平滑度,快速迭代优化模型。

真机部署:Jetson 硬件端侧运行自主策略

导出优化后的 GR00T 推理模型,部署至实体人形机器人 / 机械臂,复用 Teleop 采集时的硬件标定参数,大幅降低仿真到真机的迁移误差。

生态融合带来的行业价值

1. 大幅降低具身智能研发门槛

此前机器人开发者需要分别搭建远程示教工具、自研数据格式、适配 VLA 模型、对接仿真平台,开发周期长达数月;如今整套工具链全部开源打通,个人研究者、中小企业无需投入大量底层开发,仅需掌握基础 Python 即可完成从数据到落地全流程。

2. 打通 AI 大模型与人形机器人两大开发者群体

Hugging Face 擅长通用视觉、语言大模型社区,英伟达深耕机器人仿真、硬件、实体机器人落地;二者结合后,NLP、多模态 AI 开发者可快速切入机器人领域,机器人工程师也能便捷使用前沿开源 VLA 技术,加速跨领域技术融合。

3. 兼顾学术研究与工业商用落地

GR00T 1.7 提供完整商用授权,Teleop、LeRobot 均为开源可商用框架,既支持高校实验室免费开展机器人科研,也允许制造、物流、医疗企业直接搭建产线机器人自主操作方案,覆盖原型验证、小规模试点、规模化量产全阶段需求。

4. 统一全球机器人数据与模型标准

LeRobot 作为行业通用机器人开源库,统一全球机器人数据集存储、模型分发规范;本次英伟达核心工具原生适配该标准,推动机器人领域告别碎片化私有数据格式,便于开发者共享数据集、预训练策略,加速行业技术迭代。

后续生态规划:Cosmos 3 物理 AI 模型接入

英伟达在博客中同步公布后续更新路线,下一步将把NVIDIA Cosmos 3 物理世界基础模型集成至 LeRobot 生态,补齐当前开发流程中 “真实数据不足” 的短板:当真实场景采集成本高、危险场景无法人工示教时,Cosmos 3 可基于少量人类示范数据,批量生成海量物理仿真场景、合成机器人动作轨迹,扩充训练数据集,进一步提升 GR00T 模型在未知环境下的泛化能力,构建 “示教真实数据 + AI 合成数据” 双数据源训练体系。

总结

NVIDIA Isaac Teleop 与 GR00T 1.7 VLA 模型接入 LeRobot,是物理 AI 与开源大模型生态融合的里程碑事件。这套一体化工具链解决了人形机器人开发中数据采集难、模型适配繁琐、仿真真机割裂、商用授权受限四大核心痛点,为全球开发者提供一套完整、标准化、可商用的开源机器人研发底座。

随着 Cosmos 3 后续接入,英伟达与 Hugging Face 将形成 “远程示教采集(Teleop)— 通用 VLA 大脑(GR00T 1.7)— 物理仿真数据生成(Cosmos 3)— 开源训练分发(LeRobot)” 的完整闭环,加速人形机器人从实验室走向工业、服务、仓储等真实场景落地,推动具身智能进入规模化开源创新时代。

资源:

GrootN 1.7模型:http://huggingface.co/nvidia/GR00T-N1.7

Lerobot文档:https://huggingface.co/docs/lerobot/groot

适配 LeRobot 与 SO-101 的 Isaac 远程示教操作文档:

https://nvidia.github.io/IsaacTeleop/main/getting_started/lerobot/index.html

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2026-07-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 GPUS开发者 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 两大核心技术:Isaac Teleop 远程示教框架与 GR00T 1.7 VLA 模型
    • 1. Isaac Teleop:首个开放商用机器人远程示教采集系统
    • 2. GR00T 1.7:面向人形机器人的商用开源 VLA 基础模型
  • Isaac+GR00T+LeRobot 一体化完整开发流程
  • 生态融合带来的行业价值
    • 1. 大幅降低具身智能研发门槛
    • 2. 打通 AI 大模型与人形机器人两大开发者群体
    • 3. 兼顾学术研究与工业商用落地
    • 4. 统一全球机器人数据与模型标准
  • 后续生态规划:Cosmos 3 物理 AI 模型接入
  • 总结
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档