1. 为什么要先跑通 RGB-D 相机链路？

相机采集 -> 图像处理 -> 编码 -> 推流 -> 远程观看/检测

目标离我多远？
目标在相机坐标系哪里？
目标能否转换到机器人 base_link？
后续能否接导航、避障、跟随、抓取？

所以这个专题的最终数据流是：

Gemini335 RGB 图
    -> YOLO 检测
    -> bbox 二维框
​
Gemini335 Depth 图
    -> bbox 区域取深度
    -> 目标距离 Z
​
CameraInfo
    -> fx/fy/cx/cy
    -> 像素 u/v + Z 反投影
    -> 目标相机坐标 X/Y/Z
​
tf2
    -> camera frame 转 base_link
    -> 得到机器人坐标系下目标位置
​
RViz2
    -> 显示目标 marker
    -> 显示距离文字

开发板：Orin Nano，后续同样迁移到 RK3576
深度相机：Orbbec Gemini335
连接方式：USB3.2
系统：Ubuntu 22.04.5 LTS
架构：aarch64
ROS：ROS2 Humble

uname -a
cat /etc/os-release
arch
lsusb
free -h
df -h

Bus 003 Device 002: ID 2bc5:0800 Orbbec 3D Technology International, Inc Orbbec Gemini 335

echo "source /opt/ros/humble/setup.bash" >> ~/.bashrc
echo "source ~/ros2_ws/install/setup.bash" >> ~/.bashrc
source ~/.bashrc

source /home/orin-nano/gemini_ws/install/setup.bash

sed -i '/gemini_ws\/install\/setup.bash/d' ~/.bashrc
source ~/.bashrc

sudo apt update

sudo apt install -y \
  git cmake build-essential \
  python3-pip python3-colcon-common-extensions \
  python3-rosdep python3-vcstool \
  libgflags-dev nlohmann-json3-dev libgoogle-glog-dev \
  v4l-utils usbutils net-tools iputils-ping \
  ros-$ROS_DISTRO-cv-bridge \
  ros-$ROS_DISTRO-image-transport \
  ros-$ROS_DISTRO-image-transport-plugins \
  ros-$ROS_DISTRO-compressed-image-transport \
  ros-$ROS_DISTRO-image-publisher \
  ros-$ROS_DISTRO-camera-info-manager \
  ros-$ROS_DISTRO-diagnostic-updater \
  ros-$ROS_DISTRO-diagnostic-msgs \
  ros-$ROS_DISTRO-statistics-msgs \
  ros-$ROS_DISTRO-visualization-msgs \
  ros-$ROS_DISTRO-vision-msgs \
  ros-$ROS_DISTRO-tf2-ros \
  ros-$ROS_DISTRO-tf2-tools

创建工作空间并下载 Orbbec 驱动：

mkdir -p ~/ros2_ws/src
cd ~/ros2_ws/src

git clone https://github.com/orbbec/OrbbecSDK_ROS2.git
cd OrbbecSDK_ROS2
git checkout v2-main

cd ~/ros2_ws/src/OrbbecSDK_ROS2/orbbec_camera/scripts
sudo bash install_udev_rules.sh
sudo udevadm control --reload-rules
sudo udevadm trigger

cd ~/ros2_ws
colcon build --event-handlers console_direct+ --cmake-args -DCMAKE_BUILD_TYPE=Release
source ~/ros2_ws/install/setup.bash

5. 检查 Gemini335 是否被驱动识别

name: Orbbec Gemini 335
pid: 0x0800
serial: CP0HC530000G
connection: USB3.2
firmware version: 1.4.60
Preset count: 7
  - Default
  - Hand
  - High Accuracy
  - High Density
  - Medium Density
  - Factory Calib
  - Custom

USB 正常
udev 权限正常
Orbbec SDK 正常
ROS2 wrapper 正常

第一次建议开启 RGB、Depth、点云，确认完整链路：

source /opt/ros/humble/setup.bash
source ~/ros2_ws/install/setup.bash

ros2 launch orbbec_camera gemini_330_series.launch.py \
  enable_color:=true \
  enable_depth:=true \
  depth_registration:=true \
  enable_point_cloud:=true \
  enable_colored_point_cloud:=true \
  color_width:=640 \
  color_height:=480 \
  color_fps:=30 \
  depth_width:=640 \
  depth_height:=480 \
  depth_fps:=30

Device Orbbec Gemini 335 connected
Firmware version: 1.4.60
ROS Wrapper version: 2.8.7
SDK version: 2.8.6
usb connect type: USB3.2
color Frame - Width: 640 Height: 480 fps: 30 Format: MJPG
depth Frame - Width: 640 Height: 480 fps: 30 Format: Y16

/camera/color/image_raw
/camera/color/camera_info
/camera/depth/image_raw
/camera/depth/camera_info
/camera/depth/points
/camera/depth_registered/points

/camera/color/image_raw      RGB 图，给 YOLO 使用
/camera/depth/image_raw      Depth 图，给 bbox 取距离
/camera/color/camera_info    内参 fx/fy/cx/cy，用于反投影

ros2 topic echo /camera/color/camera_info --once

fx = 459.8658752441406
fy = 459.6939697265625
cx = 322.1752624511719
cy = 242.37652587890625
frame_id = camera_color_optical_frame

X = (u - cx) * Z / fx
Y = (v - cy) * Z / fy
Z = depth

u, v：bbox 中心像素坐标
Z：Depth 图中的距离
X, Y, Z：目标在相机坐标系下的位置

PC 是 Ubuntu 24.04，如果直接装 Humble 不方便，可以用 Docker 跑 Ubuntu 22.04 + ROS2 Humble。

docker run -it --rm \
  --name ros2_humble_rviz \
  --net=host \
  --ipc=host \
  -e DISPLAY=$DISPLAY \
  -e ROS_DOMAIN_ID=0 \
  -e ROS_LOCALHOST_ONLY=0 \
  -v /tmp/.X11-unix:/tmp/.X11-unix:rw \
  osrf/ros:humble-desktop \
  bash

source /opt/ros/humble/setup.bash
ros2 topic list | grep camera
rviz2

RK3576/Orin + Gemini335 机器人视觉专题（一）
RGB-D 相机环境搭建与 ROS2 数据流跑通

这一篇先不急着跑 YOLO。我们先把 Gemini335 的 RGB、Depth、CameraInfo、ROS2 话题、PC 端 RViz2 可视化 全部打通。只有相机链路稳定，后面的 bbox 测距、3D 坐标、tf2、机器人导航才有意义。

人工智能

开发工具

客户端

本文详细介绍了Orbbec Gemini335深度相机在ROS2 Humble环境下的完整配置流程，包括RGB、Depth、CameraInfo和点云话题的发布与验证。实测数据显示，开启点云时RGB帧率22-24Hz，Depth 30Hz，点云2-5Hz；关闭点云后RGB提升至25-26Hz。文章重点讲解了相机链路搭建、ROS2环境配置、Docker运行RViz2等关键技术点，为后续YOLO目标检测与深度测距开发奠定基础。

机器人视觉

图像处理

数据流

容器

Docker

YOLO

2026上云采购 | AI焕新·智启新局

imageprocess

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

本文详细介绍了Orbbec Gemini335深度相机在ROS2 Humble环境下的完整配置流程，包括RGB、Depth、CameraInfo和点云话题的发布与验证。实测数据显示，开启点云时RGB帧率22-24Hz，Depth 30Hz，点云2-5Hz；关闭点云后RGB提升至25-26Hz。文章重点讲解了相机链路搭建...

RK3576/Orin + Gemini335 机器人视觉专题（一） RGB-D 相机环境搭建与 ROS2 数据流跑通

RK3576/Orin + Gemini335 机器人视觉专题（一） RGB-D 相机环境搭建与 ROS2 数据流跑通

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐