VR 遥操作

使用提示与免责声明

本站发布的遥操作功能，其性能与功能以本公司公开发布的技术规格及功能说明为准.在实际使用过程中，如因以下情形产生故障、异常或造成损失（包括直接或间接损失），本公司不承担责任：

未按照操作手册或教程正确部署运行环境、网络配置或使用设备；
擅自修改代码、集成不兼容组件，或以超出功能设计范围的方式使用遥操作功能；
网络中断、电力故障、第三方硬件失控等非本公司可控因素；
由于行业技术特性目前尚无法完全避免的时延、抖动或数据丢包等现象。

下载遥操作SDK并使用本功能，即视为您已阅读并同意上述内容。

1. 启动前准备

1.1 硬件准备

物品	数量	备注
Meta Quest 3 VR设备	1	包含1个头戴设备、2个手持遥控器和Type-C连接线。
R1 Pro Base	1	机器人本体
R1 Pro 遥控器	1	控制R1 Pro机器人
R1 Pro上位机（双系统，非虚拟机）	1	笔记本系统：Ubuntu22.04
局域网	1	用于连接VR设备和 R1 Pro Base

1.2 软件准备

查看R1 Pro软件版本更新日志，获取最新的SDK版本。整机ATC SDK版本中包含所有产品软件资源。

同时，下载VR设备配置SDK：

百度云：https://pan.baidu.com/s/1SCpvwFIjvAV7EtchW-cssA?pwd=vrvr
Meta 相关安装包.zip：用于新设备激活。
platform-tools-latest-windows.zip：adb文件，用于安装VR头显内部的数据采集APP。
vr_teleop-0.1.7-20250818.apk：VR头显内部的数据采集APP。

2. VR 设备配置

如您的VR设备由星海图配套提供，可以跳过第2.1节~第2.5节，直接查看第2.6节。

2.1 VR设备开发者模式激活

请参考 Meta Quest 3 开发者模式使用说明完成激活。

2.2 VR设备SDK安装（需要使用 windows 系统电脑）

解压ADB文件：下载并解压platform-tools-latest-windows.zip文件。
连接VR设备：使用Type-C数据线将VR设备连接到电脑。
如已安装过旧版apk，请先删除。
授权USB连接：在VR设备中，确认并允许USB设备连接（如图所示）。
进入ADB解压路径：打开文件资源管理器，进入解压后的ADB工具文件夹路径。
拷贝APK文件：将vr_teleop-0.1.7-20250818.apk文件拷贝到该路径下。
安装APK：在该路径下打开命令提示符（CMD），执行以下命令安装应用：
```
.\adb.exe install vr_teleop-0.1.7-20250818.apk
```
如果命令执行后显示 Success，则表示安装成功。

2.3 VR 设备配置

在 Meta Quest 3 的初始界面下，连接与R1 Pro 相同的WiFi网络。

注意：提示网络受限是正常现象，因为该网络无法访问外网。

VR_2.3_wifi_cn

2.4 关闭 Quest 边界系统

打开设置 > 高级 > 开发者。
关闭实际空间功能。

VR_2.5_shut_quest_cn

注意：

关闭后，系统不再提示设置边界，采集过程中即使位移或离开原地，也不会打断流程。
主菜单页面将无法启用透视视图（Passthrough）。
关闭边界后请务必确保操作环境安全，避免发生碰撞风险。

2.5 避免系统休眠

打开菜单 → 设置（Settings）
点击常规 > 电源 > 显示屏已关闭
将息屏时间设置为 4 小时

VR_2.6_turn_off_sleep_cn.png

⚠️ 注意：关闭系统休眠是为了实现「可摘下佩戴」方案，使用结束后请手动点击关闭Meta Quest3S 电源，避免电量耗尽。请尽量维持 VR 头显设备和手柄的电量在充足的状态，低电量会影响 VR 手柄位姿发送的帧率，造成遥操卡顿。

2.6 获取VR设备的IP地址

在VR设备内，点击已连接的WiFi，打开网络页面后向下划找到并记录IP地址，如192.168.5.24。下文以 ${VR_IP} 指代。

2.7 数据采集时佩戴方式

为避免长时间佩戴头显带来的不适，我们提供**「可摘下佩戴」**方案。在使用前，请先完成「避免系统休眠」和「关闭边界系统」设置。

请先移除头显顶部固定条带（Top Strap）与头显顶部的连接，并摘下面部支撑连接件（Facial Interface），以方便后续挂在颈部灵活调整。然后，将头显挂于颈部，调整至正面朝前，显示面垂直于地面（如图所示）。

VR_2.7_wear_cn

此挂载方式可确保手柄始终处于头显摄像头的可视角范围内（约 100° 水平视场角），避免操作中超出追踪范围。该佩戴方式不仅保证手柄追踪稳定，还能让长时间的数据采集操作更舒适和轻松。

⚠️ 注意：请在安全、开阔的环境中使用，确保操作时不会发生碰撞。

3. 机器人配置

如您不需要升级机器人的软件版本，请跳过本章节内容。

下载并拷贝SDK文件（例如：{r1pro_vr_teleop_sdk_name}.tar.gz），执行以下命令拷贝SDK到 R1 Pro 上。
```
scp {r1pro_vr_teleop_sdk_name}.tar.gz nvidia@${R1_Pro_IP}:/home/nvidia/Downloads
```
登陆 R1 Pro
```
ssh nvidia@${R1_Pro_IP}
```

解压SDK到 R1 Pro

mkdir /home/nvidia/galaxea
tar -zxvf /home/nvidia/Downloads/{r1pro_vr_teleop_sdk_name}.tar.gz -C /home/nvidia/galaxea

安装额外依赖

sudo apt install ros-humble-rosbag2-storage-mcap
pip3 install websockets pyquaternion tos

配置设备序列号及设备名称

# 获取 R1Pro 序列号 （在机器人躯干与底盘连接处的SN贴纸，如找不到可以联系星海图客服） 
# 如：S2RL100P25110
sudo mkdir -p /opt/galaxea
sudo chown -R nvidia:nvidia /opt/galaxea
mkdir -p /opt/galaxea/body
echo "S2RL100P25110" | tee /opt/galaxea/body/RSN > /dev/null
echo "S2RL100P25110" | tee /opt/galaxea/body/RSN_REAL > /dev/null
echo "R1PRO" | tee /opt/galaxea/body/ROBOT_NAME > /dev/null
# 检验是否写入成功
cat /opt/galaxea/body/RSN
cat /opt/galaxea/body/RSN_REAL
cat /opt/galaxea/body/ROBOT_NAME

配置数据采集模块

数据录制和可视化平台 EDP平台免费试用 - 请在完成后查看First Data - EDP 入门手册。

升级完成后，将 R1 Pro 关机并重新启动。重启后，软件包配置即完成，VR遥操作功能即可使用。

升级完成后，将机器人下电并重新启动。重启后，软件包配置完成，VR遥操作功能即可使用。

4. 遥操作启动

注意：每次启动时都需要完成并确认本章节的所有操作。

4.1 R1 Pro 本体程序启动

登录R1 Pro
```
ssh nvidia@${R1_Pro_IP}
```

进入软件包启动目录

cd /home/nvidia/galaxea/install/startup_config/share/startup_config/script/

启动程序

./robot_startup.sh boot ../sessions.d/ATCStandard/R1PROVRTeleop.d/

注意：启动本体程序后，R1Pro的双臂小臂部分会抬起90度，呈现与身体垂直的状态，请注意前方操作空间安全。

4.2 VR设备程序启动

注意：请佩戴好VR设备并手持两个遥控器，开始以下操作。

4.2.1. 连接WiFi

确认VR设备已成功连接到与 R1 Pro 本体相同的WiFi网络。

4.2.2. 启动GalaxeaVR APP

VR_5.2.2_IP_cn

打开GalaxeaVR应用：

点击右下角的正方体图标启动GalaxeaVR应用。
输入R1 Pro的IP地址：

进入GalaxeaVR应用后，将VR手柄发射的射线对准绿色的IP输入框。

等待绿色输入框轻微变色后，用右控制器的T键（食指键）点击输入框（光标位置需要偏下一些）。

键盘弹出后，输入机器人端的IP地址（即 R1 Pro的IP地址）。

设置好IP后：点击Start按钮开始（或者长按右控制器B键），如您开启VR头显设备的音量，可以听到正在连接中的提示音，以及连接成功的提示音，如未听到连接成功的提示音，请检查前序步骤是否执行有误。
操控VR设备:

此时VR默认操作模式为复位模式，请参考 5.3 章节切换到双臂操控模式后，短按左右遥控器 G 键解除暂停进行双臂遥操。

注意：此时机器人会同步您的操作，请注意安全，先进行小幅移动，确保周围没有障碍物。

使用以下步骤完成遥控器简易操作：

停止操作：长按右遥控器 B 键 2 秒以上，停止VR遥操作。（注意：停止后再次进入遥操作，需要退出 GalaxeaVR应用并重新进入。
控制夹爪：手的移动会控制机器人手臂的移动。左遥控器的 T 键和右遥控器的 T 键分别控制左右手的夹爪闭合。
暂停右臂：短按右遥控器 G 键一下，右臂会停在当前的位置；再按一下 G 键解除暂停。
暂停左臂：短按左遥控器 G 键一下，左臂会停在当前的位置；再按一下 G 键解除暂停。

详细操作说明请参考第6章节：遥操作控制说明。

5. 遥操作控制说明

请在确保人员与物品安全的情况下，于开阔场地练习本产品的使用。

建议待熟悉本产品的使用后，再开始正式数据采集。

5.1 遥控器使用说明

5.1.1 R1 Pro 航空遥控器

遥控器使用说明如下：

VR_5.1.1_controller_cn

注意：在进行任何操作之前，请确认所有拨杆开关（SWA/SWB/SWC/SWD）都拨至最上方档位，这样能使 R1 Pro 处于停止状态，防止其意外运行。

在不同功能下，各拨杆开关切换到不同位置的操作说明如下：

上位机控制底盘（下下上上）：在该模式下，上位机须先启动底盘运控程序，才可开启控制+
遥控器控制底盘（下下中上）：机器人上电后，即可在该模式下直接使用遥控器控制底盘运动，上位机无须操作+
开启急停功能（D下）：在任何模式下，均可将SWD拨至下方开启急停；但开启急停后，须重启机器人。

5.1.2 VR手持遥控器

VR_5.1.2_vr_controller_cn

5.2 VR设备APP显示按键

VR_5.2_vrapp_button_cn

5.3 模式切换

遥操作启动后，默认模式为复位模式。用户可以通过VR设备遥控器切换不同的操作模式。

注意：若您发现由于多次使用遥控器G键进行暂停和解除暂停后，机械臂的遥操作姿态略有异常时，请不要担心，这是遥操作增量控制的机制引起的，您可以通过复位模式对机械臂进行复位，从而更好地操控机器人。

模式	切换方式	备注
复位模式（Reset）	左摇杆向下长按1秒	默认模式
双臂操控模式（BIMANUAL）	左右两个摇杆同时向下长按1秒	如需控制底盘，需要开启 R1 Pro 遥控器，并将 SWA，SWB，SWC，SWD全部拨至上方。
躯干模式（Torso）	右摇杆向下长按1秒	使用全身遥操时，此模式失效

5.3.1 复位模式

功能	描述	备注
复位双臂到初始位置	VR左遥控器 T + G 键 VR右遥控器 T + G 键四个按键一起按下，会 reset 机器人双臂位置到初始启动位置	-

5.3.2 双臂操控模式

功能	描述	备注
双手跟随	R1 Pro 机械臂末端位置会跟随VR手持遥控器的移动而移动。	-
夹爪夹取	VR右遥控器的 T 键控制右夹爪开合 VR左遥控器的 T 键控制左夹爪开合	-
手臂暂停	VR右遥控器的 G 键控制右臂的暂停 VR左遥控器的 G 键控制左臂的暂停按一下暂停，再按一下解除暂停	-
底盘前进/后退	VR左遥控器摇杆向前/向后	-
底盘平移	VR左遥控器摇杆向左/向右	-
底盘自旋	VR右遥控器摇杆向左/向右	-

5.3.3 躯干模式

功能	描述	备注
腰部左右旋转（关节1）	VR左遥控器摇杆向左/向右
腰部前后俯仰（关节2）	VR左遥控器摇杆向前/向后
躯干上下升降（关节3）	VR右遥控器摇杆向前/向后
躯干前后俯仰（关节4）	VR右遥控器 T/G 键

# 如需修改初始启动位置，请修改launch文件内的关节位置
vim /home/nvidia/galaxea/install/teleoperation_ros2/share/teleoperation_ros2/launch/vr_teleoperation.launch.py
# 修改如下初始启动关节位置
{'vr_initializer_left_target_joint_states_r1pro': [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]},
{'vr_initializer_right_target_joint_states_r1pro': [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}


# 修改如下来改变夹爪的量程
'gripper_openning_threshold', default value='80.0' #最大值：100.0
'gripper_closing_threshold', default value='0.0'  #最小值：0.0

6. 数据采集流程

数据录制和可视化平台 EDP平台免费试用 - 请在完成后查看First Data - EDP 入门手册。

6.1 数据格式介绍

数据采集的文件格式为ros2 bag，文件后缀为*.mcap。

6.2 数据获取

默认存储路径：/home/nvidia/GalaxeaDataset/{data}/

date 为当天日期，格式如下：20250307

6.3 数据录制配置文件介绍

默认数据录制使用的配置文件位于：

/opt/galaxea/data_collection/data_task_config.json

配置文件说明：配置文件用于描述此次采集任务的信息，用户可以根据需求自行修改。

{
    "project_info": {
        "project_name": "sop_test"
    },
    "task_info": {
        "task_name": "sop_test_data_collection",
        "task_owner": "hengyi.fei"  
    },
    "operation_info": {
        "teleoperation_type": "VR",
        "location": "suzhou",
        "operator_name": "jiahao.wu"
    }
}

6.4 数据落盘文件介绍

数据以 文件夹 + json 格式保存，文件一一对应。例如：

 # 例如以下一个文件夹和一个json文件代表了一个数据包
 # 文件夹里包含了 .mcap 数据文件和 meta 信息

 S2R12000P18245_20240213173320125_RAW
 S2R12000P18245_20240213173320125_RAW.json

 # 格式为 robot_serial_number+timestamp+RAW
 # robot_serial_number：机器人序列号，位于 /opt/galaxea/body/RSN
 # timestamp：数据采集的时间戳精确到毫秒。
 # RAW：代表数据采集原始落盘数据

6.5 开启录制

通过VR左遥控器进行数据录制操作：

功能	操作	描述
开启录制	左手柄 X 键点击一下	开始数据录制
停止录制	左手柄 Y 键点击一下	停止数据录制
删除当前录制	左手柄 X 键点击一下	已经有录制在进行中，再点击一下X键，则结束并删除当前录制，不会落盘。

6.6 录制提示音

您可以通过在 ~/.bashrc 文件中配置 ${VR_IP} 来启用VR头显设备播放数据录制启动和结束的状态提示音这一功能。

# 打开 ~/.bashrc
vim ~/.bashrc
# 在 ~/.bashrc 中添加如下内容，替换 ${VR_IP} 为您的 VR 设备在局域网中的地址 （2.6 章节）
export VR_IP=${VR_IP}
# 重启程序
tmux kill-server

7. 全身遥操模式

注意：如需使用全身遥操作，请更新SDK至V2.1.4版本或以上，且VR头显配置文件需更新至V0.1.7版本。全身遥操模式下，躯干也会跟随您身体的移动而移动，请仔细阅读以下内容并熟悉操作流程后再进行使用。

7.1 密钥配置

请先阅读使用提示后，联系星海图售后团队获取启动全身遥操的密钥, 按照如下流程进行配置。

sudo chown -R nvidia:nvidia /opt/galaxea
mkdir /opt/galaxea/galaxeaKey
cp keys.env /opt/galaxea/galaxeaKey/

7.2 使用流程

7.2.1 启动全身遥操

同 4.1 章节类似，登录 R1 Pro
```
ssh nvidia@${R1_Pro_IP}
```

进入软件包启动目录

cd /home/nvidia/galaxea/install/startup_config/share/startup_config/script/

启动软件

# 清除已经启动的程序
tmux kill-server

# 启动全身遥操
./robot_startup.sh boot ../sessions.d/ATCStandard/R1PROVRTeleop_whole_body.d/

注意：启动本体程序后，R1Pro的双臂小臂部分会抬起90度，呈现与身体垂直的状态，请注意前方操作空间安全。

7.2.2 VR设备程序启动

请参考第4.2章节，完成 VR 头显程序的启动，并进行全身遥操作。

注意：由于全身遥操模式下，R1Pro的躯干姿态会跟随VR头显的姿态变化而变化，请确保VR头显已经正常佩戴，并且绑带固定牢靠，如下图所示。为了安全，请时刻确保头显稳定固定在颈部。如有任何异常，请长按右控制器B键退出。

为了安全，请时刻确保头显稳定固定在颈部。如有任何异常，请长按右控制器B键退出。 VR_2.7_wear_cn

如在安装和启动过程中有任何问题，请及时与我们联系至support@galaxea-dynamics.com或致电4008-780-980获得技术支持！

使用提示与免责声明​

1. 启动前准备​

1.1 硬件准备​

1.2 软件准备​

2. VR 设备配置​

2.1 VR设备开发者模式激活​

2.2 VR设备SDK安装（需要使用 windows 系统电脑）​

2.3 VR 设备配置​

2.4 关闭 Quest 边界系统​

2.5 避免系统休眠​

2.6 获取VR设备的IP地址​

2.7 数据采集时佩戴方式​

3. 机器人配置​

4. 遥操作启动​

4.1 R1 Pro 本体程序启动​

4.2 VR设备程序启动​

4.2.1. 连接WiFi​

4.2.2. 启动GalaxeaVR APP​

5. 遥操作控制说明​

5.1 遥控器使用说明​

5.1.1 R1 Pro 航空遥控器​

5.1.2 VR手持遥控器​

5.2 VR设备APP显示按键​

5.3 模式切换​

5.3.1 复位模式​

5.3.2 双臂操控模式​

5.3.3 躯干模式​

6. 数据采集流程​

6.1 数据格式介绍​

6.2 数据获取​

6.3 数据录制配置文件介绍​

6.4 数据落盘文件介绍​

6.5 开启录制​

6.6 录制提示音​

7. 全身遥操模式​

7.1 密钥配置​

7.2 使用流程​

7.2.1 启动全身遥操​

7.2.2 VR设备程序启动​