使用 NVIDIA Isaac 构建医疗机器人：从仿真到部署

发表于 2025年10月29日

在 GitHub 上更新

Upvote

中文翻译: chenglu

摘要

目录

简介

SO-ARM 入门工作流：构建一台手术辅助机器人
技术实现

仿真与现实结合的训练方法

硬件要求

数据采集实现

仿真遥操作控制

模型训练流程

完整的仿真采集-训练-评估流程
在仿真中生成合成数据

训练和评估策略

将模型转换为 TensorRT

快速开始
资源链接

摘要

一篇实用指南，手把手教你如何采集数据、训练策略，并将自动化医疗机器人工作流程部署到真实硬件上。

简介

仿真一直是医学影像中弥补数据缺口的重要手段，但在医疗机器人领域，它过去往往速度太慢、系统割裂，或难以迁移到现实应用中。

NVIDIA Isaac for Healthcare 是一个专为 AI 医疗机器人开发者打造的框架，提供从数据采集到训练、评估再到部署的全流程工具链，适用于仿真环境与真实硬件。特别是在 v0.4 版本中，Isaac 提供了一个 SO-ARM 入门工作流以及自定义手术室教程，帮助开发者低门槛快速构建并验证自动化手术机器人。

本文将带你深入了解这一工作流及其技术细节，帮助你前所未有地快速搭建手术助手机器人。

SO-ARM 入门工作流：构建一台手术辅助机器人

SO-ARM 入门工作流提供了一种全新的方式来探索手术辅助任务，提供了一整套从采集数据到部署到真实设备的端到端流程：

使用 LeRobot 平台与 SO-ARM 采集真实与仿真数据
微调 GR00t N1.5 模型，在 IsaacLab 中评估，然后部署到硬件

这套流程为开发者提供了一个安全、可重复的训练环境，可在进入真实手术室前不断优化机器人技能。

技术实现

该工作流采用三阶段流程，整合了仿真与真实硬件：

数据采集：结合仿真与真实环境中的遥操作演示，使用 SO101 和 LeRobot 平台
模型训练：在混合数据集上使用双摄像头视觉输入微调 GR00T N1.5
策略部署：基于 RTI DDS 通信协议，将训练好的模型实时运行在真实硬件上

值得一提的是，超过 93% 的策略训练数据来自仿真环境，充分说明仿真技术在缩小机器人数据鸿沟方面的优势。

仿真与现实结合的训练方法

现实世界的机器人训练成本高、操作难度大；而纯粹的仿真又很难完全还原现实复杂性。该流程通过约 70 个仿真演示和 10–20 个真实演示相结合，在模拟多样场景的同时，也保留真实数据的可靠性。最终训练出的策略能更好地泛化，不局限于单一环境。

硬件要求

工作流所需的硬件包括：

GPU：支持 RT Core 的架构（Ampere 或更新）且显存 ≥30GB，用于运行 GR00T N1.5 推理
SO-ARM101 Follower：6 自由度高精度机械臂，配备手腕摄像头与房间摄像头，采用 WOWROBO 视觉组件，并通过 3D 打印转接头固定
SO-ARM101 Leader：6 自由度的遥操作控制器，用于采集专家演示

所有仿真、训练和部署任务（部署需使用 3 台计算机）均可在一台 DGX Spark 上完成。

数据采集实现

在真实环境中采集数据（适用于 SO-ARM101 硬件或任何 LeRobot 支持的版本）：

python lerobot-record \ 
  --robot.type=so101_follower \ 
  --robot.port=<follower_port_id> \ 
  --robot.cameras="{wrist: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, room: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \ 
  --robot.id=so101_follower_arm \ 
  --teleop.type=so101_leader \ 
  --teleop.port=<leader_port_id> \ 
  --teleop.id=so101_leader_arm \ 
  --dataset.repo_id=<user>/surgical_assistance/surgical_assistance \ 
  --dataset.num_episodes=15 \ 
  --dataset.single_task="为外科医生准备并递送手术器械"

在仿真环境中采集数据：

# 使用键盘遥操作
python -m simulation.environments.teleoperation_record \ 
  --enable_cameras \ 
  --record \ 
  --dataset_path=/path/to/save/dataset.hdf5 \ 
  --teleop_device=keyboard

# 使用 SO-ARM101 Leader 机械臂进行遥操作
python -m simulation.environments.teleoperation_record \ 
  --port=<your_leader_arm_port_id> \ 
  --enable_cameras \ 
  --record \ 
  --dataset_path=/path/to/save/dataset.hdf5

仿真遥操作控制

没有 SO-ARM101 硬件的用户可以使用键盘控制仿真机械臂：

关节 1（肩部旋转）：Q（+）/ U（-）
关节 2（肩部抬起）：W（+）/ I（-）
关节 3（肘部弯曲）：E（+）/ O（-）
关节 4（手腕弯曲）：A（+）/ J（-）
关节 5（手腕旋转）：S（+）/ K（-）
关节 6（夹爪开合）：D（+）/ L（-）
R 键：重置录制环境
N 键：标记当前演示成功

模型训练流程

完成仿真与真实数据采集后，将其转换并组合训练：

# 将仿真数据转为 LeRobot 格式
python -m training.hdf5_to_lerobot \ 
  --repo_id=surgical_assistance_dataset \ 
  --hdf5_path=/path/to/your/sim_dataset.hdf5 \ 
  --task_description="自动执行手术器械准备与递送任务" 

# 在混合数据集上微调 GR00T N1.5
python -m training.gr00t_n1_5.train \ 
  --dataset_path /path/to/your/surgical_assistance_dataset \ 
  --output_dir /path/to/surgical_checkpoints \ 
  --data_config so100_dualcam

训练后的模型可处理自然语言指令，如“为医生准备手术刀”或“把镊子递给我”，并控制机器人执行相应动作。借助 LeRobot 的最新版本（0.4.0），你可以直接在 LeRobot 中原生训练 Gr00t N1.5！