跳到主要内容

📦数据采集

  • ⚠️⚠️⚠️ 注意: 下位机代码使用标签为1.2.2kuavo-ros-opensourcekuavo-ros-opensource · Gitee
    ⚠️⚠️⚠️ **注意:采集前先对机器人做头部和手部标定(调试教程/机器人关节标定),标记零点位置(手臂正常摆直,头部需要保证在采集时摄像头能看到抓取物和放置点),保证每次采集或部署时机器人零点一致,头部和手臂零点会对模型部署效果产生影响。

章节介绍

数据采集是采集基于ROS录制某一时间段机器人行为生成的RosBag包,可将其视为原始数据。但提供给模型训练的数据是经过转化的数据,因此,本数据采集系统除提供最基础的数据采集功能外,还提供了数据处理功能。同时,鉴于机器人末端不同、资源存储路径存在差异等原因,本数据采集系统提供了灵活的参数配置

乐聚数采平台

乐聚数采管理平台是一款专为具身智能领域打造SaaS服务平台,它提供了数据采集、标注、审核、存储、管理、可视化等功能,更好的帮助用户高效管理与分析数据。

平台详细使用说明请查看乐聚数采平台 用户手册

机器人上位机AGX的用户名和密码均为leju_kuavo

1. 确认上位机agx主目录 /home/leju_kuavo 下是否存在 kuavo_data_pilot 工作空间

kuavo_data_pilot 目录结构如下:

kuavo_data_pilot/
├── src/ # 核心功能模块
│ ├── kuavo_data_pilot_bin # 相机启动脚本与Gradio平台
│ ├── kuavo_msgs/ # 消息依赖
│ ├── manipulation_nodes/ # 数采平台依赖
│ ├── OrbbecSDK_ROS1/ # 奥比中光相机功能包
│ └── realsense-ros/ # realsense相机功能包
└── ...

机器人上位机AGX的用户名和密码均为leju_kuavo

2.按照 乐聚数采平台 用户手册<创建采集任务>,其中<添加设备>时需要 MAC地址上位机IP

机器人上位机AGX连接WIFI(要能访问互联网),并查看AGX在该WIFI下的IP。
可以通过查看WIFI属性或者终端输入 ifconfig 查看 IPv4 Address
MAC地址获取方法:在运行机器人下位机程序后终端有打印输出,或是进入/home/lab/.ros/stdout目录下的日志文件ctrl+f搜索mac

0000002154: EtherCAT network adapter MAC: 48-21-0B-59-A8-AF # 48-21-0B-59-A8-AF 即为 MAC 地址。

3.配置手腕相机

  1. 上位机AGX终端执行rs-enumerate-devices查看左右手腕相机Device info/Serial Number
  2. 终端执行sudo vim /etc/kuavo.conf将查到的设备号改入CAMERA_LEFT=,CAMERA_RIGHT=
  3. 终端执行:
cd ~/kuavo_data_pilot/src/kuavo_data_pilot_bin/scripts/
./start_camera.sh
  1. 另开终端执行rqt_image_view查看cam_h cam_l cam_r对应话题画面是否正确,如果左右手腕相机画面相反,返回第2步交换设备号
  2. 确认相机设置正确
sudo systemctl enable start_webserver.service # 设置相机自启动服务

4.连接数采平台

上位机终端执行

sudo systemctl start start_webserver.service # 启动websocket连接服务
sudo journalctl -u start_webserver.service -f # 查看服务运行日志,首次启动服务会先安装一系列依赖,更新deb版本
sudo systemctl start start_webserver.service # 日志显示更新完毕后重启服务
sudo systemctl enable start_webserver.service # 确认正常后设置自启动服务
  • 此时进入数据采集,对应机器人设备状态会由 离线 转为 空闲 ,点击空闲,界面会显示机器人三个摄像头的画面,状态 空闲 转为 忙碌
  • 以后启动机器人,在上位机IP不变的前提下,只需进入数采平台即可直接连接机器人。

5.启动机器人VR遥操