📦数据采集
- ⚠️⚠️⚠️ 注意: 下位机代码使用标签为
1.2.2的kuavo-ros-opensourcekuavo-ros-opensource · Gitee
⚠️⚠️⚠️ **注意:采集前先对机器人做头部和手部标定(调试教程/机器人关节标定),标记零点位置(手臂正常摆直,头部需要保证在采集时摄像头能看到抓取物和放置点),保证每次采集或部署时机器人零点一致,头部和手臂零点会对模型部署效果产生影响。
章节介绍
数据采集是采集基于ROS录制某一时间段机器人行为生成的RosBag包,可将其视为原始数据。但提供给模型训练的数据是经过转化的数据,因此,本数据采集系统除提供最基础的数据采集功能外,还提供了数据处理功能。同时,鉴于机器人末端不同、资源存储路径存在差异等原因,本数据采集系统提供了灵活的参数配置。
乐聚数采平台
乐聚数采管理平台是一款专为具身智能领域打造SaaS服务平台,它提供了数据采集、标注、审核、存储、管理、可视化等功能,更好的帮助用户高效管理与分析数据。
平台详细使用说明请查看乐聚数采平台 用户手册
机器人上位机AGX的用户名和密码均为leju_kuavo
1. 确认上位机agx主目录 /home/leju_kuavo 下是否存在 kuavo_data_pilot 工作空间
kuavo_data_pilot 目录结构如下:
kuavo_data_pilot/
├── src/ # 核心功能模块
│ ├── kuavo_data_pilot_bin # 相机启动脚本与Gradio平台
│ ├── kuavo_msgs/ # 消息依赖
│ ├── manipulation_nodes/ # 数采平台依赖
│ ├── OrbbecSDK_ROS1/ # 奥比中光相机功能包
│ └── realsense-ros/ # realsense相机功能包
└── ...
机器人上位机AGX的用户名和密码均为leju_kuavo
2.按照 乐聚数采平台 用户手册<创建采集任务>,其中<添加设备>时需要 MAC地址 和 上位机IP 。
机器人上位机AGX连接WIFI(要能访问互联网),并查看AGX在该WIFI下的IP。
可以通过查看WIFI属性或者终端输入 ifconfig 查看 IPv4 Address
MAC地址获取方法:在运行机器人下位机程序后终端有打印输出,或是进入/home/lab/.ros/stdout目录下的日志文件ctrl+f搜索mac:
0000002154: EtherCAT network adapter MAC: 48-21-0B-59-A8-AF # 48-21-0B-59-A8-AF 即为 MAC 地址。
3.配置手腕相机
- 上位机AGX终端执行
rs-enumerate-devices查看左右手腕相机Device info/Serial Number - 终端执行
sudo vim /etc/kuavo.conf将查到的设备号改入CAMERA_LEFT=,CAMERA_RIGHT= - 终端执行:
cd ~/kuavo_data_pilot/src/kuavo_data_pilot_bin/scripts/
./start_camera.sh
- 另开终端执行
rqt_image_view查看cam_hcam_lcam_r对应话题画面是否正确,如果左右手腕相机画面相反,返回第2步交换设备号 - 确认相机设置正确
sudo systemctl enable start_webserver.service # 设置相机自启动服务
4.连接数采平台
上位机终端执行
sudo systemctl start start_webserver.service # 启动websocket连接服务
sudo journalctl -u start_webserver.service -f # 查看服务运行日志,首次启动服务会先安装一系列依赖,更新deb版本
sudo systemctl start start_webserver.service # 日志显示更新完毕后重启服务
sudo systemctl enable start_webserver.service # 确认正常后设置自启动服务
- 此时进入数据采集,对应机器人设备状态会由
离线转为空闲,点击空闲,界面会显示机器人三个摄像头的画面,状态空闲转为忙碌。 - 以后启动机器人,在上位机IP不变的前提下,只需进入数采平台即可直接连接机器人。
5.启动机器人VR遥操
按照 乐聚数采平台 用户手册-训练场管理-机器人遥操教程 启动机器人VR遥操,点击开始采集,即可使用VR遥控机器人进行数据采集工作。
后面的数据标注、审核、导出工作按乐聚数采平台 用户手册操作即可。
数采任务完成后可再多采集一个go_bag.bag并下载,用于推理时到达工作位置。