Skip to main content

📦数据采集

  • ⚠️⚠️⚠️ 注意： 下位机代码使用标签为1.1.5的kuavo-ros-opensourcekuavo-ros-opensource · Gitee
    ⚠️⚠️⚠️ **注意：采集前先对机器人做头部和手部标定(调试教程/机器人关节标定)，可以通过贴贴纸或其他方式标记零点位置（手臂正常摆直，头部需要保证在采集时摄像头能看到抓取物和放置点），保证每次采集或部署时机器人零点一致，头部和手臂零点会对模型部署效果产生影响。

章节介绍​

数据采集是采集基于ROS录制某一时间段机器人行为生成的RosBag包，可将其视为原始数据。但提供给模型训练的数据是经过转化的数据，因此，本数据采集系统除提供最基础的数据采集功能外，还提供了数据处理功能。同时，鉴于机器人末端不同、资源存储路径存在差异等原因，本数据采集系统提供了灵活的参数配置。

乐聚数采平台​

乐聚数采管理平台是一款专为具身智能领域打造SaaS服务平台，它提供了数据采集、标注、审核、存储、管理、可视化等功能，更好的帮助用户高效管理与分析数据。

平台详细使用说明请查看乐聚数采平台 用户手册

一、 环境部署​

1. 确认上位机agx主目录 /home/leju_kuavo 下是否存在 kuavo_data_pilot 工作空间​

kuavo_data_pilot 目录结构如下： 

kuavo_data_pilot/
├── src/                      # 核心功能模块
│   ├── kuavo_data_pilot_bin  # 相机启动脚本与Gradio平台
│   ├── kuavo_msgs/           # 消息依赖
│   ├── manipulation_nodes/   # 数采平台依赖
│   ├── OrbbecSDK_ROS1/       # 奥比中光相机功能包
│   └── realsense-ros/        # realsense相机功能包
└── ...

部署 kuavo_data_pilot 工作空间 

cd ~/kuavo_data_pilot
catkin_make
source devel/setup.bash

2.确认是否存在 robot_ws 虚拟环境​

可以通过终端执行 source robot_ws/bin/activate 看能否激活虚拟环境。
若能正常激活则<直接跳至操作流程>，若不能:
安装 Python 3.10 及相关工具 

sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt-get update
sudo apt-get install python3.10 python3.10-venv python3.10-dev

使用 venv 创建虚拟环境，名称为 robot_ws： 

cd ~
python3.10 -m venv robot_ws # 创建虚拟环境

在虚拟环境下配置 pip 换源：

vi robot_ws/pip.conf

文件内容如下：

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

激活虚拟环境

source robot_ws/bin/activate
which python
# 输出如下
/home/leju_kuavo/robot_ws/bin/python
which pip
# 输出如下，检查是否一致
/home/leju_kuavo/robot_ws/bin/pip
pip install --upgrade setuptools wheel

3.安装deb包​

确认已获得 ros-noetic-kuavo-websocket-service-opensource_1.0.0-0focal_arm64.deb 安装包
在机器人上位机终端执行：

sudo dpkg -i ros-noetic-kuavo-websocket-service-opensource_1.0.0-0focal_arm64.deb # 安装deb包
cd /opt/ros/noetic/lib/kuavo_websocket_service_opensource/
./install_dependencies.sh # 安装包后需安装依赖

安装完后可测试平台启动：

cd /opt/ros/noetic/lib/kuavo_websocket_service_opensource/
./run_server.sh

4.配置 systemd 服务​

注册并启动服务：

cd /opt/ros/noetic/share/kuavo_websocket_service_opensource/systemd_service/
sudo scp start_webserver.service /etc/systemd/system/
sudo systemctl enable start_webserver.service
sudo systemctl restart start_webserver.service

二、 操作流程​

机器人上位机AGX的用户名和密码均为leju_kuavo

1.按照乐聚数采平台 用户手册<创建采集任务>，其中<添加设备>时需要 MAC地址 和 上位机IP 。​

机器人上位机AGX连接WIFI（要能访问互联网），并查看AGX在该WIFI下的IP。
可以通过查看WIFI属性或者终端输入 ifconfig 查看 IPv4 Address
MAC地址获取方法：在运行机器人程序后会有打印输出 

0000002154: EtherCAT network adapter MAC: 48-21-0B-59-A8-AF # 48-21-0B-59-A8-AF 即为 MAC 地址。

2.启动相机节点和websocket连接节点​

上位机AGX终端执行：

cd ~/kuavo_data_pilot/src/kuavo_data_pilot_bin/scripts/
./start_camera.sh

另开终端

source robot_ws/bin/activate # 激活虚拟环境
cd /opt/ros/noetic/lib/kuavo_websocket_service_opensource/
./run_server.sh

此时进入数据采集，对应机器人设备状态会由 离线 转为 空闲 ，点击空闲，界面会显示机器人三个摄像头的画面，状态 空闲 转为 忙碌 。

3.启动机器人VR遥操​

按照 乐聚数采平台 用户手册-训练场管理-机器人遥操教程 启动机器人VR遥操，点击开始采集，即可使用VR遥控机器人进行数据采集工作。

后面的数据标注、审核、导出工作按乐聚数采平台 用户手册 操作即可。