农业采摘机器人从实验室走向真实果园，长期面临 Sim2Real 鸿沟：仿真环境中训练的抓取策略，到了枝叶遮挡、光照多变、果实柔性易碎的真实场景下精度骤降。核心瓶颈不在于算法，而在于训练数据——公开数据集多为实验室台架数据或仿真数据，缺乏真实场景下、由人类专家完成的第一视角多模态操作示范。具身智能团队真正缺的，是视觉、惯性、位姿、接触信号严格时间对齐的真实操作数据。
华东具身智能数据采集中心是典枢科技在数据采集领域的重要布局。这份Ego 设备葡萄采摘场景数据集，由采集中心在真实果园环境下，以第一视角佩戴设备完整记录人工葡萄采摘全过程，输出双目视频、鱼眼全景、头部高频 IMU、SLAM 位姿、现场音频与传感器标定文件六位一体的多模态原始数据，可直接服务于 VLA 模型训练、模仿学习、采摘机器人控制策略开发与农业场景三维重建。
数据基本信息
- Episode ID：episode_20260429_193646；
- 采集场景：真实农业果园，葡萄采摘任务；
- 单次时长：约 26.09 秒，完整单次采摘操作周期；
- 时间基准：CLOCK_MONOTONIC_RAW，微秒级高精度单调时钟对齐；
- 数据完整性：episode_complete: true，帧丢失率极低；
- 数据形态：未标注原始数据（Raw Data），附传感器标定文件。
第一视角专家示范：给 VLA 模型提供人类操作轨迹
做模仿学习（Imitation Learning）、ACT、Diffusion Policy 这类端到端策略，最缺的不是仿真数据，而是人类专家在真实场景下如何完成一个任务的第一视角示范。机器人没有手，但它需要从人的动作里学习操作规律。
这份数据由佩戴式 Ego（第一视角具身佩戴）设备在果园实景采集，记录完整单次采摘周期——从观察果串、接近、托举到剪切。双目第一视角视频 1600×1200 分辨率、60FPS 帧率（H.264 编码），画面中就是采摘者自身视角下的果串位置、枝叶遮挡与手部动作。以第一视角数据训练 VLA 模型，模型学习的是”执行者视角下的动作决策”，而非旁观者视角下的行为识别，策略迁移到机器人本体时更直接。
多模态同步：视觉、惯性、位姿、音频微秒级对齐
具身智能训练并非只依赖视频。模型需要同时理解视觉输入、身体运动状态、头部朝向与接触反馈。多流数据若时间戳不对齐，训练出的策略会产生系统性偏差。
这份数据的多模态覆盖：
- 双目视觉：rgb_left / rgb_right，1600×1200 @ 60FPS，H.264 编码，分别存于 videos/rgb_left/、videos/rgb_right/；
- 鱼眼全景：fisheye_A，640×1920 @ 30FPS，MJPEG，提供环视感知；
- 头部高频 IMU：imu_head，500Hz 采样，12,902 个样本点，记录头部加速度与角速度；
- SLAM 位姿：slam，500Hz 采样，输出 6-DoF 轨迹与位姿，13,046 个样本点；IMU 与 SLAM 数据同存于 data/states.hdf5；
- 现场音频：audio，16kHz / 16-bit PCM 双声道，存于 audio/0001.wav，完整记录剪切声与果实触碰反馈；
- 传感器标定：calibration/ 目录下内参、外参矩阵（SEUCM / PDCM 模型），存为 calibration/*.json，支持双目立体匹配与三维点云重建。
所有数据流统一在 CLOCK_MONOTONIC_RAW 微秒级时钟下对齐。在动作轨迹连续建模、离散关键帧对齐与跨模态时空自监督学习中，无需额外处理时间同步。
真实果园场景：遮挡、逆光、柔性精细操作
实验室台架上的采摘训练，光照均匀、目标无遮挡，无法覆盖真实果园的复杂度。这份数据针对具身智能模型在真实环境中必须应对的几类难题：
枝叶遮挡与复杂光照。 果串常处于叶片后方或阴影区，户外果园同时存在强直射光、逆光与斑驳树荫。双目 60FPS 视频可用于训练模型在部分遮挡条件下识别果串与果梗，适应动态光照。
柔性精细操作。 葡萄属易损果实，采摘要求单手轻托果串下端、另一手精准剪切果梗，避免挤压或拉扯断枝。双目高精度几何标定提供毫米级果梗空间定位，音频流完整记录剪切受力与果实碰撞反馈，为接触感知学习提供真实信号。
第一视角运动解耦。 果园地形起伏，采摘过程伴随仰头、弯腰、跨步与逼近果架的连续姿态调整。500Hz 头部 IMU 与 SLAM 轨迹结合，可将自体运动（Ego-Motion）与操作动作精准解耦。
数据规格一览
| 项目 | 内容 |
| Episode ID | episode_20260429_193646 |
| 数据类型 | 第一视角多模态原始数据（未标注 Raw Data） |
| 采集场景 | 真实果园葡萄采摘 |
| 单次时长 | 约 26.09 秒（完整单次采摘周期） |
| 数据完整性 | episode_complete: true，帧丢失率极低 |
| 双目视频 | 1600×1200 @ 60FPS，H.264，存于 videos/rgb_left/、videos/rgb_right/ |
| 鱼眼全景 | 640×1920 @ 30FPS，MJPEG |
| 头部 IMU | 500Hz，12,902 样本点，存于 data/states.hdf5 |
| SLAM 位姿 | 500Hz，6-DoF，13,046 样本点，存于 data/states.hdf5 |
| 音频 | 16kHz / 16-bit PCM 双声道，存于 audio/0001.wav |
| 时间同步 | 微秒级 CLOCK_MONOTONIC_RAW |
| 标定文件 | 内参外参矩阵（SEUCM / PDCM），存于 calibration/*.json |
能怎么用
- VLA 模型训练：作为第一视角专家示范数据（Ego-Demonstrations），训练端到端采摘策略，适配模仿学习、ACT、Diffusion Policy 等主流范式；
- 采摘机器人控制：辅助单臂或双臂机器人规划果梗剪切路径、避障与末端精细操作；
- 农业三维重建：基于双目与 SLAM 轨迹，对果藤、枝叶、果串进行 3D Gaussian Splatting（3DGS）或 NeRF 稠密高精度重建。
关于华东具身智能数据采集中心
这份数据由典枢科技旗下华东具身智能数据采集中心采集。采集中心面向真实农业、工业与服务场景，以佩戴式 Ego 设备与多模态传感器阵列，持续产出第一视角操作示范数据。区别于仿真数据与二手爬取数据，中心产出的每一条数据均来自真实场景下的专家操作，时间同步、标定参数与数据完整性在采集环节即完成标准化。
常见问题
问：这份数据是标注好的吗？ 答：是未标注原始数据（Raw Data），包含原始多模态流与标定文件，团队可根据自身任务需求进行标注与处理。
问：一次采集多长时间？ 答：样例为约 26.09 秒的完整单次采摘周期，从观察到剪切全程记录。
问：时间同步精度多少？ 答：所有模态统一在微秒级 CLOCK_MONOTONIC_RAW 时钟下对齐，无需后续同步处理。
问：支持哪些训练范式？ 答：第一视角示范数据可直接用于模仿学习、ACT、Diffusion Policy 与 VLA 模型训练。
问：除了葡萄采摘，还有其他场景吗？ 答：华东采集中心持续产出农业与工业场景的多模态数据，具体场景可联系了解。
获取方式
Ego 设备葡萄采摘场景数据集已在典枢数据交易平台上架，支持申请样例数据。如需了解完整采集规模、多场景目录或定制采集需求，可在典枢数据平台搜索”葡萄采摘””具身智能””Ego 示范数据”查看详情。