农业机器人与具身智能：第一视角葡萄采摘多模态数据集（未标注 Raw Data）

# Ego设备葡萄采摘场景数据集介绍

本数据集由 Ego（第一视角具身佩戴/采集设备） 于农业果园环境中采集，记录了人工进行葡萄采摘任务的多模态具身数据。以下为该样例数据的规格详情及场景特性分析。

---

## 一、 样例数据基本概况

* Episode ID：episode_20260429_193646
* 采集时长：约 26.09 秒（完整单次采摘操作周期）
* 时间基准：CLOCK_MONOTONIC_RAW（微秒级高精度单调时钟对齐）
* 数据完整性：完整采集（episode_complete: true），帧丢失率极低

---

## 二、 多模态数据流与文件结构

该数据集包含视觉、惯性导航、空间位姿、音频及传感器标定参数等多模态数据：

| 数据类别 | 传感器 / 流名称 | 规格参数 | 存储路径 / 说明 |
| :--- | :--- | :--- | :--- |
| 双目第一视角视频 | rgb_left / rgb_right | 1600×1200 分辨率 @ 60 FPS (H.264) | videos/rgb_left/0001.h264
videos/rgb_right/0001.h264 |
| 超广角/鱼眼全景 | fisheye_A | 640×1920 分辨率 @ 30 FPS (MJPEG) | 全景环视感知 |
| 头部高频 IMU | imu_head | 500 Hz 采样率 (12,902 样本点) | data/states.hdf5，记录头部加速度与角速度 |
| 空间位姿估计 | slam | 500 Hz 采样率 (13,046 样本点) | data/states.hdf5，记录 6-DoF 轨迹与位姿 |
| 现场双声道音频 | audio | 16kHz / 16-bit PCM 双声道 | audio/0001.wav，记录剪枝与采摘触碰声 |
| 传感器标定文件 | calibration/ | 内参、外参矩阵 (SEUCM / PDCM 模型) | calibration/*.json，支持双目立体匹配与 3D 点云重建 |

---

## 三、 农业场景与葡萄采摘任务特点

### 1. 复杂自然光照与严重枝叶遮挡（Occlusion & Illumination）
* 场景表现：户外果园或大棚环境下，枝蔓交错，果串常处于密集叶片后方或阴影区，光照动态范围大（强直射光、逆光与斑驳树荫频繁交替）。
* 技术价值：检验并提升视觉模型在部分遮挡条件下的果串/果梗检测与复杂光照自适应能力。

### 2. 精细操作与接触感知（Fine Manipulation & Cutting）
* 场景表现：葡萄属于易损柔性果实，采摘动作强调“单手轻托果串下端、另一手精准剪切果梗”，需严格避免果肉挤压或强行拉扯断枝。
* 技术价值：双目 60FPS 视频与高精度几何标定提供了毫米级果梗空间定位支持；音频流完整记录了剪切受力与果实碰撞反馈。

### 3. 第一视角空间运动与位姿解算（Ego-Motion & Visual SLAM）
* 场景表现：果园地形起伏，采摘人员在作业过程中频繁出现仰头、弯腰、跨步移动及逼近果架的连续体态调整。
* 技术价值：500Hz 头部 IMU 与 SLAM 轨迹结合，可实现自体运动（Ego-Motion）与操作动作的精准解耦。

### 4. 微秒级跨模态时间同步（Microsecond Synchronization）
* 场景表现：图像帧、高频惯导信号与位姿轨迹均统一在微秒级高精时间戳下。
* 技术价值：为动作轨迹连续建模、离散关键帧对齐以及多模态时空自监督学习提供可靠基准。

---

## 四、 适用研究与落地应用方向

* 具身智能与 VLA 模型训练：作为第一视角专家示范数据（Ego-Demonstrations），用于训练端到端采摘策略（如 Imitation Learning、ACT、Diffusion Policy）。
* 采摘机器人控制算法：辅助双臂/单臂采摘机器人规划果梗剪切路径、避障以及轻量化末端操作。
* 农业场景三维重建：基于双目数据与 SLAM 轨迹，对果藤、枝叶及果串进行 3D Gaussian Splatting (3DGS) 或 NeRF 稠密高精度重建。

## 五、 联系方式
如有兴趣获取更多数据集详情或开展合作，欢迎联系我们：
* 联系人：唐先生
* 联系电话：15210269336