农业采摘场景具身智能数据集

# 农业采摘场景具身智能数据集

## 1. 数据集概述

农业采摘场景具身智能数据集面向温室、大棚、果园及设施农业环境，围绕果蔬识别、成熟度判断、目标定位、遮挡分析、抓取点选择、采摘、搬运和放置等任务，采集农业作业过程中的多模态数据。

数据集重点解决自然环境中目标尺度变化大、光照不稳定、枝叶遮挡严重、果实密集、成熟度差异明显以及目标形态非刚性等问题。

数据组织以“作物—环境—任务—动作—结果”为核心，不绑定具体机器人或机械臂结构，可支持多种农业采摘平台和具身智能模型训练。

> 数据产品说明：本数据集采用“场景—任务—技能—动作—多模态观测—标注结果”的组织方式，重点沉淀与具体机器人本体解耦的环境、任务、对象、交互和动作语义数据。数据可用于不同机器人平台、机械臂、移动操作系统及具身智能模型的训练、评测与迁移适配。实际交付规模、模态组合、采样频率及标注粒度可根据采购方训练任务确定。

## 2. 典型采集环境

可覆盖：

- 温室；
- 连栋大棚；
- 日光温室；
- 果园；
- 试验田；
- 高架栽培区；
- 垂直种植区域。

根据作物类型可进一步覆盖草莓、番茄、黄瓜、辣椒、苹果、柑橘等不同果蔬品类。

## 3. 典型任务

### 3.1 果实检测

在枝叶、果实、支架和背景混杂的情况下识别目标果实。

### 3.2 成熟度判断

基于颜色、纹理、形状及品类特征，对果实进行成熟度等级划分。

### 3.3 三维定位

结合RGB、深度和点云信息获取果实三维坐标、空间姿态和与周围枝叶之间的关系。

### 3.4 可采摘性判断

判断目标是否满足采摘条件，包括：

- 是否成熟；
- 是否被枝叶严重遮挡；
- 是否存在安全接近路径；
- 是否存在稳定抓取点；
- 周边是否存在其他果实或枝条干扰。

### 3.5 抓取与采摘

采集接近目标、调整姿态、接触、抓取、旋拧/剪切/拉取、分离及撤离等操作过程。

### 3.6 放置与转运

采集果实离开植株后进入篮筐、周转箱或指定容器的过程。

## 4. 数据采集过程

### 4.1 农业场景建档

记录：

- 作物品类；
- 生长阶段；
- 种植方式；
- 行距；
- 株距；
- 光照条件；
- 环境温湿度（如具备采集条件）；
- 采摘区域；
- 任务批次。

### 4.2 目标筛选

按照成熟度、遮挡度、果实大小、位置高度和难度等级选择采摘目标。

### 4.3 多模态采集

可同步记录：

- RGB；
- 深度；
- 点云；
- 果实三维位置；
- 抓取点；
- 操作轨迹；
- 力觉/触觉；
- 位姿；
- 目标状态；
- 采摘结果；
- 失败类型。

### 4.4 采摘结果核验

对任务结果进行分类：

- 成功采摘；
- 未成功分离；
- 果实滑落；
- 枝叶遮挡导致失败；
- 抓取点选择错误；
- 定位误差；
- 果实损伤；
- 目标识别错误；
- 操作路径受阻。

失败样本可作为负样本用于策略优化和模型鲁棒性训练。

## 5. 数据模态

| 数据类型 | 数据内容 |
|---|---|
| RGB | 作物、果实、枝叶及采摘过程 |
| Depth | 果实及周围枝叶深度信息 |
| Point Cloud | 作物局部三维点云 |
| Pose | 果实、操作目标及关键参考物三维位姿 |
| Grasp Point | 候选抓取点、抓取方向和可行性 |
| Trajectory | 接近、采摘和撤离轨迹 |
| Force/Tactile | 接触力、抓取力及操作变化 |
| Ripeness | 成熟度等级或连续评分 |
| Task Result | 成功/失败及失败原因 |

## 6. 标注体系

### 6.1 果实标注

- 果实类别；
- 2D目标框；
- 实例分割；
- 三维位置；
- 3D目标框；
- 果实尺寸；
- 遮挡率；
- 可见率。

### 6.2 成熟度标注

可采用：

- 未成熟；
- 转色期；
- 基本成熟；
- 成熟；
- 过熟；

也可根据实际业务采用连续成熟度评分。

### 6.3 采摘标注

- 候选抓取点；
- 推荐抓取点；
- 接近方向；
- 抓取方向；
- 可采摘性；
- 障碍区域；
- 枝叶干扰程度；
- 采摘成功率标签；
- 采摘结果。

### 6.4 环境标注

- 主枝；
- 叶片；
- 果梗；
- 支架；
- 地面；
- 容器；
- 可通行区域；
- 作业禁入区域。

## 7. 质量控制

数据质检包括：

- 图像曝光与运动模糊检查；
- 深度有效像素率检查；
- 点云完整性检查；
- 多模态时间同步；
- 成熟度标签复核；
- 果实实例ID一致性；
- 三维位置准确性抽检；
- 采摘结果人工复核；
- 失败原因复核；
- 数据文件完整性及元数据一致性检查。

## 8. 数据组织

text
agriculture_picking_dataset/
├── crop_strawberry/
├── crop_tomato/
├── crop_pepper/
└── crop_other/
    └── scene_xxxx/
        └── task_xxxx/
            ├── rgb/
            ├── depth/
            ├── pointcloud/
            ├── pose/
            ├── grasp/
            ├── trajectory/
            ├── annotation/
            └── metadata.json

## 9. 适用方向

- 农作物目标检测；
- 果实实例分割；
- 成熟度识别；
- 三维定位；
- 遮挡目标识别；
- 抓取点预测；
- 采摘路径规划；
- 农业操作策略学习；
- 模仿学习；
- VLA模型训练；
- 农业机器人多品类泛化；
- 复杂自然环境具身智能评测。

## 10. 数据产品特点

- 真实农业环境：覆盖自然光照、枝叶遮挡、密集目标等复杂条件。
- 任务标签细：从成熟度到抓取点、路径和采摘结果均可进行结构化标注。
- 包含失败样本：便于模型学习复杂场景下的风险和恢复策略。
- 无本体适配：不以特定机器人关节角和控制接口作为核心数据结构。
- 多品类可扩展：可根据模型训练需求扩展不同果蔬品类。
- 支持标准化交易：可按作物、成熟度、环境、难度、任务阶段和数据模态进行组合交付。