设施农业是农业自动化中人工依赖度最高、最难替代的环节之一。在真实温室环境中，果实分布在枝叶之间，光照条件随时间变化，成熟度从绿到红差异显著，同时存在枝叶遮挡、果实密集、非刚性形变等复杂因素。当前多数机器人数据集在实验室或结构化仓库环境采集，直接迁移至真实棚室场景时，普遍存在识别精度下降、抓取成功率低、缺乏失败恢复能力等问题。其核心原因在于：缺少一套在真实农业环境下同步采集、覆盖完整作业链条、包含多模态观测与标注的操作数据。
针对这一行业痛点，典枢数据交易平台推出农业采摘场景具身智能数据集。数据集面向温室、大棚、果园及设施农业环境，围绕果蔬识别、成熟度判断、目标定位、遮挡分析、抓取点选择、采摘、搬运与放置等完整作业流程，采集九类多模态数据，不绑定特定机器人本体，可直接服务于农业采摘机器人、农业具身智能模型及 VLA（视觉—语言—动作）模型的训练、评测与迁移适配。
数据集定位与解决的核心问题
真实农业环境与实验室场景的核心差异在于不确定性：同一植株上果实成熟度不一，枝叶位置随生长阶段变化，光照从棚顶斜射形成局部高光与阴影。本数据集面向真实环境中的典型难点设计，重点解决目标尺度变化大、光照不稳定、枝叶遮挡严重、果实密集、成熟度差异明显以及果实形态非刚性等问题。
数据组织以”作物—环境—任务—动作—结果”为主线，沉淀与具体机器人本体解耦的环境、对象、交互和动作语义。无论采购方使用六轴机械臂、协作机械臂还是移动采摘平台，均可基于该数据进行模型训练与迁移适配。实际交付时，数据规模、模态组合、采样频率及标注粒度可根据采购方训练需求灵活组合。
采集环境与作物覆盖
数据集覆盖七类典型农业作业环境：温室、连栋大棚、日光温室、果园、试验田、高架栽培区及垂直种植区域。每个采集场景均建立环境档案，记录作物品类、生长阶段、种植方式、行距株距、光照条件、温湿度及采摘批次等信息，支持训练过程中的分层评估。
作物覆盖草莓、番茄、黄瓜、辣椒、苹果、柑橘等常见果蔬品类，并可根据训练需求扩展新品种。不同作物在果实尺寸、生长姿态与枝叶密度上差异显著，多品类覆盖为模型跨作物泛化能力提供数据基础。
作业任务与数据模态
数据集对应采摘作业的六个关键环节：
- 果实检测：在枝叶、支架与背景混杂条件下识别目标果实；
- 成熟度判断：基于颜色、纹理与形状进行成熟度等级划分；
- 三维定位：结合 RGB、深度与点云信息，获取果实三维坐标、空间姿态及与周边枝叶的位置关系；
- 可采摘性判断：评估果实成熟度、遮挡程度、接近路径安全性与抓取点稳定性；
- 抓取与采摘：完整记录接近、姿态调整、接触、抓取、旋拧/剪切/拉取、分离及撤离全过程；
- 放置与转运：记录果实脱离植株后进入篮筐、周转箱的过程。
采集过程同步记录九类数据模态：
| 数据类型 | 数据内容 |
| RGB | 作物、果实、枝叶及采摘过程彩色图像 |
| Depth | 果实及周边枝叶深度信息 |
| Point Cloud | 作物局部三维点云 |
| Pose | 果实、操作目标及关键参考物三维位姿 |
| Grasp Point | 候选抓取点、抓取方向及可行性 |
| Trajectory | 接近、采摘与撤离轨迹 |
| Force/Tactile | 接触力、抓取力及操作过程力变化 |
| Ripeness | 成熟度等级或连续评分 |
| Task Result | 成功/失败结果及失败原因 |
全流程标注体系
数据集标注贯穿作业全过程，覆盖四个维度：
- 果实标注：类别、2D 目标框、实例分割、三维位置、3D 目标框、果实尺寸、遮挡率、可见率；
- 成熟度标注：未成熟、转色期、基本成熟、成熟、过熟五级，亦支持连续成熟度评分；
- 采摘标注：候选抓取点、推荐抓取点、接近方向、抓取方向、可采摘性、障碍区域、枝叶干扰程度、采摘成功率、采摘结果；
- 环境标注：主枝、叶片、果梗、支架、地面、容器、可通行区域及作业禁入区域。
失败样本与鲁棒性训练
每次采摘任务完成后均进行结果核验，并对失败动作进行结构化分类：成功采摘、未成功分离、果实滑落、枝叶遮挡导致失败、抓取点选择错误、定位误差、果实损伤、目标识别错误、操作路径受阻。
失败样本可作为负样本，用于模型学习复杂环境下的风险识别与恢复策略，提升模型在真实作业场景中的鲁棒性。
数据组织方式
数据集按”作物—场景—任务”三级目录组织，工程团队可直接按目录调用：
agriculture_picking_dataset/
├── crop_strawberry/
├── crop_tomato/
├── crop_pepper/
└── crop_other/
└── scene_xxxx/
└── task_xxxx/
├── rgb/
├── depth/
├── pointcloud/
├── pose/
├── grasp/
├── trajectory/
├── annotation/
└── metadata.json
顶层按作物分类，场景与任务分层管理，每个任务目录下按模态独立存储。元信息文件记录作物、批次与环境参数，支持按作物、任务、模态灵活调取。
质量控制
数据交付前经过十道质检流程：图像曝光与运动模糊检查、深度有效像素率检查、点云完整性检查、多模态时间同步校验、成熟度标签复核、果实实例 ID 一致性校验、三维位置准确性抽检、采摘结果人工复核、失败原因复核，以及数据文件完整性与元数据一致性检查。
适用对象
- 农业机器人企业：用于果实识别、成熟度判断与抓取点预测模型训练，支撑温室采摘机器人与果蔬分拣设备落地；
- 具身智能与 VLA 模型研发团队：作为真实世界操作数据，训练视觉—语言—动作模型在非结构化自然环境中的操作策略，支持模仿学习与策略学习；
- 高校与科研院所：服务农业自动化、机器人、计算机视觉等方向，支撑遮挡目标识别、三维定位、复杂环境操作策略等研究；
- 智慧农业与设施农业园区：为园区智能化改造与采摘环节自动化提供模型训练与评测的数据底座。
常见问题
问：该数据集适用于哪些团队？
答：农业机器人厂商、具身智能与 VLA 模型研发团队、农业自动化科研机构，以及智慧农业解决方案商。
问：覆盖哪些作物与采集环境？
答：作物涵盖草莓、番茄、黄瓜、辣椒、苹果、柑橘等；环境覆盖温室、连栋大棚、日光温室、果园、试验田、高架栽培区与垂直种植区域，支持扩展新品类。
问：包含哪几类数据模态？
答：RGB 图像、深度图、三维点云、位姿、抓取点、操作轨迹、力觉/触觉、成熟度标签、任务结果，共九类同步采集。
问：是否适配自有机器人平台？
答：数据集不绑定特定机器人本体与控制接口，围绕环境、任务、对象与动作语义组织，支持迁移至不同机械臂与移动平台。
问：失败样本的价值是什么？
答：采摘失败动作与原因均经过结构化标注，可作为负样本用于模型风险识别、恢复策略与鲁棒性训练。
问：交付规模与格式如何确定？
答：可按作物、成熟度、环境难度、任务阶段与数据模态组合交付，具体规模与采样频率根据训练需求确定。
获取方式
该数据集已在典枢数据交易平台开放，支持先验后买与申请报告。如需了解作物明细、样例数据或定制交付方案，可在平台搜索”农业采摘场景具身智能数据集”，或联系平台获取详细资料。