商超场景具身智能数据集

# 商超场景具身智能数据集

## 1. 数据集概述

商超场景具身智能数据集面向零售门店、便利店、商超货架区、理货区、收银及补货等典型环境，围绕“识别—定位—抓取—搬运—摆放—整理—核验”等具身智能核心任务进行多模态数据采集与结构化标注。

数据集以真实商超任务为核心，不绑定具体机器人型号或本体结构，重点记录商品、货架、购物篮、周转箱、通道、收银区域等环境信息，以及目标物体在不同摆放方式、遮挡程度、光照条件和任务状态下的视觉、空间和操作数据，为感知模型、抓取模型、操作策略模型、视觉语言动作模型（VLA）及通用具身智能模型提供训练数据。

> 数据产品说明：本数据集采用“场景—任务—技能—动作—多模态观测—标注结果”的组织方式，重点沉淀与具体机器人本体解耦的环境、任务、对象、交互和动作语义数据。数据可用于不同机器人平台、机械臂、移动操作系统及具身智能模型的训练、评测与迁移适配。实际交付规模、模态组合、采样频率及标注粒度可根据采购方训练任务确定。

## 2. 典型采集场景

数据采集覆盖典型商超空间和商品陈列形态，可包括：

- 标准货架区：饮料、乳制品、零食、日用品、纸品等商品陈列。
- 端架及促销区：高密度、多类别、异形包装商品混合摆放。
- 理货与补货区：商品从周转箱取出并补充至目标货位。
- 购物篮/购物车交互区：商品抓取、搬运、放入、取出和重新整理。
- 收银前置区：商品集中放置、分类、计数和核验。
- 仓储过渡区：箱装商品、散装商品及周转容器操作。

采集过程中可设置多种货架高度、商品密度、货位深度、遮挡比例、朝向、背景复杂度和光照变化，增强数据对真实零售环境的覆盖能力。

## 3. 任务设计

围绕商超具身操作，可构建以下任务链：

### 3.1 商品识别与定位

识别指定商品类别、包装类型、货架层级和货位位置，并输出目标框、实例分割区域、三维位置、姿态及可抓取区域。

### 3.2 商品抓取

记录从目标识别、接近、预抓取、接触、抓取到抬升的完整任务过程，覆盖瓶装、盒装、袋装、罐装及软包装等不同物理形态。

### 3.3 商品搬运与放置

采集商品从货架移动至购物篮、周转箱或指定货位的轨迹、位姿变化和放置状态。

### 3.4 理货与补货

包括商品取出、同类归并、正面朝向调整、货架补位、间距调整、倒伏纠正及错位恢复等任务。

### 3.5 商品核验

采集商品类别、数量、货位与任务清单之间的匹配关系，可用于任务完成状态判断与操作结果验证。

## 4. 数据采集过程

### 4.1 场景初始化

按照预设任务脚本完成货架、商品、购物篮、周转箱及环境位置布置，并记录场景编号、任务编号、对象清单、货架结构、目标货位、光照条件和遮挡条件。

### 4.2 多模态同步采集

以任务执行过程为主线，同步记录：

- RGB图像/视频；
- 深度图；
- 点云数据；
- 相机内外参；
- 目标物体三维位置与姿态；
- 操作轨迹或末端轨迹；
- 接触/力觉/触觉信息（具备对应采集条件时）；
- 任务状态、动作阶段及结果状态；
- 环境与对象元数据。

数据按照统一时间戳进行同步，便于后续构建跨模态时序样本。

### 4.3 任务切分

一条完整任务可进一步切分为：

不同任务阶段分别建立起止时间、关键帧、状态标签和结果标签。

### 4.4 数据清洗与筛选

剔除严重模糊、传感异常、时间戳不连续、目标缺失、任务中断及无法完成质量校验的数据，对可恢复样本进行同步修正和元数据补全。

## 5. 数据模态

可交付的数据模态包括：

| 数据类型 | 主要内容 |
|---|---|
| RGB | 商超环境、商品、货架、容器及操作过程图像/视频 |
| Depth | 目标物体与环境深度信息 |
| Point Cloud | 商品、货架及局部空间三维点云 |
| Pose | 目标物体、关键对象及操作过程中的三维位姿 |
| Trajectory | 抓取、搬运、放置等操作轨迹 |
| Force/Tactile | 接触、抓取稳定性、受力变化等信息 |
| Metadata | 场景、任务、对象、时间、设备、质量等元数据 |
| Task State | 任务阶段、成功/失败、异常原因、完成状态 |

## 6. 标注体系

数据集可提供多层级标注：

### 6.1 感知标注

- 商品类别；
- 2D目标框；
- 实例分割；
- 3D目标框；
- 目标中心点；
- 目标姿态；
- 遮挡比例；
- 可见性；
- 货架层级与货位区域。

### 6.2 抓取标注

- 可抓取区域；
- 候选抓取点；
- 抓取方向；
- 接近方向；
- 抓取可行性；
- 抓取成功/失败；
- 失败原因。

### 6.3 时序与动作标注

- 任务起止时间；
- 动作阶段；
- 关键帧；
- 目标状态变化；
- 操作轨迹；
- 放置结果。

### 6.4 场景语义标注

- 货架；
- 通道；
- 购物篮；
- 周转箱；
- 收银区；
- 禁入区域；
- 可操作区域；
- 障碍物。

## 7. 数据质量控制

数据生产过程可采用“采集检查—自动质检—人工复核—抽样验收”的多级质量控制机制。

重点检查：

- RGB、深度、点云时间同步；
- 图像清晰度和曝光；
- 点云完整性；
- 位姿数据连续性；
- 标签准确性；
- 标注一致性；
- 任务链完整性；
- 成功/失败结果与实际执行结果一致性；
- 文件完整性及元数据可追溯性。

## 8. 数据组织方式

推荐采用如下结构：

text
dataset/
├── scene_0001/
│   ├── task_0001/
│   │   ├── rgb/
│   │   ├── depth/
│   │   ├── pointcloud/
│   │   ├── pose/
│   │   ├── trajectory/
│   │   ├── force_tactile/
│   │   ├── annotation/
│   │   └── metadata.json
│   └── task_0002/
└── dataset_manifest.json

## 9. 适用方向

本数据集适用于：

- 商品检测与识别；
- 货架场景理解；
- 目标定位与6D Pose估计；
- 抓取点预测；
- 视觉伺服；
- 多阶段操作策略学习；
- 模仿学习；
- VLA模型训练；
- 机器人理货/补货能力训练；
- 具身智能通用操作能力评测；
- 跨本体迁移与泛化测试。

## 10. 数据产品特点

- 真实商超任务驱动：数据来源于实际零售空间和操作流程。
- 无本体设计：不以某一具体机器人关节结构为数据组织中心。
- 多模态同步：支持视觉、深度、点云、位姿、轨迹等联合训练。
- 任务链完整：覆盖从识别到操作结果验证的完整任务过程。
- 支持失败样本：可保留抓取失败、目标误识别、滑落、碰撞等负样本。
- 标准化交付：支持按任务、对象、模态、场景和难度进行数据筛选与组合交付。