家政场景具身智能数据集

# 家政场景具身智能数据集

## 1. 数据集概述

家政场景具身智能数据集面向家庭住宅、公寓、样板间及室内服务空间，围绕桌面清洁、物品整理、物品收纳、地面清扫、厨房协助等常见家务任务，采集真实环境中的多模态感知、操作过程和任务状态数据。

数据集以家庭任务和对象交互为核心，不绑定具体机器人本体，重点沉淀室内空间、家居物品、操作对象、动作流程和任务结果之间的结构化关系，可用于家政服务机器人、移动操作系统、具身智能模型和多任务操作策略的训练与评测。

> 数据产品说明：本数据集采用“场景—任务—技能—动作—多模态观测—标注结果”的组织方式，重点沉淀与具体机器人本体解耦的环境、任务、对象、交互和动作语义数据。数据可用于不同机器人平台、机械臂、移动操作系统及具身智能模型的训练、评测与迁移适配。实际交付规模、模态组合、采样频率及标注粒度可根据采购方训练任务确定。

## 2. 典型采集环境

可覆盖：

- 客厅：茶几、沙发、边柜、地毯、玩具及生活杂物；
- 餐厅：餐桌、椅子、餐具、饮品及桌面杂物；
- 厨房：台面、水槽、厨具、调味品、餐具和收纳区域；
- 卧室：床面、床头柜、衣物及日常用品；
- 卫生间：洗手台、清洁用品及日常物品；
- 储物区：收纳箱、柜体、置物架和分类容器。

采集可设置不同房间布局、家具位置、物品密度、光照、遮挡和凌乱程度。

## 3. 典型任务

### 3.1 桌面清洁

包括识别污渍、寻找清洁工具、避开桌面物品、执行擦拭轨迹和清洁结果判断。

### 3.2 物品整理

包括识别散乱物品、目标分类、抓取、移动、对齐、摆正和归位。

### 3.3 物品收纳

包括将毛巾、衣物、玩具、书籍及生活用品放入指定收纳盒、抽屉、柜体或置物架。

### 3.4 地面清扫

包括识别地面垃圾、规划清扫路径、避障、覆盖目标区域和清扫结果确认。

### 3.5 厨房协助

包括递取容器、搬运餐具、拿取瓶装物、整理台面及简单操作辅助。

## 4. 数据采集过程

### 4.1 场景建模

对房间区域、家具、可操作对象、容器、障碍物和目标位置建立场景级元数据，并记录任务前状态。

### 4.2 任务脚本配置

按照“任务目标—目标对象—目标区域—动作步骤—完成条件”生成标准任务脚本。

例如：

### 4.3 多模态同步采集

可同步采集：

- RGB图像/视频；
- 深度图；
- 点云；
- 场景/对象位姿；
- 操作轨迹；
- 力觉/触觉；
- 任务状态；
- 物体状态变化；
- 动作开始与结束时间；
- 操作结果与异常信息。

### 4.4 任务结果验证

采集任务执行前后状态，用于判断：

- 物品是否完成归位；
- 桌面是否完成覆盖清洁；
- 目标是否被正确放入容器；
- 地面目标区域是否完成清扫；
- 操作过程中是否发生碰撞、掉落或误操作。

## 5. 数据模态

| 数据类型 | 数据内容 |
|---|---|
| RGB | 家庭环境与操作过程图像/视频 |
| Depth | 家具、目标对象和操作区域深度信息 |
| Point Cloud | 室内场景和对象三维点云 |
| Pose | 对象、容器、家具及关键操作位姿 |
| Trajectory | 清洁、抓取、移动、收纳等轨迹 |
| Force/Tactile | 接触、抓取、擦拭过程受力数据 |
| Semantic Map | 房间、家具、操作区、禁入区等语义信息 |
| Task State | 任务阶段、目标状态和完成状态 |

## 6. 标注体系

### 6.1 物体标注

可对杯子、纸巾盒、玩具、书籍、清洁布、瓶装物、餐具、收纳盒等常见对象提供：

- 类别；
- 实例ID；
- 2D框；
- 分割掩码；
- 3D位置；
- 姿态；
- 状态；
- 可抓取区域。

### 6.2 操作标注

- 抓取；
- 搬运；
- 放置；
- 推动；
- 拉取；
- 擦拭；
- 扫动；
- 开启/关闭；
- 插入/取出；
- 归位。

### 6.3 时序标注

一条任务可切分为：

并提供关键帧、动作边界和阶段标签。

### 6.4 关系标注

- 物体位于桌面；
- 物体位于容器内；
- 物体靠近目标区域；
- 物体已归位；
- 目标区域存在污渍；
- 操作区域存在障碍物。

## 7. 质量控制

重点进行：

- 多传感器时钟同步检查；
- 图像清晰度检查；
- 深度与点云有效率检查；
- 操作轨迹连续性检查；
- 对象ID跨帧一致性检查；
- 操作结果复核；
- 标注准确率抽检；
- 任务前后状态一致性验证。

## 8. 数据组织

text
housekeeping_dataset/
├── living_room/
├── kitchen/
├── bedroom/
├── dining_room/
└── bathroom/
    └── scene_xxxx/
        └── task_xxxx/
            ├── rgb/
            ├── depth/
            ├── pointcloud/
            ├── pose/
            ├── trajectory/
            ├── annotation/
            └── metadata.json

## 9. 适用方向

- 室内场景理解；
- 家居物体识别；
- 可抓取性预测；
- 清洁轨迹学习；
- 物品整理与收纳策略；
- 长时序任务规划；
- 行为克隆和模仿学习；
- VLA模型训练；
- 移动操作；
- 家政机器人多任务泛化；
- 具身智能操作结果评测。

## 10. 数据产品特点

- 家庭任务覆盖丰富：覆盖清洁、整理、收纳、厨房协助等常见任务。
- 多对象、多状态：包含位置、姿态、遮挡、整洁度和目标状态变化。
- 无本体适配：数据语义基于任务和环境，可支持不同硬件平台二次对齐。
- 完整操作时序：保留任务规划、动作执行和结果验证的全过程。
- 支持长时序训练：可用于多步骤家务任务的规划与执行模型训练。
- 适合数据交易：支持按房间、任务、对象、数据模态和难度分级交付。