服务机器人与具身智能：第一视角清洁灭火器多模态数据集（未标注 Raw Data）

# Ego设备物业清洁场景——清洁灭火器数据集介绍

本数据集由 Ego（第一视角具身佩戴/采集设备） 于物业保洁场景中采集，记录了清洁人员对消防设施（灭火器箱及灭火器瓶身）进行规范化擦拭与维护保养的多模态具身长序列数据。

---

## 一、 样例数据基本概况

* Episode ID：episode_20260429_214909
* 采集时长：约 141.81 秒（约 2 分 22 秒，完整多步骤长程任务周期）
* 时间基准：CLOCK_MONOTONIC_RAW（微秒级高精度单调时钟对齐）
* 数据完整性：完整闭环记录（episode_complete: true），无异常中断

---

## 二、 多模态数据流与文件结构

该数据集包含高质量双目视觉、全景鱼眼、高频惯性测量单元（IMU）、空间 6-DoF 轨迹位姿及环境交互音频：

| 数据类别 | 传感器 / 流名称 | 规格参数 | 存储路径 / 说明 |
| :--- | :--- | :--- | :--- |
| 双目第一视角视频 | rgb_left / rgb_right | 1600×1200 分辨率 @ 60 FPS (H.264) | 各约 8,500 帧，记录双手近场清洁动作细节 |
| 超广角/鱼眼全景 | fisheye_A | 640×1920 分辨率 @ 30 FPS (MJPEG) | 4,253 帧，捕获作业周边环境与全身作业姿态 |
| 头部高频 IMU | imu_head | 500 Hz 采样率 (70,118 样本点) | data/states.hdf5，记录头部加速度与角速度动力学特征 |
| 空间位姿估计 | slam | 500 Hz 采样率 (70,906 样本点) | data/states.hdf5，记录空间 6-DoF 轨迹与头部运动路径 |
| 现场双声道音频 | audio | 16kHz / 16-bit PCM 双声道 | audio/0001.wav，记录抹布擦拭摩擦声、金属柜门开闭声等交互音频 |
| 传感器标定文件 | calibration/ | 严格内参、外参矩阵 (SEUCM / PDCM) | calibration/*.json，支持双目立体深度估计与空间重建 |

---

## 三、 物业保洁场景与清洁灭火器任务特点

### 1. 长程序列与多阶段复合任务（Long-Horizon & Multi-Stage Tasks）
* 场景表现：单次作业时长超过 2 分钟，包含“靠近灭火器放置点 → 打开消火栓/灭火器箱门 → 取出/移动灭火器 → 多角度擦拭瓶身与喷管 → 擦拭箱体内外与玻璃面板 → 归位复原并关门”等多阶段复合工序。
* 技术价值：为长程任务规划（Hierarchical Task Planning）、子任务自动切分与长序列动作预测（Long-Horizon Manipulation）提供了极具价值的真实长时序连续示范样本。

### 2. 接触式刚柔交互与表面覆盖操作（Surface Wiping & Contact Dynamics）
* 场景表现：涉及柔性工具（抹布）与金属圆柱体（灭火器瓶身）、狭窄死角（软管接头、箱体转角）及透明材质（消火栓视窗）的贴合摩擦与覆盖式擦拭。
* 技术价值：双目 60FPS 与环境摩擦音频同步记录，可用于训练具身模型理解表面连续接触力学、轨迹覆盖率算法以及对透明/反光材质的鲁棒感知。

### 3. 多尺度空间感知与身体大范围姿态切换（Multi-Scale Perception & Full-Body Posture）
* 场景表现：灭火器通常放置于地面或低矮挂箱中，作业人员需经历“站立寻址 → 蹲下/弯腰开箱清洁 → 重新起立”等剧烈的垂直空间与视线转移。
* 技术价值：超广角鱼眼与 500Hz 头部 SLAM 轨迹有效记录了从全局场景导航到局部微观操作的视点过渡，便于探索基于第一视角的全身协同（Whole-Body Manipulation）控制。

### 4. 高精微秒级多传感器时间对齐（Microsecond Temporal Synchronization）
* 场景表现：高帧率图像（8,500+帧）与 500Hz IMU/SLAM 数据统一对齐。
* 技术价值：有效消除运动模糊对姿态估计的影响，为模仿学习策略提供平滑且连续的动力学与视觉对应关系。

---

## 四、 适用研究与落地应用方向

* 具身保洁与服务机器人：训练室内服务机器人执行日常巡检、公共区域设施清洁擦拭及物品取放整理等技能。
* 分层策略与长程 VLA 模型：验证大模型在长程指令规划、子目标生成以及动作执行（Task & Motion Planning）中的闭环表现。
* 多模态接触与操作技能学习：结合视觉与擦拭声音信号，探索多模态力觉/触觉感知反馈策略。

---

## 五、 联系方式

如有兴趣获取更多数据集详情或开展合作，欢迎联系我们：

* 联系人：唐先生
* 联系电话：15210269336