Ego第一视角物业保洁场景——室内消火栓箱体与阀门维护多模态具身长程操作数据集（含双目60FPS/微秒级IMU/SLAM轨迹/现场音频原始采集数据）

# Ego设备物业清洁场景——清洁室内消防栓数据集介绍

本数据集由 Ego（第一视角具身佩戴/采集设备） 于物业保洁与公共设施运维场景中采集，完整记录了保洁人员对室内消火栓箱体、视窗玻璃、阀门及水带盘进行全流程规范化清洁维护的多模态具身数据。

---

## 一、 样例数据基本概况

* Episode ID：episode_20260429_213551
* 采集时长：约 162.20 秒（约 2 分 42 秒，高完整度长程操作序列）
* 时间基准：CLOCK_MONOTONIC_RAW（微秒级高精度单调时钟对齐）
* 数据完整性：完整闭环记录（episode_complete: true），传感器丢帧率极低

---

## 二、 多模态数据流与文件结构

该样本整合了高分辨率双目立体视觉、超广角鱼眼全景、高频 IMU 惯导、空间 6-DoF 轨迹位姿及环境交互音频：

| 数据类别 | 传感器 / 流名称 | 规格参数 | 存储路径 / 说明 |
| :--- | :--- | :--- | :--- |
| 双目第一视角视频 | rgb_left / rgb_right | 1600×1200 分辨率 @ 60 FPS (H.264) | 各 9,730 帧，精细捕获双手近场操作与工具接触细节 |
| 超广角/鱼眼全景 | fisheye_A | 640×1920 分辨率 @ 30 FPS (MJPEG) | 4,865 帧，记录操作者周边立体环境与全身姿态空间关系 |
| 头部高频 IMU | imu_head | 500 Hz 采样率 (80,200 样本点) | data/states.hdf5，记录头部运动的高频加速度与角速度 |
| 空间位姿估计 | slam | 500 Hz 采样率 (81,099 样本点) | data/states.hdf5，记录第一视角 6-DoF 连续空间运动轨迹 |
| 现场双声道音频 | audio | 16kHz / 16-bit PCM 双声道 | audio/0001.wav，真实还原锁扣开启、玻璃擦拭及金属碰撞声 |
| 传感器标定文件 | calibration/ | 内参、外参标定矩阵 (SEUCM / PDCM) | calibration/*.json，支持双目立体视差计算与 3D 点云重建 |

---

## 三、 物业保洁场景与清洁消防栓任务特点

### 1. 复杂几何结构与多材质交互（Complex Geometry & Diverse Materials）
* 场景表现：消火栓内部包含平整金属外壳、高透/反光视窗玻璃、环形缠绕的帆布/橡胶水带、黄铜或铸铁旋转阀门及金属卡扣等多种几何构型与异质材料。
* 技术价值：高光反光面（玻璃/金属漆）与柔性水带纹理交织，对计算机视觉算法的反光抗干扰、透明物体分割及复杂结构 3D 姿态估计提出极具挑战的基准测试场景。

### 2. 铰接机构交互与多步精细操作（Articulated Object Manipulation & Sequential Contact）
* 场景表现：保洁人员需执行“解开门锁扣 → 旋转开启铰链柜门（Articulated Door） → 避障探入箱体内部擦拭死角与管阀 → 外部玻璃抛光 → 关门并复位锁止”等多步精细动作。
* 技术价值：涵盖铰接物体操作（Articulated Object Manipulation）、受限空间避障规划（Constrained Manipulation）以及双臂协同擦拭等具身智能前沿关键技能。

### 3. 立面大范围高低视域转换（Vertical Span & Viewpoint Transition）
* 场景表现：消火栓通常嵌入或悬挂于墙面，纵向跨度较大。清洁过程需要操作者在站立（擦拭顶部与视窗）、微俯（擦拭中间卷盘）与低头下蹲（擦拭底部排污/接口）之间自如转换。
* 技术价值：500Hz 头部 SLAM 与超广角鱼眼数据完整记录了大幅度视点过渡与立面深度变化，有利于全身协同动作预测及第一视角视线转移建模。

### 4. 微秒级跨模态时间基准（Microsecond Temporal Synchronization）
* 场景表现：9,700 余帧高清图像与 8 万余个惯导/位姿数据点在统一时间域内精准对齐。
* 技术价值：为动作分段（Action Segmentation）、接触状态转换检测及多模态动力学模型训练提供了高质量的时序数据支撑。

---

## 四、 适用研究与落地应用方向

* 具身保洁与服务机器人：训练商用清洁机器人、轮式/双足双臂机器人执行公共设施擦拭、开门闭门与巡检维保任务。
* 长程任务规划（Hierarchical VLA）：用于训练大模型理解长时序复杂任务的步骤拆解与闭环状态迁移（如确认关门到位的逻辑判断）。
* 透明/高反光场景下的三维重建：基于双目与 SLAM 轨迹，评测并改进 3D Gaussian Splatting (3DGS) 或 NeRF 在镜面反光及狭窄封闭箱体内的重建精度。

---

## 五、 联系方式

如有兴趣获取更多数据集详情或开展合作，欢迎联系我们：

* 联系人：唐先生
* 联系电话：15210269336