政务大厅场景具身智能数据集

# 政务大厅场景具身智能数据集

## 1. 数据集概述

服务大厅场景具身智能数据集面向政务大厅、综合服务中心、银行营业厅、企业服务大厅、医院综合服务区域等半开放公共服务空间，围绕人员引导、排队识别、窗口咨询、材料递交、自助终端操作、表单处理和室内导航等交互任务进行多模态数据采集。

区别于以机械操作为主的数据集，本数据集强调“人—环境—任务—语言—行为”联合理解，重点提供视觉、深度、点云、人体姿态、语音、行为、空间轨迹和场景语义等数据。

数据集不绑定具体机器人本体，可用于服务型具身智能系统、导览设备、移动服务终端和多模态智能体的训练与评测。

> 数据产品说明：本数据集采用“场景—任务—技能—动作—多模态观测—标注结果”的组织方式，重点沉淀与具体机器人本体解耦的环境、任务、对象、交互和动作语义数据。数据可用于不同机器人平台、机械臂、移动操作系统及具身智能模型的训练、评测与迁移适配。实际交付规模、模态组合、采样频率及标注粒度可根据采购方训练任务确定。

## 2. 典型采集区域

包括：

- 咨询台；
- 综合受理区；
- 等候区；
- 排队区；
- 服务窗口；
- 自助终端区；
- 表单填写区；
- 材料准备区；
- 出入口；
- 通道与导航节点。

## 3. 典型交互任务

### 3.1 人员识别与服务对象发现

识别访客、工作人员、排队人员及特定交互对象，并判断其所在区域和行为状态。

### 3.2 咨询与语言交互

记录咨询问题、指向行为、语音内容、空间位置和上下文信息，可用于多模态对话与服务意图理解。

### 3.3 材料递交

采集人员取出、递交、接收、查看、放置文件或证件的完整交互过程。

### 3.4 表单填写

采集表单读取、指向字段、填写、翻页、签字和材料整理等动作。

### 3.5 自助终端操作

采集用户靠近终端、触屏、选择业务、提交信息和离开的过程。

### 3.6 室内导航与引导

采集从入口、咨询台到目标窗口、自助终端或等候区的路径及空间语义信息。

## 4. 数据采集过程

### 4.1 场景语义建模

建立大厅区域、窗口、设备、通道、排队区域、等候区和导航节点地图，并对空间功能进行语义编码。

### 4.2 交互任务配置

按照服务流程配置任务，例如：

### 4.3 多模态同步采集

同步采集：

- RGB图像/视频；
- 深度图；
- 三维点云；
- 人体关键点和姿态；
- 人员轨迹；
- 手势；
- 语音波形；
- ASR文本（按交付约定提供）；
- 空间位置；
- 交互事件；
- 场景区域ID；
- 任务阶段和服务结果。

### 4.4 隐私处理

对于涉及真实人员的数据，可按照交易和使用要求执行：

- 人脸模糊化或去标识化；
- 证件号、手机号等敏感字段脱敏；
- 文档内容区域遮挡；
- 原始语音去身份化；
- 仅保留行为、位置、意图或语义标签。

## 5. 数据模态

| 数据类型 | 数据内容 |
|---|---|
| RGB | 服务大厅场景、人员、设备及交互过程 |
| Depth | 人员、设备和空间深度信息 |
| Point Cloud | 大厅三维结构和动态目标点云 |
| Human Pose | 人体关键点、姿态与动作变化 |
| Audio | 咨询、提示和交互语音 |
| Trajectory | 人员移动路径和导航轨迹 |
| Interaction Event | 递交、指向、触屏、填写等事件 |
| Scene Semantics | 咨询台、窗口、排队区、自助区等区域标签 |
| Task State | 当前服务阶段、完成状态及异常状态 |

## 6. 标注体系

### 6.1 人员标注

- 人员检测框；
- 跟踪ID；
- 人体关键点；
- 朝向；
- 站立/行走/等待/交流等状态。

### 6.2 行为标注

可包括：

- 递交材料；
- 接收材料；
- 指向；
- 咨询；
- 排队；
- 触屏；
- 表单填写；
- 查看屏幕；
- 出示证件；
- 跟随引导；
- 离开服务区域。

### 6.3 语音与意图标注

可按需求提供：

- 语音起止点；
- 语音活动检测；
- 文本转写；
- 业务意图；
- 服务对象；
- 地点实体；
- 时间实体；
- 操作意图；
- 对话轮次。

### 6.4 空间语义标注

- 窗口；
- 咨询台；
- 排队区域；
- 自助终端；
- 等候区域；
- 入口/出口；
- 导航节点；
- 障碍区域；
- 服务功能区。

## 7. 数据质量控制

主要包括：

- RGB、深度、点云时间同步；
- 人员轨迹连续性；
- 跨帧跟踪ID一致性；
- 人体关键点完整性；
- 语音与视频对齐；
- 行为标签和真实交互一致性；
- 区域语义标注准确性；
- 隐私脱敏检查；
- 文件完整性检查。

## 8. 数据组织

text
service_hall_dataset/
├── scene_xxxx/
│   ├── map/
│   ├── rgb/
│   ├── depth/
│   ├── pointcloud/
│   ├── audio/
│   ├── human_pose/
│   ├── trajectory/
│   ├── interaction/
│   └── metadata.json
└── dataset_manifest.json

## 9. 适用方向

- 服务大厅场景理解；
- 人员检测与跟踪；
- 人体姿态识别；
- 人机交互行为识别；
- 服务意图理解；
- 多模态对话；
- 室内语义导航；
- 人群环境避障；
- 文档和表单交互；
- VLM/VLA训练；
- 服务型具身智能系统评测。

## 10. 数据产品特点

- 突出多模态交互：同时覆盖视觉、行为、空间、语音等信息。
- 支持真实公共空间：面向排队、咨询、导航和材料办理等真实流程。
- 无本体适配：重点沉淀服务任务和环境语义，不依赖具体机器人平台。
- 任务链完整：支持从发现服务对象到任务结束的全过程建模。
- 可按隐私等级交付：支持原始数据、脱敏数据、特征数据或标注数据等不同形态。