具身智能需要什么样的手部动作数据？

具身智能需要的手部动作数据，应当把环境观察、人体运动、接触状态和任务结果放在同一时间轴上。只保存一段视频或一组关节角，往往难以解释物体为什么滑落、指尖何时接触、一次插接为什么成功。高质量数据的判断起点，是它能否支持目标机器人复现任务，并定位失败原因。

ACT 与 Diffusion Policy 等研究说明，真实示范及其动作序列能够用于学习精细操作策略。[1][2] 但这些论文的具体实验结果不等于任意采集设备的效果保证。建设手部数据集时，仍需逐项确认任务、硬件、动作表示和验证条件。

先定义任务，再决定采集什么

拿起纸杯、旋拧瓶盖和插入连接器，对数据的要求不同。纸杯操作关注接触位置与夹持变化，瓶盖需要观察手指协调、物体转动和摩擦，插接则更关注姿态误差、接触时刻与受阻后的修正。应先写清成功标准、允许的误差、物体范围和操作约束，再选择通道与采样方案。

每条示范建议保留任务指令、物体及材料信息、操作者编号、设备与标定版本、开始结束时间、成功或失败结果。涉及人的影像和行为数据时，还应明确采集授权、保存范围和访问权限。这样，同一段动作才有可解释的背景，也便于后续筛选和复用。

观察、动作与触觉分别回答不同问题

视觉提供物体外观、场景和相对位置；手部运动提供关节、手腕或指尖的变化；触觉补充接触区域及受力变化。关节角相近的两次抓握，可能分别处于悬空、轻触和压紧状态。把这些状态区分开，才能让数据说明操作过程，而不仅是描述手的形状。

记录时应区分测量值、算法估计值和控制指令。例如，机器人下发的关节目标不能直接当作实际关节状态，相机预测的手部关键点也不等同于力测量。每个字段应说明单位、坐标、来源、有效标记和置信信息；没有采集的通道保留缺失状态，避免用零值伪装为有效测量。

多模态同步要对齐事件，不只是帧数

相机、动作采集和触觉阵列通常拥有不同的更新频率。把它们都重采样成相同帧率，并不会自动消除时延。更稳妥的做法，是保留原始采样时间和接收时间，说明时钟来源、同步方式、传输延迟及插值规则，然后用可同时观察到的接触事件检查对齐。

例如，指尖碰到物体后，视频中的形变、触觉信号的上升和动作状态的变化应有合理的时间关系。如果只按文件写入顺序拼接，网络拥塞可能把接触前后的因果顺序打乱。验收时应统计时间偏差、长时间漂移、丢帧与连续缺失，而不只报告设备的标称频率。

人体动作还需要映射到机器人

人的手型、关节数量和活动范围，与目标灵巧手并不完全一致。直接复制角度可能产生不可达姿态，也可能让指尖偏离物体。动作重定向应根据任务保留关键约束，例如指尖相对位置、接触顺序、手掌姿态，以及机器人关节和碰撞限制。映射参数需要和数据一起保存。

坐标约定同样重要。ROS REP 103 提供 SI 单位与右手坐标系的参考，且特别区分常规机体与相机光学坐标。[4] 采集系统可以采用其他明确约定，但必须记录坐标变换和旋转表示。否则，左右手镜像、角度单位混用和轴向翻转，会造成难以追查的训练误差。

保留接触阶段与有价值的失败

建议把操作划分为接近、初始接触、建立抓握、操作、释放等阶段，并记录滑移、碰撞、重抓与纠错事件。失败示范也有价值，但需要明确失败原因与可用范围。未标注的失败不能默认作为正确动作监督，成功轨迹中被剪掉的停顿和修正，也可能损失任务的关键线索。

例如插接失败，可以区分目标未对准、已经接触但受阻、操作途中脱手三类。即使最终都被标为失败，它们对应的观察和动作原因也不同。建立事件定义和标注例子，再检查不同标注者的一致性，比简单增加“成功／失败”标签更利于后续分析。

用独立任务验证数据价值

数据规模应同时统计有效示范时长、任务覆盖、物体种类和完整接触片段。把相邻视频帧随机拆进训练集和测试集，容易让相似画面造成评估偏高。更合理的是按完整示范、操作者、物体或场景分组，设置未见条件，并把划分规则固定下来。

Open X-Embodiment 研究通过标准化格式汇集不同机器人的数据，展示了跨平台学习的可能性。[3] 对实际项目而言，格式统一只是起点；还应检查动作语义、硬件差异和时间关系。先做一组可重复的基线任务，再用相同条件比较新增数据，才能判断收益来自哪里。

启动采集前，先回答两个问题

需要多少条示范？没有适用于所有任务的固定数量。建议先覆盖关键接触阶段和主要变化，建立小规模训练与评估基线，再观察增加示范后在哪些条件下仍会失败。若新增数据只是重复同一物体、同一操作者的相似动作，帧数增加也可能没有扩大任务覆盖。应优先补齐失败暴露出的场景，而不是先设定一个看起来庞大的总量。

只有动作数据，后续再补触觉可以吗？新任务可以增加触觉采集，但旧示范中的真实接触通常无法仅凭姿态无损恢复。若触觉与动作不是在同一次操作中同步记录，也不能直接视为逐帧配对。建议先确认未来是否研究接触控制，再决定首次采集保留哪些原始通道；对于已存在的数据，应明确它能支持的任务边界和可补充信息。

采集终端应交付可使用的数据

猿声 Magic Glove 将手部运动与触觉采集集成到终端，为同步记录多种操作信息提供硬件入口。评估时，应同时检查手型适配、佩戴后的自然操作、标定可重复性、有效数据比例与导出说明。传感阵列数量体现采集配置，不能直接替代最终任务成功率。

一份可交接的数据包，至少应包含原始数据、字段说明、标定文件、时间同步记录、任务标签和可复现的读取示例。团队能够用同一套工具回放、定位异常并重做评估，才算把“采到动作”进一步推进为“得到可训练、可验证的物理交互数据”。