清华团队构建HandsOn灵巧操作基准，66项任务全方位评测机器人双手能力

编辑｜陈陈、Clio 机器人操作的「考卷」，需要为灵巧手重新出一份了。 过去的机器人操作 benchmark，大多围绕夹爪展开。而随着第一视角（ego）人类操作数据不断积累，人如何抓握、使用工具、完成精细接触，正被越来越大规模地记录下来。灵巧手与人手结构相近，有望借助这些数据实现更大规模的学习，成为机器人操作的重要方向。 然而，灵巧手不断进化，「考卷」却没有跟上。 灵巧手有大量主动关节，任务充满接触，常常需要双手协作，还要在较长的动作序列中保持前序结果；成功与否难以判定，失败发生在哪一步也难以定位。夹爪时代的基准无法直接回答这些问题，而面向灵巧手的系统、可靠的评测体系，目前仍然缺位。 数据和模型在往前走，却缺少一把能够衡量进展的尺子。 近日，清华大学丁宁团队联合北京邮电大学、北京大学及来自自然意志 Nature Will 的研究员共同构建了一个面向跨本体灵巧操作的可组合仿真平台与评测基准 HandsOn，希望补上这一环。 HandsOn 包含 66 项人工验证任务和 18,000 条人类仿真遥操作示范，围绕工具使用、精细接触、双手协作和任务迁移展开评测。平台支持 5 种机械臂、6 种灵巧手，以及约 200 种刚体、关节物体和可变形物体资产，并可在随机化场景中组合。 HandsOn 包含 18,000 条精选仿真遥操作示范，任务分为 Core-50 与 Transfer-16。 这份基准给出的成绩单并不轻松：团队评测了扩散策略、视觉语言动作模型、世界动作模型等不同路线。结果显示，在提供训练示范的 Core-50 任务中，表现最好的受训多任务策略成功率为 29.1%。面对没有目标任务训练示范的 Transfer-16，8 种受训多任务策略的任务平均成功率均低于 1%。 此外，GPT-6 未经过基准数据微调，通过 move_eef 接口控制手掌与手指，在 660 次测试中，Core-50 和 Transfer-16 的成功率分别为 5.2% 和 1.9%。 团队还进一步追踪了抓取、接触、双手协调和目标状态保持等环节，发现机器人经常能够完成动作的前半段，却在关键时刻失误。 相关论文、代码与数据资源已公布。 论文 arXiv：https://arxiv.org/abs/2610.26765 代码 GitHub：https://github.com/TsinghuaC3I/HandsOn 数据 Hugging Face：https://huggingface.co/datasets/Cyan666/HandsOn-Datasets 为什么灵巧手需要一套新的评测基准？ 灵巧手的难点，不只是比夹爪多了几根手指，还在于它需要控制操作过程中不断变化的接触关系。 拿起鼠标之后，机器人需要避免提前触发点击；设置两个旋钮时，需要让它们同时保持在目标位置；放置盒盖时，还要在松手后维持原有的对齐状态。这些任务都要求机器人协调手指动作、判断接触状态，并确保已经完成的操作不会被后续动作破坏。 这也改变了机器人操作的评测方式。对于夹爪，抓取是否成功、物体是否放到指定位置，往往是重要的判断依据。对于灵巧手，仅仅抓住物体远远不够。机器人还需要真正使用工具、完成精细操作，并在多步骤任务中维持正确的物体状态。一次动作取得进展，不代表整项任务已经成功。 第一视角人类操作数据的积累，为灵巧手学习这些技能提供了新的机会。但示范数据增加之后，仍然需要回答两个问题：模型能否稳定复现学过的操作？面对新的物体、任务组合或可变形物体时，它能否迁移已有技能？ 已有的灵巧操作基准已经覆盖不同机器人本体、功能性操作和双手协作。不过，相关研究在人类示范数据规模、专门留作评估的未见任务，以及操作失败过程的诊断等方面，仍有进一步完善的空间。 HandsOn 的设计从这里切入，把执行能力与泛化能力分开测量，将 66 项任务划分为 Core-50 和 Transfer-16 两套评测。 Core-50 提供用于策略学习的示范数据，并通过新一轮独立执行测试评估策略表现；Transfer-16 则专门用于泛化能力评测，不会将目标任务的示范数据纳入训练集。 HandsOn 套件：Core-50 包含演示内容；Transfer-16 仅供评估使用。 这种设计不仅检验机器人能否完成有示范的任务，也进一步考查已有技能能否迁移到新的操作条件。结合阶段性诊断，研究者还可以分析失败发生在接触建立、功能操作、双手协调、目标状态保持，还是后续步骤衔接等环节。 Core-50：学会任务之后，能否稳定执行？ Core-50 包含 50 项提供训练示范的任务，涵盖功能理解、数值输入、空间关系、关节操作、精确接触和双手协作等能力。 这些分类对应着具体的生活场景。操作剪刀时，机器人需要将其抬离桌面，在持续抓持中完成三次开合；设置计时