具身智能的数据瓶颈愈发明显。H2R-Bench 系统评估了 11 个视频生成模型在人-机器人操纵视频转换上的表现,发现形态一致性与功能交互仍是短板。NestDex 则从遥操作切入,让操作员只控制手臂和单自由度离合器,手部技能由内部策略自动执行,显著提升演示采集效率。
在工具链侧,AcadosCpp 为 acados 非线性 MPC 提供统一 C++/Python 接口,模型变更无需重写控制循环。这些工作共同指向一个信号:机器人学习正从论文模型转向可规模化、可维护的系统组件。
今日 arXiv 与社区聚焦机器人数据效率:H2R-Bench 提出跨形态视频生成基准,NestDex 用嵌套策略简化灵巧遥操作,AcadosCpp 简化非线性 MPC 集成。这些工作共同指向降低真实数据采集与部署成本,推动具身智能工程化。
具身智能的数据瓶颈愈发明显。H2R-Bench 系统评估了 11 个视频生成模型在人-机器人操纵视频转换上的表现,发现形态一致性与功能交互仍是短板。NestDex 则从遥操作切入,让操作员只控制手臂和单自由度离合器,手部技能由内部策略自动执行,显著提升演示采集效率。
在工具链侧,AcadosCpp 为 acados 非线性 MPC 提供统一 C++/Python 接口,模型变更无需重写控制循环。这些工作共同指向一个信号:机器人学习正从论文模型转向可规模化、可维护的系统组件。
H2R-Bench 提出系统性基准,输入人类自我中心演示,输出机器人操纵视频。每个实例含人类视频、形态约束和源标注,从目标状态完成、动作事件完成、功能接触迁移、形态正确性、视频质量五维评估。作者测试 11 个 SOTA 视频生成模型于六类操纵任务、两种形态,发现现有模型在形态一致性和功能交互上仍有明显局限。
NestDex 针对灵巧操作中完整任务演示难获取的问题,提出嵌套策略学习。操作员只控制手臂和单自由度离合器,内部手策略根据本体感觉历史调整动作,视觉语言选择器激活对应技能。收集的演示用于训练外部视觉运动策略,部署时不依赖内部策略。真实机器人实验显示演示采集可靠性和效率显著提升。
AcadosCpp 为 acados 生成的 NMPC 求解器提供统一 C++/Python 接口,解决模型或 OCP 变更后需重写符号、维度、生命周期和 warm-start 逻辑的问题。提供 13 状态四旋翼示例,支持参考轨迹更新、时变参数、位移 warm-start、诊断和 Python 绑定。项目旨在简化 NMPC 在真实机器人应用中的集成。
作者对11个最先进的视频生成模型在六类操纵任务和两种机器人形态上进行测试,发现现有模型在形态一致性、功能交互和任务执行方面仍有明显局限。
研究员注:💭 基准的存在比单个模型分数更重要,它把「看起来能生成」和「真正可执行」区分开。