具身规划在目标达成之外,正面临隐含社会规范的考验。新基准 NormAct 显示,顶级模型规范遵守率仅 26.4%,远低于任务成功率 67.3%。这意味着智能体必须主动感知场景中的隐藏规则。
另一方面,推理速度优化并非处处灵药。TISED 框架发现,在闭环控制中,有损加速可能导致总完成时间反增。而跨形态技能迁移通过关键帧引导扩散策略实现零样本适应,为通用机器人学习打开新路。
近期研究揭示,当前多模态大模型虽能达成日常任务目标,但严重缺乏社会规范意识(NormAct基准);且推理加速在部分场景下可能延长总时长(速度悖论)。同时,关键帧引导的扩散策略展现出跨机器人形态的零样本迁移潜力。
具身规划在目标达成之外,正面临隐含社会规范的考验。新基准 NormAct 显示,顶级模型规范遵守率仅 26.4%,远低于任务成功率 67.3%。这意味着智能体必须主动感知场景中的隐藏规则。
另一方面,推理速度优化并非处处灵药。TISED 框架发现,在闭环控制中,有损加速可能导致总完成时间反增。而跨形态技能迁移通过关键帧引导扩散策略实现零样本适应,为通用机器人学习打开新路。
NormAct 基准测试显示,多模态大语言模型规划器目标成功率为 67.3%,但规范遵守率仅 26.4%;提出的NormPerceptor模块通过上下文生成规范提示,将成功率从 24.2% 提升至 46.7%。瓶颈在于规范激活与场景落地,而非缺乏常识。
TISED 框架分析有损优化(量化、剪枝)在闭环中的效果:静态任务中,降低单步延迟可能增加总完成时间;动态任务中,适度优化可超越基线。硬件配置会改变效果单调性,为具身模型部署提供新视角。
仅需单次演示 VLM 推理,自动标注关键帧并训练条件扩散策略。在 robomimic 上性能匹配标准基线,并通过可达性映射过滤关键帧,实现从双臂到单臂等跨形态的零样本迁移。
现有顶尖MLLM在目标达成率67.3%时,规范遵守率仅26.4%,差距主要源于规范激活与场景落地的困难。
研究员注:💭 这提示我们,具身智能体需要先主动检测场景中的隐性规则,再将其转化为动作约束,而非仅依赖常识性社会知识。