今日具身智能出现两个明确信号:AMD 收购 World Labs,将交互式 3D 环境和机器人学习能力并入芯片生态,李飞飞(斯坦福教授 / World Labs创始人,空间智能/具身)出任首席科学家,这标志世界模型从研究走向基础设施集成。
在算法层,ERA 让机器人用预测深度替代深度传感器完成零样本物体导航,将 VLFM 成功率从 10.8% 提升至 61.7%;OaP 则用可编辑目标程序连接 VLM 与 MPC,在接触丰富操作任务上超过强基线。二者均强调真实机器人部署。
AMD 完成对 World Labs 的收购,李飞飞(斯坦福教授 / World Labs创始人,空间智能/具身)加入并任执行副总裁兼首席科学家,推动 3D 世界模型与硬件协同。同期,零样本物体导航 ERA 和 VLM 目标程序操作 OaP 两项方法在真实机器人上取得进展。
今日具身智能出现两个明确信号:AMD 收购 World Labs,将交互式 3D 环境和机器人学习能力并入芯片生态,李飞飞(斯坦福教授 / World Labs创始人,空间智能/具身)出任首席科学家,这标志世界模型从研究走向基础设施集成。
在算法层,ERA 让机器人用预测深度替代深度传感器完成零样本物体导航,将 VLFM 成功率从 10.8% 提升至 61.7%;OaP 则用可编辑目标程序连接 VLM 与 MPC,在接触丰富操作任务上超过强基线。二者均强调真实机器人部署。
AMD 已完成对 World Labs 的收购,李飞飞(斯坦福大学教授、World Labs 联合创始人)加入 AMD 担任执行副总裁兼首席科学家。World Labs 专注交互式 3D 环境和机器人学习,收购后团队将继续基础模型研究,并与 AMD 工程团队协同,将模型能力用于下一代 AI 基础设施。
ERA 提出 Move with Error 范式,用 RGB 预测深度替代深度传感器。传统方法将预测深度当作传感器深度导致误差累积,ERA 通过移动获得新视角修正地图,采用可重访占据地图和可达视点探索避免过早停止。在三个基准上达到无深度传感器训练自由方法最佳,将 VLFM 成功率从 10.8% 提升到 61.7%,并已在真实机器人部署。
Objectives as Policies (OaP) 框架允许 VLM 生成可编辑目标程序,包含阶段运行成本、终端成本和阶段完成条件。通过 real-to-sim 构建仿真数字孪生,MPC 在仿真中执行并迭代更新程序,再部署到真实机器人。在四个桌面操作任务上验证,性能优于强基线。
“此次收购旨在引入世界级 AI 模型研发团队,将模型研究与硬件、软件、系统协同优化,打造面向开放 AI 生态的下一代基础设施。”
“传统方法将预测深度当作传感器深度使用,导致视点相关误差累积,提前终止搜索。”