VLA 架构今日迎来两支新锐:SpikeVLA 将脉冲神经网络引入 VLA,以事件驱动稀疏性大幅降低推理能耗,为低功耗边缘部署铺路;S²-VLA 则提出状态空间引导的自适应注意力,仅 2B 参数即在长程操作基准上超越 7B 级模型,揭示小模型的高效路径。
人形机器人方向,CWI 系统通过解耦上下半身动捕与多评论家架构,在 LimX Oli 平台上实现了无需全身动捕的遥操作移动操作,师生蒸馏让策略仅依赖手部姿态与速度命令即可稳定运行,零样本 sim-to-real 部署成功。
今日具身智能研究聚焦两大方向:视觉-语言-行动模型(VLA)分别以脉冲神经网络实现低功耗、状态空间引导提升长程操作,双双刷新性能;人形机器人通过解耦动捕与师生蒸馏,首次实现无全身动捕的协调移动操作。这些工作从模型架构到物理部署均给出闭环验证,标志从‘可能 work’到‘稳定 work’的关键跃迁。
VLA 架构今日迎来两支新锐:SpikeVLA 将脉冲神经网络引入 VLA,以事件驱动稀疏性大幅降低推理能耗,为低功耗边缘部署铺路;S²-VLA 则提出状态空间引导的自适应注意力,仅 2B 参数即在长程操作基准上超越 7B 级模型,揭示小模型的高效路径。
人形机器人方向,CWI 系统通过解耦上下半身动捕与多评论家架构,在 LimX Oli 平台上实现了无需全身动捕的遥操作移动操作,师生蒸馏让策略仅依赖手部姿态与速度命令即可稳定运行,零样本 sim-to-real 部署成功。
• SpikeVLA 将视觉编码器、多模态 LLM、行动策略网络中的密集层替换为事件驱动脉冲层,显著降低能耗。 • Spike-V 视觉编码器利用脉冲稀疏性,Spike-L 脉冲 LLM 实现 token 级稀疏激活。 • 保持竞争性能的同时达成低功耗实时推理,展示 SNN 在具身智能中的可行路径。
• 提出 SSGAA 机制维护任务进度信念状态,动态融合视觉、意图与时序动作特征。 • 2B 参数模型在 LIBERO 和 SimplerEnv 长程基准上超越 7B 级 VLA,达到 SOTA。 • 误差累积问题得到缓解,注意力随任务阶段自适应调整。
• 上半身直接模仿动捕操作,下半身以对抗运动先验学习稳定行走和蹲起。 • 多评论家架构缓解移动-操作-风格目标冲突,师生蒸馏后仅需手部姿态与速度命令。 • 在 LimX Oli 机器人上实现无全身动捕的遥操作,零样本 sim-to-real 部署。
提出 S^2-VLA 框架,通过状态空间引导的自适应注意力机制(SSGAA)解决VLA在长程操作中因误差累积导致的性能下降。SSGAA维护任务进度信念状态,生成动态门控权重自适应融合视觉、意图和时序动作特征。仅2B参数在 LIBERO 和 SimplerEnv 上超越7B级模型。
研究员注:💭 研究员二次解读:这说明长程任务中动态融合比参数量更重要,轻量模型有望降低部署门槛。