跳到主内容
35 signals·9 sources·2026年6月30日星期二·06-27 08:15 ~ 06-29 12:46 UTC
今日主线 · main storyline

脉冲VLA与状态空间VLA齐发,人形全身模仿零样本真机部署

今日具身智能研究聚焦两大方向:视觉-语言-行动模型(VLA)分别以脉冲神经网络实现低功耗、状态空间引导提升长程操作,双双刷新性能;人形机器人通过解耦动捕与师生蒸馏,首次实现无全身动捕的协调移动操作。这些工作从模型架构到物理部署均给出闭环验证,标志从‘可能 work’到‘稳定 work’的关键跃迁。

VLA 架构今日迎来两支新锐:SpikeVLA 将脉冲神经网络引入 VLA,以事件驱动稀疏性大幅降低推理能耗,为低功耗边缘部署铺路;S²-VLA 则提出状态空间引导的自适应注意力,仅 2B 参数即在长程操作基准上超越 7B 级模型,揭示小模型的高效路径。

人形机器人方向,CWI 系统通过解耦上下半身动捕与多评论家架构,在 LimX Oli 平台上实现了无需全身动捕的遥操作移动操作,师生蒸馏让策略仅依赖手部姿态与速度命令即可稳定运行,零样本 sim-to-real 部署成功。

#01

• SpikeVLA 将视觉编码器、多模态 LLM、行动策略网络中的密集层替换为事件驱动脉冲层,显著降低能耗。 • Spike-V 视觉编码器利用脉冲稀疏性,Spike-L 脉冲 LLM 实现 token 级稀疏激活。 • 保持竞争性能的同时达成低功耗实时推理,展示 SNN 在具身智能中的可行路径。

via
arXiv(SpikeVLA 论文)
#02

• 提出 SSGAA 机制维护任务进度信念状态,动态融合视觉、意图与时序动作特征。 • 2B 参数模型在 LIBERO 和 SimplerEnv 长程基准上超越 7B 级 VLA,达到 SOTA。 • 误差累积问题得到缓解,注意力随任务阶段自适应调整。

via
arXiv(S²-VLA 论文)
#03

• 上半身直接模仿动捕操作,下半身以对抗运动先验学习稳定行走和蹲起。 • 多评论家架构缓解移动-操作-风格目标冲突,师生蒸馏后仅需手部姿态与速度命令。 • 在 LimX Oli 机器人上实现无全身动捕的遥操作,零样本 sim-to-real 部署。

via
arXiv(CWI 论文)
风向 · vibes

What practitioners are saying

PAPER
仅2B参数在LIBERO和SimplerEnv上超越7B模型,取得长程操作SOTA
arXiv cs.RO·source
PAPER
零样本硬件部署,着陆误差减少50%,投掷时间缩短30%
Learning to Throw 作者·source
研究启示 · insights

Worth re-reading

长程操作中小模型逆袭大模型

提出 S^2-VLA 框架,通过状态空间引导的自适应注意力机制(SSGAA)解决VLA在长程操作中因误差累积导致的性能下降。SSGAA维护任务进度信念状态,生成动态门控权重自适应融合视觉、意图和时序动作特征。仅2B参数在 LIBERO 和 SimplerEnv 上超越7B级模型。
arXiv cs.RO·source

研究员注:💭 研究员二次解读:这说明长程任务中动态融合比参数量更重要,轻量模型有望降低部署门槛。

实用工具 · ship list

Tools, datasets & models shipped today

  • 开源包实现六轴臂 JSON-over-TCP 直接控制,集成 MoveIt 2 规划与安全机制。适合低成本实验平台,但需自行校准和评估安全性。
    Reddit r/robotics
今日全部信号 · all sources

Sources of the day

arXiv cs.RO (Robotics)/ Feed
95

Building a Scalable, Reproducible, Evaluatable, and Closed-Loop Simulation Environment Foundation for Embodied Intelligence Cloud-Native Simulation Infrastructure for Embodied Intelligence Training, Evaluation, and Data Collection

本文提出用于具身智能的云原生仿真基础设施框架,支持大规模训练、标准化评估和数据收集。框架采用弹性资源调度、容器化仿真、统一数据管理及服务化设计,解决真实机器人数据成本高、扩展性差、可复现性低的问题。四层架构提供标准化资产、自动任务生成、轨迹采集、基准评估和闭环优化,并集成D-VLA、RL-VLA3、Sword和Pre-VLA等代表性系统。文章认为该云原生平台为数据生成、模型训练、评估和部署提供统一基础,将在具身智能发展中发挥关键作用。

  • 云原生仿真框架统一训练、评估与数据收集流程
  • 采用容器化与弹性调度实现可扩展、可复现仿真
  • 四层架构:资产、任务、评估与闭环数据优化
embodied-intelligencecloud-nativesimulation
6月28日
arXiv cs.RO (Robotics)/ Feed
95

S$^2$-VLA: State-Space Guided Vision-Language-Action Models for Long-Horizon Manipulation

提出S$^2$-VLA框架,通过状态空间引导的自适应注意力机制(SSGAA)解决视觉-语言-动作模型在长程操作中因误差累积导致的性能下降。SSGAA维护任务进度信念状态,生成动态门控权重,自适应融合视觉、意图和时序动作特征,使模型随任务阶段动态调整关注点。该2B参数模型在LIBERO和SimplerEnv长程操作基准上超越7B级模型,达到SOTA。

  • 针对VLA模型长程任务中静态特征融合导致的误差累积,提出SSGAA机制
  • SSGAA通过信念状态跟踪任务进度,生成动态门控权重自适应融合多源信息
  • 融合视觉、任务意图和时序动作序列,适应任务执行不同阶段的需求
vlalong-horizon manipulationadaptive attention
6月28日
arXiv cs.RO (Robotics)/ Feed
95

PPO-EAL: Exact Augmented Lagrangian Proximal Policy Optimization for Safe Robotic Control

提出PPO-EAL,一种将精确增广拉格朗日优化与近端策略优化结合的安全强化学习框架,用于机器人安全控制。通过裁剪策略更新和精确二次惩罚项实现理论严格的约束满足,动量调节乘子更新提高稳定性。在多种机器人基准(包括四足运动、操作任务)上验证了安全精度和奖励性能,并展示了在接触丰富的齿轮装配任务中的零样本仿真到现实迁移,显著提高任务成功率并降低峰值接触力。

  • 结合精确增广拉格朗日与PPO实现严格约束满足
  • 动量调节乘子更新减少约束振荡和不安全行为
  • 在多种机器人基准上安全精度和奖励性能优于基线
safe-reinforcement-learningrobot-controlsim-to-real
6月28日
arXiv cs.RO (Robotics)/ Feed
95

CWI: Composite Humanoid Whole-Body Imitation System for Loco-manipulation

提出复合全身模仿系统CWI,解耦使用动作捕捉数据训练人形机器人上下半身:上半身直接模仿多样操作动作,下半身则通过对抗运动先验与双判别器学习稳定行走和蹲起。采用多评论家架构缓解目标冲突,并通过师生蒸馏得到仅依赖手部姿态和速度高度命令的策略。在LimX Oli人形机器人上实现仿真与真机部署,无需全身动捕即可遥操作,展示了协调的移动操作能力。

  • 解耦利用动捕数据:上半身模仿操作,下半身用AMP学习稳定运动
  • 多评论家架构协调移动、操作和运动风格目标
  • 师生蒸馏产出仅需手部姿态和速度/高度命令的全身策略
humanoid-robotwhole-body-controlloco-manipulation
6月28日
arXiv cs.RO (Robotics)/ Feed
95

Learning to Throw: Agile and Accurate Cable-Suspended Payload Delivery with a Quadrotor

本文提出一种混合仿真框架,将高保真四旋翼分析与绳索载荷物理求解器耦合,实现精准的吊挂载荷动态模拟。利用该环境训练深度强化学习策略,使四旋翼敏捷、准确地将载荷投掷到目标。零样本硬件部署显示,与基于模型的基线相比,着陆误差减少50%,投掷时间缩短30%。消融研究证实耦合仿真是关键。此外,基于视觉的策略达到与状态估计相当的性能。项目将开源仿真器,推动动态空中操作研究。

  • 混合仿真耦合四旋翼与绳索载荷物理
  • 强化学习训练高敏捷精准投掷策略
  • 零样本部署,误差降50%时间减30%
quadrotormanipulationreinforcement-learning
6月28日
钛媒体/ Feed
92

AI原生时代,自动驾驶到底拼什么?

自动驾驶正从规则驱动转向AI原生的端到端架构,生成式AI加速技术迭代,行业竞争焦点转向算力、数据、半导体与软件集成。端到端系统从海量数据中直接学习驾驶行为,泛化能力更强,但面临可解释性和内存带宽等瓶颈。消费者对自动驾驶接受度提升,Robotaxi市场增长,但L3以上大规模落地仍需解决安全验证与监管问题。车载芯片算力需求激增,NPU和内存架构成为核心壁垒,软硬件协同设计向解耦演进,自动驾驶正演变为一场AI基础设施的全面竞赛。

  • 生成式AI推动端到端架构转型,从规则驱动迈向数据驱动
  • 内存带宽而非峰值算力成为端到端自动驾驶的核心性能瓶颈
  • L2+规模化快于L3/L4,安全验证与可解释性限制高阶落地
embodied-aiautonomous-drivingend-to-end-architecture
6月29日
arXiv cs.RO (Robotics)/ Feed
92

Unleashing Infinite Motion: Scaling Expressive Quadrupedal Motion via Generative Video Priors

提出Uni-Mo全自动管线,通过LLM生成运动描述、视频扩散模型合成四足机器人行为视频,再利用身份一致性损失提升为3D轨迹以训练跟踪策略,无需动物运动数据。公开的Quad-Imaginarium数据集包含7488个语言标注的四足运动(18.5小时)。策略成功部署在真实Unitree Go2机器人上,随机采样的392个运动部署成功率96.7%,仿真全数据集成功率达97.6%。

  • 全自动管线从语言生成四足机器人运动,无需动物数据
  • 利用视频扩散模型合成行为视频,并提取3D参考轨迹
  • 引入身份一致性损失确保视频帧间外观一致以可靠提取
quadruped roboticsvideo diffusionmotion generation
6月28日
EMBODIED AI DAILY · auto-curated by GPT
Updated daily at 06:00 (your TZ)