看看最近的论文（2025年八月下半月）

一般来讲，越靠上的越新

VLA

Video Generators are Robot Policies

直接从视频转化成动作，比较简单的思路

“只要让大视频扩散模型学会“想象”机器人完成任务的全过程，再用一个小解码器把想象转成动作，就能用极少的演示数据获得远超传统模仿学习的泛化能力。”

🎯 研究动机

1. 行为克隆（BC） 需要海量真人演示，且跨物体/场景/任务迁移差。
2. 互联网级视频扩散模型（Sora 类）已学会物理与语义先验，却只用来“看”，没拿来“干”。
3. 能否把“生成未来帧”直接当成策略？——即 Video Generator ≈ Robot Policy。

🧩 方法框架：Video Policy

🏗️ 核心洞见

• 先训视频再训动作 > 端到端联合训练（RoboCasa +9 %）。
• 视频预测 horizon 越长 → 对分布漂移越鲁棒（图 3）。
• 无动作视频也能辅助泛化：仅用 12 任务动作数据，但视频见过全部 24 任务 → 在未见任务上仍 >0.5 成功率（图 4）。

📊 实验结果

🔍 泛化维度验证

| 维度 | 举例 | 成功率 | 说明 | |—|—|—|—| | 位置漂移 | 抽屉/杯子随机摆放 | 80–100 % | 视频先验鲁棒 | | 未见物体 | 异形杯、彩色 M&M | 70–90 % | 形状/颜色泛化 | | 背景变化 | 黑/红/蓝桌面 | 80 %± | 透明杯在低对比度场景略降 |

⚖️ 局限与展望

• 计算大：25 帧 × 256² 需 9 s（A100），未来靠蒸馏/加速可实时。
• 单臂单任务：暂未做多臂、长时程、语言指令。
• 模型单一：仅基于 SVD；后续可试更大视频-语言-动作预训练模型。

把“想象机器人怎么做”的像素级扩散模型，当成策略本体；再配一个极轻量的动作解码器，就能用 50 条演示打败 3000 条演示的传统 BC，并轻松泛化到全新物体、场景和任务。

IRL-VLA: Training an Vision-Language-Action Policy via Reward World Model

arxiv github (5天前开源，16stars)

训练世界模型进行 RL 训练

这篇论文提出了一种全新的端到端自动驾驶框架——IRL-VLA（Inverse Reinforcement Learning for Vision-Language-Action），它通过逆强化学习构建奖励世界模型（Reward World Model, RWM），实现了不依赖高保真仿真器的闭环强化学习训练，显著提升了自动驾驶系统在复杂场景下的表现。

🎯 研究背景与挑战

当前主流的端到端自动驾驶系统（如UniAD、VAD、DiffusionDrive等）大多基于模仿学习（Imitation Learning），存在两个关键缺陷：

1. 开环训练：模型只是“模仿”人类驾驶行为，无法主动探索更优策略，容易复制数据集中的次优行为。
2. 闭环训练困难：传统闭环训练依赖高保真仿真器，存在Sim2Real域差和计算开销巨大的问题。

🧩 IRL-VLA 的核心思想

IRL-VLA 提出了一种三阶段训练范式，巧妙避开了上述问题：

🧠 技术细节亮点

1. VLA模型架构
   • 语义推理模块：基于SennaVLM，处理多视角图像和语言指令，理解场景语义。
   • 3D推理模块：将图像特征投影到BEV（鸟瞰图）空间，提取地图和动态目标信息。
   • 统一扩散规划器：采用扩散模型生成多模态轨迹，具备更强的泛化能力。
2. 奖励世界模型（RWM）
   • 输入：多视角图像 + 预测轨迹。
   • 输出：预测8个驾驶指标（如无碰撞、车道保持、交通灯合规等），加权得到最终奖励。
   • 优势：
     • 无需仿真器：直接基于真实数据预测奖励，避免Sim2Real域差。
     • 轻量级：相比传统仿真器，计算效率提升显著。
3. 强化学习训练
   • 算法：PPO（稳定、样本高效）。
   • 奖励来源：RWM实时预测。
   • 策略优化：结合模仿学习和强化学习损失，避免灾难性遗忘。

📊 实验结果

• NAVSIM v2挑战赛：在CVPR 2025自动驾驶大挑战中获得第二名，EDPMS得分45.0。
• Navhard基准测试：EPDMS得分74.9，超越DiffusionDrive（63.2）、WOTE（66.7）等方法。
• 消融实验：
  • 加入语义推理模块，性能提升1.4 EPDMS。
  • 加入扩散规划器，性能提升3.0 EPDMS。
  • 模仿损失权重为0.5时，强化学习与模仿学习达到最佳平衡。

🚀 贡献与意义

• 首次实现了不依赖仿真器的端到端VLA闭环强化学习。
• 提出了通用可扩展的奖励世界模型（RWM），为自动驾驶强化学习提供了新范式。
• 在多个基准测试中达到SOTA性能，验证了方法的有效性和泛化能力。

RL

EvaDrive: Evolutionary Adversarial Policy Optimization for End-to-End Autonomous Driving

这一篇 navsim 搞的很高，对抗网络还挺有意思的

EvaDrive 把“轨迹生成 + 多目标评价”做成一个可迭代的对抗博弈：生成器（Actor）不断提出候选轨迹，评价器（Critic）用多维奖励向量打分，二者在多轮 Pareto 优化里互相拉扯，最终产出的轨迹既安全舒适又高效，还不用人工标注偏好。

🎯 研究痛点

1. 模仿学习 / 单目标 RL → 只能学平均行为，缺乏多样性和迭代试错。
2. 现有生成-评价框架 → 生成和评价是“一次性”流水线，缺少闭环。
3. GRPO/DPO → 把多维指标硬压成一个标量奖励，带来 scalarization bias。

🧩 方案总览

| 模块 | 职责 | 关键技术 | |—|—|—| | Actor（生成器） | 输出多样化轨迹 | ① 自回归意图建模（保留时间因果）
② 单步扩散精炼（空间灵活） | | Critic（评价器） | 给轨迹打分 | 输出 K 维奖励向量（安全、舒适、效率…） | | 多轮优化机制 | 让 Actor 与 Critic 来回迭代 | 每轮从 Pareto 前沿采样轨迹作为下一轮 anchor | | Adversarial Policy Optimization (APO) | 让 Actor 与 Critic 对抗 | 类似 GAN：Actor 想拿高分，Critic 把专家轨迹打更高 |

🏗️ 训练流程（算法 1 简述）

for 轮次 t = 0…K-1:
    1. Actor 生成 64 条候选轨迹 At
    2. Critic 输出 K 维奖励 r(·)
    3. 用 Fast Non-Dominated Sort 建 Pareto 前沿 Pt
    4. 从 Pt 均匀采样 M 条作为下一轮 anchor
    5. 下一轮 Actor 以 anchor 为条件继续产出 At+1

最后一轮取 Pareto 最优轨迹作为最终输出。

📊 实验战绩

| 场景 | 关键指标 | EvaDrive | 对比基线 | 提升 | |—|—|—|—|—| | NAVSIM v1 | PDMS | 94.9 | DiffusionDrive 88.1 | +6.8 | | NAVSIM v2 | EPDMS | 86.3 | Hydra-MDP++ 85.6 | +0.7 | | Bench2Drive | Driving Score | 64.96 | DriveTransformer 65.02 | 基本打平，但风格可控 |

• 风格开关：只改权重 w，即可在同模型上切换
  • 保守型：安全权重高，PDMS=93.5
  • 激进型：效率权重高，PDMS=94.9
• 消融（表 3）：去掉对抗/多轮/Pareto 任一环节都会掉点。

🔍 亮点小结

1. 第一次在自动驾驶里把“多目标 + 多轮 + 对抗”完整跑通。
2. 无需人工偏好对，奖励直接来自仿真规则，规避 GRPO/DPO 的标注噪声。
3. 单步扩散 + Pareto 采样，兼顾实时性与多样性。

EvaDrive 让车像人一样“多想几步”，在 NAVSIM 上拿下新的 SOTA，同时可按权重旋钮切换驾驶风格。

ReconDreamer-RL: Enhancing Reinforcement Learning via Diffusion-based Scene Reconstruction

arxiv 暂未开源

算是一个有趣的思路吧。它先把场景做三维重建，这样agent无论在场景里如何移动，都可以先渲染个大概。对于动态物体例如其他交通参与者，就用 diffusion 渲染出来。

这篇论文提出了 ReconDreamer-RL，一个利用扩散模型重建驾驶场景、增强强化学习训练效果的端到端自动驾驶训练框架。

🎯 核心问题

现有自动驾驶强化学习训练面临两大瓶颈：

1. 仿真环境不真实（Sim2Real Gap）
   • 游戏引擎缺乏真实传感器数据；
   • 重建方法（如3DGS）在新轨迹/视角下渲染质量差。
2. 训练数据分布偏差
   • 模仿学习（IL）数据集中缺乏“cut-in”“急刹”等corner cases；
   • 强化学习冷启动困难，探索空间受限。

🧩 ReconDreamer-RL 的三件套

🏗️ 两阶段训练流程

📊 实验结果

在 cut-in、急刹、对向车道入侵等corner cases中，ReconDreamer-RL 显著优于其他方法。

贡献总结

1. 首次将视频扩散先验引入驾驶场景重建+强化学习，显著缩小Sim2Real Gap。
2. 提出DAA与CTG，解决corner case缺失与数据分布偏差问题。
3. 在 nuScenes 和 Waymo 上均验证有效，碰撞率降低5倍，渲染速度125 FPS，支持高效RL训练。

ReconDreamer-RL 用扩散模型“重建+增强”真实驾驶场景，自动生成corner cases，让自动驾驶策略在仿真中也能“见过世面”，从而更安全、更鲁棒。

Diffusion

VFP: Variational Flow-Matching Policy for Multi-Modal Robot Manipulation

没太懂…主要是太基础了，很数学，先放这里，之后再看。

这篇论文提出了 VFP（Variational Flow-Matching Policy），目标很明确：

让基于流匹配（flow-matching）的策略也能像扩散模型一样，建模机器人在复杂任务中“多模态”的动作分布，同时保持流匹配原有的超快推理速度。

🎯 研究背景

• 扩散策略（diffusion policy） 能很好地建模“一个状态 → 多种合理动作”的多模态分布，但采样慢（需要20步去噪）。
• 流匹配（flow matching） 只需一步ODE积分，推理速度是扩散的5倍，但天生会把多模态平均成单峰分布，导致“动作模糊”甚至失败。

🧩 核心贡献

“先用潜变量 z 选模式，再用对应专家做一步流匹配，最后用 OT 保证所有模式都被覆盖。”

📊 实验结果

• 推理速度：比扩散模型快 4.6×，比 FlowPolicy 仅慢 5.6%。
• 模型大小：与基线相当，甚至略小。

其他

AgentWorld: An Interactive Simulation Platform for Scene Construction and Mobile Robotic Manipulation

卢策吾老师它们开发的具身用交互环境，码

AgentWorld 是一个面向家庭场景的全链路仿真 + 数据采集平台：
先用程序自动生成可交互、可渲染、可物理模拟的客厅/卧室/厨房，再用 VR/键盘双模式远程操作轮式或人形机器人收集大规模演示数据，最后给出1000+ 条轨迹的 AgentWorld Dataset，让模仿学习算法（BC、ACT、Diffusion Policy、π0）都能在 sim 训练后几秒内 zero-/few-shot 迁移到真机。

🎯 研究痛点

1. 现有仿真器要么只做场景生成，要么只做任务数据集，缺少端到端、移动+操作一体化的流水线。
2. 家庭环境布局、材质、光照、物体摆放高度可变，需要程序 + 人工可编辑的灵活生成。
3. 真机采集耗时、危险；需要高保真 VR 远程操作来快速攒大规模演示。

🧩 平台能力总览

📊 关键结果

🔍 亮点与局限

🧭 一句话收尾

AgentWorld 让研究者 “一键生成客厅，戴上 VR 手柄，十分钟就能攒出 100 条高质量演示”，为家庭级移动操作提供了开箱即用的仿真-真机闭环工具链。

CBDES MoE: Hierarchically Decoupled Mixture-of-Experts for Functional Modules in Autonomous Driving

arxiv 暂未开源

感知模块的 MoE，很神秘

CBDES-MoE 把传统 BEV 感知里“一条固定 CNN/Transformer 走到黑”的思路，升级成“多条异构主干并行，由轻量级路由器按需激活” 的 Mixture-of-Experts 架构。

🎯 痛点与动机

1. 单一主干（ResNet/Swin/ConvNeXt/PVT）无法通吃所有天气、光照、视角变化。
2. 现有动态卷积/可变形注意力只能在微观层面调参，宏观结构仍旧死板。
3. MoE 在 NLP/通用视觉很火，但在多模态 BEV 感知里还没系统落地。

🧩 方案拆解（3 个关键词：异构专家、轻路由、软融合）

📊 nuScenes 结果（3D 检测）

• 训练阶段 4 专家全部更新；推理阶段每张图片只激活 1 个，显存 & 延迟几乎与单主干持平。
• 消融显示：去掉负载均衡 → mAP 掉 2.2 点；把 4 专家换成同构 4×ResNet → 提升微弱，说明“异构”才是关键。