LingBot-VLA: A Pragmatic VLA Foundation Model

论文链接 | GitHub | Checkpoints

研究背景

视觉-语言-动作（Vision-Language-Action, VLA）基础模型是机器人操作领域的新兴方法，通过大规模预训练使机器人能够执行由自然语言指令引导的多样化操作任务。然而，目前存在以下问题：

• 缺乏关于真实机器人性能如何随预训练数据规模增长而变化的系统性实证研究
• 缺乏高效的训练代码库来支持大规模数据的扩展评估
• 缺乏跨多平台、多任务的系统性真实世界评估基准

研究目标

1. 探索 VLA 模型在真实世界机器人数据上的扩展规律（Scaling Law）
2. 建立跨多平台、多任务的系统性真实世界评估基准
3. 开发高效的大规模 VLA 训练代码库

核心概念

Mixture-of-Transformers (MoT) 架构

将预训练的视觉语言模型（VLM）与动作生成模块（Action Expert）结合，通过共享自注意力机制实现跨模态统一建模。视觉-语言和动作模态通过独立的 Transformer 路径处理，既保留 VLM 的语义先验，又避免跨模态干扰。

Flow Matching

一种用于连续动作建模的生成方法，通过学习从噪声到目标动作的向量场来生成平滑的机器人控制信号。

Blockwise Causal Attention

将序列划分为图像-指令块、状态块和动作块，应用因果掩码防止信息泄露，确保动作预测只能访问当前和历史观测信息。

研究方法

模型架构

LingBot-VLA 采用 MoT 架构，整合 Qwen2.5-VL 作为视觉语言骨干网络，配合独立的 Action Expert 模块：

联合建模序列：
$$[O_t, A_t] = [I_t^1, I_t^2, I_t^3, T_t, s_t, a_t, a_{t+1}, \ldots, a_{t+T-1}]$$

其中 $I_t^{1,2,3}$ 为三视角图像，$T_t$ 为任务指令，$s_t$ 为机器人状态，$A_t$ 为动作序列（chunk length = 50）。
类似[[BAGEL-Unified-Multimodal-Pretraining]]

Flow Matching 目标函数

定义概率路径通过线性插值：
$$A_{t,s} = sA_t + (1-s)\epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$

训练目标：
$$\mathcal{L}{FM} = \mathbb{E}{s \sim U[0,1], A_t, \epsilon}|v_\theta(A_{t,s}, O_t, s) - (A_t - \epsilon)|^2$$

深度信息蒸馏

通过可学习查询 $Q_t$ 与 LingBot-Depth 模型的深度 token $D_t$ 对齐，增强空间感知：
$$\mathcal{L}{distill} = \mathbb{E}{Q_t}|Proj(Q_t) - D_t|$$

训练效率优化

• FSDP 分布式策略：采用混合分片数据并行（HSDP），为 Action Expert 模块构建专用分片组
• 算子级优化：使用 FlexAttention 优化稀疏注意力计算，torch.compile 进行算子融合
• 混合精度：reduction 使用 float32，存储和通信使用 bfloat16

主要发现

扩展规律验证

• 预训练数据从 3,000 小时扩展到 20,000 小时，下游任务成功率持续显著提升
• 在 20,000 小时数据量下仍未出现饱和迹象，表明 VLA 性能持续受益于数据量增加
• 首次提供了真实世界机器人学习中有利扩展特性的实证证据

数据效率

• 仅使用 80 个演示即可超越 π0.5 使用 130 个演示的性能
• 随着后训练数据量增加，与基线的性能差距进一步扩大

实验设计

预训练数据

• 规模：约 20,000 小时真实世界操作数据
• 来源：9 种双臂机器人平台（AgiBot G1、AgileX、Galaxea R1Lite/R1Pro、Realman Rs-02、Leju KUAVO、Qinglong、ARX Lift2、Bimanual Franka）

评估基准

• GM-100 基准：100 个操作任务，39,000 个专家演示
• 评估规模：3 个机器人平台，每任务 130 个后训练 episode，共 22,500 次试验
• 对比方法：π0.5、GR00T N1.6、WALL-OSS

真实世界评估结果

仿真评估结果（RoboTwin 2.0）

训练吞吐量

• 实现 261 samples/s/GPU（8-GPU 配置）
• 相比 StarVLA、DexBotic、OpenPI 提升 1.5~2.8 倍
• 在 256 GPU 规模下仍保持接近线性扩展

讨论

优势

• 首次在大规模真实世界数据上验证 VLA 扩展规律
• 显著优于现有 SOTA 方法的多平台泛化能力
• 高效的训练代码库，支持大规模分布式训练
• 开源代码、模型和基准数据

局限性

• 目前仅支持双臂机器人配置
• 评估主要集中在桌面操作任务
• 深度信息蒸馏依赖额外的 LingBot-Depth 模型

相关工作

Foundation VLA

• π0：Vision-language-action flow model for general robot control
• π0.5：VLA model with open-world generalization
• GR00T N1.6：Open foundation model for generalist humanoid robots

Spatial VLA

• SpatialVLA：探索 VLA 模型的空间表示
• Spatial Forcing：通过对齐策略增强 VLA 空间理解
• GeoVLA：赋能 VLA 模型 3D 表示能力

高效训练框架

• OpenPI：支持 JAX 和 PyTorch 的 π 系列模型训练框架
• StarVLA：VLA 和 VLM 联合训练的模块化代码库
• DexBotic：统一高效��� VLA 开发生命周期解决方案

未来方向

1. 扩展机器人类型：整合单臂和移动机器人数据，支持更多样化的操作能力
2. 非约束环境：探索在非结构化环境中的移动操作能力
3. 持续扩展：进一步扩大预训练数据规模，探索扩展规律的上限

参考文献

• Black et al. (2025). π0: A vision-language-action flow model for general robot control. RSS.
• Black et al. (2025). π0.5: A vision-language-action model with open-world generalization. CoRL.
• Bjorck et al. (2025). GR00T N1: An open foundation model for generalist humanoid robots. arXiv.
• Bai et al. (2025). Qwen2.5-VL technical report. arXiv.
• Lipman et al. (2022). Flow matching for generative modeling. arXiv.
• Wang et al. (2026). The Great March 100: 100 detail-oriented tasks for evaluating embodied AI agents.

模型预测控制 (MPC) 与学习方法的融合

MuJoCo MPC | MPPI | Diffusion Policy

概述

模型预测控制 (Model Predictive Control, MPC) 是一种基于优化的控制方法，通过预测未来状态并优化控制序列来实现目标。将 MPC 与现代学习方法（VLA、Diffusion Policy）结合，可以同时获得学习方法的感知能力和 MPC 的物理可行性保证。

MPC 基础

核心思想

MPC 采用滚动优化 (Receding Horizon) 策略：

1. 测量当前状态 $x(t)$
2. 预测未来 $N$ 步的状态轨迹
3. 求解优化问题得到控制序列
4. 只执行第一步控制 $u(t)$
5. 下一时刻重复上述过程

数学形式

离散时间 MPC 优化问题：

$$
\begin{align}
\min_{u_0, \ldots, u_{N-1}} \quad & \sum_{k=0}^{N-1} \left( |x_k - x_{ref}|^2_Q + |u_k|^2_R \right) + |x_N - x_{ref}|^2_P \
\text{subject to} \quad & x_{k+1} = f(x_k, u_k) \quad \text{(动力学约束)} \
& x_k \in \mathcal{X} \quad \text{(状态约束)} \
& u_k \in \mathcal{U} \quad \text{(控制约束)} \
& x_0 = x(t) \quad \text{(初始条件)}
\end{align}
$$

符号说明：

• $x_k$：第 $k$ 步的状态
• $u_k$：第 $k$ 步的控制输入
• $Q, R, P$：权重矩阵
• $\mathcal{X}, \mathcal{U}$：可行域

MPC 在人形机器人中的应用

1. 步态规划 MPC

简化模型：线性倒立摆模型 (Linear Inverted Pendulum Model, LIPM)

$$
\ddot{x} = \frac{g}{h}(x - p)
$$

• $h$：质心高度
• $p$：支撑点位置（落脚点）
• $g$：重力加速度

控制变量：

• 足部落脚点位置
• 接触力分布

状态变量：

• 质心位置和速度
• 机器人姿态

目标：

• 跟踪期望速度
• 保持平衡稳定性

预测时域：通常 0.5-2 秒

2. 接触力优化 MPC

Boston Dynamics Atlas 使用的方法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

# 优化问题
minimize    sum(||f_i - f_desired||^2)  # 接触力偏差
subject to:
    # 动力学约束
    m * a_com = sum(f_i) + m * g
    I * alpha = sum(r_i × f_i)

    # 摩擦锥约束
    ||f_i_tangent|| <= mu * f_i_normal

    # 单侧约束
    f_i_normal >= 0

    # ZMP 约束
    ZMP in support_polygon

3. 全身运动 MPC

• 同时优化质心轨迹和关节运动
• 考虑动力学耦合
• 处理多接触场景（双足、手足并用）

MPC 与学习方法的融合架构

架构 1: 分层控制

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

┌────────────────────────────────┐
│  VLA / Diffusion Policy (高层)  │
│  - 视觉感知                      │
│  - 语言理解                      │
│  - 任务规划                      │
└────────────┬────────────────────┘
             │ 输出: 参考轨迹/目标
             ↓
┌─────────────────────────────────┐
│         MPC (低层)               │
│  - 轨迹跟踪                      │
│  - 约束满足                      │
│  - 稳定性保证                    │
└────────────┬────────────────────┘
             │ 输出: 关节力矩
             ↓
┌─────────────────────────────────┐
│        机器人执行                │
└─────────────────────────────────┘

优势：

• 高层处理感知和决策
• 低层保证物理可行性
• 解耦复杂性

Diffusion Policy → MPC 集成

方案 A: 轨迹级集成

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

class DiffusionMPCController:
    def __init__(self):
        self.diffusion_policy = DiffusionPolicy()
        self.mpc = MPCController(horizon=20, dt=0.05)

    def control_step(self, observation):
        # Diffusion Policy 生成动作序列
        action_sequence = self.diffusion_policy.predict(
            observation,
            horizon=16,  # 预测未来 16 步
            num_samples=10  # 采样 10 条轨迹
        )

        # 选择最优轨迹（可选）
        best_trajectory = self.select_best(action_sequence)

        # 转换为 MPC 参考轨迹
        x_ref = self.action_to_state(best_trajectory)

        # MPC 跟踪轨迹
        u_opt = self.mpc.solve(
            x_current=self.get_state(),
            x_ref=x_ref,
            constraints={
                'joint_limits': True,
                'friction_cone': True,
                'stability': True
            }
        )

        return u_opt[0]  # 执行第一步

关键点：

• Diffusion Policy 提供长期规划
• MPC 提供短期精确控制
• 异步更新：Diffusion 可以较慢运行

方案 B: 目标级集成

1
2
3
4
5
6
7
8
9

# Diffusion Policy 输出高层目标
goal = diffusion_policy.predict_goal(observation)
# 例如: {"grasp_position": [x, y, z],
#        "contact_points": [...],
#        "gait_parameters": {...}}

# MPC 以此为终端约束
mpc.set_terminal_constraint(goal)
u_opt = mpc.solve(x_current)

优势：

• 更高层次的抽象
• MPC 有更大优化自由度
• 减少 Diffusion Policy 的输出维度

VLA → MPC 集成

典型流程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

┌──────────────────────────────┐
│  视觉输入 + 语言指令          │
│  "Pick up the red cup"       │
└──────────┬───────────────────┘
           │
           ↓
┌──────────────────────────────┐
│  VLA 模型 (如 RT-2, OpenVLA) │
│  - 视觉编码器                 │
│  - 语言编码器                 │
│  - 动作解码器                 │
└──────────┬───────────────────┘
           │ 输出
           ↓
┌──────────────────────────────┐
│  - 末端执行器目标位姿         │
│  - 期望接触力方向             │
│  - 步态参数                   │
└──────────┬───────────────────┘
           │
           ↓
┌──────────────────────────────┐
│  MPC 优化器                   │
│  目标: 跟踪 VLA 输出          │
│  约束: 动力学、稳定性、限位   │
└──────────┬───────────────────┘
           │
           ↓
┌──────────────────────────────┐
│  安全的控制指令               │
└──────────────────────────────┘

代码示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

class VLAMPCController:
    def __init__(self):
        self.vla = VLAModel()  # RT-2, OpenVLA, etc.
        self.mpc = MPCController(horizon=20, dt=0.05)
        self.update_freq = 10  # VLA 更新频率 (Hz)

    def control_step(self, obs, language_command):
        # 高层策略更新（较慢）
        if self.frame % (self.control_freq // self.update_freq) == 0:
            # VLA 预测
            vla_output = self.vla.predict(
                image=obs['camera'],
                language=language_command,
                proprioception=obs['joint_states']
            )

            # 解析 VLA 输出
            reference_traj = self.parse_vla_output(vla_output)
            self.mpc.set_reference(reference_traj)

        # 低层优化（快速）
        current_state = obs['robot_state']
        u_opt = self.mpc.solve(
            current_state,
            constraints={
                'friction_cone': True,
                'joint_limits': True,
                'stability': True,
                'collision_avoidance': True
            }
        )

        return u_opt[0]

    def parse_vla_output(self, vla_output):
        """将 VLA 输出转换为 MPC 参考轨迹"""
        # 示例: VLA 输出末端执行器位姿
        ee_pose = vla_output['end_effector_pose']

        # 使用逆运动学生成关节轨迹
        joint_traj = self.inverse_kinematics(ee_pose)

        return joint_traj

技术挑战与解决方案

1. 时间尺度不匹配

问题：

• Diffusion Policy 生成：50-200 ms
• VLA 推理：100-500 ms
• MPC 求解：1-10 ms

解决方案：

异步运行

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import threading

class AsyncController:
    def __init__(self):
        self.reference_traj = None
        self.lock = threading.Lock()

        # 启动高层策略线程
        self.policy_thread = threading.Thread(
            target=self.update_policy_loop
        )
        self.policy_thread.start()

    def update_policy_loop(self):
        while True:
            new_traj = self.diffusion_policy.predict(self.obs)
            with self.lock:
                self.reference_traj = new_traj
            time.sleep(0.1)  # 10 Hz 更新

    def control_step(self):
        with self.lock:
            ref = self.reference_traj

        # MPC 使用缓存的参考轨迹
        u = self.mpc.solve(self.state, ref)
        return u

预测更长时域

• Diffusion Policy 预测 2-5 秒
• MPC 消耗预测轨迹
• 分摊计算成本

快速采样方法

• 使用 DDIM (Denoising Diffusion Implicit Models)
• 减少扩散步数：50 步 → 10 步
• 牺牲少量质量换取速度

2. 可行性保证

问题：学习模型输出可能违反物理约束

解决方案 A: MPC 作为投影算子

1
2
3
4
5
6
7
8
9

def project_to_feasible(x_ref_infeasible):
    """将不可行参考投影到可行集"""
    x_ref_feasible = solve_qp(
        minimize    ||x - x_ref_infeasible||^2
        subject to  dynamics_constraints(x)
                    stability_constraints(x)
                    joint_limits(x)
    )
    return x_ref_feasible

解决方案 B: 软约束

$$
\min \sum |x_k - x_{ref}|^2_Q + |u_k|^2_R + \lambda \cdot \text{constraint_violation}
$$

• 允许轻微违反约束
• 通过权重 $\lambda$ 平衡跟踪和可行性

解决方案 C: 约束感知训练

1
2
3
4

# 训练时加入物理约束损失
loss = reconstruction_loss + \
       lambda_dynamics * dynamics_violation + \
       lambda_stability * stability_violation

3. 反馈闭环

问题：学习模型需要知道 MPC 的实际执行结果

解决方案：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

class ClosedLoopController:
    def control_step(self, obs):
        # 计算跟踪误差
        tracking_error = self.x_ref - self.x_actual

        # 将误差作为观测的一部分
        augmented_obs = {
            'vision': obs['camera'],
            'proprioception': obs['joint_states'],
            'tracking_error': tracking_error,  # 新增
            'mpc_cost': self.mpc.last_cost     # 新增
        }

        # 策略根据反馈调整
        new_ref = self.policy.predict(augmented_obs)

        return new_ref

实际案例

MIT Cheetah 3

架构：

1
2
3
4
5

卷积网络 (地形感知)
    ↓
MPC (落脚点规划)
    ↓
WBC (全身控制)

成果：盲走、跑跳、楼梯攀爬

Tesla Optimus (推测)

架构：

1
2
3
4
5

神经网络策略 (遥操作数据训练)
    ↓ 输出期望关节位置/速度
全身控制器 (类 MPC)
    ↓ 考虑力矩限制、平衡约束
执行

DeepMind 的工作

论文：Learning Agile and Dynamic Motor Skills for Legged Robots

方法：

• 强化学习策略输出高层指令
• MPC 作为安全层过滤不可行动作
• 在线适应环境变化

高级话题

1. 可微分 MPC

将 MPC 作为神经网络层：

1
2
3
4
5
6
7
8
9
10

import torch

class DifferentiableMPC(torch.nn.Module):
    def forward(self, x_current, x_ref):
        # 使用可微分优化求解器
        u_opt = cvxpylayers.solve_qp(
            Q, R, x_current, x_ref,
            dynamics_matrix, constraint_matrix
        )
        return u_opt

优势：

• 端到端训练
• 梯度可以反向传播到策略网络
• 联合优化感知和控制

2. 学习 MPC 参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14

class LearnedMPC:
    def __init__(self):
        # 学习代价函数权重
        self.Q_net = nn.Linear(obs_dim, state_dim * state_dim)
        self.R_net = nn.Linear(obs_dim, action_dim * action_dim)

    def forward(self, obs, x_current):
        # 根据观测调整权重
        Q = self.Q_net(obs).reshape(state_dim, state_dim)
        R = self.R_net(obs).reshape(action_dim, action_dim)

        # 使用学习的权重求解 MPC
        u_opt = mpc_solve(x_current, Q, R)
        return u_opt

应用：

• 任务自适应
• 环境自适应
• 个性化控制

3. 隐式 MPC

思想：神经网络直接学习 MPC 的最优解映射

$$
u^* = \pi_\theta(x, x_{ref})
$$

训练：

1
2
3
4
5
6
7
8
9
10

# 生成训练数据
for _ in range(num_samples):
    x = sample_state()
    x_ref = sample_reference()
    u_opt = mpc_solve(x, x_ref)  # 精确求解

    dataset.append((x, x_ref, u_opt))

# 训练神经网络拟合
model.fit(dataset)

优势：

• 推理速度快（无需在线优化）
• 保留 MPC 的结构
• 可处理高维问题

实现建议

选择集成方式

调试技巧

1. 分别验证：先确保 MPC 和学习模型各自工作
2. 可视化参考轨迹：检查学习模型输出是否合理
3. 监控约束违反：记录 MPC 约束满足情况
4. 渐进式集成：从简单场景开始，逐步增加复杂度

开源实现

MPC 库

• MuJoCo MPC: Google DeepMind 的 MPC 实现
• MPPI: Model Predictive Path Integral
• acados: 快速非线性 MPC 求解器

学习框架

• Diffusion Policy: 官方实现
• OpenVLA: 开源 VLA 模型
• LeRobot: Hugging Face 机器人学习库

集成示例

1
2
3
4
5
6
7
8
9

# 安装依赖
pip install mujoco mujoco-mpc
pip install diffusers transformers
pip install cvxpy osqp

# 示例代码
git clone https://github.com/google-deepmind/mujoco_mpc
cd mujoco_mpc/python
python examples/humanoid_walk.py

未来方向

1. 世界模型 + MPC：学习环境动力学，用于 MPC 预测
2. 多模态 MPC：处理接触模式切换的不确定性
3. 分布式 MPC：多机器人协同控制
4. 神经符号融合：结合符号推理和神经网络
5. 终身学习：持续改进 MPC 参数和模型

参考资源

论文

• “Learning Agile and Dynamic Motor Skills for Legged Robots” (DeepMind, 2019)
• “Diffusion Policy: Visuomotor Policy Learning via Action Diffusion” (Columbia, 2023)
• “RT-2: Vision-Language-Action Models” (Google, 2023)

课程

• Underactuated Robotics (MIT)
• Model Predictive Control (ETH Zurich)

代码

• MuJoCo MPC
• Diffusion Policy
• OpenVLA

相关笔记

• [[Humanoid-Robot-Control-Methods]]：人形机器人控制方法综述

变分自编码器VAE/VQ-VAE

解决了什么问题：如何压缩数据，并从压缩后的特征中重新生成数据。

注意力机制Self-Attention/Cross-Attention

解决了什么问题：跨模态，长距离的序列理解和预测。

内容生成-图片&文字

主要是基于Diffusion Model的应用，引入了多模态。例如Stable Diffusion结合了CLIP的text encoder和KL-VAE的图像潜空间。

论文链接 | NVIDIA, 2025

研究背景

人形机器人作为通用机器人的理想硬件平台，需要强大的基础模型来实现智能自主操作。受大语言模型和视觉模型成功的启发，研究者希望通过在大规模异构数据上训练机器人基础模型，使其能够理解新场景、处理真实世界的变化并快速学习新任务。然而，与文本和图像领域不同，机器人领域缺乏互联网规模的训练数据，不同机器人的传感器、自由度、控制模式差异巨大，形成”数据孤岛”问题。

研究目标

本论文要解决的核心问题：

1. 数据稀缺问题：人形机器人数据收集成本高、耗时长，如何突破真实数据瓶颈
2. 跨具身泛化：如何统一不同机器人的状态和动作空间，实现跨具身学习
3. 数据效率：如何在有限数据下快速适应新任务并在真实环境中鲁棒执行
4. 端到端优化：如何将高层推理与低层控制统一到单一模型中

核心概念

Vision-Language-Action (VLA) 模型

视觉-语言-动作模型，接收图像观察和语言指令作为输入，直接输出机器人动作。与传统的分层方法（VLM规划 + 低层策略执行）不同，VLA模型实现端到端优化。

双系统架构 (Dual-System Architecture)

受人类认知理论启发（Kahneman, 2011），将模型分为：

• System 2（推理系统）：慢速、深思熟虑的高层推理
• System 1（反应系统）：快速、自动化的低层控制

数据金字塔 (Data Pyramid)

将异构训练数据按规模和具身特异性组织成三层结构：

• 底层：大规模网络数据和人类视频（通用先验）
• 中层：合成数据（仿真+神经生成，可扩展）
• 顶层：真实机器人数据（具身特定，高质量）

潜在动作 (Latent Actions)

通过VQ-VAE([[VQ-VAE-and-Latent-Action-for-Robotics]])学习的通用动作表示，能够统一不同具身体（包括人类）的动作空间，使无动作标签的视频数据可用于训练。

研究方法

模型架构

GR00T N1采用双系统组合架构，总参数量22亿（GR00T-N1-2B）：

System 2: Vision-Language Module

1
2
3
4
5
6
7
8

输入处理:
├─ 图像: SigLIP-2编码器 → 64个token (224×224)
└─ 文本: SmolLM2 tokenizer → 文本token

特征提取:
└─ Eagle-2 VLM (1.34B参数)
   ├─ 处理vision-language tokens
   └─ 输出: 中间层embeddings φ_t (第12层)

关键设计：

• 使用中间层而非最终层特征（更快推理+更高成功率）
• 语言组件冻结（保留预训练知识）
• 视觉编码器可训练（适应机器人任务）
• 运行频率：10Hz

System 1: Diffusion Transformer Module

1
2
3
4
5
6
7

DiT Block结构（重复N次）:
├─ Self-Attention
│  └─ 输入: noised action tokens + state embeddings
│
└─ Cross-Attention
   ├─ Query: action/state tokens
   └─ Key & Value: VLM输出的φ_t

动作生成流程：

1. 输入加噪动作 $A_t^{\tau} = \tau A_t + (1-\tau)\epsilon$，其中 $\tau \in [0,1]$
2. 通过DiT迭代去噪（K=4步）
3. 输出16步动作序列（action chunking）
4. 运行频率：120Hz

Flow-Matching损失：

$$
\mathcal{L}{fm}(\theta) = \mathbb{E}{\tau} |V_{\theta}(\varphi_t, A_t^{\tau}, q_t) - (\epsilon - A_t)|^2
$$

其中 $V_{\theta}$ 是[[Diffusion-Transformers-DiT]]模型，预测去噪向量场。

模块交互机制

1
2
3
4
5
6
7
8
9
10
11
12

信息流:
图像 + 语言指令
    ↓
[System 2: Eagle-2 VLM]
    ↓ (输出 φ_t)
[Cross-Attention Bridge]
    ↓
[System 1: DiT]
├─ Self-Attention (action + state)
└─ Cross-Attention (attend to φ_t)
    ↓
16步动作序列

端到端联合训练：

• 两个模块通过cross-attention紧密耦合
• 使用统一的flow-matching loss优化
• 辅助目标检测loss增强空间理解：

$$
\mathcal{L} = \mathcal{L}{fm} + \mathcal{L}{det}
$$

异构数据训练策略

1. 数据金字塔组织

总计：8,376小时训练数据

2. 潜在动作学习

VQ-VAE训练：

1
2
3
4
5
6
7
8
9
10
11

# 编码器
输入: (当前帧 x_t, 未来帧 x_{t+H})
     ↓
Encoder → 连续embedding → 量化到codebook
     ↓
潜在动作 z_t

# 解码器
输入: x_t + z_t
     ↓
Decoder → 重建 x_{t+H}

跨具身一致性：

• 同一潜在动作在不同具身体中语义一致
• 例如：潜在动作1 = “右臂向左移动”（对所有机器人和人类）

训练使用：

• 提取预量化连续embedding作为”LAPA具身体”的动作
• 使用flow-matching loss训练

3. 神经轨迹生成

目标：从88小时真实数据扩增到827小时（~10倍）

技术流程：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

步骤1: 微调视频生成模型
├─ 基础模型: WAN2.1-I2V-14B
├─ 方法: LoRA微调
├─ 数据: 3,000条轨迹，81帧@480P
└─ 训练: 100 epochs

步骤2: 生成反事实轨迹
├─ 输入: 初始帧 + 新语言指令
├─ 语言生成: 多模态LLM检测物体
│   生成"pick {object} from {A} to {B}"
└─ 输出: 高质量视频

步骤3: 质量过滤
├─ 采样8帧 → LLM判断是否遵循指令
└─ 不合格 → 重新标注

步骤4: 动作标注
├─ 潜在动作编码器 → LAPA
└─ 逆动力学模型 → 伪动作标签

生成能力：

• 改变操作手（左手↔右手）
• 改变目标位置和物体
• 处理仿真难题（液体、铰接物体）
• 多视角生成（4宫格视频）

4. 仿真数据自动生成

DexMimicGen系统：

1
2
3
4
5
6
7
8
9
10
11

输入: 少量人类演示（几十条）
     ↓
分割 → 物体中心的子任务片段
     ↓
变换 → 根据新物体位置调整
     ↓
组合 → 插值并组合片段
     ↓
验证 → 仿真执行，保留成功轨迹
     ↓
输出: 每任务10,000条演示

规模：

• 54个源-目标容器组合
• 540,000条预训练轨迹
• 11小时生成 = 6,500小时等效人类演示

5. 具身特定编码器/解码器

处理不同维度的状态和动作：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

embodiments = {
    "GR-1": {
        "state": [joint_pos, joint_vel, base_pos, ...],
        "action": [joint_targets, ...],
        "encoder": MLP_GR1,
        "decoder": MLP_GR1
    },
    "Franka": {
        "state": [ee_pos, ee_rot, gripper],
        "action": [ee_delta, gripper_cmd],
        "encoder": MLP_Franka,
        "decoder": MLP_Franka
    },
    "LAPA": {  # 潜在动作
        "action": [latent_embedding],
        "encoder": MLP_LAPA,
        "decoder": MLP_LAPA
    }
}

6. 统一训练框架

预训练阶段：

• 全局batch size: 16,384
• 训练步数: 200,000
• 数据混合采样：真实机器人(40%) + 仿真(30%) + 神经(20%) + 人类视频(10%)
• 计算资源: 最多1024个H100 GPU，约50,000 GPU小时

后训练阶段：

• Batch size: 128-1024
• 训练步数: 20,000-60,000
• 可选神经轨迹协同训练（1:1采样比例）
• 可在单个A6000 GPU上微调

主要发现

预训练泛化能力

在GR-1人形机器人上的零样本评估：

仿真基准测试

100条演示/任务的性能对比：

关键观察：

• GR00T N1在所有基准上均优于基线
• 在GR-1任务上优势最明显（+17.3%）

真实世界部署

GR-1人形机器人任务成功率：

数据效率：

• GR00T N1用10%数据（42.6%）≈ Diffusion Policy用全量数据（46.4%）
• 展现出色的样本效率

神经轨迹增强效果

RoboCasa基准（协同训练3K神经轨迹/任务）：

真实世界（协同训练100神经轨迹/任务）：

• 平均提升：+5.8%

观察：

• 低数据场景：LAPA略优（更通用的先验）
• 高数据场景：IDM更优（更接近真实动作）

定性分析

运动质量：

• GR00T N1运动更流畅，抓取精度更高
• Diffusion Policy常出现初始帧不动、抓取不准确

泛化能力：

• 预训练模型能执行未见过的双手交接任务
• 后训练模型在特定任务上更精确，但失去部分泛化能力

实验设计

仿真基准

RoboCasa Kitchen（24任务）：

• 机器人：Franka Emika Panda
• 任务：抓取放置、开关门、按按钮、转水龙头等
• 观察：3个RGB相机（左、右、腕部）
• 动作：末端执行器相对位姿 + 夹爪状态
• 数据：每任务3,000条MimicGen生成的演示

DexMimicGen Cross-Embodiment Suite（9任务）：

• 具身体：
  • 双臂Panda + 平行夹爪（穿线、组装、运输）
  • 双臂Panda + 灵巧手（清理、抬托盘）
  • GR-1人形 + 灵巧手（倒水、咖啡、分类）
• 数据：每任务1,000条演示

GR-1 Tabletop Tasks（24任务）：

• 机器人：GR-1人形 + Fourier灵巧手
• 任务：18个重排任务 + 6个铰接物体任务
• 观察：头部自我中心相机
• 动作：关节位置/旋转 + 腰部/颈部
• 数据：每任务1,000条DexMimicGen生成

真实世界基准

任务类别：

1. 抓取放置（5任务）：

   • 托盘→盘子、砧板→篮子、餐垫→碗等
   • 评估：见过和未见过物体

2. 铰接物体（3任务）：

   • 白色抽屉、深色柜子、木箱
   • 要求：放入物体并关闭

3. 工业操作（3任务）：

   • 机械零件打包
   • 网格杯倾倒
   • 圆柱体交接

4. 多机协作（2任务）：

   • 第1部分：抓取→放入网格杯→交给另一机器人
   • 第2部分：接收→放入黄色箱→倾倒剩余物

数据收集：

• 遥操作时长：15分钟-3小时/任务
• 过滤低质量轨迹

评估协议

仿真：

• 每任务100次试验
• 取最后5个checkpoint的最大值
• Checkpoint间隔：500步

真实机器人：

• 每任务10次试验（机械打包任务5次）
• 部分评分系统（捕捉不同执行阶段）
• 低数据场景：10%数据子采样

训练配置

预训练：

• 学习率：1e-4
• 优化器：AdamW (β1=0.95, β2=0.999)
• 学习率调度：cosine，warmup比例0.05
• Batch size：16,384
• 步数：200,000

后训练：

• Batch size：128-1024
• 步数：20,000-60,000
• 其他超参数同预训练

讨论

优势

1. 统一的跨具身学习：

   • 单一模型支持从桌面机械臂到双臂人形机器人
   • 潜在动作空间统一不同具身体

2. 卓越的数据效率：

   • 10%数据达到基线全量数据性能
   • 预训练提供强大的先验知识

3. 可扩展的数据生成：

   • 神经轨迹生成：10倍数据扩增
   • 仿真自动生成：11小时生成6,500小时等效数据

4. 端到端优化：

   • VLM推理与DiT控制联合训练
   • 避免分层方法的接口问题

5. 开源生态：

   • 公开22亿参数模型
   • 提供训练数据和仿真基准

局限性

1. 任务范围限制：

   • 当前主要关注短时域桌面操作
   • 未涉及长时域移动操作（loco-manipulation）

2. 合成数据质量：

   • 视频生成模型仍面临多样性和物理一致性挑战
   • 需要质量过滤和重新标注

3. 硬件依赖：

   • 需要高端GPU进行训练（H100集群）
   • 推理需要L40 GPU（63.9ms/16动作）

4. 泛化-专精权衡：

   • 后训练提升特定任务性能但损失部分泛化能力
   • 预训练模型能执行双手交接，后训练模型失去此能力

5. 视觉-语言骨干限制：

   • 当前VLM的空间推理和语言理解能力仍有提升空间
   • 更强的VLM可能进一步提升性能

相关工作

机器人基础模型

VLA模型：

• RT-1/RT-2 (Brohan et al., 2022, 2023)：早期VLA模型，使用Transformer架构
• π0 (Black et al., 2024)：使用mixture-of-experts连接VLM和动作生成
• Octo (Octo Model Team et al., 2024)：跨具身模型，但不微调VLM
• GR-2 (Cheang et al., 2024)：视频-语言-动作模型

GR00T N1的区别：

• 使用简单的cross-attention而非MoE
• 端到端微调VLM视觉编码器
• 支持潜在动作和IDM伪动作

机器人数据集

真实机器人数据：

• Open X-Embodiment (2024)：跨具身数据集联盟
• AgiBot-Alpha (2025)：100个机器人的大规模数据集
• 遥操作系统：VIVE、Apple Vision Pro、Leap Motion

人类视频数据：

• Ego4D (Grauman et al., 2022)：大规模自我中心视频
• EPIC-KITCHENS (Damen et al., 2018)：厨房活动
• Assembly-101 (Sener et al., 2022)：组装任务

GR00T N1的创新：

• 数据金字塔组织而非简单混合
• 潜在动作统一有/无标签数据

合成数据生成

仿真数据：

• MimicGen (Mandlekar et al., 2023)：演示变换和重放
• DexMimicGen (Jiang et al., 2024)：灵巧操作数据生成
• RoboCasa (Nasiriany et al., 2024)：厨房环境仿真

神经生成：

• 视频生成模型：Sora (Brooks et al., 2024)、WAN (Wan Team, 2025)
• 数据增强：GenAug (Chen et al., 2023)使用扩散模型增强

GR00T N1的规模：

• 827小时神经轨迹（前所未有）
• 540K仿真轨迹（11小时生成）

未来方向

1. 长时域移动操作：

   • 扩展到全身运动和导航
   • 需要改进硬件、模型架构和训练数据

2. 更强的视觉-语言骨干：

   • 提升空间推理能力
   • 增强语言理解和任务规划

3. 改进合成数据生成：

   • 提高视频生成的多样性和反事实能力
   • 增强物理一致性和真实感
   • 探索自动化初始帧生成（img2img扩散）

4. 新型模型架构：

   • 探索更高效的推理-控制耦合方式
   • 研究分层时间建模

5. 鲁棒性和泛化：

   • 提升对环境变化的适应能力
   • 增强零样本和少样本学习能力

6. 多模态感知：

   • 整合触觉、力觉等其他传感器
   • 探索多模态融合策略

7. 长时域视频生成：

   • 多轮视频生成实现长任务序列
   • 原子任务组合

参考文献

• NVIDIA (2025). GR00T N1: An Open Foundation Model for Generalist Humanoid Robots. arXiv:2503.14734v2.
• Black et al. (2024). π0: A vision-language-action flow model for general robot control. arXiv:2410.24164.
• Brohan et al. (2022). RT-1: Robotics transformer for real-world control at scale. arXiv:2212.06817.
• Brohan et al. (2023). RT-2: Vision-language-action models transfer web knowledge to robotic control. arXiv:2307.15818.
• Chi et al. (2024). Diffusion Policy: Visuomotor policy learning via action diffusion. IJRR.
• Jiang et al. (2024). DexMimicGen: Automated data generation for bimanual dexterous manipulation via imitation learning. CoRL.
• Mandlekar et al. (2023). MimicGen: A data generation system for scalable robot learning using human demonstrations. CoRL.
• Nasiriany et al. (2024). RoboCasa: Large-scale simulation of everyday tasks for generalist robots. RSS.
• Open X-Embodiment Collaboration et al. (2024). Open X-Embodiment: Robotic learning datasets and RT-X models.
• Ye et al. (2025). Latent action pretraining from videos. ICLR.
• Kahneman (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.

关键代码和资源

• 模型权重：HuggingFace
• 训练数据：HuggingFace Datasets
• 仿真基准：GitHub
• 数据格式：基于LeRobot格式扩展
• 训练基础设施：NVIDIA OSMO编排平台

技术细节补充

动作空间标准化

统一不同具身体的表示：

• 末端执行器旋转状态：6D旋转表示
• 末端执行器旋转动作：轴角表示
• 位置和关节：Min-max归一化
• 顺序：左臂→右臂，旋转→位置→夹爪

辅助目标检测损失

使用OWL-v2检测器标注目标物体边界框：

$$
\mathcal{L}{det} = |\mathbf{x}{pred} - \mathbf{x}_{gt}|^2
$$

其中 $\mathbf{x}$ 是归一化的边界框中心坐标。

推理性能

• GR00T-N1-2B：63.9ms采样16步动作（L40 GPU，bf16）
• VLM频率：10Hz
• 动作输出频率：120Hz
• 去噪步数：K=4

计算资源

• 预训练：最多1024个H100 GPU，约50,000 GPU小时
• 神经轨迹生成：3,600个L40 GPU，约105K GPU小时（1.5天）
• 后训练：单个A6000 GPU可微调（仅adapter层时batch size可达200）