论文链接 | NVIDIA, 2025

研究背景

人形机器人作为通用机器人的理想硬件平台，需要强大的基础模型来实现智能自主操作。受大语言模型和视觉模型成功的启发，研究者希望通过在大规模异构数据上训练机器人基础模型，使其能够理解新场景、处理真实世界的变化并快速学习新任务。然而，与文本和图像领域不同，机器人领域缺乏互联网规模的训练数据，不同机器人的传感器、自由度、控制模式差异巨大，形成”数据孤岛”问题。

研究目标

本论文要解决的核心问题：

1. 数据稀缺问题：人形机器人数据收集成本高、耗时长，如何突破真实数据瓶颈
2. 跨具身泛化：如何统一不同机器人的状态和动作空间，实现跨具身学习
3. 数据效率：如何在有限数据下快速适应新任务并在真实环境中鲁棒执行
4. 端到端优化：如何将高层推理与低层控制统一到单一模型中

核心概念

Vision-Language-Action (VLA) 模型

视觉-语言-动作模型，接收图像观察和语言指令作为输入，直接输出机器人动作。与传统的分层方法（VLM规划 + 低层策略执行）不同，VLA模型实现端到端优化。

双系统架构 (Dual-System Architecture)

受人类认知理论启发（Kahneman, 2011），将模型分为：

• System 2（推理系统）：慢速、深思熟虑的高层推理
• System 1（反应系统）：快速、自动化的低层控制

数据金字塔 (Data Pyramid)

将异构训练数据按规模和具身特异性组织成三层结构：

• 底层：大规模网络数据和人类视频（通用先验）
• 中层：合成数据（仿真+神经生成，可扩展）
• 顶层：真实机器人数据（具身特定，高质量）

潜在动作 (Latent Actions)

通过VQ-VAE([[VQ-VAE-and-Latent-Action-for-Robotics]])学习的通用动作表示，能够统一不同具身体（包括人类）的动作空间，使无动作标签的视频数据可用于训练。

研究方法

模型架构

GR00T N1采用双系统组合架构，总参数量22亿（GR00T-N1-2B）：

System 2: Vision-Language Module

1
2
3
4
5
6
7
8

输入处理:
├─ 图像: SigLIP-2编码器 → 64个token (224×224)
└─ 文本: SmolLM2 tokenizer → 文本token

特征提取:
└─ Eagle-2 VLM (1.34B参数)
   ├─ 处理vision-language tokens
   └─ 输出: 中间层embeddings φ_t (第12层)

关键设计：

• 使用中间层而非最终层特征（更快推理+更高成功率）
• 语言组件冻结（保留预训练知识）
• 视觉编码器可训练（适应机器人任务）
• 运行频率：10Hz

System 1: Diffusion Transformer Module

1
2
3
4
5
6
7

DiT Block结构（重复N次）:
├─ Self-Attention
│  └─ 输入: noised action tokens + state embeddings
│
└─ Cross-Attention
   ├─ Query: action/state tokens
   └─ Key & Value: VLM输出的φ_t

动作生成流程：

1. 输入加噪动作 $A_t^{\tau} = \tau A_t + (1-\tau)\epsilon$，其中 $\tau \in [0,1]$
2. 通过DiT迭代去噪（K=4步）
3. 输出16步动作序列（action chunking）
4. 运行频率：120Hz

Flow-Matching损失：

$$
\mathcal{L}{fm}(\theta) = \mathbb{E}{\tau} |V_{\theta}(\varphi_t, A_t^{\tau}, q_t) - (\epsilon - A_t)|^2
$$

其中 $V_{\theta}$ 是[[Diffusion-Transformers-DiT]]模型，预测去噪向量场。

模块交互机制

1
2
3
4
5
6
7
8
9
10
11
12

信息流:
图像 + 语言指令
    ↓
[System 2: Eagle-2 VLM]
    ↓ (输出 φ_t)
[Cross-Attention Bridge]
    ↓
[System 1: DiT]
├─ Self-Attention (action + state)
└─ Cross-Attention (attend to φ_t)
    ↓
16步动作序列

端到端联合训练：

• 两个模块通过cross-attention紧密耦合
• 使用统一的flow-matching loss优化
• 辅助目标检测loss增强空间理解：

$$
\mathcal{L} = \mathcal{L}{fm} + \mathcal{L}{det}
$$

异构数据训练策略

1. 数据金字塔组织

总计：8,376小时训练数据

2. 潜在动作学习

VQ-VAE训练：

1
2
3
4
5
6
7
8
9
10
11

# 编码器
输入: (当前帧 x_t, 未来帧 x_{t+H})
     ↓
Encoder → 连续embedding → 量化到codebook
     ↓
潜在动作 z_t

# 解码器
输入: x_t + z_t
     ↓
Decoder → 重建 x_{t+H}

跨具身一致性：

• 同一潜在动作在不同具身体中语义一致
• 例如：潜在动作1 = “右臂向左移动”（对所有机器人和人类）

训练使用：

• 提取预量化连续embedding作为”LAPA具身体”的动作
• 使用flow-matching loss训练

3. 神经轨迹生成

目标：从88小时真实数据扩增到827小时（~10倍）

技术流程：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

步骤1: 微调视频生成模型
├─ 基础模型: WAN2.1-I2V-14B
├─ 方法: LoRA微调
├─ 数据: 3,000条轨迹，81帧@480P
└─ 训练: 100 epochs

步骤2: 生成反事实轨迹
├─ 输入: 初始帧 + 新语言指令
├─ 语言生成: 多模态LLM检测物体
│   生成"pick {object} from {A} to {B}"
└─ 输出: 高质量视频

步骤3: 质量过滤
├─ 采样8帧 → LLM判断是否遵循指令
└─ 不合格 → 重新标注

步骤4: 动作标注
├─ 潜在动作编码器 → LAPA
└─ 逆动力学模型 → 伪动作标签

生成能力：

• 改变操作手（左手↔右手）
• 改变目标位置和物体
• 处理仿真难题（液体、铰接物体）
• 多视角生成（4宫格视频）

4. 仿真数据自动生成

DexMimicGen系统：

1
2
3
4
5
6
7
8
9
10
11

输入: 少量人类演示（几十条）
     ↓
分割 → 物体中心的子任务片段
     ↓
变换 → 根据新物体位置调整
     ↓
组合 → 插值并组合片段
     ↓
验证 → 仿真执行，保留成功轨迹
     ↓
输出: 每任务10,000条演示

规模：

• 54个源-目标容器组合
• 540,000条预训练轨迹
• 11小时生成 = 6,500小时等效人类演示

5. 具身特定编码器/解码器

处理不同维度的状态和动作：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

embodiments = {
    "GR-1": {
        "state": [joint_pos, joint_vel, base_pos, ...],
        "action": [joint_targets, ...],
        "encoder": MLP_GR1,
        "decoder": MLP_GR1
    },
    "Franka": {
        "state": [ee_pos, ee_rot, gripper],
        "action": [ee_delta, gripper_cmd],
        "encoder": MLP_Franka,
        "decoder": MLP_Franka
    },
    "LAPA": {  # 潜在动作
        "action": [latent_embedding],
        "encoder": MLP_LAPA,
        "decoder": MLP_LAPA
    }
}

6. 统一训练框架

预训练阶段：

• 全局batch size: 16,384
• 训练步数: 200,000
• 数据混合采样：真实机器人(40%) + 仿真(30%) + 神经(20%) + 人类视频(10%)
• 计算资源: 最多1024个H100 GPU，约50,000 GPU小时

后训练阶段：

• Batch size: 128-1024
• 训练步数: 20,000-60,000
• 可选神经轨迹协同训练（1:1采样比例）
• 可在单个A6000 GPU上微调

主要发现

预训练泛化能力

在GR-1人形机器人上的零样本评估：

仿真基准测试

100条演示/任务的性能对比：

关键观察：

• GR00T N1在所有基准上均优于基线
• 在GR-1任务上优势最明显（+17.3%）

真实世界部署

GR-1人形机器人任务成功率：

数据效率：

• GR00T N1用10%数据（42.6%）≈ Diffusion Policy用全量数据（46.4%）
• 展现出色的样本效率

神经轨迹增强效果

RoboCasa基准（协同训练3K神经轨迹/任务）：

真实世界（协同训练100神经轨迹/任务）：

• 平均提升：+5.8%

观察：

• 低数据场景：LAPA略优（更通用的先验）
• 高数据场景：IDM更优（更接近真实动作）

定性分析

运动质量：

• GR00T N1运动更流畅，抓取精度更高
• Diffusion Policy常出现初始帧不动、抓取不准确

泛化能力：

• 预训练模型能执行未见过的双手交接任务
• 后训练模型在特定任务上更精确，但失去部分泛化能力

实验设计

仿真基准

RoboCasa Kitchen（24任务）：

• 机器人：Franka Emika Panda
• 任务：抓取放置、开关门、按按钮、转水龙头等
• 观察：3个RGB相机（左、右、腕部）
• 动作：末端执行器相对位姿 + 夹爪状态
• 数据：每任务3,000条MimicGen生成的演示

DexMimicGen Cross-Embodiment Suite（9任务）：

• 具身体：
  • 双臂Panda + 平行夹爪（穿线、组装、运输）
  • 双臂Panda + 灵巧手（清理、抬托盘）
  • GR-1人形 + 灵巧手（倒水、咖啡、分类）
• 数据：每任务1,000条演示

GR-1 Tabletop Tasks（24任务）：

• 机器人：GR-1人形 + Fourier灵巧手
• 任务：18个重排任务 + 6个铰接物体任务
• 观察：头部自我中心相机
• 动作：关节位置/旋转 + 腰部/颈部
• 数据：每任务1,000条DexMimicGen生成

真实世界基准

任务类别：

1. 抓取放置（5任务）：

   • 托盘→盘子、砧板→篮子、餐垫→碗等
   • 评估：见过和未见过物体

2. 铰接物体（3任务）：

   • 白色抽屉、深色柜子、木箱
   • 要求：放入物体并关闭

3. 工业操作（3任务）：

   • 机械零件打包
   • 网格杯倾倒
   • 圆柱体交接

4. 多机协作（2任务）：

   • 第1部分：抓取→放入网格杯→交给另一机器人
   • 第2部分：接收→放入黄色箱→倾倒剩余物

数据收集：

• 遥操作时长：15分钟-3小时/任务
• 过滤低质量轨迹

评估协议

仿真：

• 每任务100次试验
• 取最后5个checkpoint的最大值
• Checkpoint间隔：500步

真实机器人：

• 每任务10次试验（机械打包任务5次）
• 部分评分系统（捕捉不同执行阶段）
• 低数据场景：10%数据子采样

训练配置

预训练：

• 学习率：1e-4
• 优化器：AdamW (β1=0.95, β2=0.999)
• 学习率调度：cosine，warmup比例0.05
• Batch size：16,384
• 步数：200,000

后训练：

• Batch size：128-1024
• 步数：20,000-60,000
• 其他超参数同预训练

讨论

优势

1. 统一的跨具身学习：

   • 单一模型支持从桌面机械臂到双臂人形机器人
   • 潜在动作空间统一不同具身体

2. 卓越的数据效率：

   • 10%数据达到基线全量数据性能
   • 预训练提供强大的先验知识

3. 可扩展的数据生成：

   • 神经轨迹生成：10倍数据扩增
   • 仿真自动生成：11小时生成6,500小时等效数据

4. 端到端优化：

   • VLM推理与DiT控制联合训练
   • 避免分层方法的接口问题

5. 开源生态：

   • 公开22亿参数模型
   • 提供训练数据和仿真基准

局限性

1. 任务范围限制：

   • 当前主要关注短时域桌面操作
   • 未涉及长时域移动操作（loco-manipulation）

2. 合成数据质量：

   • 视频生成模型仍面临多样性和物理一致性挑战
   • 需要质量过滤和重新标注

3. 硬件依赖：

   • 需要高端GPU进行训练（H100集群）
   • 推理需要L40 GPU（63.9ms/16动作）

4. 泛化-专精权衡：

   • 后训练提升特定任务性能但损失部分泛化能力
   • 预训练模型能执行双手交接，后训练模型失去此能力

5. 视觉-语言骨干限制：

   • 当前VLM的空间推理和语言理解能力仍有提升空间
   • 更强的VLM可能进一步提升性能

相关工作

机器人基础模型

VLA模型：

• RT-1/RT-2 (Brohan et al., 2022, 2023)：早期VLA模型，使用Transformer架构
• π0 (Black et al., 2024)：使用mixture-of-experts连接VLM和动作生成
• Octo (Octo Model Team et al., 2024)：跨具身模型，但不微调VLM
• GR-2 (Cheang et al., 2024)：视频-语言-动作模型

GR00T N1的区别：

• 使用简单的cross-attention而非MoE
• 端到端微调VLM视觉编码器
• 支持潜在动作和IDM伪动作

机器人数据集

真实机器人数据：

• Open X-Embodiment (2024)：跨具身数据集联盟
• AgiBot-Alpha (2025)：100个机器人的大规模数据集
• 遥操作系统：VIVE、Apple Vision Pro、Leap Motion

人类视频数据：

• Ego4D (Grauman et al., 2022)：大规模自我中心视频
• EPIC-KITCHENS (Damen et al., 2018)：厨房活动
• Assembly-101 (Sener et al., 2022)：组装任务

GR00T N1的创新：

• 数据金字塔组织而非简单混合
• 潜在动作统一有/无标签数据

合成数据生成

仿真数据：

• MimicGen (Mandlekar et al., 2023)：演示变换和重放
• DexMimicGen (Jiang et al., 2024)：灵巧操作数据生成
• RoboCasa (Nasiriany et al., 2024)：厨房环境仿真

神经生成：

• 视频生成模型：Sora (Brooks et al., 2024)、WAN (Wan Team, 2025)
• 数据增强：GenAug (Chen et al., 2023)使用扩散模型增强

GR00T N1的规模：

• 827小时神经轨迹（前所未有）
• 540K仿真轨迹（11小时生成）

未来方向

1. 长时域移动操作：

   • 扩展到全身运动和导航
   • 需要改进硬件、模型架构和训练数据

2. 更强的视觉-语言骨干：

   • 提升空间推理能力
   • 增强语言理解和任务规划

3. 改进合成数据生成：

   • 提高视频生成的多样性和反事实能力
   • 增强物理一致性和真实感
   • 探索自动化初始帧生成（img2img扩散）

4. 新型模型架构：

   • 探索更高效的推理-控制耦合方式
   • 研究分层时间建模

5. 鲁棒性和泛化：

   • 提升对环境变化的适应能力
   • 增强零样本和少样本学习能力

6. 多模态感知：

   • 整合触觉、力觉等其他传感器
   • 探索多模态融合策略

7. 长时域视频生成：

   • 多轮视频生成实现长任务序列
   • 原子任务组合

参考文献

• NVIDIA (2025). GR00T N1: An Open Foundation Model for Generalist Humanoid Robots. arXiv:2503.14734v2.
• Black et al. (2024). π0: A vision-language-action flow model for general robot control. arXiv:2410.24164.
• Brohan et al. (2022). RT-1: Robotics transformer for real-world control at scale. arXiv:2212.06817.
• Brohan et al. (2023). RT-2: Vision-language-action models transfer web knowledge to robotic control. arXiv:2307.15818.
• Chi et al. (2024). Diffusion Policy: Visuomotor policy learning via action diffusion. IJRR.
• Jiang et al. (2024). DexMimicGen: Automated data generation for bimanual dexterous manipulation via imitation learning. CoRL.
• Mandlekar et al. (2023). MimicGen: A data generation system for scalable robot learning using human demonstrations. CoRL.
• Nasiriany et al. (2024). RoboCasa: Large-scale simulation of everyday tasks for generalist robots. RSS.
• Open X-Embodiment Collaboration et al. (2024). Open X-Embodiment: Robotic learning datasets and RT-X models.
• Ye et al. (2025). Latent action pretraining from videos. ICLR.
• Kahneman (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.

关键代码和资源

• 模型权重：HuggingFace
• 训练数据：HuggingFace Datasets
• 仿真基准：GitHub
• 数据格式：基于LeRobot格式扩展
• 训练基础设施：NVIDIA OSMO编排平台

技术细节补充

动作空间标准化

统一不同具身体的表示：

• 末端执行器旋转状态：6D旋转表示
• 末端执行器旋转动作：轴角表示
• 位置和关节：Min-max归一化
• 顺序：左臂→右臂，旋转→位置→夹爪

辅助目标检测损失

使用OWL-v2检测器标注目标物体边界框：

$$
\mathcal{L}{det} = |\mathbf{x}{pred} - \mathbf{x}_{gt}|^2
$$

其中 $\mathbf{x}$ 是归一化的边界框中心坐标。

推理性能

• GR00T-N1-2B：63.9ms采样16步动作（L40 GPU，bf16）
• VLM频率：10Hz
• 动作输出频率：120Hz
• 去噪步数：K=4

计算资源

• 预训练：最多1024个H100 GPU，约50,000 GPU小时
• 神经轨迹生成：3,600个L40 GPU，约105K GPU小时（1.5天）
• 后训练：单个A6000 GPU可微调（仅adapter层时batch size可达200）

Neural Discrete Representation Learning | VQ-BeT: Behavior Generation with Latent Actions

研究背景

在无监督学习和机器人学习领域，表示学习是核心问题之一。传统的变分自编码器（VAE, Variational AutoEncoder）使用连续潜在变量，但存在后验崩塌（posterior collapse）问题，即解码器过强导致忽略潜在编码。

在机器人学习中，直接学习连续高维动作空间面临以下挑战：

• 动作分布通常是多模态的（如抓取物体可以有多种方式）
• 行为克隆（Behavior Cloning）容易产生平均化的次优动作
• 连续动作空间的策略学习不稳定

VQ-VAE（Vector Quantised-Variational AutoEncoder）通过引入离散潜在变量，为这些问题提供了有效的解决方案。

研究目标

VQ-VAE的核心目标

1. 解决VAE中的后验崩塌问题
2. 学习有效的离散表示，适用于本质上离散的数据（语言、语音等）
3. 实现端到端的离散表示学习

机器人Latent Action的目标

1. 将连续高维动作空间压缩为离散的动作原语（action primitives）
2. 在离散空间中学习更稳定的策略
3. 实现时序动作抽象，降低决策频率
4. 提升多模态动作分布的建模能力

核心概念

VQ-VAE (Vector Quantised-Variational AutoEncoder)

VQ-VAE是一种使用离散潜在变量的生成模型，通过向量量化（Vector Quantization）技术将编码器输出映射到离散的码本空间。

关键组件：

• 编码器（Encoder）：将输入映射到连续潜在空间
• 码本（Codebook）：包含 $K$ 个 $d$ 维向量 $\mathbf{e} \in \mathbb{R}^{K \times d}$
• 量化层（Quantization）：将连续表示映射到最近的码本向量
• 解码器（Decoder）：从离散表示重建输入

Latent Action（潜在动作）

Latent Action是将连续动作序列编码为离散token的表示方法。每个离散token代表一个”动作原语”或”技能”，可以解码为一段连续的动作序列。

核心思想：

• 将动作序列 $\mathbf{a}_{t:t+H}$ 编码为单个离散索引 $z \in {1, …, K}$
• 策略网络在离散空间中选择动作：$\pi(\mathbf{o}_t) \rightarrow z$
• 解码器将离散索引恢复为连续动作：$z \rightarrow \mathbf{a}_{t:t+H}$

VQ-VAE方法详解

架构设计

1
2
3
4
5
6
7
8
9
10
11
12
13

输入 x
  ↓
[编码器] Encoder
  ↓
z_e(x) ∈ R^(H×W×D)  (连续潜在表示)
  ↓
[向量量化] Vector Quantization
  ↓
z_q(x) ∈ R^(H×W×D)  (离散潜在表示)
  ↓
[解码器] Decoder
  ↓
重建输出 x̂

向量量化过程

对于编码器输出的每个空间位置，找到最近的码本向量：

$$
z_q(\mathbf{x}) = \mathbf{e}_k, \quad \text{where} \quad k = \arg\min_j |\mathbf{z}_e(\mathbf{x}) - \mathbf{e}_j|_2
$$

损失函数

VQ-VAE使用三部分损失函数：

$$
L = \log p(\mathbf{x}|\mathbf{z}_q(\mathbf{x})) + |\text{sg}[\mathbf{z}_e(\mathbf{x})] - \mathbf{e}|_2^2 + \beta |\mathbf{z}_e(\mathbf{x}) - \text{sg}[\mathbf{e}]|_2^2
$$

其中：

• 重建损失（Reconstruction Loss）：$\log p(\mathbf{x}|\mathbf{z}_q(\mathbf{x}))$，确保重建质量
• 码本损失（Codebook Loss）：$|\text{sg}[\mathbf{z}_e(\mathbf{x})] - \mathbf{e}|_2^2$，更新码本向量使其靠近编码器输出
• 承诺损失（Commitment Loss）：$\beta |\mathbf{z}_e(\mathbf{x}) - \text{sg}[\mathbf{e}]|_2^2$，鼓励编码器输出靠近码本向量（$\beta = 0.25$）

其中 $\text{sg}[\cdot]$ 表示stop gradient操作，阻止梯度传播。

Straight-Through Estimator

问题：量化操作 $\mathbf{z}q = \arg\min{\mathbf{e}} |\mathbf{z}_e - \mathbf{e}|$ 不可微分

解决方案：在反向传播时，将解码器的梯度直接复制给编码器：

$$
\nabla_{\mathbf{z}e} L = \nabla{\mathbf{z}_q} L
$$

即在前向传播使用离散的 $\mathbf{z}_q$，在反向传播时假装量化操作是恒等映射。

数据尺度变化示例

以CIFAR-10图像重建为例：

信息压缩率：$(32 \times 32 \times 3) / (8 \times 8 \times \log_2 512) \approx 42$ 倍压缩（假设码本大小 $K=512$）

VQ-VAE在机器人中的应用

整体架构

1
2
3
4
5
6
7
8
9
10
11

观察 o_t (图像/状态)
    ↓
[策略网络 π]
    ↓
离散latent action z ∈ {1,...,K}
    ↓
[VQ-VAE解码器]
    ↓
连续动作序列 a_{t:t+H}
    ↓
执行到机器人

动作序列编码

输入：动作序列 $\mathbf{a}_{t:t+H} \in \mathbb{R}^{H \times d_a}$，其中 $H$ 是序列长度，$d_a$ 是动作维度

编码过程：

1. 通过1D卷积或Transformer编码时序信息
2. 输出单个向量 $\mathbf{z}_e \in \mathbb{R}^D$
3. 量化为离散索引 $k \in {1, …, K}$

解码过程：

1. 从码本中查找向量 $\mathbf{e}_k$
2. 通过解码器生成动作序列 $\hat{\mathbf{a}}_{t:t+H}$

训练流程

阶段1：训练VQ-VAE

使用专家演示数据训练VQ-VAE：

1
2
3
4
5
6
7
8
9
10
11
12
13
14

for batch in expert_demonstrations:
    action_seq = batch['actions']  # [B, H, action_dim]

    # 编码-量化-解码
    z_e = encoder(action_seq)
    z_q = quantize(z_e, codebook)
    action_recon = decoder(z_q)

    # 三部分损失
    loss_recon = MSE(action_seq, action_recon)
    loss_vq = MSE(sg(z_e), z_q)
    loss_commit = MSE(z_e, sg(z_q))

    loss = loss_recon + loss_vq + 0.25 * loss_commit

阶段2：训练策略网络

固定VQ-VAE，训练策略在离散空间中选择动作：

1
2
3
4
5
6
7
8
9
10
11

for batch in demonstrations:
    obs = batch['observations']  # [B, T, obs_dim]
    actions = batch['actions']   # [B, T, action_dim]

    # 将动作编码为离散token
    with torch.no_grad():
        z_indices = vqvae.encode(actions)  # [B, T//H]

    # 训练策略预测离散token
    z_pred = policy(obs)  # [B, T//H, K]
    loss = CrossEntropy(z_pred, z_indices)

主要应用案例

VQ-BeT (VQ-Behavior Transformer)

论文：Behavior Generation with Latent Actions (CoRL 2023)

核心思想：

1. 使用VQ-VAE将动作序列压缩为离散token
2. 使用Transformer建模观察到latent action的映射：$p(z_t | \mathbf{o}_{1:t})$
3. 执行时解码latent action为连续动作序列

优势：

• 有效处理多模态动作分布
• 避免行为克隆中的动作平均化问题
• 支持长时序动作规划（一次预测多步）

LISA (Latent Imagination with Skill Abstraction)

核心思想：结合世界模型和latent action

1
2
3
4
5
6
7
8
9

当前状态 s_t
    ↓
[世界模型] 在latent space中想象
    ↓
预测未来状态序列 ŝ_{t+1:t+H}
    ↓
[规划器] 选择最优latent action z*
    ↓
[VQ解码器] z* → 连续动作

SPiRL (Skill-based Model-based RL)

将VQ-VAE学习的离散表示视为”技能”，在强化学习中进行技能级别的规划。

实验设计与结果

VQ-VAE实验（原始论文）

数据集

• CIFAR-10：32×32彩色图像
• ImageNet：128×128和256×256图像
• VCTK语音数据集：英语语音数据
• DeepMind Lab：强化学习环境视频

关键参数

• 码本大小 $K$：512
• 编码维度 $D$：64
• 承诺损失系数 $\beta$：0.25

主要结果

机器人Latent Action实验

超参数选择

性能对比

VQ-BeT在多个机器人操作任务上的表现：

讨论

优势

VQ-VAE本身：

• 避免后验崩塌问题，潜在编码被充分利用
• 离散表示更适合某些模态（语言、符号）
• 可以学习到有意义的离散结构

在机器人中的优势：

• 多模态建模：离散分类比连续回归更容易处理多模态动作分布
• 时序抽象：一个latent action代表一段动作序列，降低决策频率
• 训练稳定性：离散空间避免连续动作的梯度不稳定
• 可解释性：码本向量可视为”技能原语”，便于分析和调试
• 泛化能力：学到的动作原语可以组合应用到新场景

局限性

VQ-VAE的挑战：

• 码本利用率问题（codebook collapse）：部分码本向量可能不被使用
• 重建误差：离散化导致信息损失
• 超参数敏感：$K$、$D$、$\beta$ 需要仔细调优

机器人应用的挑战：

• 重建精度：VQ-VAE无法完美重建动作，影响执行精度
• 序列长度选择：$H$ 的选择需要在抽象能力和精确控制之间权衡
• 计算开销：需要额外训练VQ-VAE模型
• 在线适应：预训练的码本可能不适合新任务

相关工作

离散表示学习

• VQ-VAE-2 (Razavi et al., 2019)：层次化VQ-VAE，提升生成质量
• DALL-E (Ramesh et al., 2021)：使用VQ-VAE的离散表示进行文本到图像生成
• Gumbel-Softmax VAE：另一种离散VAE方法，使用Gumbel-Softmax技巧

机器人技能学习

• Skill Discovery：无监督发现技能的方法（DIAYN, DADS等）
• Hierarchical RL：层次化强化学习，在不同抽象层次上决策
• Option Framework：时序抽象的经典框架

行为克隆与模仿学习

• Diffusion Policy (Chi et al., 2023)：使用扩散模型生成动作
• Action Chunking Transformer (Zhao et al., 2023)：直接预测动作序列
• BeT (Shafiullah et al., 2022)：使用离散化动作的行为Transformer

未来方向

方法改进

1. 层次化VQ-VAE：

   • 高层策略选择宏观latent action
   • 低层策略选择微观latent action
   • 实现多层次的时序抽象

2. 与扩散模型结合：

   • 使用VQ-VAE的离散表示作为扩散模型的条件
   • 在离散空间规划，在连续空间精细化
   • 结合两者优势：稳定性+精确性

3. 在线学习与适应：

   • 预训练VQ-VAE在大规模数据上
   • 在新任务上微调策略网络
   • 探索码本的在线更新机制

4. 解决码本崩塌：

   • 使用EMA（指数移动平均）更新码本
   • 引入正则化鼓励码本多样性
   • 动态调整码本大小

应用拓展

1. 多模态机器人学习：

   • 结合视觉、触觉、本体感觉
   • 学习跨模态的统一表示

2. 长时序任务规划：

   • 在latent action空间进行任务规划
   • 结合符号推理和连续控制

3. 迁移学习：

   • 在源任务上学习通用动作原语
   • 在目标任务上组合和微调

4. 人机协作：

   • 可解释的动作原语便于人类理解
   • 支持人类通过选择latent action进行干预

参考文献

核心论文

• van den Oord, A., Vinyals, O., & Kavukcuoglu, K. (2017). Neural Discrete Representation Learning. NIPS 2017. arXiv:1711.00937
• Shafiullah, N. M. M., et al. (2023). Behavior Generation with Latent Actions (VQ-BeT). CoRL 2023. arXiv:2403.03181

相关工作

• Razavi, A., et al. (2019). Generating Diverse High-Fidelity Images with VQ-VAE-2. NeurIPS 2019.
• Pertsch, K., et al. (2020). Accelerating Reinforcement Learning with Learned Skill Priors (SPiRL). CoRL 2020.
• Lynch, C., & Sermanet, P. (2020). Learning Latent Plans from Play (LISA). CoRL 2020.
• Chi, C., et al. (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS 2023.

关键代码示例

VQ-VAE量化层实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

import torch
import torch.nn as nn

class VectorQuantizer(nn.Module):
    def __init__(self, num_embeddings, embedding_dim, commitment_cost=0.25):
        super().__init__()
        self.embedding_dim = embedding_dim
        self.num_embeddings = num_embeddings
        self.commitment_cost = commitment_cost

        # 初始化码本
        self.embedding = nn.Embedding(num_embeddings, embedding_dim)
        self.embedding.weight.data.uniform_(-1/num_embeddings, 1/num_embeddings)

    def forward(self, z_e):
        # z_e: [B, D] 编码器输出

        # 计算距离
        distances = torch.sum(z_e**2, dim=1, keepdim=True) + \
                    torch.sum(self.embedding.weight**2, dim=1) - \
                    2 * torch.matmul(z_e, self.embedding.weight.t())

        # 找到最近的码本向量
        encoding_indices = torch.argmin(distances, dim=1)
        z_q = self.embedding(encoding_indices)

        # 计算损失
        e_latent_loss = torch.mean((z_q.detach() - z_e)**2)  # 码本损失
        q_latent_loss = torch.mean((z_q - z_e.detach())**2)  # 承诺损失
        loss = e_latent_loss + self.commitment_cost * q_latent_loss

        # Straight-through estimator
        z_q = z_e + (z_q - z_e).detach()

        return z_q, loss, encoding_indices

动作序列编码器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

class ActionEncoder(nn.Module):
    def __init__(self, action_dim, hidden_dim, latent_dim, seq_len):
        super().__init__()
        self.seq_len = seq_len

        # 1D卷积编码时序信息
        self.conv1 = nn.Conv1d(action_dim, hidden_dim, kernel_size=4, stride=2, padding=1)
        self.conv2 = nn.Conv1d(hidden_dim, hidden_dim*2, kernel_size=4, stride=2, padding=1)
        self.fc = nn.Linear(hidden_dim*2 * (seq_len//4), latent_dim)

    def forward(self, action_seq):
        # action_seq: [B, seq_len, action_dim]
        x = action_seq.transpose(1, 2)  # [B, action_dim, seq_len]
        x = torch.relu(self.conv1(x))
        x = torch.relu(self.conv2(x))
        x = x.flatten(1)
        z_e = self.fc(x)
        return z_e

Introduction

IL是区别于传统手动编程来赋予机器人自主能力的方法。
IL 允许机器通过演示（人类演示专家行为）来学习所需的行为，从而消除了对显式编程或特定于任务的奖励函数的需要。
IL主要有两个类别：

• 行为克隆(BC)
• 反向强化学习(IRL)
  

Behavior Cloning

BC 是一种 IL 技术，它将学习行为的问题视为监督学习任务 。 BC 涉及通过建立环境状态与相应专家操作之间的映射来训练模型来复制专家的行为。专家的行为被记录为一组state-action pair，也称为演示。在训练过程中，模型学习一个函数，利用这些演示作为输入，将当前状态转换为相应的专家操作。经过训练，模型可以利用这个学习函数来生成遇到新状态的动作。

不需要了解环境的潜在动态，计算效率很高，相对简单的方法。

The covariate shift problem: 测试期间观察到的状态分布可能与训练期间观察到的状态分布有所不同，使得代理在遇到未见过的状态时容易出错，而对于如何进行操作缺乏明确的指导。BC监督方法的问题是，当智能体漂移并遇到分布外状态时，它不知道如何返回到演示的状态。

为了解决这个问题：

Inverse Reinforcement Learning

IRL 涉及一个学徒代理，其任务是推断观察到的演示背后的奖励函数，这些演示被认为源自表现最佳的专家 。然后使用推断的奖励函数通过 RL 训练学习代理的策略。

为了解决“政策->奖励函数“的模糊性，有以下三种IRL

• maximum-margin methods（奖励函数比任何其他策略在一定程度上更全面地解释最优策略。这本质上意味着找到一个最大化指定利润的解决方案，确保派生的奖励函数捕捉专家行为的本质。）
• maximum entropy（处理专家次优性和随机性的有前景的能力）
• guided cost learning（旨在优化策略优化内循环内的非线性奖励函数的方法。这种方法通过直接利用系统的原始状态来构建奖励函数，从而改变了传统的 IRL 范式，从而消除了广泛的特征工程的需要。）

Adversarial Imitation Learning

The agent strives to deceive the discriminator by generating trajectories closely resembling those of the expert.

Imitation From Observation

仅通过图像序列来学习，不需要具体的关节动作操作数据。

Unlike the traditional methods, IfO presents a more organic approach to learning from experts, mirroring how humans and animals approach imitation. Humans often learn new behaviors by observing others without detailed knowledge of their actions (e.g., the muscle commands). People learn a diverse range of tasks, from weaving to swimming to playing games, by watching online videos. Despite differences in body shapes, sensory inputs, and timing, humans exhibit an impressive ability to apply knowledge gained from the online demonstrations

将可学习的资源扩大到了线上的视频资源。

Latent Action Policies (LAPOs)

过分析观察到的动态，LAPO 推断出行动空间的底层结构，促进潜在行动策略的训练。然后，这些策略可以进行高效的微调，以达到专家级的性能，从而提供离线和在线场景的适应性。使用包含标记动作的小数据集进行离线微调是可行的，而在线微调可以使用奖励来完成。与依赖标记数据来训练逆动力学模型不同，LAPO直接从观察到的环境动态中导出潜在动作信息，而不需要任何标签。

Challenges And Limitations

。。。

https://ar2d2.site/

背景

机器人执行任务的视频数据集非常重要，特别是对于Visual Imitation Learning来说。
想要获得这些训练集视频，传统的方法是人工引导机器人做相关动作，然后再录制，耗费大量人力和时间成本，最关键的是机器人是固定在实验室内的，能接触到的物品和任务比较有限，因此这些训练数据中不包含更日常的场景。

Solution

提出了一个IOS APP，可以通过追踪用户手部的动作在视频中生成一个执行动作的AR机器人。

AR2-D2 系统细节

如上图，AR2-D2 的设计和实现由两个主要组件组成。第一个组件是一个手机应用程序，它将 AR 机器人投射到现实世界中，允许用户与物理对象和 AR 机器人进行交互。第二个组件将收集的视频转换为可用于训练不同行为克隆代理的格式，这些克隆代理随后可以部署在真实的机器人上。

IOS Application

Unity + AR Foundation kit（用于生成一个虚拟机械臂并布置在场景中）
传感器：苹果设备摄像头和自带的LiDAR
通过ios自己的人手姿态算法和深度信息获取手部动作，由此获取机械臂需要运动到的关键点，并且可以让AR界面中的机械臂移动到指定位置。

Training Data Generation

得到APP生成的视频后消除人手并填补消除的区域（E2FGVI），就可以得到机械臂操作物体的视频，它可以用作基于视觉的模仿学习的训练数据。

APP Evaluation

Real Deployment Evaluation

围绕三个常见的机器人任务收集演示：{press, push, pick up}

使用 Perciver-Actor (PERACT)训练基于 Transformer 的语言引导行为cloning policy

PERACT takes a 3D voxel observation and a language goal (v, l) as input and produces discretized outputs for translation, rotation, and gripper state of the end-effector. These outputs, coupled with a motion planner, enable the execution of the task specified by the language goal.

每一个agent执行一种任务（{press, push, pick up}），先训练3k次，然后再微调训练（3k iteration），用于缩小iphone摄像机和agent使用的kinect v2相机之间的偏差。

微调结果

测试结果