mmn## 重要的日子
7/1：♥️糖醋羊排CP成立！！♥️

Track

• sunclientlogin发票报销到账
• 开固态硬盘发票

Routine

爱心屋签到： aixinwu.sjtu.edu.cn/products/asw-store
每日二GRISSO💊， 米诺地尔

Starting from 10/9:

Non-routine

论文

Due

• 和建模的人商量项目 3/1
• 小鹏
  • gitlab权限
  • 查看mmlm代码分支
  • 熟悉fuyao平台
    • 登陆
    • remote kernel
    • submit job
    • docker
      • pytorch
      • nvim
      • claude code
  • fuyao尝试跑一下mlmm代码
  • SMPL数据集，设计哪些数据集，指标
• 大论文
  • 硕士论文的布局，参考已有的（journal paper）
  • 实机试验，在工业环境/生活场景（难度更高）下，工具抓取
• 64G内存
• tzc233.github.io 一周年纪念日 2026/5/21
• 读书会吃饭 2026/3/23
• Nvidia GR00T Intern 3/1

No Due

• 保温杯
• “现在的贺卡好高级”
• 软考
• ccf csp
• Godot Learning [[Godot Learning Plan]]
• 琪琪水彩
• 流萤水彩
• 美罗城 云海肴 汽锅鸡
• 《涉过愤怒的海》
• 《被讨厌的勇气》读书会p16
• 《被寄生的家庭》读书会p18
• 《蛙》读书会 p21
• 《断舍离》读书会 p20
• 潮汕砂锅粥
• 想买…
  • ipad（matebook e go）
  • 欧珑无极乌龙
  • bose大鲨2耳塞套
  • 综合效果器 ..?
  • 清音音箱
  • 220V户外电源

有生之年系列

• 手工🎸
• 侍奉社

Archived

• 攀爬机器人 🔒Done! 2025-10-21 🕸️ Track > Routine > Non-routine > Due
  • 群组建立
  • 其他构型的机器人
  • 数字样机调研
  • 初步进度安排
• AI Lab 具身智能简历投递 10/11 🔒Done! 2025-10-21 🕸️ Track > Routine > Non-routine > Due
• 奖学金申请10/18 5p.m. 🔒Done! 2025-10-31 🕸️ Track > Routine > Non-routine > Due
• 电网论文修改（作为通讯） 🔒Done! 2025-11-08 🕸️ Track > Routine > Non-routine > Due
  • 分类号加一下TN919.8，标识码A
  • 公式精简，保持现有篇幅，加入测试图片，文章前部分的图片往后挪
  • 合并一下1.2,1.3(2.1空间定位, 2.2分布推理机制，2.3预警方式), 第一章为系统总体架构设计，删除第一句话，不需要人机交互模块
  • 性能测试（仅保留第一句话）
    • 3.1 视觉检测模块分布推理的性能测试
    • 3.2 参考bohan实验
  • 把系统实现合并到系统设计，不需要系统实现章节
  • 明确论文重点(low latency)
  • 版面空间节省
    • 对比试验设计
      • 系统延迟表现
        • model quantization
        • layer pruning
      • 整个系统的综合表现（survey，参考bohan论文）
  • 低光照’
• 电网验收 11/11 上午 🔒Done! 2025-12-02 🕸️ Track > Routine > Non-routine > Due
  • hololens和手机开会议
  • 预训练识别
• draumurvakna.github.io 一周年纪念日 2025/10/27 🔒Done! 2025-12-02 🕸️ Track > Routine > Non-routine > Due
• 攀爬机器人 🔒Done! 2026-01-02 🕸️ Track > Routine > Non-routine > Due
  • 需要的数据
    • 真实的角钢照片，问byy要
    • 3D渲染生成照片
    • 深度图生成（包括噪声）
    • 更换背景
  • moveit路径规划视频
  • 测试塔需求文档（结构，工期，价格）
  • 机器人URDF导入unity,演示基本步态，动作流
• 糖糖呵护指南 🔒Done! 2026-01-02 🕸️ Track > Routine > Non-routine > No Due
• 给糖糖补补 🔒Done! 2026-01-02 🕸️ Track > Routine > Non-routine > No Due
• 小鹏机器人实习 🔒Done! 2026-01-29 🕸️ Track > Routine > Non-routine > No Due
• ACL 补实验 🔒Done! 2026-02-22 🕸️ Track > Routine > Non-routine > Due
  • sft_train.py roll一个指标大于66的结果，保存预测，和encoder-only做paired t-test
    • 跑到指标
    • paired t-test
  • zero-shot, few-shot, content-1000,content-full测试数据（包括acc,missing rate）注意参考原论文，数据不能偏差太大
    • zero-shot
    • few-shot
    • content-1000
    • content-full
  • rag,lstm,encoder做非配对t-test
• ICRA paper acceptance notification 1/31 🔒Done! 2026-02-22 🕸️ Track > Routine > Non-routine > Due

Neovim SSH 剪贴板配置

Neovim Clipboard 文档

概述

SSH 远程环境下 Neovim 无法直接访问本地剪贴板，需要通过 OSC 52 转义序列实现跨终端复制粘贴。

OSC 52 配置

推荐配置（仅复制使用 OSC 52）

1
2
3
4
5
6
7
8
9
10
11
12

vim.g.clipboard = {
  name = 'OSC 52',
  copy = {
    ['+'] = require('vim.ui.clipboard.osc52').copy('+'),
    ['*'] = require('vim.ui.clipboard.osc52').copy('*'),
  },
  paste = {
    -- 粘贴使用终端快捷键，避免 OSC 52 paste 超时问题
    ['+'] = function() return vim.split(vim.fn.getreg(''), '\n') end,
    ['*'] = function() return vim.split(vim.fn.getreg(''), '\n') end,
  },
}

简化配置

1

vim.g.clipboard = 'osc52'

使用方法

常见问题

粘贴时显示”等待来自 OSC 52 的响应”

原因：OSC 52 的 paste 在 SSH 环境下不稳定
解决：使用上述推荐配置，paste 改用本地寄存器，粘贴时用终端快捷键

终端支持

支持 OSC 52 的终端：

• iTerm2
• Alacritty
• kitty
• Windows Terminal
• tmux（需配置 set -g set-clipboard on）

Neovim 剪贴板工具优先级

1

g:clipboard → pbcopy → wl-copy → xsel → xclip → lemonade → tmux → osc52

SSH 环境下推荐直接指定 osc52。

MoveIt2 轨迹规划

MoveIt2 官方文档 | MoveGroupInterface API

概述

MoveIt2 是 ROS2 中用于机器人运动规划的框架。通过 MoveGroupInterface 或直接调用服务可以设置目标位姿，调用 OMPL 等规划器计算关节轨迹，实现机械臂的运动控制。

核心架构

通讯机制

MoveGroupInterface 是客户端，通过 ROS2 通讯与 move_group 节点交互：

1
2
3
4
5
6
7
8
9
10

你的节点 (MoveGroupInterface 或 Service Client)
        |
        | Action/Service/Topic
        v
   move_group 节点
        |
        | 调用规划器 (OMPL等)
        | 调用 IK 求解器
        v
   返回规划结果

使用方法

依赖配置

package.xml:

1
2

<depend>moveit_ros_planning_interface</depend>  <!-- C++ -->
<depend>moveit_msgs</depend>  <!-- Python 直接调用服务 -->

CMakeLists.txt (C++):

1
2

find_package(moveit_ros_planning_interface REQUIRED)
ament_target_dependencies(your_node moveit_ros_planning_interface)

C++ 实现（推荐）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

#include <moveit/move_group_interface/move_group_interface.h>

auto move_group = moveit::planning_interface::MoveGroupInterface(node, "arm");

geometry_msgs::msg::Pose target_pose;
target_pose.position.x = 0.5;
target_pose.orientation.w = 1.0;

move_group.setPoseTarget(target_pose);

moveit::planning_interface::MoveGroupInterface::Plan plan;
bool success = (move_group.plan(plan) == moveit::core::MoveItErrorCode::SUCCESS);

if (success) {
    move_group.execute(plan);  // 执行
    // 或只获取路径: plan.trajectory_.joint_trajectory
}

Python 实现（直接调用服务）

MoveIt2 的 Python binding (moveit.planning) 可能不可用，推荐直接调用 /plan_kinematic_path 服务：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75

from rclpy.node import Node
from rclpy.callback_groups import ReentrantCallbackGroup
from rclpy.executors import MultiThreadedExecutor
from moveit_msgs.srv import GetMotionPlan
from moveit_msgs.msg import (
    Constraints, PositionConstraint, OrientationConstraint,
    BoundingVolume, RobotState,
)
from sensor_msgs.msg import JointState
from shape_msgs.msg import SolidPrimitive

class TrajectoryServer(Node):
    def __init__(self):
        super().__init__("trajectory_server")
        self.callback_group = ReentrantCallbackGroup()

        # 订阅 joint_states 获取当前状态
        self.current_joint_state = None
        self.joint_sub = self.create_subscription(
            JointState, "/joint_states", self.joint_state_callback, 10
        )

        self.client = self.create_client(
            GetMotionPlan, "/plan_kinematic_path",
            callback_group=self.callback_group
        )

    def plan(self, target_pose, group_name="arm", ee_link="link6", base_frame="base_link"):
        req = GetMotionPlan.Request()
        req.motion_plan_request.group_name = group_name
        req.motion_plan_request.num_planning_attempts = 10
        req.motion_plan_request.allowed_planning_time = 5.0

        # 设置起始状态（重要！）
        if self.current_joint_state:
            req.motion_plan_request.start_state = RobotState()
            req.motion_plan_request.start_state.joint_state = self.current_joint_state

        # 位置约束
        pos = PositionConstraint()
        pos.header.frame_id = base_frame
        pos.link_name = ee_link
        pos.constraint_region = BoundingVolume()
        sphere = SolidPrimitive(type=SolidPrimitive.SPHERE, dimensions=[0.01])
        pos.constraint_region.primitives.append(sphere)
        pos.constraint_region.primitive_poses.append(target_pose)
        pos.weight = 1.0

        # 姿态约束
        ori = OrientationConstraint()
        ori.header.frame_id = base_frame
        ori.link_name = ee_link
        ori.orientation = target_pose.orientation
        ori.absolute_x_axis_tolerance = 0.1
        ori.absolute_y_axis_tolerance = 0.1
        ori.absolute_z_axis_tolerance = 0.1
        ori.weight = 1.0

        goal = Constraints()
        goal.position_constraints.append(pos)
        goal.orientation_constraints.append(ori)
        req.motion_plan_request.goal_constraints.append(goal)

        future = self.client.call_async(req)
        rclpy.spin_until_future_complete(self, future)
        result = future.result()

        if result.motion_plan_response.error_code.val == 1:  # SUCCESS
            return result.motion_plan_response.trajectory.joint_trajectory
        return None

# 必须使用 MultiThreadedExecutor
executor = MultiThreadedExecutor()
executor.add_node(node)
executor.spin()

常用配置

1
2
3
4

move_group.setPlanningTime(5.0);                    // 规划时间限制（默认5秒）
move_group.setNumPlanningAttempts(10);              // 规划尝试次数
move_group.setMaxVelocityScalingFactor(0.5);        // 速度缩放
move_group.setMaxAccelerationScalingFactor(0.5);    // 加速度缩放

避障规划

方式一：Octomap（推荐）

MoveIt2 内置支持将点云转换为 Octomap 进行碰撞检测。

配置文件 sensors_3d.yaml:

1
2
3
4
5
6
7

sensors:
  - sensor_plugin: occupancy_map_monitor/PointCloudOctomapUpdater
    point_cloud_topic: /camera/depth/points
    max_range: 2.5
    point_subsample: 1
    padding_offset: 0.03
    padding_scale: 1.0

在 launch 文件中加载：

1
2
3
4
5

moveit_config = (
    MoveItConfigsBuilder("your_robot")
    .sensors_3d(file_path="config/sensors_3d.yaml")
    .to_moveit_configs()
)

方式二：手动添加碰撞物体

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

from moveit_msgs.msg import PlanningScene, CollisionObject
from shape_msgs.msg import SolidPrimitive

collision_object = CollisionObject()
collision_object.header.frame_id = 'base_link'
collision_object.id = 'obstacle'

box = SolidPrimitive()
box.type = SolidPrimitive.BOX
box.dimensions = [0.1, 0.1, 0.5]

collision_object.primitives.append(box)
collision_object.primitive_poses.append(pose)
collision_object.operation = CollisionObject.ADD

scene = PlanningScene()
scene.is_diff = True
scene.world.collision_objects.append(collision_object)

planning_scene_publisher.publish(scene)

常见问题

Found empty JointState message

原因：没有设置规划的起始状态。

解决：订阅 /joint_states 获取当前关节状态，设置到 motion_plan_request.start_state。

服务回调中调用其他服务导致死锁

原因：默认单线程执行器无法在处理一个回调时同时处理另一个回调。

解决：

1
2
3
4
5
6
7
8
9
10

from rclpy.callback_groups import ReentrantCallbackGroup
from rclpy.executors import MultiThreadedExecutor

self.callback_group = ReentrantCallbackGroup()
self.client = self.create_client(srv_type, srv_name, callback_group=self.callback_group)
self.srv = self.create_service(srv_type, srv_name, callback, callback_group=self.callback_group)

executor = MultiThreadedExecutor()
executor.add_node(node)
executor.spin()

Python binding 不可用

错误：ModuleNotFoundError: No module named 'moveit.planning'

解决：直接调用 /plan_kinematic_path 服务，不依赖 Python binding。

启动顺序

1
2
3
4
5

# 1. 启动 move_group 节点
ros2 launch your_robot_moveit_config move_group.launch.py

# 2. 启动规划节点
ros2 run your_package trajectory_server

注意事项

• planning_group 名称在 MoveIt Setup Assistant 生成的 SRDF 文件中定义
• move_group 节点必须先启动
• 默认规划时间为 5 秒，复杂场景可能需要增加
• 点云数据量大时建议先进行体素降采样
• Python 实现需要使用 MultiThreadedExecutor 避免死锁

ROS2 Package 结构与编译

ROS2 官方文档

概述

ROS2 Package 是代码组织的基本单元。每个 Package 至少包含：

• package.xml - 包元数据（名称、版本、依赖、维护者）
• 构建系统文件（CMakeLists.txt 或 setup.py）

CMake vs Python Package 对比

典型目录结构

CMake Package

1
2
3
4
5
6
7
8
9

my_cpp_pkg/
├── CMakeLists.txt
├── package.xml
├── src/
│   └── my_node.cpp
├── include/
│   └── my_cpp_pkg/
│       └── header.hpp
└── launch/

Python Package

1
2
3
4
5
6
7
8
9
10

my_py_pkg/
├── setup.py
├── setup.cfg
├── package.xml
├── my_py_pkg/
│   ├── __init__.py
│   └── my_node.py
├── launch/        # 启动文件
├── resource/      # 包发现标记文件
└── test/          # 测试文件（不会被安装）

Python Package 特殊目录说明

在 setup.py 中配置：

1
2
3
4
5

data_files=[
    ('share/ament_index/resource_index/packages', ['resource/my_pkg']),
    ('share/' + package_name, ['package.xml']),
    ('share/' + package_name + '/launch', glob('launch/*.py')),
]

编译与可执行文件位置

编译命令

1
2

colcon build
colcon build --symlink-install  # Python 开发推荐，修改后无需重新编译

Workspace 结构

1
2
3
4
5
6
7
8
9
10

workspace/
├── build/          # 中间构建文件
├── install/        # 最终安装文件
│   └── <package_name>/
│       ├── lib/<package_name>/
│       │   └── <executable>    # 可执行文件位置
│       └── share/<package_name>/
│           ├── launch/
│           └── package.xml
└── src/            # 源代码

运行节点

1
2

source install/setup.bash
ros2 run <package_name> <executable_name>

Launch 文件编写

基本结构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

from launch import LaunchDescription
from launch_ros.actions import Node

def generate_launch_description():
    return LaunchDescription([
        Node(
            package='package_one',
            executable='node_one',
            name='custom_name',           # 可选，覆盖默认节点名
            parameters=[{'param1': 'value1'}],
            remappings=[('/old_topic', '/new_topic')],
            output='screen',              # 输出到终端
        ),
        Node(
            package='package_two',
            executable='node_two',
        ),
    ])

Node 常用参数

包含其他 Launch 文件

1
2
3
4
5
6
7
8
9
10
11
12
13

from launch.actions import IncludeLaunchDescription
from launch.launch_description_sources import PythonLaunchDescriptionSource
from ament_index_python.packages import get_package_share_directory
import os

def generate_launch_description():
    other_launch = IncludeLaunchDescription(
        PythonLaunchDescriptionSource(
            os.path.join(get_package_share_directory('other_pkg'),
                        'launch', 'other.launch.py')
        )
    )
    return LaunchDescription([other_launch])

运行 Launch 文件

1

ros2 launch <package_name> <launch_file.py>

接口包（Interface Package）

专门定义自定义 msg/srv/action 的包，必须使用 ament_cmake。

目录结构

1
2
3
4
5
6
7
8
9

my_interfaces/
├── CMakeLists.txt
├── package.xml
├── msg/
│   └── MyMessage.msg
├── srv/
│   └── MyService.srv
└── action/
    └── MyAction.action

package.xml 关键依赖

1
2
3
4

<buildtool_depend>ament_cmake</buildtool_depend>
<build_depend>rosidl_default_generators</build_depend>
<exec_depend>rosidl_default_runtime</exec_depend>
<member_of_group>rosidl_interface_packages</member_of_group>

CMakeLists.txt 关键配置

1
2
3
4
5
6
7
8

find_package(rosidl_default_generators REQUIRED)

rosidl_generate_interfaces(${PROJECT_NAME}
  "msg/MyMessage.msg"
  "srv/MyService.srv"
  "action/MyAction.action"
  DEPENDENCIES geometry_msgs std_msgs  # 依赖的其他接口包
)

在其他包中使用

1
2

<!-- package.xml -->
<depend>my_interfaces</depend>

1
2
3
4

# Python
from my_interfaces.msg import MyMessage
from my_interfaces.srv import MyService
from my_interfaces.action import MyAction

注意事项

• 接口包（msg/srv/action）必须使用 CMake，不能用纯 Python 包
• --symlink-install 对 Python 包开发很有用，修改后无需重新编译
• resource/ 目录中的标记文件是 ament_python 包发现机制必需的
• Launch 文件支持 .py、.xml、.yaml 三种格式，Python 格式最灵活

3D-Scene
Atlas
CLIP
CV
Chemistry
Contrastive-Learning
DINO
DT
Diffusion
DiffusionModel
Embodied-AI
FL
FPN
FoundationModel
Gated-NN
HRI
Hierarchical
HumanoidRobot
Image-Grounding
Image-Text
Image-generation
Image2Text
ImgGen
ImitationLearning
LLM
LatentAction
ML
MoE
MR/AR
Message-Passing
Multi-modal
Multi-view
MultiModal
NLP
NN
Object-Detection
Open-Vocabulary
Panoptic
Physical-Scene
PoseEstimation
QML
Quantum
RL
RNN
Real2Sim
Reconstruct
Representation-Learning
RobotLearning
Robotics
Scalability
Scene-graph
Scene-synthesis
Segmentation
Semantic
Sim2Real
Subgraph
Survey
Task-Planning
Transformer
Translation-Embedding
VAE
VLA
VLM
VLP
VQ-VAE
ViT
Visual-Relation
WorldModel
Unified-Multimodal

LingBot-VLA: A Pragmatic VLA Foundation Model

论文链接 | GitHub | Checkpoints

研究背景

视觉-语言-动作（Vision-Language-Action, VLA）基础模型是机器人操作领域的新兴方法，通过大规模预训练使机器人能够执行由自然语言指令引导的多样化操作任务。然而，目前存在以下问题：

• 缺乏关于真实机器人性能如何随预训练数据规模增长而变化的系统性实证研究
• 缺乏高效的训练代码库来支持大规模数据的扩展评估
• 缺乏跨多平台、多任务的系统性真实世界评估基准

研究目标

1. 探索 VLA 模型在真实世界机器人数据上的扩展规律（Scaling Law）
2. 建立跨多平台、多任务的系统性真实世界评估基准
3. 开发高效的大规模 VLA 训练代码库

核心概念

Mixture-of-Transformers (MoT) 架构

将预训练的视觉语言模型（VLM）与动作生成模块（Action Expert）结合，通过共享自注意力机制实现跨模态统一建模。视觉-语言和动作模态通过独立的 Transformer 路径处理，既保留 VLM 的语义先验，又避免跨模态干扰。

Flow Matching

一种用于连续动作建模的生成方法，通过学习从噪声到目标动作的向量场来生成平滑的机器人控制信号。

Blockwise Causal Attention

将序列划分为图像-指令块、状态块和动作块，应用因果掩码防止信息泄露，确保动作预测只能访问当前和历史观测信息。

研究方法

模型架构

LingBot-VLA 采用 MoT 架构，整合 Qwen2.5-VL 作为视觉语言骨干网络，配合独立的 Action Expert 模块：

联合建模序列：
$$[O_t, A_t] = [I_t^1, I_t^2, I_t^3, T_t, s_t, a_t, a_{t+1}, \ldots, a_{t+T-1}]$$

其中 $I_t^{1,2,3}$ 为三视角图像，$T_t$ 为任务指令，$s_t$ 为机器人状态，$A_t$ 为动作序列（chunk length = 50）。
类似[[BAGEL-Unified-Multimodal-Pretraining]]

Flow Matching 目标函数

定义概率路径通过线性插值：
$$A_{t,s} = sA_t + (1-s)\epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$

训练目标：
$$\mathcal{L}{FM} = \mathbb{E}{s \sim U[0,1], A_t, \epsilon}|v_\theta(A_{t,s}, O_t, s) - (A_t - \epsilon)|^2$$

深度信息蒸馏

通过可学习查询 $Q_t$ 与 LingBot-Depth 模型的深度 token $D_t$ 对齐，增强空间感知：
$$\mathcal{L}{distill} = \mathbb{E}{Q_t}|Proj(Q_t) - D_t|$$

训练效率优化

• FSDP 分布式策略：采用混合分片数据并行（HSDP），为 Action Expert 模块构建专用分片组
• 算子级优化：使用 FlexAttention 优化稀疏注意力计算，torch.compile 进行算子融合
• 混合精度：reduction 使用 float32，存储和通信使用 bfloat16

主要发现

扩展规律验证

• 预训练数据从 3,000 小时扩展到 20,000 小时，下游任务成功率持续显著提升
• 在 20,000 小时数据量下仍未出现饱和迹象，表明 VLA 性能持续受益于数据量增加
• 首次提供了真实世界机器人学习中有利扩展特性的实证证据

数据效率

• 仅使用 80 个演示即可超越 π0.5 使用 130 个演示的性能
• 随着后训练数据量增加，与基线的性能差距进一步扩大

实验设计

预训练数据

• 规模：约 20,000 小时真实世界操作数据
• 来源：9 种双臂机器人平台（AgiBot G1、AgileX、Galaxea R1Lite/R1Pro、Realman Rs-02、Leju KUAVO、Qinglong、ARX Lift2、Bimanual Franka）

评估基准

• GM-100 基准：100 个操作任务，39,000 个专家演示
• 评估规模：3 个机器人平台，每任务 130 个后训练 episode，共 22,500 次试验
• 对比方法：π0.5、GR00T N1.6、WALL-OSS

真实世界评估结果

仿真评估结果（RoboTwin 2.0）

训练吞吐量

• 实现 261 samples/s/GPU（8-GPU 配置）
• 相比 StarVLA、DexBotic、OpenPI 提升 1.5~2.8 倍
• 在 256 GPU 规模下仍保持接近线性扩展

讨论

优势

• 首次在大规模真实世界数据上验证 VLA 扩展规律
• 显著优于现有 SOTA 方法的多平台泛化能力
• 高效的训练代码库，支持大规模分布式训练
• 开源代码、模型和基准数据

局限性

• 目前仅支持双臂机器人配置
• 评估主要集中在桌面操作任务
• 深度信息蒸馏依赖额外的 LingBot-Depth 模型

相关工作

Foundation VLA

• π0：Vision-language-action flow model for general robot control
• π0.5：VLA model with open-world generalization
• GR00T N1.6：Open foundation model for generalist humanoid robots

Spatial VLA

• SpatialVLA：探索 VLA 模型的空间表示
• Spatial Forcing：通过对齐策略增强 VLA 空间理解
• GeoVLA：赋能 VLA 模型 3D 表示能力

高效训练框架

• OpenPI：支持 JAX 和 PyTorch 的 π 系列模型训练框架
• StarVLA：VLA 和 VLM 联合训练的模块化代码库
• DexBotic：统一高效��� VLA 开发生命周期解决方案

未来方向

1. 扩展机器人类型：整合单臂和移动机器人数据，支持更多样化的操作能力
2. 非约束环境：探索在非结构化环境中的移动操作能力
3. 持续扩展：进一步扩大预训练数据规模，探索扩展规律的上限

参考文献

• Black et al. (2025). π0: A vision-language-action flow model for general robot control. RSS.
• Black et al. (2025). π0.5: A vision-language-action model with open-world generalization. CoRL.
• Bjorck et al. (2025). GR00T N1: An open foundation model for generalist humanoid robots. arXiv.
• Bai et al. (2025). Qwen2.5-VL technical report. arXiv.
• Lipman et al. (2022). Flow matching for generative modeling. arXiv.
• Wang et al. (2026). The Great March 100: 100 detail-oriented tasks for evaluating embodied AI agents.

人形机器人控制方法综述

Boston Dynamics | Tesla Optimus | 1X Technologies

概述

人形机器人控制是机器人学中最具挑战性的领域之一，需要处理高维状态空间、复杂动力学、多接触约束和实时性要求。当前主流方法可分为基于模型的控制、学习方法以及两者的混合方案。

主流控制方法

1. 基于模型的控制 (Model-Based Control)

全身动力学控制 (Whole-Body Control, WBC)

• 原理：通过优化求解器实时计算关节力矩
• 目标：满足接触约束和任务目标
• 优势：物理可解释性强，稳定性有保证
• 应用：Boston Dynamics Atlas、ANYmal

模型预测控制 (Model Predictive Control, MPC)

• 原理：预测未来状态轨迹，优化控制序列
• 特点：滚动优化，只执行第一步控制
• 优势：可处理约束，具有前瞻性
• 详见：[[MPC-and-Learning-Integration]]

零力矩点控制 (Zero Moment Point, ZMP)

• 原理：确保 ZMP 在支撑多边形内
• 特点：经典方法，理论成熟
• 局限：假设平坦地面，无法处理动态运动
• 应用：早期人形机器人（ASIMO、HRP 系列）

质心动量控制 (Centroidal Momentum Control)

• 原理：控制质心轨迹和角动量
• 优势：降维表示，计算效率高
• 应用：多足机器人步态规划

2. 强化学习 (Reinforcement Learning)

端到端策略学习

• 输入：传感器原始数据（视觉、IMU、关节状态）
• 输出：关节控制指令
• 优势：无需手工设计特征和控制器
• 挑战：样本效率低，sim-to-real gap

分层强化学习 (Hierarchical RL)

1
2
3

高层策略: 任务规划、步态选择
    ↓
低层策略: 关节控制、力控制

• 优势：解耦决策层次，提高学习效率
• 代表：DeepMind 的分层控制架构

Sim-to-Real 迁移

• Domain Randomization：随机化仿真参数
• Domain Adaptation：使用真实数据微调
• System Identification：辨识真实系统参数
• 成功案例：MIT Mini Cheetah、Unitree Go1

3. 模仿学习 (Imitation Learning)

行为克隆 (Behavior Cloning)

• 数据来源：人类演示、专家策略
• 方法：监督学习拟合状态-动作映射
• 局限：分布偏移问题

远程操作数据 (Teleoperation Data)

• 流程：
  1. 人类通过遥操作控制机器人
  2. 记录传感器数据和动作序列
  3. 训练神经网络策略
• 代表：Tesla Optimus、1X NEO

动作捕捉 (Motion Capture)

• 方法：使用人类运动数据训练策略
• 技术：Retargeting（运动重定向）
• 挑战：人类和机器人动力学差异

4. 混合方法

学习 + 优化

1
2
3
4
5

# 神经网络预测参考轨迹
reference_trajectory = neural_net.predict(observation)

# 优化器跟踪轨迹
control = optimizer.track(reference_trajectory, constraints)

学习残差 (Residual Learning)

$$
u_{total} = u_{model} + u_{learned}
$$

• $u_{model}$：传统控制器输出
• $u_{learned}$：神经网络学习的补偿项
• 优势：结合两者优点，提高鲁棒性

视觉-运动策略 (Visuomotor Policy)

• 输入：RGB/深度图像 + 本体感受
• 输出：运动控制指令
• 架构：CNN 特征提取 + RNN/Transformer 序列建模

最新趋势

基础模型 (Foundation Models)

Vision-Language-Action (VLA)

• 代表：RT-2、OpenVLA、PaLM-E
• 能力：
  • 理解自然语言指令
  • 视觉场景理解
  • 生成机器人动作
• 优势：零样本泛化、多任务学习

扩散策略 (Diffusion Policy)

• 原理：将动作生成建模为去噪过程
• 优势：
  • 多模态动作分布
  • 生成平滑轨迹
  • 避免模式崩溃
• 应用：灵巧操作、复杂任务

Transformer-based 方法

• Decision Transformer：序列决策建模
• Trajectory Transformer：轨迹生成
• 优势：长期依赖建模、上下文学习

方法对比

工业界实践

Boston Dynamics Atlas

• 方法：MPC + 优化 + 学习补偿
• 特点：高动态运动（后空翻、跑酷）
• 核心：接触力优化、全身协调

Tesla Optimus

• 方法：端到端神经网络 + 全身控制器
• 数据：大规模遥操作数据
• 目标：通用人形机器人

Unitree H1

• 方法：强化学习 + MPC
• 特点：快速行走、动态平衡
• 开源：部分算法和仿真环境

实现建议

选择控制方法的考虑因素

1. 任务复杂度

   • 简单任务：基于模型控制
   • 复杂任务：学习方法或混合方案

2. 数据可用性

   • 有专家数据：模仿学习
   • 无数据：强化学习或基于模型

3. 实时性要求

   • 高实时性：MPC、WBC
   • 可离线计算：学习方法

4. 安全性要求

   • 高安全性：混合方法（学习 + 约束优化）
   • 探索性任务：纯学习方法

开源资源

仿真环境

• MuJoCo：高效物理引擎
• Isaac Gym：GPU 加速并行仿真
• PyBullet：轻量级、易用

控制库

• Pinocchio：刚体动力学库
• TSID：任务空间逆动力学
• Crocoddyl：最优控制库

学习框架

• Stable Baselines3：RL 算法库
• RLlib：分布式 RL
• LeRobot：机器人学习框架

未来方向

1. 大规模预训练模型：类似 GPT 的机器人基础模型
2. 物理信息神经网络：融合物理先验的学习方法
3. 可微分仿真：端到端优化仿真和控制
4. 多模态感知融合：视觉、触觉、力觉的统一表示
5. 人机协作：人类反馈驱动的在线学习

参考资源

• MIT Humanoid Robotics Group
• DeepMind Robotics
• Berkeley Robot Learning Lab
• CMU Robotics Institute