人形机器人控制方法综述

Boston Dynamics | Tesla Optimus | 1X Technologies

概述

人形机器人控制是机器人学中最具挑战性的领域之一，需要处理高维状态空间、复杂动力学、多接触约束和实时性要求。当前主流方法可分为基于模型的控制、学习方法以及两者的混合方案。

主流控制方法

1. 基于模型的控制 (Model-Based Control)

全身动力学控制 (Whole-Body Control, WBC)

• 原理：通过优化求解器实时计算关节力矩
• 目标：满足接触约束和任务目标
• 优势：物理可解释性强，稳定性有保证
• 应用：Boston Dynamics Atlas、ANYmal

模型预测控制 (Model Predictive Control, MPC)

• 原理：预测未来状态轨迹，优化控制序列
• 特点：滚动优化，只执行第一步控制
• 优势：可处理约束，具有前瞻性
• 详见：[[MPC-and-Learning-Integration]]

零力矩点控制 (Zero Moment Point, ZMP)

• 原理：确保 ZMP 在支撑多边形内
• 特点：经典方法，理论成熟
• 局限：假设平坦地面，无法处理动态运动
• 应用：早期人形机器人（ASIMO、HRP 系列）

质心动量控制 (Centroidal Momentum Control)

• 原理：控制质心轨迹和角动量
• 优势：降维表示，计算效率高
• 应用：多足机器人步态规划

2. 强化学习 (Reinforcement Learning)

端到端策略学习

• 输入：传感器原始数据（视觉、IMU、关节状态）
• 输出：关节控制指令
• 优势：无需手工设计特征和控制器
• 挑战：样本效率低，sim-to-real gap

分层强化学习 (Hierarchical RL)

1
2
3

高层策略: 任务规划、步态选择
    ↓
低层策略: 关节控制、力控制

• 优势：解耦决策层次，提高学习效率
• 代表：DeepMind 的分层控制架构

Sim-to-Real 迁移

• Domain Randomization：随机化仿真参数
• Domain Adaptation：使用真实数据微调
• System Identification：辨识真实系统参数
• 成功案例：MIT Mini Cheetah、Unitree Go1

3. 模仿学习 (Imitation Learning)

行为克隆 (Behavior Cloning)

• 数据来源：人类演示、专家策略
• 方法：监督学习拟合状态-动作映射
• 局限：分布偏移问题

远程操作数据 (Teleoperation Data)

• 流程：
  1. 人类通过遥操作控制机器人
  2. 记录传感器数据和动作序列
  3. 训练神经网络策略
• 代表：Tesla Optimus、1X NEO

动作捕捉 (Motion Capture)

• 方法：使用人类运动数据训练策略
• 技术：Retargeting（运动重定向）
• 挑战：人类和机器人动力学差异

4. 混合方法

学习 + 优化

1
2
3
4
5

# 神经网络预测参考轨迹
reference_trajectory = neural_net.predict(observation)

# 优化器跟踪轨迹
control = optimizer.track(reference_trajectory, constraints)

学习残差 (Residual Learning)

$$
u_{total} = u_{model} + u_{learned}
$$

• $u_{model}$：传统控制器输出
• $u_{learned}$：神经网络学习的补偿项
• 优势：结合两者优点，提高鲁棒性

视觉-运动策略 (Visuomotor Policy)

• 输入：RGB/深度图像 + 本体感受
• 输出：运动控制指令
• 架构：CNN 特征提取 + RNN/Transformer 序列建模

最新趋势

基础模型 (Foundation Models)

Vision-Language-Action (VLA)

• 代表：RT-2、OpenVLA、PaLM-E
• 能力：
  • 理解自然语言指令
  • 视觉场景理解
  • 生成机器人动作
• 优势：零样本泛化、多任务学习

扩散策略 (Diffusion Policy)

• 原理：将动作生成建模为去噪过程
• 优势：
  • 多模态动作分布
  • 生成平滑轨迹
  • 避免模式崩溃
• 应用：灵巧操作、复杂任务

Transformer-based 方法

• Decision Transformer：序列决策建模
• Trajectory Transformer：轨迹生成
• 优势：长期依赖建模、上下文学习

方法对比

工业界实践

Boston Dynamics Atlas

• 方法：MPC + 优化 + 学习补偿
• 特点：高动态运动（后空翻、跑酷）
• 核心：接触力优化、全身协调

Tesla Optimus

• 方法：端到端神经网络 + 全身控制器
• 数据：大规模遥操作数据
• 目标：通用人形机器人

Unitree H1

• 方法：强化学习 + MPC
• 特点：快速行走、动态平衡
• 开源：部分算法和仿真环境

实现建议

选择控制方法的考虑因素

1. 任务复杂度

   • 简单任务：基于模型控制
   • 复杂任务：学习方法或混合方案

2. 数据可用性

   • 有专家数据：模仿学习
   • 无数据：强化学习或基于模型

3. 实时性要求

   • 高实时性：MPC、WBC
   • 可离线计算：学习方法

4. 安全性要求

   • 高安全性：混合方法（学习 + 约束优化）
   • 探索性任务：纯学习方法

开源资源

仿真环境

• MuJoCo：高效物理引擎
• Isaac Gym：GPU 加速并行仿真
• PyBullet：轻量级、易用

控制库

• Pinocchio：刚体动力学库
• TSID：任务空间逆动力学
• Crocoddyl：最优控制库

学习框架

• Stable Baselines3：RL 算法库
• RLlib：分布式 RL
• LeRobot：机器人学习框架

未来方向

1. 大规模预训练模型：类似 GPT 的机器人基础模型
2. 物理信息神经网络：融合物理先验的学习方法
3. 可微分仿真：端到端优化仿真和控制
4. 多模态感知融合：视觉、触觉、力觉的统一表示
5. 人机协作：人类反馈驱动的在线学习

参考资源

• MIT Humanoid Robotics Group
• DeepMind Robotics
• Berkeley Robot Learning Lab
• CMU Robotics Institute

Autonomous Driving

• Autonomous Driving
  • Perception
  • Decision-making
    • Architecture
      • Pre-trip decisions
      • In-trip decisions
      • Post-trip decision
  • Speed tracking
    • Dynamic system
      • Open-loop control
      • Closed-loop control
        • Linear controller
    • LTI system
      • Control of LTI system
  • Speed tracking
  • Trajectory tracking
    • Control policy

Perception

• Navigation tool
• Camera
• Radar
• LiDAR
• Infrared detector
• Speedometer
• veh-veh communication
• veh-infrastructure communication

Decision-making

• departure time
• good route
• good lane
• driving style
• way to accel/decel
• make a turn
• park location

Architecture

• Pre-trip

  trip generation, modal choice, routine choice

• In-trip

  Path planning, Maneuver regulation

• Post-trip

  Parking

Pre-trip decisions

• Centralized

  central command center send instructions
  Some win, some lose

• Decentralized

  plan trip independently, selfish
  little communication
  Sometime efficient, sometime inefficient

In-trip decisions

• offline info

  static, in form of map

• online info

  enable the route to be adapted to changing traffic conditions

Post-trip decision

Speed tracking

Dynamic system

• State Variable

  $v[t]$

• State space

  $R>= 0$

• Control input

  $u[t]$(accel)

• System dynamic

  $v[t+dt] = v[t]+u[t]*dt$

Open-loop control

Specify the control input $u[t]$ for all t in $[0,T]$
not a good idea for autonomous driving.

In practice, we need to consider the uncertainty of the system.
We should have:
$$
v[t+dt]=v[t]+u[t]dt+w(t)
$$
Where w(t) is the noise term capturing the uncertainty of the system.

Closed-loop control

Specify the control input $u[t]$ as a function of the state $v[t]$
able to adapt to the uncertainty of the system.
Compare the state $v[t]$ with the desired state $v_desired[t]$
Essentially, we need a mapping from state to control input
like map speed to acceleration
$$
v[t+dt]=v[t]+mu[v[t]]dt+w(t)
$$

Linear controller

the $u[t]$ has linear relationship with $v[t]$
$$
\mu[v] = k[v-v_{desired}]
$$

LTI system

linear time-invariant

Control of LTI system

exponential convergence is stronger than asymptotic convergent
if LTI system is asymptotic convergent, it is also exponential convergent
$$
x[t+1]=ax[t]+bu[t]
$$

Speed tracking

• given:

  $v_{desired}, \delta$

• determine:

  $u[t]$ $t = 0,1,2$

• state

  $v[t]$
  $v[t+1] = v[t] + u[t]\delta + w[t]$

select $u[t]$ so that $w[t]$ will not accumulate

$u[t]=\mu(v[t]) = kv[t]$

$$
v[t+1] = f(v[t],u[t])
$$

Remember the review question

Trajectory tracking

Overview:

• track means asymptotic convergent

• $x[t]$ and $x_{desired}[t]$

• $\lim_{t\rightarrow\infty}|x[t]-x_{desired}[t] | = 0$

• state of system:$[x[t], v[t]]^T$

• if successful:
  $$
  [x[t], v[t]]^T \rightarrow [x_{desired}[t], v_{desired}[t]]^T
  $$

Control policy

• A control policy is a function
• This function maps a state to a control input
  $$
  u[t] = f(x[t],v[t])
  $$

$$
u[t] = -k_1(x[t]-x_{desired}[t])-k_2(v[t]-v_{desired}[t])
$$

$$
k_1,k_2>0
$$

Aircraft control policy

State Variable

Intuitive

• Aircraft
  • Rotation (in euler angle: x,y,z)
  • Position (In the world coordinate system:x,y,z)
  • Linear velocity (In the world coordinate system: x,y,z)
  • Angular velocity (In the world coordinate system: x,y,z)
  • Acceleration (In the world coordinate system:x,y,z)
• Carrier Vessel Landing Runway
  • Position
  • Rotation (fixed)
  • Velocity (fixed)

Extensive

• Aircraft
  • AoA (angle of attack 攻角)

Decision Variable

• Aircraft
  • Pitch angle (control aircraft’s rotation along x axis)
  • Roll angle (control aircraft’s rotation along z axis)
  • Yaw angle (control aircraft’s rotation along y axis)
  • Throttle (control thrust)

Level 1 (Basic) Policy

Only contain the control over control surface (on control over throttle)

Attitude Control/Maintainance

Pitch（俯仰角） C/M

Function: KeepPitch()

Control the angle of horizontal tail (elevator)

1. First keep the angle of elevator same with AoA(攻角), to avoid the disturbance of the horizontal tail on the attitide of the aircraft.

   1	aircraft.PitchAngle = aircraft.AoA;

   这里的aircraft.PitchAngle指的是飞机升降舵的角度(下片为正)

2. 根据当前俯仰角，俯仰速度，和目标俯仰角，调整升降舵面的角度

   1	aircraft.PitchAngle += 5 * (p - aircraft.Pitch) / Mathf.Exp(10 * aircraft.PitchSpeed * Mathf.Sign(p - aircraft.Pitch));

Other Attitude C/M

与俯仰角类似（分别控制滚转舵面以及偏航舵面），不过不需要第一步

Level 2 Policy

Velocity Direction Control/Maintainance

Gliding Angle (下滑角)

Control the thrust of aircraft to change the angle of gliding

1. 保持飞机的俯仰角不变(5度仰角)

   1	KeepPitch(5f);

2. 计算当前下滑角

   1	float velAngle = 90 - Vector3.Angle(aircraft.rb.velocity, Vector3.up);

3. 根据下滑角更改油门大小

   1	aircraft.Thrust += (p - velAngle)/500f;

Level 3 Policy

Follow Trajectory

Vertical Approaching (竖直平面上接近预定下滑道)

通过调整飞机的下滑角来使飞机在竖直面上接近并维持在理想的下滑道

1. 计算偏差对应的向量

   1	Vector3 approachDirection = Vector3.ProjectOnPlane(route.Destination - transform.position, route.direction);

2. 根据偏差值调整下滑角的大小（-3为目标下滑轨道的下滑角）

   1	ThrustKeepGliding(-3 + Mathf.Clamp(approachDirection.y / 10f, -5,5));

Horizontal Approaching (水平面上接近预定下滑道)

通过调整飞机的偏航舵面角度（进而影响飞机的y轴rotation）来使飞机在水平面上接近并维持在理想的航道上

1. 计算偏差对应的向量

   1 2 3 4 5 6 7 8 9 10 11

   Vector3 approachDirection = Vector3.ProjectOnPlane(route.Destination - transform.position, route.direction); float distance = 0; if (Vector3.Angle(approachDirection, transform.right) < 90) { distance = Vector3.ProjectOnPlane(approachDirection, Vector3.up).magnitude; } else { distance = -Vector3.ProjectOnPlane(approachDirection, Vector3.up).magnitude; }

2. 根据偏差值调整飞机的目标偏航角度（-8为目标下滑轨道的偏航角度）

   1	KeepYaw(-8 + Mathf.Clamp(distance / 10f, -50, 50));

Get the ideal trajectory（补充）

基本的策略以及阐述完毕，那么所谓的理想下滑道到底应该怎么得到呢？
理想下滑道是一个射线，包含一个终点（飞机着陆的终点）和一个方向（飞机接近的方向）

1
2
3
4
5

public class Target_Route
{
	public Vector3 Destination;
	public Vector3 direction;
}

理想航道的偏航角和下滑角已知（分别为-8（平行于着陆跑道）和-3）
通过迭代飞机着陆所需时间来求得下滑道终点的位置

1
2
3
4
5
6
7
8
9
10
11
12

route.Destination = CV.transform.position;
route.direction = new Vector3(-0.14f, -0.05f, 0.99f).normalized;
// 获取飞机速度在下滑道方向上投影的大小
float axialVel = Vector3.Dot(aircraft.rb.velocity, route.direction);

// calculate precise destination
float FlightTime = 0;
for (int i = 0; i < 10; i++)
{
	FlightTime = Vector3.Dot(route.Destination - aircraft.transform.position,route.direction) / axialVel;// 获取预计到达终点需要的时间
	route.Destination = CV.transform.position + 15 * FlightTime * Vector3.forward; // 其中15是航母的速度，Vector3.forward是航母前进方向
}