Posted 2026-02-14Updated 2026-02-15Notea few seconds read (About 94 words)

3D-Scene
Atlas
CLIP
CV
Chemistry
Contrastive-Learning
DINO
DT
Diffusion
DiffusionModel
Embodied-AI
FL
FPN
FoundationModel
Gated-NN
HRI
Hierarchical
HumanoidRobot
Image-Grounding
Image-Text
Image-generation
Image2Text
ImgGen
ImitationLearning
LLM
LatentAction
ML
MoE
MR/AR
Message-Passing
Multi-modal
Multi-view
MultiModal
NLP
NN
Object-Detection
Open-Vocabulary
Panoptic
Physical-Scene
PoseEstimation
QML
Quantum
RL
RNN
Real2Sim
Reconstruct
Representation-Learning
RobotLearning
Robotics
Scalability
Scene-graph
Scene-synthesis
Segmentation
Semantic
Sim2Real
Subgraph
Survey
Task-Planning
Transformer
Translation-Embedding
VAE
VLA
VLM
VLP
VQ-VAE
ViT
Visual-Relation
WorldModel
Unified-Multimodal

#Research-paper

Posted 2026-02-05Updated 2026-02-15Note11 minutes read (About 1603 words)

人形机器人控制方法综述

Boston Dynamics | Tesla Optimus | 1X Technologies

概述

人形机器人控制是机器人学中最具挑战性的领域之一，需要处理高维状态空间、复杂动力学、多接触约束和实时性要求。当前主流方法可分为基于模型的控制、学习方法以及两者的混合方案。

主流控制方法

1. 基于模型的控制 (Model-Based Control)

全身动力学控制 (Whole-Body Control, WBC)

原理：通过优化求解器实时计算关节力矩
目标：满足接触约束和任务目标
优势：物理可解释性强，稳定性有保证
应用：Boston Dynamics Atlas、ANYmal

模型预测控制 (Model Predictive Control, MPC)

原理：预测未来状态轨迹，优化控制序列
特点：滚动优化，只执行第一步控制
优势：可处理约束，具有前瞻性
详见：[[MPC-and-Learning-Integration]]

零力矩点控制 (Zero Moment Point, ZMP)

原理：确保 ZMP 在支撑多边形内
特点：经典方法，理论成熟
局限：假设平坦地面，无法处理动态运动
应用：早期人形机器人（ASIMO、HRP 系列）

质心动量控制 (Centroidal Momentum Control)

原理：控制质心轨迹和角动量
优势：降维表示，计算效率高
应用：多足机器人步态规划

2. 强化学习 (Reinforcement Learning)

端到端策略学习

输入：传感器原始数据（视觉、IMU、关节状态）
输出：关节控制指令
优势：无需手工设计特征和控制器
挑战：样本效率低，sim-to-real gap

分层强化学习 (Hierarchical RL)

1
2
3

高层策略: 任务规划、步态选择
    ↓
低层策略: 关节控制、力控制

优势：解耦决策层次，提高学习效率
代表：DeepMind 的分层控制架构

Sim-to-Real 迁移

Domain Randomization：随机化仿真参数
Domain Adaptation：使用真实数据微调
System Identification：辨识真实系统参数
成功案例：MIT Mini Cheetah、Unitree Go1

3. 模仿学习 (Imitation Learning)

行为克隆 (Behavior Cloning)

数据来源：人类演示、专家策略
方法：监督学习拟合状态-动作映射
局限：分布偏移问题

远程操作数据 (Teleoperation Data)

流程：
1. 人类通过遥操作控制机器人
2. 记录传感器数据和动作序列
3. 训练神经网络策略
代表：Tesla Optimus、1X NEO

动作捕捉 (Motion Capture)

方法：使用人类运动数据训练策略
技术：Retargeting（运动重定向）
挑战：人类和机器人动力学差异

4. 混合方法

学习 + 优化

# 神经网络预测参考轨迹
reference_trajectory = neural_net.predict(observation)

# 优化器跟踪轨迹
control = optimizer.track(reference_trajectory, constraints)

学习残差 (Residual Learning)

$$
u_{total} = u_{model} + u_{learned}
$$

$u_{model}$：传统控制器输出
$u_{learned}$：神经网络学习的补偿项
优势：结合两者优点，提高鲁棒性

视觉-运动策略 (Visuomotor Policy)

输入：RGB/深度图像 + 本体感受
输出：运动控制指令
架构：CNN 特征提取 + RNN/Transformer 序列建模

方法对比

方法类别	优势	劣势	适用场景
基于模型控制	稳定性强、可解释	需要精确模型、泛化性差	结构化环境、已知任务
强化学习	适应性强、端到端	样本效率低、训练困难	复杂环境、探索任务
模仿学习	数据效率高、快速部署	受限于演示质量	有专家数据的任务
混合方法	结合优点、鲁棒性好	系统复杂度高	工业应用、实际部署

工业界实践

Boston Dynamics Atlas

方法：MPC + 优化 + 学习补偿
特点：高动态运动（后空翻、跑酷）
核心：接触力优化、全身协调

Tesla Optimus

方法：端到端神经网络 + 全身控制器
数据：大规模遥操作数据
目标：通用人形机器人

Unitree H1

方法：强化学习 + MPC
特点：快速行走、动态平衡
开源：部分算法和仿真环境

实现建议

选择控制方法的考虑因素

任务复杂度
- 简单任务：基于模型控制
- 复杂任务：学习方法或混合方案
数据可用性
- 有专家数据：模仿学习
- 无数据：强化学习或基于模型
实时性要求
- 高实时性：MPC、WBC
- 可离线计算：学习方法
安全性要求
- 高安全性：混合方法（学习 + 约束优化）
- 探索性任务：纯学习方法

开源资源

仿真环境

MuJoCo：高效物理引擎
Isaac Gym：GPU 加速并行仿真
PyBullet：轻量级、易用

控制库

Pinocchio：刚体动力学库
TSID：任务空间逆动力学
Crocoddyl：最优控制库

学习框架

Stable Baselines3：RL 算法库
RLlib：分布式 RL
LeRobot：机器人学习框架

未来方向

大规模预训练模型：类似 GPT 的机器人基础模型
物理信息神经网络：融合物理先验的学习方法
可微分仿真：端到端优化仿真和控制
多模态感知融合：视觉、触觉、力觉的统一表示
人机协作：人类反馈驱动的在线学习

参考资源

Posted 2026-02-05Updated 2026-02-15Note21 minutes read (About 3181 words)

MPC与学习方法的融合

模型预测控制 (MPC) 与学习方法的融合

MuJoCo MPC | MPPI | Diffusion Policy

概述

模型预测控制 (Model Predictive Control, MPC) 是一种基于优化的控制方法，通过预测未来状态并优化控制序列来实现目标。将 MPC 与现代学习方法（VLA、Diffusion Policy）结合，可以同时获得学习方法的感知能力和 MPC 的物理可行性保证。

MPC 基础

核心思想

MPC 采用滚动优化 (Receding Horizon) 策略：

测量当前状态 $x(t)$
预测未来 $N$ 步的状态轨迹
求解优化问题得到控制序列
只执行第一步控制 $u(t)$
下一时刻重复上述过程

数学形式

离散时间 MPC 优化问题：

$$
\begin{align}
\min_{u_0, \ldots, u_{N-1}} \quad & \sum_{k=0}^{N-1} \left( |x_k - x_{ref}|^2_Q + |u_k|^2_R \right) + |x_N - x_{ref}|^2_P \
\text{subject to} \quad & x_{k+1} = f(x_k, u_k) \quad \text{(动力学约束)} \
& x_k \in \mathcal{X} \quad \text{(状态约束)} \
& u_k \in \mathcal{U} \quad \text{(控制约束)} \
& x_0 = x(t) \quad \text{(初始条件)}
\end{align}
$$

符号说明：

$x_k$：第 $k$ 步的状态
$u_k$：第 $k$ 步的控制输入
$Q, R, P$：权重矩阵
$\mathcal{X}, \mathcal{U}$：可行域

MPC 在人形机器人中的应用

1. 步态规划 MPC

简化模型：线性倒立摆模型 (Linear Inverted Pendulum Model, LIPM)

$$
\ddot{x} = \frac{g}{h}(x - p)
$$

$h$：质心高度
$p$：支撑点位置（落脚点）
$g$：重力加速度

控制变量：

足部落脚点位置
接触力分布

状态变量：

质心位置和速度
机器人姿态

目标：

跟踪期望速度
保持平衡稳定性

预测时域：通常 0.5-2 秒

2. 接触力优化 MPC

Boston Dynamics Atlas 使用的方法：

# 优化问题
minimize    sum(||f_i - f_desired||^2)  # 接触力偏差
subject to:
    # 动力学约束
    m * a_com = sum(f_i) + m * g
    I * alpha = sum(r_i × f_i)

    # 摩擦锥约束
    ||f_i_tangent|| <= mu * f_i_normal

    # 单侧约束
    f_i_normal >= 0

    # ZMP 约束
    ZMP in support_polygon

3. 全身运动 MPC

同时优化质心轨迹和关节运动
考虑动力学耦合
处理多接触场景（双足、手足并用）

MPC 与学习方法的融合架构

架构 1: 分层控制

┌────────────────────────────────┐
│  VLA / Diffusion Policy (高层)  │
│  - 视觉感知                      │
│  - 语言理解                      │
│  - 任务规划                      │
└────────────┬────────────────────┘
             │ 输出: 参考轨迹/目标
             ↓
┌─────────────────────────────────┐
│         MPC (低层)               │
│  - 轨迹跟踪                      │
│  - 约束满足                      │
│  - 稳定性保证                    │
└────────────┬────────────────────┘
             │ 输出: 关节力矩
             ↓
┌─────────────────────────────────┐
│        机器人执行                │
└─────────────────────────────────┘

优势：

高层处理感知和决策
低层保证物理可行性
解耦复杂性

Diffusion Policy → MPC 集成

方案 A: 轨迹级集成

class DiffusionMPCController:
    def __init__(self):
        self.diffusion_policy = DiffusionPolicy()
        self.mpc = MPCController(horizon=20, dt=0.05)

    def control_step(self, observation):
        # Diffusion Policy 生成动作序列
        action_sequence = self.diffusion_policy.predict(
            observation,
            horizon=16,  # 预测未来 16 步
            num_samples=10  # 采样 10 条轨迹
        )

        # 选择最优轨迹（可选）
        best_trajectory = self.select_best(action_sequence)

        # 转换为 MPC 参考轨迹
        x_ref = self.action_to_state(best_trajectory)

        # MPC 跟踪轨迹
        u_opt = self.mpc.solve(
            x_current=self.get_state(),
            x_ref=x_ref,
            constraints={
                'joint_limits': True,
                'friction_cone': True,
                'stability': True
            }
        )

        return u_opt[0]  # 执行第一步

关键点：

Diffusion Policy 提供长期规划
MPC 提供短期精确控制
异步更新：Diffusion 可以较慢运行

方案 B: 目标级集成

# Diffusion Policy 输出高层目标
goal = diffusion_policy.predict_goal(observation)
# 例如: {"grasp_position": [x, y, z],
#        "contact_points": [...],
#        "gait_parameters": {...}}

# MPC 以此为终端约束
mpc.set_terminal_constraint(goal)
u_opt = mpc.solve(x_current)

优势：

更高层次的抽象
MPC 有更大优化自由度
减少 Diffusion Policy 的输出维度

VLA → MPC 集成

典型流程

┌──────────────────────────────┐
│  视觉输入 + 语言指令          │
│  "Pick up the red cup"       │
└──────────┬───────────────────┘
           │
           ↓
┌──────────────────────────────┐
│  VLA 模型 (如 RT-2, OpenVLA) │
│  - 视觉编码器                 │
│  - 语言编码器                 │
│  - 动作解码器                 │
└──────────┬───────────────────┘
           │ 输出
           ↓
┌──────────────────────────────┐
│  - 末端执行器目标位姿         │
│  - 期望接触力方向             │
│  - 步态参数                   │
└──────────┬───────────────────┘
           │
           ↓
┌──────────────────────────────┐
│  MPC 优化器                   │
│  目标: 跟踪 VLA 输出          │
│  约束: 动力学、稳定性、限位   │
└──────────┬───────────────────┘
           │
           ↓
┌──────────────────────────────┐
│  安全的控制指令               │
└──────────────────────────────┘

代码示例

class VLAMPCController:
    def __init__(self):
        self.vla = VLAModel()  # RT-2, OpenVLA, etc.
        self.mpc = MPCController(horizon=20, dt=0.05)
        self.update_freq = 10  # VLA 更新频率 (Hz)

    def control_step(self, obs, language_command):
        # 高层策略更新（较慢）
        if self.frame % (self.control_freq // self.update_freq) == 0:
            # VLA 预测
            vla_output = self.vla.predict(
                image=obs['camera'],
                language=language_command,
                proprioception=obs['joint_states']
            )

            # 解析 VLA 输出
            reference_traj = self.parse_vla_output(vla_output)
            self.mpc.set_reference(reference_traj)

        # 低层优化（快速）
        current_state = obs['robot_state']
        u_opt = self.mpc.solve(
            current_state,
            constraints={
                'friction_cone': True,
                'joint_limits': True,
                'stability': True,
                'collision_avoidance': True
            }
        )

        return u_opt[0]

    def parse_vla_output(self, vla_output):
        """将 VLA 输出转换为 MPC 参考轨迹"""
        # 示例: VLA 输出末端执行器位姿
        ee_pose = vla_output['end_effector_pose']

        # 使用逆运动学生成关节轨迹
        joint_traj = self.inverse_kinematics(ee_pose)

        return joint_traj

技术挑战与解决方案

1. 时间尺度不匹配

问题：

Diffusion Policy 生成：50-200 ms
VLA 推理：100-500 ms
MPC 求解：1-10 ms

解决方案：

异步运行

import threading

class AsyncController:
    def __init__(self):
        self.reference_traj = None
        self.lock = threading.Lock()

        # 启动高层策略线程
        self.policy_thread = threading.Thread(
            target=self.update_policy_loop
        )
        self.policy_thread.start()

    def update_policy_loop(self):
        while True:
            new_traj = self.diffusion_policy.predict(self.obs)
            with self.lock:
                self.reference_traj = new_traj
            time.sleep(0.1)  # 10 Hz 更新

    def control_step(self):
        with self.lock:
            ref = self.reference_traj

        # MPC 使用缓存的参考轨迹
        u = self.mpc.solve(self.state, ref)
        return u

预测更长时域

Diffusion Policy 预测 2-5 秒
MPC 消耗预测轨迹
分摊计算成本

快速采样方法

使用 DDIM (Denoising Diffusion Implicit Models)
减少扩散步数：50 步 → 10 步
牺牲少量质量换取速度

2. 可行性保证

问题：学习模型输出可能违反物理约束

解决方案 A: MPC 作为投影算子

def project_to_feasible(x_ref_infeasible):
    """将不可行参考投影到可行集"""
    x_ref_feasible = solve_qp(
        minimize    ||x - x_ref_infeasible||^2
        subject to  dynamics_constraints(x)
                    stability_constraints(x)
                    joint_limits(x)
    )
    return x_ref_feasible

解决方案 B: 软约束

$$
\min \sum |x_k - x_{ref}|^2_Q + |u_k|^2_R + \lambda \cdot \text{constraint_violation}
$$

允许轻微违反约束
通过权重 $\lambda$ 平衡跟踪和可行性

解决方案 C: 约束感知训练

# 训练时加入物理约束损失
loss = reconstruction_loss + \
       lambda_dynamics * dynamics_violation + \
       lambda_stability * stability_violation

3. 反馈闭环

问题：学习模型需要知道 MPC 的实际执行结果

解决方案：

class ClosedLoopController:
    def control_step(self, obs):
        # 计算跟踪误差
        tracking_error = self.x_ref - self.x_actual

        # 将误差作为观测的一部分
        augmented_obs = {
            'vision': obs['camera'],
            'proprioception': obs['joint_states'],
            'tracking_error': tracking_error,  # 新增
            'mpc_cost': self.mpc.last_cost     # 新增
        }

        # 策略根据反馈调整
        new_ref = self.policy.predict(augmented_obs)

        return new_ref

实际案例

MIT Cheetah 3

架构：

卷积网络 (地形感知)
    ↓
MPC (落脚点规划)
    ↓
WBC (全身控制)

成果：盲走、跑跳、楼梯攀爬

Tesla Optimus (推测)

架构：

神经网络策略 (遥操作数据训练)
    ↓ 输出期望关节位置/速度
全身控制器 (类 MPC)
    ↓ 考虑力矩限制、平衡约束
执行

DeepMind 的工作

论文：Learning Agile and Dynamic Motor Skills for Legged Robots

方法：

强化学习策略输出高层指令
MPC 作为安全层过滤不可行动作
在线适应环境变化

高级话题

1. 可微分 MPC

将 MPC 作为神经网络层：

import torch

class DifferentiableMPC(torch.nn.Module):
    def forward(self, x_current, x_ref):
        # 使用可微分优化求解器
        u_opt = cvxpylayers.solve_qp(
            Q, R, x_current, x_ref,
            dynamics_matrix, constraint_matrix
        )
        return u_opt

优势：

端到端训练
梯度可以反向传播到策略网络
联合优化感知和控制

2. 学习 MPC 参数

class LearnedMPC:
    def __init__(self):
        # 学习代价函数权重
        self.Q_net = nn.Linear(obs_dim, state_dim * state_dim)
        self.R_net = nn.Linear(obs_dim, action_dim * action_dim)

    def forward(self, obs, x_current):
        # 根据观测调整权重
        Q = self.Q_net(obs).reshape(state_dim, state_dim)
        R = self.R_net(obs).reshape(action_dim, action_dim)

        # 使用学习的权重求解 MPC
        u_opt = mpc_solve(x_current, Q, R)
        return u_opt

应用：

任务自适应
环境自适应
个性化控制

3. 隐式 MPC

思想：神经网络直接学习 MPC 的最优解映射

$$
u^* = \pi_\theta(x, x_{ref})
$$

训练：

# 生成训练数据
for _ in range(num_samples):
    x = sample_state()
    x_ref = sample_reference()
    u_opt = mpc_solve(x, x_ref)  # 精确求解

    dataset.append((x, x_ref, u_opt))

# 训练神经网络拟合
model.fit(dataset)

优势：

推理速度快（无需在线优化）
保留 MPC 的结构
可处理高维问题

实现建议

选择集成方式

场景	推荐方案	理由
高动态运动	MPC 主导 + 学习补偿	需要精确动力学控制
复杂感知任务	VLA 主导 + MPC 安全层	感知是瓶颈
灵巧操作	Diffusion Policy + MPC 跟踪	需要多模态动作
实时性要求高	隐式 MPC	避免在线优化
数据充足	端到端学习 + 可微分 MPC	联合优化

调试技巧

分别验证：先确保 MPC 和学习模型各自工作
可视化参考轨迹：检查学习模型输出是否合理
监控约束违反：记录 MPC 约束满足情况
渐进式集成：从简单场景开始，逐步增加复杂度

开源实现

MPC 库

MuJoCo MPC: Google DeepMind 的 MPC 实现
MPPI: Model Predictive Path Integral
acados: 快速非线性 MPC 求解器

学习框架

Diffusion Policy: 官方实现
OpenVLA: 开源 VLA 模型
LeRobot: Hugging Face 机器人学习库

集成示例

# 安装依赖
pip install mujoco mujoco-mpc
pip install diffusers transformers
pip install cvxpy osqp

# 示例代码
git clone https://github.com/google-deepmind/mujoco_mpc
cd mujoco_mpc/python
python examples/humanoid_walk.py

未来方向

世界模型 + MPC：学习环境动力学，用于 MPC 预测
多模态 MPC：处理接触模式切换的不确定性
分布式 MPC：多机器人协同控制
神经符号融合：结合符号推理和神经网络
终身学习：持续改进 MPC 参数和模型

参考资源

论文

“Learning Agile and Dynamic Motor Skills for Legged Robots” (DeepMind, 2019)
“Diffusion Policy: Visuomotor Policy Learning via Action Diffusion” (Columbia, 2023)
“RT-2: Vision-Language-Action Models” (Google, 2023)

课程

代码

概述

贝叶斯公式（Bayes’ Theorem）是概率论中的基本定理，描述了如何根据新证据更新对事件概率的信念。它是贝叶斯统计学、机器学习、人工智能等领域的理论基础，提供了一种系统化的方法来处理不确定性和进行推理。

公式形式

基本形式

$$P(A|B) = \frac{P(B|A) \times P(A)}{P(B)}$$

参数估计形式

$$P(\theta|D) = \frac{P(D|\theta) \times P(\theta)}{P(D)}$$

或写成：

$$\text{后验概率} = \frac{\text{似然} \times \text{先验}}{\text{证据}}$$

各项含义

符号	名称	含义
$P(\theta\|D)$	后验概率	看到数据 $D$ 后，参数 $\theta$ 的概率
$P(D\|\theta)$	似然	给定参数 $\theta$，观测到数据 $D$ 的概率
$P(\theta)$	先验概率	看到数据前，对参数 $\theta$ 的初始信念
$P(D)$	边缘似然/证据	数据 $D$ 出现的总概率（归一化常数）

边缘似然的计算

$$P(D) = \int P(D|\theta)P(\theta)d\theta$$

或离散情况：

$$P(D) = \sum_{\theta} P(D|\theta)P(\theta)$$

直观理解

贝叶斯公式回答：**”看到证据后，我应该如何更新我的信念？”**

$$\text{新信念} = \frac{\text{旧信念} \times \text{证据支持度}}{\text{归一化}}$$

核心思想：

从先验信念开始
根据观测到的证据调整信念
得到更新后的后验信念

实际例子

例 1：医疗诊断

场景：

某疾病患病率 1%（先验）
测试准确率：患病时阳性 95%，健康时阳性 5%
你测试呈阳性

问：你真的患病的概率是多少？

解答：

设：

$A$ = 患病
$B$ = 测试阳性

已知：

$P(A) = 0.01$（先验）
$P(B|A) = 0.95$（真阳性率）
$P(B|\neg A) = 0.05$（假阳性率）

计算边缘似然：

$$P(B) = P(B|A)P(A) + P(B|\neg A)P(\neg A)$$
$$= 0.95 \times 0.01 + 0.05 \times 0.99 = 0.059$$

应用贝叶斯公式：

$$P(A|B) = \frac{P(B|A) \times P(A)}{P(B)} = \frac{0.95 \times 0.01}{0.059} \approx 0.16$$

结论：即使测试阳性，患病概率只有 **16%**！

反直觉原因：先验概率很低（1%），大部分阳性结果来自假阳性。

例 2：垃圾邮件过滤

场景：

邮件中 30% 是垃圾邮件
垃圾邮件中 80% 含”中奖”
正常邮件中 5% 含”中奖”

问：含”中奖”的邮件是垃圾邮件的概率？

解答：

设：

$S$ = 垃圾邮件
$W$ = 含”中奖”

已知：

$P(S) = 0.3$
$P(W|S) = 0.8$
$P(W|\neg S) = 0.05$

计算：

$$P(W) = 0.8 \times 0.3 + 0.05 \times 0.7 = 0.275$$

$$P(S|W) = \frac{0.8 \times 0.3}{0.275} \approx 0.87$$

结论：含”中奖”的邮件有 87% 概率是垃圾邮件。

例 3：机器学习中的参数估计

场景：训练一个分类模型

目标：找到最优参数 $\theta$

$$P(\theta|D) = \frac{P(D|\theta) \times P(\theta)}{P(D)}$$

**似然 $P(D|\theta)$**：模型拟合数据的好坏
**先验 $P(\theta)$**：对参数的正则化（如 L2 正则 = 高斯先验）
**后验 $P(\theta|D)$**：综合考虑数据和先验的最优参数

最大后验估计（MAP）：

$$\theta_{MAP} = \arg\max_{\theta} P(\theta|D) = \arg\max_{\theta} P(D|\theta)P(\theta)$$

贝叶斯推断流程

1. 指定先验

根据领域知识或假设选择先验分布：

$$P(\theta)$$

常见先验：

无信息先验：均匀分布（表示无知）
共轭先验：使后验与先验同分布（计算方便）
正则化先验：高斯分布（L2 正则）、拉普拉斯分布（L1 正则）

2. 收集数据

观测数据 $D = {x_1, x_2, \ldots, x_N}$

3. 计算似然

根据模型计算数据的似然：

$$P(D|\theta) = \prod_{i=1}^{N} P(x_i|\theta)$$

4. 应用贝叶斯公式

计算后验分布：

$$P(\theta|D) = \frac{P(D|\theta)P(\theta)}{P(D)}$$

5. 进行推断

点估计：MAP 或后验均值
区间估计：可信区间（credible interval）
预测：$P(x_{new}|D) = \int P(x_{new}|\theta)P(\theta|D)d\theta$

贝叶斯 vs 频率学派

方面	贝叶斯学派	频率学派
参数性质	随机变量（有分布）	固定未知值
概率含义	信念程度	长期频率
推断方法	后验分布	点估计 + 置信区间
先验知识	必须指定先验	不使用先验
不确定性	参数的概率分布	估计的抽样分布
小样本	可利用先验	可能不稳定

例子对比

问题：抛硬币 10 次，8 次正面，估计正面概率 $\theta$

频率学派：

$$\hat{\theta}_{MLE} = \frac{8}{10} = 0.8$$

贝叶斯学派（假设先验 $\theta \sim \text{Beta}(2,2)$）：

$$P(\theta|D) = \text{Beta}(2+8, 2+2) = \text{Beta}(10, 4)$$

后验均值：

$$\mathbb{E}[\theta|D] = \frac{10}{10+4} \approx 0.71$$

差异：贝叶斯方法考虑了先验信念（硬币应该接近公平），结果更保守。

在机器学习中的应用

1. 朴素贝叶斯分类器

$$P(y|x_1, \ldots, x_n) = \frac{P(y) \prod_{i=1}^{n} P(x_i|y)}{P(x_1, \ldots, x_n)}$$

应用：文本分类、垃圾邮件过滤

2. 贝叶斯线性回归

$$P(w|D) = \frac{P(D|w)P(w)}{P(D)}$$

优势：提供预测的不确定性

3. 贝叶斯神经网络

对网络权重建模为分布而非点估计：

$$P(w|D) \propto P(D|w)P(w)$$

应用：不确定性量化、主动学习

4. 变分推断

当后验 $P(\theta|D)$ 难以计算时，用简单分布 $q(\theta)$ 近似：

$$\min_q D_{KL}(q(\theta)||P(\theta|D))$$

应用：VAE、主题模型（LDA）

5. 马尔可夫链蒙特卡洛（MCMC）

通过采样近似后验分布：

$$\theta^{(t+1)} \sim P(\theta|D)$$

应用：贝叶斯深度学习、概率编程

先验的选择

1. 无信息先验（Non-informative Prior）

目的：表达”无知”

例子：

均匀分布：$P(\theta) = \text{Uniform}(a, b)$
Jeffreys 先验：$P(\theta) \propto \sqrt{|I(\theta)|}$（基于 Fisher 信息）

2. 共轭先验（Conjugate Prior）

定义：后验与先验同分布族

例子：

似然	共轭先验	后验
伯努利	Beta	Beta
正态（已知方差）	正态	正态
泊松	Gamma	Gamma
多项式	Dirichlet	Dirichlet

优势：后验有闭式解，计算简单

3. 正则化先验

目的：防止过拟合

例子：

高斯先验：$P(w) = \mathcal{N}(0, \lambda^{-1}I)$ → L2 正则化
拉普拉斯先验：$P(w) = \text{Laplace}(0, b)$ → L1 正则化

4. 经验贝叶斯（Empirical Bayes）

从数据中估计先验的超参数：

$$\hat{\alpha} = \arg\max_{\alpha} P(D|\alpha)$$

常见问题

问题 1：先验是主观的吗？

回答：

是：先验反映了建模者的信念或假设
但：可以通过以下方式减少主观性：
- 使用无信息先验
- 使用领域知识
- 使用经验贝叶斯
- 数据足够多时，后验主要由似然决定

问题 2：贝叶斯方法计算复杂吗？

回答：

共轭先验：后验有闭式解，计算简单
非共轭情况：需要近似方法
- 变分推断（快速但近似）
- MCMC（精确但慢）
- 拉普拉斯近似（快速但粗糙）

问题 3：为什么 P(D) 叫”证据”？

回答：

$P(D)$ 是观测数据的边缘概率
在模型比较中，$P(D)$ 衡量模型对数据的解释能力
更高的 $P(D)$ 意味着模型更好地”证明”了数据的存在

问题 4：贝叶斯公式可以连续更新吗？

回答：可以！这是贝叶斯方法的优势。

顺序更新：

$$P(\theta|D_1, D_2) = \frac{P(D_2|\theta)P(\theta|D_1)}{P(D_2|D_1)}$$

前一次的后验成为下一次的先验：

1	先验 → [数据1] → 后验1 → [数据2] → 后验2 → ...

最佳实践

1. 选择合适的先验

# 弱信息先验（数据主导）
prior = Normal(0, 10)

# 强信息先验（先验主导）
prior = Normal(0, 0.1)

# 正则化先验
prior = Normal(0, 1/lambda)  # 等价于 L2 正则

2. 检查先验的影响

# 先验预测检查
prior_samples = prior.sample(1000)
prior_predictions = model(prior_samples)
# 检查先验预测是否合理

3. 后验检查

# 后验预测检查
posterior_samples = posterior.sample(1000)
posterior_predictions = model(posterior_samples)
# 与真实数据对比

4. 使用对数空间计算

1 2	# 避免数值下溢 log_posterior = log_likelihood + log_prior - log_evidence

代码示例

PyTorch 实现贝叶斯线性回归

import torch
import torch.distributions as dist

# 数据
X = torch.randn(100, 1)
y = 3 * X + 2 + torch.randn(100, 1) * 0.5

# 先验
prior_w = dist.Normal(0, 1)
prior_b = dist.Normal(0, 1)

# 似然
def likelihood(w, b, X, y, sigma=0.5):
    y_pred = w * X + b
    return dist.Normal(y_pred, sigma).log_prob(y).sum()

# 后验（使用变分推断近似）
q_w_mu = torch.nn.Parameter(torch.randn(1))
q_w_sigma = torch.nn.Parameter(torch.ones(1))
q_b_mu = torch.nn.Parameter(torch.randn(1))
q_b_sigma = torch.nn.Parameter(torch.ones(1))

optimizer = torch.optim.Adam([q_w_mu, q_w_sigma, q_b_mu, q_b_sigma], lr=0.01)

# 优化 ELBO
for _ in range(1000):
    optimizer.zero_grad()

    # 从变分分布采样
    w = q_w_mu + q_w_sigma * torch.randn(1)
    b = q_b_mu + q_b_sigma * torch.randn(1)

    # ELBO = 似然 - KL散度
    log_lik = likelihood(w, b, X, y)
    kl_w = dist.kl_divergence(
        dist.Normal(q_w_mu, q_w_sigma),
        prior_w
    )
    kl_b = dist.kl_divergence(
        dist.Normal(q_b_mu, q_b_sigma),
        prior_b
    )

    elbo = log_lik - kl_w - kl_b
    loss = -elbo

    loss.backward()
    optimizer.step()

print(f"后验均值: w={q_w_mu.item():.2f}, b={q_b_mu.item():.2f}")

参考资源

#Probability AI Statistics Bayesian-Inference Machine-Learning

Posted 2026-01-29Updated 2026-02-15Note19 minutes read (About 2779 words)

ELBO 与变分推断

Variational Inference | Evidence Lower Bound | VAE Paper

概述

ELBO（Evidence Lower Bound，证据下界）是变分推断中的核心概念，用于近似难以计算的边缘似然 $\log p(x)$。ELBO 提供了一个可优化的目标函数，使得复杂概率模型的训练变得可行，是现代深度生成模型（如 VAE）的理论基础。

核心概念

什么是 ELBO

ELBO 是对数边缘似然 $\log p(x)$ 的下界：

$$\text{ELBO} = \mathbb{E}{q(z|x)}[\log p(x,z)] - \mathbb{E}{q(z|x)}[\log q(z|x)]$$

或等价形式：

$$\text{ELBO} = \mathbb{E}{q(z|x)}[\log p(x|z)] - D{KL}(q(z|x)||p(z))$$

其中：

$x$ 是观测数据
$z$ 是隐变量
$q(z|x)$ 是近似后验分布（变分分布）
$p(z)$ 是先验分布
$p(x|z)$ 是似然函数

ELBO 的推导

目标：最大化边缘似然 $\log p(x)$

$$\log p(x) = \log \int p(x,z)dz$$

这个积分通常难以计算。引入变分分布 $q(z|x)$：

$$\begin{align}
\log p(x) &= \log \int p(x,z)dz \
&= \log \int \frac{q(z|x)}{q(z|x)} p(x,z)dz \
&= \log \mathbb{E}{q(z|x)}\left[\frac{p(x,z)}{q(z|x)}\right] \
&\geq \mathbb{E}{q(z|x)}\left[\log\frac{p(x,z)}{q(z|x)}\right] \quad \text{[Jensen 不等式]} \
&= \text{ELBO}
\end{align}$$

关键关系：

$$\log p(x) = \text{ELBO} + D_{KL}(q(z|x)||p(z|x))$$

由于 $D_{KL} \geq 0$，所以 ELBO 是 $\log p(x)$ 的下界。

ELBO 的两种解释

解释 1：重构 + 正则化

$$\text{ELBO} = \underbrace{\mathbb{E}{q(z|x)}[\log p(x|z)]}{\text{重构项}} - \underbrace{D_{KL}(q(z|x)||p(z))}_{\text{正则化项}}$$

重构项：衡量模型拟合数据的能力
正则化项：约束后验分布接近先验分布

解释 2：似然 - 复杂度

$$\text{ELBO} = \underbrace{\mathbb{E}{q(z|x)}[\log p(x|z)]}{\text{数据似然}} - \underbrace{D_{KL}(q(z|x)||p(z))}_{\text{模型复杂度惩罚}}$$

这体现了奥卡姆剃刀原则：在解释数据的同时保持模型简单。

为什么要优化 ELBO

1. 直接计算困难

真实后验 $p(z|x) = \frac{p(x|z)p(z)}{p(x)}$ 难以计算，因为：

$$p(x) = \int p(x|z)p(z)dz$$

这个积分在高维空间中通常没有闭式解。

2. 等价优化

最大化 ELBO 等价于最小化 $D_{KL}(q(z|x)||p(z|x))$：

$$\begin{align}
\log p(x) &= \text{ELBO} + D_{KL}(q(z|x)||p(z|x)) \
\max_q \text{ELBO} &\Leftrightarrow \min_q D_{KL}(q(z|x)||p(z|x))
\end{align}$$

因为 $\log p(x)$ 不依赖于 $q$，最大化 ELBO 就是让 $q(z|x)$ 尽可能接近真实后验 $p(z|x)$。

3. 可计算性

ELBO 可以通过蒙特卡洛采样估计：

$$\text{ELBO} \approx \frac{1}{L}\sum_{i=1}^{L} \log p(x|z_i) - D_{KL}(q(z|x)||p(z))$$

其中 $z_i \sim q(z|x)$。

ELBO 在 VAE 中的应用

VAE 架构

1	输入 x → Encoder → μ(x), σ(x) → 采样 z ~ N(μ,σ²) → Decoder → 重构 x̂

VAE 的假设

先验：$p(z) = \mathcal{N}(0, I)$（标准正态分布）
后验：$q(z|x) = \mathcal{N}(\mu(x), \sigma^2(x)I)$（编码器输出）
似然：$p(x|z) = \mathcal{N}(\text{Decoder}(z), I)$（解码器输出）

ELBO 的具体形式

$$\text{ELBO} = \mathbb{E}{q(z|x)}[\log p(x|z)] - D{KL}(q(z|x)||p(z))$$

重构项（需要采样估计）：

$$\mathbb{E}{q(z|x)}[\log p(x|z)] \approx \frac{1}{L}\sum{i=1}^{L} \log p(x|z_i), \quad z_i \sim q(z|x)$$

通常 $L=1$（单样本估计）。对于伯努利分布的似然，这等价于二元交叉熵。

KL 项（有闭式解）：

$$D_{KL}(q(z|x)||p(z)) = -\frac{1}{2}\sum_{j=1}^{J}\left(1 + \log\sigma_j^2 - \mu_j^2 - \sigma_j^2\right)$$

其中 $J$ 是隐变量维度。

损失函数

VAE 的损失函数是 负 ELBO（因为要最小化）：

$$\mathcal{L} = -\text{ELBO} = \underbrace{-\mathbb{E}{q(z|x)}[\log p(x|z)]}{\text{重构损失}} + \underbrace{D_{KL}(q(z|x)||p(z))}_{\text{KL 损失}}$$

重参数化技巧

问题

直接从 $z \sim \mathcal{N}(\mu(x), \sigma^2(x))$ 采样不可微，无法反向传播。

解决方案：重参数化

核心思想：将随机性外部化

原始：z ~ N(μ, σ²)  ❌ 不可微

重参数化：
ε ~ N(0, I)         ✓ 随机性独立于参数
z = μ + σ ⊙ ε       ✓ 可微变换

梯度流

1 2	损失 → Decoder → z = μ + σε → μ, σ → Encoder ↑ 可微！

$\varepsilon$ 是常数（从参数角度），梯度不经过它
$\mu$ 和 $\sigma$ 的梯度可以正常计算

代码实现

PyTorch 实现

import torch
import torch.nn as nn
import torch.nn.functional as F

class VAE(nn.Module):
    def __init__(self, input_dim=784, hidden_dim=400, latent_dim=20):
        super().__init__()

        # Encoder
        self.fc1 = nn.Linear(input_dim, hidden_dim)
        self.fc_mu = nn.Linear(hidden_dim, latent_dim)
        self.fc_logvar = nn.Linear(hidden_dim, latent_dim)

        # Decoder
        self.fc3 = nn.Linear(latent_dim, hidden_dim)
        self.fc4 = nn.Linear(hidden_dim, input_dim)

    def encode(self, x):
        """编码器：x → μ, log(σ²)"""
        h = torch.relu(self.fc1(x))
        mu = self.fc_mu(h)
        logvar = self.fc_logvar(h)  # log(σ²) 数值稳定
        return mu, logvar

    def reparameterize(self, mu, logvar):
        """重参数化技巧：z = μ + σε"""
        std = torch.exp(0.5 * logvar)  # σ = exp(0.5*log(σ²))
        eps = torch.randn_like(std)     # ε ~ N(0,I)
        z = mu + eps * std              # z = μ + σε
        return z

    def decode(self, z):
        """解码器：z → x��"""
        h = torch.relu(self.fc3(z))
        return torch.sigmoid(self.fc4(h))

    def forward(self, x):
        mu, logvar = self.encode(x)
        z = self.reparameterize(mu, logvar)
        recon_x = self.decode(z)
        return recon_x, mu, logvar

def vae_loss(recon_x, x, mu, logvar):
    """
    VAE 损失函数 = -ELBO

    Args:
        recon_x: 重构的 x
        x: 原始 x
        mu: 编码器输出的均值
        logvar: 编码器输出的 log(σ²)

    Returns:
        总损失 = 重构损失 + KL 损失
    """
    # 重构损失：-E[log p(x|z)]
    # 对于伯努利分布 = 二元交叉熵
    BCE = F.binary_cross_entropy(recon_x, x, reduction='sum')

    # KL 散度：KL(q(z|x)||p(z))
    # 闭式解：-0.5 * Σ(1 + log(σ²) - μ² - σ²)
    KLD = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp())

    return BCE + KLD

# 训练循环
model = VAE()
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)

for epoch in range(num_epochs):
    for batch_x in dataloader:
        optimizer.zero_grad()

        # 前向传播
        recon_x, mu, logvar = model(batch_x)

        # 计算损失（负 ELBO）
        loss = vae_loss(recon_x, batch_x, mu, logvar)

        # 反向传播
        loss.backward()
        optimizer.step()

关键实现细节

使用 log(σ²) 而非 σ：数值稳定性更好
KL 散度的闭式解：避免采样估计
重参数化：使采样过程可微
单样本估计：重构项通常只采样一次

正则化的作用

什么是正则化

正则化是防止模型过拟合的技术，通过约束模型复杂度：

$$\text{损失函数} = \text{数据拟合项} + \lambda \times \text{正则化项}$$

常见类型：

L2 正则：$\lambda||w||^2$ - 权重衰减
L1 正则：$\lambda||w||$ - 稀疏性
Dropout：随机关闭神经元
Early Stopping：提前停止训练

VAE 中的正则化

ELBO 天然包含正则化：

$$\text{ELBO} = \underbrace{\mathbb{E}[\log p(x|z)]}{\text{拟合数据}} - \underbrace{D{KL}(q(z|x)||p(z))}_{\text{正则化}}$$

KL 散度项的作用：

约束隐空间结构：强制 $q(z|x)$ 接近先验 $p(z) = \mathcal{N}(0,I)$
**防止编码器”作弊”**：避免为每个样本学习独特的、互不相关的编码
保证连续性：使隐空间平滑、可插值
实现解耦表示：鼓励学习独立的隐变量

没有 KL 正则化会怎样？

如果只优化重构损失：

1	loss = reconstruction_loss # 没有 KL 项

问题：

编码器可能��每个样本映射到隐空间的任意位置
隐空间结构混乱，无法生成新样本
方差 $\sigma$ 可能趋近于 0（退化为确定性编码）

KL 正则化的效果：

强制隐变量分布接近标准正态分布
保证隐空间的连续性和平滑性
使得从先验 $p(z)$ 采样可以生成有意义的样本

应用场景

1. 变分自编码器（VAE）

用途：生成模型、表示学习

1
2
3

# 训练后生成新样本
z = torch.randn(batch_size, latent_dim)  # 从先验采样
generated_x = model.decode(z)

2. 主题模型（LDA）

用途：文档主题发现

隐变量 $z$：文档的主题分布
ELBO 用于推断主题

3. 贝叶斯神经网络

用途：不确定性量化

隐变量 $z$：网络权重
ELBO 用于近似权重的后验分布

4. 隐马尔可夫模型（HMM）

用途：序列建模

隐变量 $z$：隐藏状态序列
ELBO 用于推断状态

5. 高斯混合模型（GMM）

用途：聚类分析

隐变量 $z$：样本所属的簇
ELBO 用于推断簇分配

最佳实践

1. 平衡重构与 KL 损失

有时需要调整 KL 项的权重：

1	loss = reconstruction_loss + beta * kl_loss # β-VAE

β < 1：更注重重构质量
β > 1：更注重解耦表示
β = 1：标准 VAE

2. KL 退火（KL Annealing）

训练初期降低 KL 权重，逐渐增加：

1 2	beta = min(1.0, epoch / warmup_epochs) loss = reconstruction_loss + beta * kl_loss

原因：避免”后验坍缩”（posterior collapse），即 $q(z|x)$ 过早收敛到先验。

3. 自由比特（Free Bits）

为每个隐变量维度设置最小 KL 值：

1 2	kl_per_dim = kl_loss / latent_dim kl_loss = torch.sum(torch.max(kl_per_dim, free_bits_threshold))

作用：防止某些维度被忽略。

4. 数值稳定性

# 使用 log(σ²) 而非 σ
logvar = self.fc_logvar(h)
std = torch.exp(0.5 * logvar)  # 避免负数

# 避免 log(0)
recon_x = torch.clamp(recon_x, min=1e-7, max=1-1e-7)

常见问题

问题 1：ELBO 为什么是下界？

解答：根据 Jensen 不等式，对于凹函数 $\log$：

$$\log \mathbb{E}[X] \geq \mathbb{E}[\log X]$$

因此：

$$\log p(x) = \log \mathbb{E}{q(z|x)}\left[\frac{p(x,z)}{q(z|x)}\right] \geq \mathbb{E}{q(z|x)}\left[\log\frac{p(x,z)}{q(z|x)}\right] = \text{ELBO}$$

问题 2：为什么叫”证据”下界？

解答：在贝叶斯推断中，$p(x)$ 被称为”证据”（evidence）或”边缘似然”（marginal likelihood），因为它是观测数据 $x$ 的概率。ELBO 是这个证据的下界。

问题 3：重参数化技巧为什么有效？

解答：重参数化将随机性从参数中分离出来：

1	z = μ(x; θ) + σ(x; θ) ⊙ ε, ε ~ N(0,I)

$\varepsilon$ 不依赖于 $\theta$，是外部噪声
$\mu$ 和 $\sigma$ 依赖于 $\theta$，可以求梯度
梯度可以通过 $\mu$ 和 $\sigma$ 反向传播到编码器

问题 4：VAE 生成的图像为什么模糊？

原因：

高斯似然假设：$p(x|z) = \mathcal{N}(\text{Decoder}(z), I)$ 倾向于生成平均化的结果
重构损失：MSE 或 BCE 惩罚像素级差异，导致模糊

改进方法：

使用更复杂的似然分布（如混合高斯）
使用感知损失（perceptual loss）
结合 GAN（VAE-GAN）

参考资源

#AI Machine-Learning Variational-Inference VAE Deep-Learning

Posted 2026-01-29Updated 2026-02-15Note19 minutes read (About 2920 words)

KL 散度基础理论与数学推导

Information Theory | Kullback-Leibler Divergence

概述

KL 散度（Kullback-Leibler Divergence），也称为相对熵（Relative Entropy），是信息论和统计学中用于衡量两个概率分布差异的重要度量。它在机器学习、深度学习、变分推断等领域有广泛应用。
本笔记重点介绍 KL 散度的基础定义、数学推导、核心性质以及其在机器学习中的意义。

数学定义

离散概率分布

对于离散概率分布 $P$ 和 $Q$，KL 散度定义为：

$$D_{KL}(P||Q) = \sum_{x} P(x) \log\frac{P(x)}{Q(x)}$$

连续概率分布

对于连续概率分布，KL 散度定义为：

$$D_{KL}(P||Q) = \int p(x) \log\frac{p(x)}{q(x)} dx$$

其中：

$P$ 是真实分布（或目标分布）
$Q$ 是近似分布（或模型分布）
$\log$ 通常使用自然对数（以 $e$ 为底），单位为 nats；使用以 2 为底的对数时，单位为 bits

核心性质

1. 非负性

$$D_{KL}(P||Q) \geq 0$$

当��仅当 $P = Q$ 时，等号成立（即 $D_{KL}(P||Q) = 0$）。

2. 非对称性

$$D_{KL}(P||Q) \neq D_{KL}(Q||P)$$

这意味着 KL 散度不是真正的距离度量，因为它不满足对称性。

3. 不满足三角不等式

KL 散度不满足三角不等式：

$$D_{KL}(P||R) \not\leq D_{KL}(P||Q) + D_{KL}(Q||R)$$

因此，KL 散度不是度量空间中的距离函数。

4. 凸性

KL 散度关于第一个参数 $P$ 是凸函数。

直观理解

信息论角度

KL 散度表示：用分布 $Q$ 来编码分布 $P$ 的样本时，相比用 $P$ 自身编码所需的额外信息量（以比特或 nats 为单位）。

如果 $Q$ 与 $P$ 完全相同，则不需要额外信息，$D_{KL}(P||Q) = 0$
如果 $Q$ 与 $P$ 差异很大，则需要更多额外信息来补偿编码效率的损失

统计学角度

KL 散度衡量分布 $Q$ 对分布 $P$ 的近似程度：

值越小，$Q$ 越接近 $P$
值越大，$Q$ 与 $P$ 的差异越大

机器学习角度

在机器学习中，通常：

$P$ 是真实数据分布（未知但可以从数据中采样）
$Q$ 是模型学习的分布（由参数 $\theta$ 决定）
最小化 $D_{KL}(P||Q)$ 等价于让模型分布尽可能接近真实分布

数学推导

1. 从信息熵推导

信息熵（Entropy）

分布 $P$ 的信息熵定义为：

$$H(P) = -\sum_{x} P(x) \log P(x)$$

它表示编码分布 $P$ 的样本所需的平均最小比特数。

交叉熵（Cross Entropy）

用分布 $Q$ 来编码分布 $P$ 的样本所需的平均比特数：

$$H(P, Q) = -\sum_{x} P(x) \log Q(x)$$

KL 散度 = 交叉熵 - 信息熵

$$\begin{align}
D_{KL}(P||Q) &= H(P, Q) - H(P) \
&= -\sum_{x} P(x) \log Q(x) + \sum_{x} P(x) \log P(x) \
&= \sum_{x} P(x) [\log P(x) - \log Q(x)] \
&= \sum_{x} P(x) \log\frac{P(x)}{Q(x)}
\end{align}$$

这表明 KL 散度是使用次优编码方案 $Q$ 相比最优编码方案 $P$ 所需的额外信息量。

2. 非负性证明（Gibbs 不等式）

我们使用 Jensen 不等式来证明 KL 散度的非负性。

Jensen 不等式

对于凸函数 $f(x)$ 和概率分布 $P$：

$$f\left(\sum_{x} P(x) \cdot x\right) \leq \sum_{x} P(x) \cdot f(x)$$

对于凹函数（如 $\log$），不等号反向。

证明过程

由于 $f(x) = -\log(x)$ 是凸函数，我们有：

$$\begin{align}
D_{KL}(P||Q) &= \sum_{x} P(x) \log\frac{P(x)}{Q(x)} \
&= -\sum_{x} P(x) \log\frac{Q(x)}{P(x)} \
&\geq -\log\left(\sum_{x} P(x) \cdot \frac{Q(x)}{P(x)}\right) \quad \text{[Jensen 不等式]} \
&= -\log\left(\sum_{x} Q(x)\right) \
&= -\log(1) \
&= 0
\end{align}$$

等号成立当且仅当 $\frac{Q(x)}{P(x)}$ 为常数，即 $P(x) = Q(x)$ 对所有 $x$ 成立。

结论：$D_{KL}(P||Q) \geq 0$，且仅当 $P = Q$ 时等号成立。

3. 与最大似然估计的关系

在机器学习中，我们通常希望找到参数 $\theta$ 使得模型分布 $P_\theta$ 尽可能接近真实数据分布 $P_{data}$。

最小化 KL 散度

$$\begin{align}
\min_\theta D_{KL}(P_{data}||P_\theta) &= \min_\theta \sum_{x} P_{data}(x) \log\frac{P_{data}(x)}{P_\theta(x)} \
&= \min_\theta \left[\sum_{x} P_{data}(x) \log P_{data}(x) - \sum_{x} P_{data}(x) \log P_\theta(x)\right] \
&= \min_\theta \left[-\sum_{x} P_{data}(x) \log P_\theta(x)\right] \quad \text{[第一项与 $\theta$ 无关]} \
&= \max_\theta \sum_{x} P_{data}(x) \log P_\theta(x)
\end{align}$$

经验分布近似

在实践中，我们无法直接访问 $P_{data}$，但可以从数据集 ${x_1, x_2, \ldots, x_N}$ 中采样。使用经验分布：
$$P_{data}(x) \approx \frac{1}{N} \sum_{i=1}^{N} \delta(x - x_i)$$

代入上式：

$$\max_\theta \sum_{x} P_{data}(x) \log P_\theta(x) \approx \max_\theta \frac{1}{N} \sum_{i=1}^{N} \log P_\theta(x_i)$$

这正是最大似然估计（Maximum Likelihood Estimation, MLE）的目标函数！
结论：最小化 KL 散度等价于最大化似然函数。

实际计算示例

示例 1：离散分布

假设真实分布 $P = [0.5, 0.3, 0.2]$，近似分布 $Q = [0.4, 0.4, 0.2]$。

计算 $D_{KL}(P||Q)$：

$$\begin{align}
D_{KL}(P||Q) &= 0.5 \cdot \log\frac{0.5}{0.4} + 0.3 \cdot \log\frac{0.3}{0.4} + 0.2 \cdot \log\frac{0.2}{0.2} \
&= 0.5 \cdot \log(1.25) + 0.3 \cdot \log(0.75) + 0.2 \cdot \log(1) \
&= 0.5 \times 0.2231 + 0.3 \times (-0.2877) + 0 \
&= 0.1116 - 0.0863 \
&\approx 0.0253 \text{ nats}
\end{align}$$

转换为 bits（除以 $\ln 2 \approx 0.693$）：

$$D_{KL}(P||Q) \approx 0.0365 \text{ bits}$$

示例 2：高斯分布

对于两个一维高斯分布：

$P = \mathcal{N}(\mu_1, \sigma_1^2)$
$Q = \mathcal{N}(\mu_2, \sigma_2^2)$

KL 散度的闭式解为：

$$D_{KL}(P||Q) = \log\frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2\sigma_2^2} - \frac{1}{2}$$

特殊情况：当 $Q = \mathcal{N}(0, 1)$（标准正态分布）时：

$$D_{KL}(P||Q) = \frac{1}{2}\left(\mu_1^2 + \sigma_1^2 - \log\sigma_1^2 - 1\right)$$

这个公式在 VAE（变分自编码器）中被广泛使用。

机器学习中的应用

1. 变分推断（Variational Inference）

在贝叶斯推断中，我们希望计算后验分布 $P(\theta|X)$，但通常难以直接计算。变分推断使用一个简单的分布 $Q(\theta)$ 来近似：
$$\min_Q D_{KL}(Q(\theta)||P(\theta|X))$$

2. 变分自编码器（VAE）

VAE 的损失函数包含 KL 散度项，用于正则化潜在空间：

$$\mathcal{L} = \mathbb{E}{q(z|x)}[\log p(x|z)] - D{KL}(q(z|x)||p(z))$$

其中：

第一项是重建损失
第二项是 KL 散度，约束编码器输出接近先验分布

3. 策略优化（强化学习）

在强化学习中，KL 散度用于约束策略更新的幅度：
$$\max_\theta \mathbb{E}{\pi_\theta}[R] \quad \text{s.t.} \quad D{KL}(\pi_{old}||\pi_\theta) \leq \delta$$

这是 TRPO（Trust Region Policy Optimization）和 PPO（Proximal Policy Optimization）的核心思想。

4. 模型蒸馏（Knowledge Distillation）

使用 KL 散度让小模型（学生）学习大模型（教师）的输出分布：

$$\mathcal{L} = D_{KL}(P_{teacher}||P_{student})$$

5. 生成对抗网络（GAN）

虽然 GAN 不直接优化 KL 散度，但理论分析表明，GAN 的目标函数与 JS 散度（Jensen-Shannon Divergence）相关，而 JS 散度是基于 KL 散度定义的：

$$D_{JS}(P||Q) = \frac{1}{2}D_{KL}(P||M) + \frac{1}{2}D_{KL}(Q||M)$$

其中 $M = \frac{1}{2}(P + Q)$。

前向 KL 与反向 KL

前向 KL：$D_{KL}(P||Q)$

含义：用 $Q$ 近似 $P$
特点：
- 当 $P(x) > 0$ 但 $Q(x) = 0$ 时，散度为无穷大
- 要求 $Q$ 覆盖 $P$ 的所有支撑集（zero-avoiding）
- $Q$ 倾向于覆盖 $P$ 的所有模式，可能过于分散

反向 KL：$D_{KL}(Q||P)$

含义：用 $Q$ 近似 $P$（但优化方向相反）
特点：
- 当 $Q(x) > 0$ 但 $P(x) = 0$ 时，散度为无穷大
- 要求 $Q$ 集中在 $P$ 的高概率区域（zero-forcing）
- $Q$ 倾向于选择 $P$ 的某一个模式，可能过于集中

对比表格

特性	前向 KL $D_{KL}(P\|\|Q)$	反向 KL $D_{KL}(Q\|\|P)$
优化目标	最大似然估计	变分推断
行为	Zero-avoiding（避免零概率）	Zero-forcing（强制零概率）
多模态处理	覆盖所有模式（分散）	选择单一模式（集中）
应用	监督学习、MLE	VAE、变分推断

与其他散度的关系

1. JS 散度（Jensen-Shannon Divergence）

JS 散度是 KL 散度的对称化版本：

$$D_{JS}(P||Q) = \frac{1}{2}D_{KL}(P||M) + \frac{1}{2}D_{KL}(Q||M)$$
其中 $M = \frac{1}{2}(P + Q)$。
性质：

对称：$D_{JS}(P||Q) = D_{JS}(Q||P)$
有界：$0 \leq D_{JS}(P||Q) \leq \log 2$
满足三角不等式的平方根

2. Wasserstein 距离

Wasserstein 距离（也称为 Earth Mover’s Distance）是另一种衡量分布差异的度量，在 GAN 中被广泛使用（WGAN）。
与 KL 散度相比：

Wasserstein 距离是真正的度量（满足对称性和三角不等式）
即使两个分布没有重叠，Wasserstein 距离仍然有意义
KL 散度在分布不重叠时可能为无穷大

3. $\chi^2$ 散度

$$D_{\chi^2}(P||Q) = \sum_{x} \frac{(P(x) - Q(x))^2}{Q(x)}$$
与 KL 散度相比，$\chi^2$ 散度对分布差异更敏感。

常见问题

问题 1：为什么 KL 散度不对称？

原因：KL 散度的定义中，$P$ 和 $Q$ 的角色不同：

$$D_{KL}(P||Q) = \sum_{x} P(x) \log\frac{P(x)}{Q(x)}$$

$P$ 作为权重出现在求和中
$Q$ 出现在对数的分母中

交换 $P$ 和 $Q$ 会得到不同的结果。

直观理解：

$D_{KL}(P||Q)$ 衡量”用 $Q$ 编码 $P$ 的样本”的额外信息
$D_{KL}(Q||P)$ 衡量”用 $P$ 编码 $Q$ 的样本”的额外信息
这两者通常不相等

问题 2：什么时候使用前向 KL，什么时候使用反向 KL？

**前向 KL $D_{KL}(P||Q)$**：

当你希望 $Q$ 覆盖 $P$ 的所有模式时
最大似然估计
监督学习
**反向 KL $D_{KL}(Q||P)$**：
当你希望 $Q$ 集中在 $P$ 的高概率区域时
变分推断
VAE、变分贝叶斯

问题 3：KL 散度可以为负吗？

不可以。根据 Gibbs 不等式，KL 散度始终非负：

$$D_{KL}(P||Q) \geq 0$$
当且仅当 $P = Q$ 时，$D_{KL}(P||Q) = 0$。

问题 4：如何处理 $Q(x) = 0$ 的情况？

当 $P(x) > 0$ 但 $Q(x) = 0$ 时，$\log\frac{P(x)}{Q(x)} = \infty$，导致 KL 散度为无穷大。

解决方法：

拉普拉斯平滑：给 $Q(x)$ 加一个小的常数 $\epsilon$
确保支撑集匹配：保证 $Q$ 的支撑集包含 $P$ 的支撑集
使用其他散度：如 Wasserstein 距离，对不重叠分布更鲁棒

最佳实践

1. 数值稳定性

在实现 KL 散度时，避免直接计算 $\log\frac{P(x)}{Q(x)}$，而是使用：

# 不稳定的实现
kl = P * np.log(P / Q)

# 稳定的实现
kl = P * (np.log(P) - np.log(Q))

### 2. 处理零概率

1
2
3

# 添加小的 epsilon 避免 log(0)
epsilon = 1e-10
kl = P * (np.log(P + epsilon) - np.log(Q + epsilon))

### 3. 使用库函数
大多数深度学习框架提供了优化的 KL 散度实现：

# PyTorch
import torch.nn.functional as F
kl_loss = F.kl_div(Q.log(), P, reduction='batchmean')

# TensorFlow
import tensorflow as tf
kl_loss = tf.keras.losses.KLDivergence()(P, Q)

# SciPy
from scipy.stats import entropy
kl_div = entropy(P, Q)

参考资源

#AI Statistics Machine-Learning Information-Theory Math

Posted 2026-01-29Updated 2026-02-15Note13 minutes read (About 1978 words)

Claude Code Skills

Claude Code Skills 使用指南

官方文档 | Agent Skills 标准

概述

Skills（技能） 是扩展 Claude Code 能力的自定义工作流。通过 Markdown 文件定义，可以用斜杠命令调用或自动加载。
Skills 遵循开放的 Agent Skills 标准，可跨多个 AI 工具使用。

核心概念

Skills 的作用

自定义斜杠命令：直接调用专门的工作流（如 /commit、/review）
领域知识注入：为 Claude 提供特定领域的上下文
任务指令：定义复杂操作的步骤流程
工具集成：连接外部工具和脚本

文件结构

skill-name/
├── SKILL.md          # 必需：主要技能定义
├── reference.md      # 可选：详细文档
├── examples.md       # 可选：使用示例
└── scripts/          # 可选：辅助脚本

Skill 位置与作用域

位置	路径	作用域
个人级	`~/.claude/skills/<skill-name>/SKILL.md`	用户所有项目
项目级	`.claude/skills/<skill-name>/SKILL.md`	仅当前项目
企业级	通过设置管理	组织范围

优先级：项目级 > 个人级 > 企业级

创建 Skill

基本结构

最简单的 skill 只需一个带 YAML 头的 SKILL.md 文件：

---
name: explain-code
description: 用图表和类比解释代码。当用户询问"这段代码如何工作"时使用
---

解释代码时，始终包含：

1. **类比**：用日常生活中的事物比喻代码
2. **图表**：用 ASCII 艺术展示流程或结构
3. **逐步讲解**：���释每一步发生了什么
4. **常见误区**：指出容易混淆的点

配置选项 (Frontmatter)

字段	类型	说明
`name`	string	显示名称（成为 `/斜杠命令`）
`description`	string	功能描述 - 用于自动调用判断
`disable-model-invocation`	boolean	为 `true` 时仅用户可调用（禁止自动加载）
`user-invocable`	boolean	为 `false` 时仅 Claude 可调用（菜单中隐藏）
`allowed-tools`	array	Claude 可使用的工具列表（无需权限提示）
`context`	string	设为 `fork` 在隔离的子代理中运行
`agent`	string	指定代理类型（如 `Explore`、`Plan`）
`argument-hint`	string	自动补全提示（如 `[issue-number]`）

调用方式

1. 直接调用

用户显式使用斜杠命令：

1
2
3

/skill-name
/fix-issue 123
/explain-code src/auth/login.ts

2. 自动调用

当用户请求匹配 skill 的 description 时，Claude 自动加载：

1 2	用户："这个认证流程是如何工作的？" → Claude 自动加载 /explain-code skill

控制自动调用：

设置 disable-model-invocation: true 禁止自动加载
让 description 更具体以避免误触发

传递参数

使用 $ARGUMENTS

$ARGUMENTS 占位符捕获所有参数为单个字符串：

---
name: fix-issue
description: 修复 GitHub issue
---

修复 GitHub issue $ARGUMENTS，遵循我们的编码标准。

1. 从 GitHub 读取 issue 描述
2. 理解需求
3. 实现修复
4. 编写测试
5. 创建提交

用法：/fix-issue 123 → “修复 GitHub issue 123…”

使用位置参数

用 $0、$1、$2 等访问单个参数：

---
name: migrate-component
description: 在框架间迁移组件
argument-hint: [组件名] [源框架] [目标框架]
---

将 $0 组件从 $1 迁移到 $2。

要求：
- 保留所有现有行为
- 维持测试覆盖率
- 更新文档

用法：/migrate-component SearchBar React Vue

$0 = SearchBar
$1 = React
$2 = Vue

高级模式

动态上下文注入

使用反引号`和 ! 在 skill 运行前执行 shell 命令：

---
name: pr-summary
description: 总结 Pull Request 的变更
context: fork
agent: Explore
allowed-tools: Bash(gh *)
---

## Pull Request 上下文

**差异：**
!`gh pr diff`

**评论：**
!`gh pr view --comments`

## 任务

总结这个 PR，重点关注：
1. 主要变更及其目的
2. 审查者的潜在关注点
3. 测试覆盖情况

隔离子代理执行

在隔离上下文中运行 skill，避免污染主对话：

---
name: deep-research
description: 深入研究某个主题而不影响主上下文
context: fork
agent: Explore
---

深入研究 $ARGUMENTS：

1. 使用 Glob 和 Grep 查找相关文件
2. 阅读并分析代码
3. 识别模式和关系
4. 用具体的文件引用（file:line 格式）总结发现

工具限制

限制 Claude 在 skill 中可使用的工具：

---
name: read-only-analysis
description: 分析代码但不做修改
allowed-tools: Read, Grep, Glob, Bash(git *)
---

分析代码库中的 $ARGUMENTS。

你只能读取文件和运行 git 命令。
不要修改任何文件。

最佳实践

Skill 设计原则

单一职责：每个 skill 应有一个明确目的
清晰描述：description 应匹配用户的自然语言
明确指令：为复杂工作流提供分步指导
错误处理：包含常见失败场景的处理说明

命名规范

使用小写加连字符：fix-issue、explain-code
保持简短易记
使用动词导向的名称

示例 Skills

代码审查

---
name: review
description: 对变更进行全面的代码审查
disable-model-invocation: true
allowed-tools: Read, Grep, Bash(git *)
---

执行全面的代码审查：

## 审查清单

1. **正确性**：代码是否实现了预期功能？
2. **安全性**：是否存在安全漏洞？
3. **性能**：是否有明显的性能问题？
4. **可维护性**：代码是否可读且结构良好？
5. **测试**：测试覆盖是否充分？

## 流程

1. 运行 `git diff` 查看所有变更
2. 完整阅读修改的文件
3. 检查常见问题：SQL 注入、XSS、命令注入、竞态条件、内存泄漏、硬编码凭证
4. 提供具体反馈，使用 file:line 引用

文档生成

---
name: document
description: 为代码生成文档
argument-hint: [文件路径]
---

为 $ARGUMENTS 生成全面的文档：

1. 阅读文件并理解其目的
2. 记录：
   - 文件概述和用途
   - 公共 API（函数、类、接口）
   - 使用示例
   - 依赖和要求
3. 格式化为 markdown
4. 在有帮助的地方包含代码示例

常见问题

Skill 未自动触发

问题：Claude 没有在预期时加载你的 skill。

解决方案：

让 description 更具体，包含用户会自然说出的关键词
检查 /context 确保 skill 描述未超出字符预算
验证 skill 文件在正确位置

Skill 触发过于频繁

问题：Skill 在不需要时加载。

解决方案：

让 description 更具体
添加 disable-model-invocation: true 要求显式调用
在 description 中使用更独特的关键词

参数不工作

问题：$ARGUMENTS 或 $0、$1 未被替换。

解决方案：

确保传递了参数：/skill-name arg1 arg2
检查占位符在 skill 正文中，而非仅在 frontmatter 中
验证占位符语法无拼写错误

工作流集成示例

Git 工作流

---
name: feature
description: 创建新的功能分支并进行适当设置
argument-hint: [功能名称]
---

为 $ARGUMENTS 创建新的功能分支：

1. 确保工作目录干净
2. 从 main 拉取最新变更
3. 创建分支：`feature/$ARGUMENTS`
4. 设置分支跟踪
5. 创建初始提交

测试工作流

---
name: test-fix
description: 修复失败的测试
context: fork
allowed-tools: Bash, Read, Edit
---

修复失败的测试：

1. 运行测试套件识别失败
2. 对每个失败：
   - 阅读测试文件
   - 理解测试内容
   - 阅读实现代码
   - 识别问题
   - 修复代码或更新测试
3. 重新运行测试验证
4. 创建修复提交

参考资源

注意事项

Skills 评估顺序：项目级 → 个人级 → 企业级
/ 命令显示所有可用 skills 并支持自动补全
Skills 可以在指令中调用其他 skills
对于耗时操作使用 context: fork 保持主上下文清洁
Skills 支持 markdown 格式，包括表格、代码块和列表

#AI Claude CLI Development-Tools

Posted 2026-01-27Updated 2026-02-15Notea few seconds read (About 11 words)

机器人视觉ROS接口设计

#CV Robot

Posted 2026-01-14Updated 2026-02-15Note15 minutes read (About 2277 words)

ROS接口设计

待定，与上塔类似

#Robot UI

人形机器人控制方法综述

概述

主流控制方法

1. 基于模型的控制 (Model-Based Control)

全身动力学控制 (Whole-Body Control, WBC)

模型预测控制 (Model Predictive Control, MPC)

零力矩点控制 (Zero Moment Point, ZMP)

质心动量控制 (Centroidal Momentum Control)

2. 强化学习 (Reinforcement Learning)

端到端策略学习

分层强化学习 (Hierarchical RL)

Sim-to-Real 迁移

3. 模仿学习 (Imitation Learning)

行为克隆 (Behavior Cloning)

远程操作数据 (Teleoperation Data)

动作捕捉 (Motion Capture)

4. 混合方法

学习 + 优化

学习残差 (Residual Learning)

视觉-运动策略 (Visuomotor Policy)

最新趋势

基础模型 (Foundation Models)

Vision-Language-Action (VLA)

扩散策略 (Diffusion Policy)

Transformer-based 方法

方法对比

工业界实践

Boston Dynamics Atlas

Tesla Optimus

Unitree H1

实现建议

选择控制方法的考虑因素

开源资源

仿真环境

控制库

学习框架

未来方向

参考资源

模型预测控制 (MPC) 与学习方法的融合

概述

MPC 基础

核心思想

数学形式

MPC 在人形机器人中的应用

1. 步态规划 MPC

2. 接触力优化 MPC

3. 全身运动 MPC

MPC 与学习方法的融合架构

架构 1: 分层控制

Diffusion Policy → MPC 集成

方案 A: 轨迹级集成

方案 B: 目标级集成

VLA → MPC 集成

典型流程

代码示例

技术挑战与解决方案

1. 时间尺度不匹配

异步运行

预测更长时域

快速采样方法

2. 可行性保证

3. 反馈闭环

实际案例

MIT Cheetah 3

Tesla Optimus (推测)

DeepMind 的工作

高级话题

1. 可微分 MPC

2. 学习 MPC 参数

3. 隐式 MPC

实现建议

选择集成方式

调试技巧

开源实现

MPC 库

学习框架

集成示例

未来方向

参考资源

论文