Chen Yulin's Blog

Posted 2026-01-29Updated 2026-01-29Note16 minutes read (About 2393 words)

贝叶斯公式详解

Bayes’ Theorem | Bayesian Inference

概述

贝叶斯公式（Bayes’ Theorem）是概率论中的基本定理，描述了如何根据新证据更新对事件概率的信念。它是贝叶斯统计学、机器学习、人工智能等领域的理论基础，提供了一种系统化的方法来处理不确定性和进行推理。

公式形式

基本形式

$$P(A|B) = \frac{P(B|A) \times P(A)}{P(B)}$$

参数估计形式

$$P(\theta|D) = \frac{P(D|\theta) \times P(\theta)}{P(D)}$$

或写成：

$$\text{后验概率} = \frac{\text{似然} \times \text{先验}}{\text{证据}}$$

各项含义

符号	名称	含义
$P(\theta\|D)$	后验概率	看到数据 $D$ 后，参数 $\theta$ 的概率
$P(D\|\theta)$	似然	给定参数 $\theta$，观测到数据 $D$ 的概率
$P(\theta)$	先验概率	看到数据前，对参数 $\theta$ 的初始信念
$P(D)$	边缘似然/证据	数据 $D$ 出现的总概率（归一化常数）

边缘似然的计算

$$P(D) = \int P(D|\theta)P(\theta)d\theta$$

或离散情况：

$$P(D) = \sum_{\theta} P(D|\theta)P(\theta)$$

直观理解

贝叶斯公式回答：**”看到证据后，我应该如何更新我的信念？”**

$$\text{新信念} = \frac{\text{旧信念} \times \text{证据支持度}}{\text{归一化}}$$

核心思想：

从先验信念开始
根据观测到的证据调整信念
得到更新后的后验信念

实际例子

例 1：医疗诊断

场景：

某疾病患病率 1%（先验）
测试准确率：患病时阳性 95%，健康时阳性 5%
你测试呈阳性

问：你真的患病的概率是多少？

解答：

设：

$A$ = 患病
$B$ = 测试阳性

已知：

$P(A) = 0.01$（先验）
$P(B|A) = 0.95$（真阳性率）
$P(B|\neg A) = 0.05$（假阳性率）

计算边缘似然：

$$P(B) = P(B|A)P(A) + P(B|\neg A)P(\neg A)$$
$$= 0.95 \times 0.01 + 0.05 \times 0.99 = 0.059$$

应用贝叶斯公式：

$$P(A|B) = \frac{P(B|A) \times P(A)}{P(B)} = \frac{0.95 \times 0.01}{0.059} \approx 0.16$$

结论：即使测试阳性，患病概率只有 **16%**！

反直觉原因：先验概率很低（1%），大部分阳性结果来自假阳性。

例 2：垃圾邮件过滤

场景：

邮件中 30% 是垃圾邮件
垃圾邮件中 80% 含”中奖”
正常邮件中 5% 含”中奖”

问：含”中奖”的邮件是垃圾邮件的概率？

解答：

设：

$S$ = 垃圾邮件
$W$ = 含”中奖”

已知：

$P(S) = 0.3$
$P(W|S) = 0.8$
$P(W|\neg S) = 0.05$

计算：

$$P(W) = 0.8 \times 0.3 + 0.05 \times 0.7 = 0.275$$

$$P(S|W) = \frac{0.8 \times 0.3}{0.275} \approx 0.87$$

结论：含”中奖”的邮件有 87% 概率是垃圾邮件。

例 3：机器学习中的参数估计

场景：训练一个分类模型

目标：找到最优参数 $\theta$

$$P(\theta|D) = \frac{P(D|\theta) \times P(\theta)}{P(D)}$$

**似然 $P(D|\theta)$**：模型拟合数据的好坏
**先验 $P(\theta)$**：对参数的正则化（如 L2 正则 = 高斯先验）
**后验 $P(\theta|D)$**：综合考虑数据和先验的最优参数

最大后验估计（MAP）：

$$\theta_{MAP} = \arg\max_{\theta} P(\theta|D) = \arg\max_{\theta} P(D|\theta)P(\theta)$$

贝叶斯推断流程

1. 指定先验

根据领域知识或假设选择先验分布：

$$P(\theta)$$

常见先验：

无信息先验：均匀分布（表示无知）
共轭先验：使后验与先验同分布（计算方便）
正则化先验：高斯分布（L2 正则）、拉普拉斯分布（L1 正则）

2. 收集数据

观测数据 $D = {x_1, x_2, \ldots, x_N}$

3. 计算似然

根据模型计算数据的似然：

$$P(D|\theta) = \prod_{i=1}^{N} P(x_i|\theta)$$

4. 应用贝叶斯公式

计算后验分布：

$$P(\theta|D) = \frac{P(D|\theta)P(\theta)}{P(D)}$$

5. 进行推断

点估计：MAP 或后验均值
区间估计：可信区间（credible interval）
预测：$P(x_{new}|D) = \int P(x_{new}|\theta)P(\theta|D)d\theta$

贝叶斯 vs 频率学派

方面	贝叶斯学派	频率学派
参数性质	随机变量（有分布）	固定未知值
概率含义	信念程度	长期频率
推断方法	后验分布	点估计 + 置信区间
先验知识	必须指定先验	不使用先验
不确定性	参数的概率分布	估计的抽样分布
小样本	可利用先验	可能不稳定

例子对比

问题：抛硬币 10 次，8 次正面，估计正面概率 $\theta$

频率学派：

$$\hat{\theta}_{MLE} = \frac{8}{10} = 0.8$$

贝叶斯学派（假设先验 $\theta \sim \text{Beta}(2,2)$）：

$$P(\theta|D) = \text{Beta}(2+8, 2+2) = \text{Beta}(10, 4)$$

后验均值：

$$\mathbb{E}[\theta|D] = \frac{10}{10+4} \approx 0.71$$

差异：贝叶斯方法考虑了先验信念（硬币应该接近公平），结果更保守。

在机器学习中的应用

1. 朴素贝叶斯分类器

$$P(y|x_1, \ldots, x_n) = \frac{P(y) \prod_{i=1}^{n} P(x_i|y)}{P(x_1, \ldots, x_n)}$$

应用：文本分类、垃圾邮件过滤

2. 贝叶斯线性回归

$$P(w|D) = \frac{P(D|w)P(w)}{P(D)}$$

优势：提供预测的不确定性

3. 贝叶斯神经网络

对网络权重建模为分布而非点估计：

$$P(w|D) \propto P(D|w)P(w)$$

应用：不确定性量化、主动学习

4. 变分推断

当后验 $P(\theta|D)$ 难以计算时，用简单分布 $q(\theta)$ 近似：

$$\min_q D_{KL}(q(\theta)||P(\theta|D))$$

应用：VAE、主题模型（LDA）

5. 马尔可夫链蒙特卡洛（MCMC）

通过采样近似后验分布：

$$\theta^{(t+1)} \sim P(\theta|D)$$

应用：贝叶斯深度学习、概率编程

先验的选择

1. 无信息先验（Non-informative Prior）

目的：表达”无知”

例子：

均匀分布：$P(\theta) = \text{Uniform}(a, b)$
Jeffreys 先验：$P(\theta) \propto \sqrt{|I(\theta)|}$（基于 Fisher 信息）

2. 共轭先验（Conjugate Prior）

定义：后验与先验同分布族

例子：

似然	共轭先验	后验
伯努利	Beta	Beta
正态（已知方差）	正态	正态
泊松	Gamma	Gamma
多项式	Dirichlet	Dirichlet

优势：后验有闭式解，计算简单

3. 正则化先验

目的：防止过拟合

例子：

高斯先验：$P(w) = \mathcal{N}(0, \lambda^{-1}I)$ → L2 正则化
拉普拉斯先验：$P(w) = \text{Laplace}(0, b)$ → L1 正则化

4. 经验贝叶斯（Empirical Bayes）

从数据中估计先验的超参数：

$$\hat{\alpha} = \arg\max_{\alpha} P(D|\alpha)$$

常见问题

问题 1：先验是主观的吗？

回答：

是：先验反映了建模者的信念或假设
但：可以通过以下方式减少主观性：
- 使用无信息先验
- 使用领域知识
- 使用经验贝叶斯
- 数据足够多时，后验主要由似然决定

问题 2：贝叶斯方法计算复杂吗？

回答：

共轭先验：后验有闭式解，计算简单
非共轭情况：需要近似方法
- 变分推断（快速但近似）
- MCMC（精确但慢）
- 拉普拉斯近似（快速但粗糙）

问题 3：为什么 P(D) 叫”证据”？

回答：

$P(D)$ 是观测数据的边缘概率
在模型比较中，$P(D)$ 衡量模型对数据的解释能力
更高的 $P(D)$ 意味着模型更好地”证明”了数据的存在

问题 4：贝叶斯公式可以连续更新吗？

回答：可以！这是贝叶斯方法的优势。

顺序更新：

$$P(\theta|D_1, D_2) = \frac{P(D_2|\theta)P(\theta|D_1)}{P(D_2|D_1)}$$

前一次的后验成为下一次的先验：

1	先验 → [数据1] → 后验1 → [数据2] → 后验2 → ...

最佳实践

1. 选择合适的先验

# 弱信息先验（数据主导）
prior = Normal(0, 10)

# 强信息先验（先验主导）
prior = Normal(0, 0.1)

# 正则化先验
prior = Normal(0, 1/lambda)  # 等价于 L2 正则

2. 检查先验的影响

# 先验预测检查
prior_samples = prior.sample(1000)
prior_predictions = model(prior_samples)
# 检查先验预测是否合理

3. 后验检查

# 后验预测检查
posterior_samples = posterior.sample(1000)
posterior_predictions = model(posterior_samples)
# 与真实数据对比

4. 使用对数空间计算

1 2	# 避免数值下溢 log_posterior = log_likelihood + log_prior - log_evidence

代码示例

PyTorch 实现贝叶斯线性回归

import torch
import torch.distributions as dist

# 数据
X = torch.randn(100, 1)
y = 3 * X + 2 + torch.randn(100, 1) * 0.5

# 先验
prior_w = dist.Normal(0, 1)
prior_b = dist.Normal(0, 1)

# 似然
def likelihood(w, b, X, y, sigma=0.5):
    y_pred = w * X + b
    return dist.Normal(y_pred, sigma).log_prob(y).sum()

# 后验（使用变分推断近似）
q_w_mu = torch.nn.Parameter(torch.randn(1))
q_w_sigma = torch.nn.Parameter(torch.ones(1))
q_b_mu = torch.nn.Parameter(torch.randn(1))
q_b_sigma = torch.nn.Parameter(torch.ones(1))

optimizer = torch.optim.Adam([q_w_mu, q_w_sigma, q_b_mu, q_b_sigma], lr=0.01)

# 优化 ELBO
for _ in range(1000):
    optimizer.zero_grad()

    # 从变分分布采样
    w = q_w_mu + q_w_sigma * torch.randn(1)
    b = q_b_mu + q_b_sigma * torch.randn(1)

    # ELBO = 似然 - KL散度
    log_lik = likelihood(w, b, X, y)
    kl_w = dist.kl_divergence(
        dist.Normal(q_w_mu, q_w_sigma),
        prior_w
    )
    kl_b = dist.kl_divergence(
        dist.Normal(q_b_mu, q_b_sigma),
        prior_b
    )

    elbo = log_lik - kl_w - kl_b
    loss = -elbo

    loss.backward()
    optimizer.step()

print(f"后验均值: w={q_w_mu.item():.2f}, b={q_b_mu.item():.2f}")

概述