arXiv:2503.07137

作者：Siyuan Mu (四川农业大学), Sen Lin (休斯顿大学)

研究背景

随着AI基础大模型的快速发展，现代数据集变得越来越多样化和复杂，包含多模态数据（文本、图像、音频）和复杂结构（图、层次关系）。这给大模型发展带来两大挑战：

1. 计算资源消耗巨大：训练和部署大模型的计算成本呈指数增长
2. 异构数据拟��困难：在单一模型中整合冲突或异构知识变得困难，导致训练不稳定和性能次优

混合专家模型（Mixture of Experts, MoE）通过动态选择和激活最相关的子模型来处理输入数据，成为解决这些挑战的有效方案。

研究目标

• 填补现有MoE综述的空白（过时或缺乏关键领域讨论）
• 全面总结MoE的基础设计、算法、理论和应用四大关键组件
• 为研究者提供系统性参考，激发进一步研究

核心概念

MoE基本原理

MoE采用”分而治之”（divide and conquer）策略，与传统密集模型不同：

• 传统模型：对每个输入激活所有参数
• MoE模型：根据输入特征动态选择和激活最相关的参数子集

MoE层数学表示

$$
\text{MoE}(x) = \sum_{i \in \mathcal{I}_D} w_i M_i(x)
$$
其中 $\mathcal{I}_D$ 是被选中专家的索引集，$w_i$ 是第 $i$ 个专家的权重，$M_i(x)$ 是专家网络输出。

研究方法

1. 门控函数（Gating Function）

线性门控（Softmax Gating）

$$
G(x)i = \text{softmax}(\text{TopK}(g(x) + R{noise}, k))i
$$
其中 $g(x)$ 是线性函数计算的门控值，$R{noise}$ 是鼓励专家探索的噪声。

非线性门控

• 余弦门控（GMoE）：
  $$
  G(x) = \text{TopK}\left(\text{softmax}\left(\frac{E^T W_{linear} x}{\tau |W_{linear} x| |E|}\right)\right)
  $$
• 指数族分布门控
• Soft MoE：使用加权平均而非离散分配

2. 专家网络（Expert Network）

3. 路由策略（Routing Strategy）

• Token级路由：基于token表示进行路由决策（最经典）
• 模态级路由：根据数据模态进行路由（多模态任务）
• 任务级路由：根据任务ID确定路由（多任务学习）

4. 训练策略

负载均衡损失（Switch Transformer）

$$
\mathcal{L}{aux} = \alpha \cdot N \cdot \sum{i=1}^{N} f_i \cdot Q_i
$$
其中 $f_i$ 是分配给专家 $i$ 的token比例，$Q_i$ 是路由概率比例。

MoA（Mixture-of-Attention）详解

基本架构

MoA将MoE机制引入多头注意力模块，每个注意力头视为一个”专家”。

工作流程

1. 输入token进入MoA层
2. 门控网络计算每个注意力头的重要性分数
3. 选择TopK个最相关的注意力头
4. 仅计算被选中头的输出并加权求和

代码实现核心

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

class MixtureOfAttention(nn.Module):
    def __init__(self, d_model, num_heads=8, head_dim=64, top_k=2):
        self.attention_experts = nn.ModuleList([
            AttentionExpert(d_model, head_dim) for _ in range(num_heads)
        ])
        self.router = AttentionRouter(d_model, num_heads, top_k)

    def forward(self, x):
        weights, indices, logits = self.router(x)
        output = torch.zeros_like(x)
        for k in range(self.top_k):
            for head_idx in range(self.num_heads):
                mask_k = (indices[:, :, k] == head_idx)
                if mask_k.any():
                    head_output = self.attention_experts[head_idx](x)
                    output[mask_k] += weights[:, :, k][mask_k].unsqueeze(-1) * head_output[mask_k]
        return output

MoA vs 标准多头注意力

主要发现

算法应用领域

应用领域

代表性大模型

讨论

优势

• 计算效率：通过稀疏激活显著降低计算成本
• 模型容量：可扩展至万亿参数而不成比例增加计算
• 专业化学习：不同专家专注于不同知识领域
• 可解释性：通过分析专家分配机制理解模型行为

局限性

• 训练稳定性：动态专家选择可能导致负载不均衡和模型崩溃
• 系统复杂性：All-to-All通信模式增加系统设计难度
• 内存需求：多专家参数存储可能超出单设备容量

未来方向

1. 训练稳定性与负载均衡：开发更鲁棒的训练策略
2. 训练与系统效率：优化硬件-软件协同设计
3. 架构设计：使用元学习或强化学习动态调整专家数量
4. 理论发展：深入理解专家路由决策和聚类机制
5. 定制算法设计：探索MoE与对比学习、自监督学习的结合
6. 新应用领域：医疗、机器人、自动驾驶、教育、金融

相关工作

• Switch Transformer：首个万亿参数MoE模型
• V-MoE：视觉领域MoE应用
• Mixtral 8×7B：高效MoE语言模型
• Soft MoE：软分配MoE新范式
• [[BAGEL-Unified-Multimodal-Pretraining]]

参考文献

• Fedus et al. (2022). Switch Transformers: Scaling to Trillion Parameter Models. JMLR.
• Shazeer et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. arXiv.
• Riquelme et al. (2021). Scaling Vision with Sparse Mixture of Experts. NeurIPS.
• Jiang et al. (2024). Mixtral of Experts. arXiv.

Neural Discrete Representation Learning | VQ-BeT: Behavior Generation with Latent Actions

研究背景

在无监督学习和机器人学习领域，表示学习是核心问题之一。传统的变分自编码器（VAE, Variational AutoEncoder）使用连续潜在变量，但存在后验崩塌（posterior collapse）问题，即解码器过强导致忽略潜在编码。

在机器人学习中，直接学习连续高维动作空间面临以下挑战：

• 动作分布通常是多模态的（如抓取物体可以有多种方式）
• 行为克隆（Behavior Cloning）容易产生平均化的次优动作
• 连续动作空间的策略学习不稳定

VQ-VAE（Vector Quantised-Variational AutoEncoder）通过引入离散潜在变量，为这些问题提供了有效的解决方案。

研究目标

VQ-VAE的核心目标

1. 解决VAE中的后验崩塌问题
2. 学习有效的离散表示，适用于本质上离散的数据（语言、语音等）
3. 实现端到端的离散表示学习

机器人Latent Action的目标

1. 将连续高维动作空间压缩为离散的动作原语（action primitives）
2. 在离散空间中学习更稳定的策略
3. 实现时序动作抽象，降低决策频率
4. 提升多模态动作分布的建模能力

核心概念

VQ-VAE (Vector Quantised-Variational AutoEncoder)

VQ-VAE是一种使用离散潜在变量的生成模型，通过向量量化（Vector Quantization）技术将编码器输出映射到离散的码本空间。

关键组件：

• 编码器（Encoder）：将输入映射到连续潜在空间
• 码本（Codebook）：包含 $K$ 个 $d$ 维向量 $\mathbf{e} \in \mathbb{R}^{K \times d}$
• 量化层（Quantization）：将连续表示映射到最近的码本向量
• 解码器（Decoder）：从离散表示重建输入

Latent Action（潜在动作）

Latent Action是将连续动作序列编码为离散token的表示方法。每个离散token代表一个”动作原语”或”技能”，可以解码为一段连续的动作序列。

核心思想：

• 将动作序列 $\mathbf{a}_{t:t+H}$ 编码为单个离散索引 $z \in {1, …, K}$
• 策略网络在离散空间中选择动作：$\pi(\mathbf{o}_t) \rightarrow z$
• 解码器将离散索引恢复为连续动作：$z \rightarrow \mathbf{a}_{t:t+H}$

VQ-VAE方法详解

架构设计

1
2
3
4
5
6
7
8
9
10
11
12
13

输入 x
  ↓
[编码器] Encoder
  ↓
z_e(x) ∈ R^(H×W×D)  (连续潜在表示)
  ↓
[向量量化] Vector Quantization
  ↓
z_q(x) ∈ R^(H×W×D)  (离散潜在表示)
  ↓
[解码器] Decoder
  ↓
重建输出 x̂

向量量化过程

对于编码器输出的每个空间位置，找到最近的码本向量：

$$
z_q(\mathbf{x}) = \mathbf{e}_k, \quad \text{where} \quad k = \arg\min_j |\mathbf{z}_e(\mathbf{x}) - \mathbf{e}_j|_2
$$

损失函数

VQ-VAE使用三部分损失函数：

$$
L = \log p(\mathbf{x}|\mathbf{z}_q(\mathbf{x})) + |\text{sg}[\mathbf{z}_e(\mathbf{x})] - \mathbf{e}|_2^2 + \beta |\mathbf{z}_e(\mathbf{x}) - \text{sg}[\mathbf{e}]|_2^2
$$

其中：

• 重建损失（Reconstruction Loss）：$\log p(\mathbf{x}|\mathbf{z}_q(\mathbf{x}))$，确保重建质量
• 码本损失（Codebook Loss）：$|\text{sg}[\mathbf{z}_e(\mathbf{x})] - \mathbf{e}|_2^2$，更新码本向量使其靠近编码器输出
• 承诺损失（Commitment Loss）：$\beta |\mathbf{z}_e(\mathbf{x}) - \text{sg}[\mathbf{e}]|_2^2$，鼓励编码器输出靠近码本向量（$\beta = 0.25$）

其中 $\text{sg}[\cdot]$ 表示stop gradient操作，阻止梯度传播。

Straight-Through Estimator

问题：量化操作 $\mathbf{z}q = \arg\min{\mathbf{e}} |\mathbf{z}_e - \mathbf{e}|$ 不可微分

解决方案：在反向传播时，将解码器的梯度直接复制给编码器：

$$
\nabla_{\mathbf{z}e} L = \nabla{\mathbf{z}_q} L
$$

即在前向传播使用离散的 $\mathbf{z}_q$，在反向传播时假装量化操作是恒等映射。

数据尺度变化示例

以CIFAR-10图像重建为例：

信息压缩率：$(32 \times 32 \times 3) / (8 \times 8 \times \log_2 512) \approx 42$ 倍压缩（假设码本大小 $K=512$）

VQ-VAE在机器人中的应用

整体架构

1
2
3
4
5
6
7
8
9
10
11

观察 o_t (图像/状态)
    ↓
[策略网络 π]
    ↓
离散latent action z ∈ {1,...,K}
    ↓
[VQ-VAE解码器]
    ↓
连续动作序列 a_{t:t+H}
    ↓
执行到机器人

动作序列编码

输入：动作序列 $\mathbf{a}_{t:t+H} \in \mathbb{R}^{H \times d_a}$，其中 $H$ 是序列长度，$d_a$ 是动作维度

编码过程：

1. 通过1D卷积或Transformer编码时序信息
2. 输出单个向量 $\mathbf{z}_e \in \mathbb{R}^D$
3. 量化为离散索引 $k \in {1, …, K}$

解码过程：

1. 从码本中查找向量 $\mathbf{e}_k$
2. 通过解码器生成动作序列 $\hat{\mathbf{a}}_{t:t+H}$

训练流程

阶段1：训练VQ-VAE

使用专家演示数据训练VQ-VAE：

1
2
3
4
5
6
7
8
9
10
11
12
13
14

for batch in expert_demonstrations:
    action_seq = batch['actions']  # [B, H, action_dim]

    # 编码-量化-解码
    z_e = encoder(action_seq)
    z_q = quantize(z_e, codebook)
    action_recon = decoder(z_q)

    # 三部分损失
    loss_recon = MSE(action_seq, action_recon)
    loss_vq = MSE(sg(z_e), z_q)
    loss_commit = MSE(z_e, sg(z_q))

    loss = loss_recon + loss_vq + 0.25 * loss_commit

阶段2：训练策略网络

固定VQ-VAE，训练策略在离散空间中选择动作：

1
2
3
4
5
6
7
8
9
10
11

for batch in demonstrations:
    obs = batch['observations']  # [B, T, obs_dim]
    actions = batch['actions']   # [B, T, action_dim]

    # 将动作编码为离散token
    with torch.no_grad():
        z_indices = vqvae.encode(actions)  # [B, T//H]

    # 训练策略预测离散token
    z_pred = policy(obs)  # [B, T//H, K]
    loss = CrossEntropy(z_pred, z_indices)

主要应用案例

VQ-BeT (VQ-Behavior Transformer)

论文：Behavior Generation with Latent Actions (CoRL 2023)

核心思想：

1. 使用VQ-VAE将动作序列压缩为离散token
2. 使用Transformer建模观察到latent action的映射：$p(z_t | \mathbf{o}_{1:t})$
3. 执行时解码latent action为连续动作序列

优势：

• 有效处理多模态动作分布
• 避免行为克隆中的动作平均化问题
• 支持长时序动作规划（一次预测多步）

LISA (Latent Imagination with Skill Abstraction)

核心思想：结合世界模型和latent action

1
2
3
4
5
6
7
8
9

当前状态 s_t
    ↓
[世界模型] 在latent space中想象
    ↓
预测未来状态序列 ŝ_{t+1:t+H}
    ↓
[规划器] 选择最优latent action z*
    ↓
[VQ解码器] z* → 连续动作

SPiRL (Skill-based Model-based RL)

将VQ-VAE学习的离散表示视为”技能”，在强化学习中进行技能级别的规划。

实验设计与结果

VQ-VAE实验（原始论文）

数据集

• CIFAR-10：32×32彩色图像
• ImageNet：128×128和256×256图像
• VCTK语音数据集：英语语音数据
• DeepMind Lab：强化学习环境视频

关键参数

• 码本大小 $K$：512
• 编码维度 $D$：64
• 承诺损失系数 $\beta$：0.25

主要结果

机器人Latent Action实验

超参数选择

性能对比

VQ-BeT在多个机器人操作任务上的表现：

讨论

优势

VQ-VAE本身：

• 避免后验崩塌问题，潜在编码被充分利用
• 离散表示更适合某些模态（语言、符号）
• 可以学习到有意义的离散结构

在机器人中的优势：

• 多模态建模：离散分类比连续回归更容易处理多模态动作分布
• 时序抽象：一个latent action代表一段动作序列，降低决策频率
• 训练稳定性：离散空间避免连续动作的梯度不稳定
• 可解释性：码本向量可视为”技能原语”，便于分析和调试
• 泛化能力：学到的动作原语可以组合应用到新场景

局限性

VQ-VAE的挑战：

• 码本利用率问题（codebook collapse）：部分码本向量可能不被使用
• 重建误差：离散化导致信息损失
• 超参数敏感：$K$、$D$、$\beta$ 需要仔细调优

机器人应用的挑战：

• 重建精度：VQ-VAE无法完美重建动作，影响执行精度
• 序列长度选择：$H$ 的选择需要在抽象能力和精确控制之间权衡
• 计算开销：需要额外训练VQ-VAE模型
• 在线适应：预训练的码本可能不适合新任务

相关工作

离散表示学习

• VQ-VAE-2 (Razavi et al., 2019)：层次化VQ-VAE，提升生成质量
• DALL-E (Ramesh et al., 2021)：使用VQ-VAE的离散表示进行文本到图像生成
• Gumbel-Softmax VAE：另一种离散VAE方法，使用Gumbel-Softmax技巧

机器人技能学习

• Skill Discovery：无监督发现技能的方法（DIAYN, DADS等）
• Hierarchical RL：层次化强化学习，在不同抽象层次上决策
• Option Framework：时序抽象的经典框架

行为克隆与模仿学习

• Diffusion Policy (Chi et al., 2023)：使用扩散模型生成动作
• Action Chunking Transformer (Zhao et al., 2023)：直接预测动作序列
• BeT (Shafiullah et al., 2022)：使用离散化动作的行为Transformer

未来方向

方法改进

1. 层次化VQ-VAE：

   • 高层策略选择宏观latent action
   • 低层策略选择微观latent action
   • 实现多层次的时序抽象

2. 与扩散模型结合：

   • 使用VQ-VAE的离散表示作为扩散模型的条件
   • 在离散空间规划，在连续空间精细化
   • 结合两者优势：稳定性+精确性

3. 在线学习与适应：

   • 预训练VQ-VAE在大规模数据上
   • 在新任务上微调策略网络
   • 探索码本的在线更新机制

4. 解决码本崩塌：

   • 使用EMA（指数移动平均）更新码本
   • 引入正则化鼓励码本多样性
   • 动态调整码本大小

应用拓展

1. 多模态机器人学习：

   • 结合视觉、触觉、本体感觉
   • 学习跨模态的统一表示

2. 长时序任务规划：

   • 在latent action空间进行任务规划
   • 结合符号推理和连续控制

3. 迁移学习：

   • 在源任务上学习通用动作原语
   • 在目标任务上组合和微调

4. 人机协作：

   • 可解释的动作原语便于人类理解
   • 支持人类通过选择latent action进行干预

参考文献

核心论文

• van den Oord, A., Vinyals, O., & Kavukcuoglu, K. (2017). Neural Discrete Representation Learning. NIPS 2017. arXiv:1711.00937
• Shafiullah, N. M. M., et al. (2023). Behavior Generation with Latent Actions (VQ-BeT). CoRL 2023. arXiv:2403.03181

相关工作

• Razavi, A., et al. (2019). Generating Diverse High-Fidelity Images with VQ-VAE-2. NeurIPS 2019.
• Pertsch, K., et al. (2020). Accelerating Reinforcement Learning with Learned Skill Priors (SPiRL). CoRL 2020.
• Lynch, C., & Sermanet, P. (2020). Learning Latent Plans from Play (LISA). CoRL 2020.
• Chi, C., et al. (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS 2023.

关键代码示例

VQ-VAE量化层实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

import torch
import torch.nn as nn

class VectorQuantizer(nn.Module):
    def __init__(self, num_embeddings, embedding_dim, commitment_cost=0.25):
        super().__init__()
        self.embedding_dim = embedding_dim
        self.num_embeddings = num_embeddings
        self.commitment_cost = commitment_cost

        # 初始化码本
        self.embedding = nn.Embedding(num_embeddings, embedding_dim)
        self.embedding.weight.data.uniform_(-1/num_embeddings, 1/num_embeddings)

    def forward(self, z_e):
        # z_e: [B, D] 编码器输出

        # 计算距离
        distances = torch.sum(z_e**2, dim=1, keepdim=True) + \
                    torch.sum(self.embedding.weight**2, dim=1) - \
                    2 * torch.matmul(z_e, self.embedding.weight.t())

        # 找到最近的码本向量
        encoding_indices = torch.argmin(distances, dim=1)
        z_q = self.embedding(encoding_indices)

        # 计算损失
        e_latent_loss = torch.mean((z_q.detach() - z_e)**2)  # 码本损失
        q_latent_loss = torch.mean((z_q - z_e.detach())**2)  # 承诺损失
        loss = e_latent_loss + self.commitment_cost * q_latent_loss

        # Straight-through estimator
        z_q = z_e + (z_q - z_e).detach()

        return z_q, loss, encoding_indices

动作序列编码器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

class ActionEncoder(nn.Module):
    def __init__(self, action_dim, hidden_dim, latent_dim, seq_len):
        super().__init__()
        self.seq_len = seq_len

        # 1D卷积编码时序信息
        self.conv1 = nn.Conv1d(action_dim, hidden_dim, kernel_size=4, stride=2, padding=1)
        self.conv2 = nn.Conv1d(hidden_dim, hidden_dim*2, kernel_size=4, stride=2, padding=1)
        self.fc = nn.Linear(hidden_dim*2 * (seq_len//4), latent_dim)

    def forward(self, action_seq):
        # action_seq: [B, seq_len, action_dim]
        x = action_seq.transpose(1, 2)  # [B, action_dim, seq_len]
        x = torch.relu(self.conv1(x))
        x = torch.relu(self.conv2(x))
        x = x.flatten(1)
        z_e = self.fc(x)
        return z_e

框架

论文使用**RSSM(Recurrent State Space Model)**：使用encoder来编码环境和动作生成latent state, 预测未来latent state，最后基于latent state预测奖励。

优势：

• 网络可以在 latent 中快速 roll-out 数千条 imagined trajectories
• 不用预测 pixel → 速度极快
• 潜在空间的 Markov 性保证了规划时的可微分性

重参数化 Reparameterization Trick

Dreamer 最关键的地方：

动作必须是可微的随机变量，这样梯度才能从 value 反传到 actor。

如果我们直接写 $a \sim \mathcal{N}(\mu, \sigma)$, 那么采样是不可微的 → 梯度断掉 → Actor 无法学习。
重参数化技巧的做法：$a=\mu+\sigma\cdot\epsilon$, $\epsilon\sim\mathcal{N}(0,1)$
现在：

• ε 是随机的
• μ 和 σ 是可微的网络输出
  所以动作对 actor 参数有梯度, 这就是可微规划（differentiable planning）的基础。

Introduction

IL是区别于传统手动编程来赋予机器人自主能力的方法。
IL 允许机器通过演示（人类演示专家行为）来学习所需的行为，从而消除了对显式编程或特定于任务的奖励函数的需要。
IL主要有两个类别：

• 行为克隆(BC)
• 反向强化学习(IRL)
  

Behavior Cloning

BC 是一种 IL 技术，它将学习行为的问题视为监督学习任务 。 BC 涉及通过建立环境状态与相应专家操作之间的映射来训练模型来复制专家的行为。专家的行为被记录为一组state-action pair，也称为演示。在训练过程中，模型学习一个函数，利用这些演示作为输入，将当前状态转换为相应的专家操作。经过训练，模型可以利用这个学习函数来生成遇到新状态的动作。

不需要了解环境的潜在动态，计算效率很高，相对简单的方法。

The covariate shift problem: 测试期间观察到的状态分布可能与训练期间观察到的状态分布有所不同，使得代理在遇到未见过的状态时容易出错，而对于如何进行操作缺乏明确的指导。BC监督方法的问题是，当智能体漂移并遇到分布外状态时，它不知道如何返回到演示的状态。

为了解决这个问题：

Inverse Reinforcement Learning

IRL 涉及一个学徒代理，其任务是推断观察到的演示背后的奖励函数，这些演示被认为源自表现最佳的专家 。然后使用推断的奖励函数通过 RL 训练学习代理的策略。

为了解决“政策->奖励函数“的模糊性，有以下三种IRL

• maximum-margin methods（奖励函数比任何其他策略在一定程度上更全面地解释最优策略。这本质上意味着找到一个最大化指定利润的解决方案，确保派生的奖励函数捕捉专家行为的本质。）
• maximum entropy（处理专家次优性和随机性的有前景的能力）
• guided cost learning（旨在优化策略优化内循环内的非线性奖励函数的方法。这种方法通过直接利用系统的原始状态来构建奖励函数，从而改变了传统的 IRL 范式，从而消除了广泛的特征工程的需要。）

Adversarial Imitation Learning

The agent strives to deceive the discriminator by generating trajectories closely resembling those of the expert.

Imitation From Observation

仅通过图像序列来学习，不需要具体的关节动作操作数据。

Unlike the traditional methods, IfO presents a more organic approach to learning from experts, mirroring how humans and animals approach imitation. Humans often learn new behaviors by observing others without detailed knowledge of their actions (e.g., the muscle commands). People learn a diverse range of tasks, from weaving to swimming to playing games, by watching online videos. Despite differences in body shapes, sensory inputs, and timing, humans exhibit an impressive ability to apply knowledge gained from the online demonstrations

将可学习的资源扩大到了线上的视频资源。

Latent Action Policies (LAPOs)

过分析观察到的动态，LAPO 推断出行动空间的底层结构，促进潜在行动策略的训练。然后，这些策略可以进行高效的微调，以达到专家级的性能，从而提供离线和在线场景的适应性。使用包含标记动作的小数据集进行离线微调是可行的，而在线微调可以使用奖励来完成。与依赖标记数据来训练逆动力学模型不同，LAPO直接从观察到的环境动态中导出潜在动作信息，而不需要任何标签。

Challenges And Limitations

。。。

联邦学习（Federated Learning, FL）作为一种新兴的分布式机器学习方法，已经引起了大量研究的关注。要系统地理解联邦学习的相关研究，建议遵循以下结构化的阅读图谱，以便逐步加深对其原理、应用和挑战的理解。

1. 基础与概念性论文

这些论文介绍了联邦学习的基本概念、目标、以及经典算法，是了解联邦学习的起点。

• Konečnỳ, J., et al. (2016). “Federated Learning: Strategies for Improving Communication Efficiency” arXiv

  • 介绍了联邦学习的概念，提出了最早期的算法（如FedAvg），并讨论了如何优化通信效率。

• McMahan, H. B., et al. (2017). “Communication-Efficient Learning of Deep Networks from Decentralized Data” arXiv

  • 这篇论文提出了经典的Federated Averaging (FedAvg) 算法，系统阐述了在分布式环境下训练深度学习模型时的通信效率问题。

• Yang, Q., Liu, Y., Cheng, Y., Kang, Y., Chen, T., & Yu, H. (2019). “Federated Learning” ACM Transactions on Intelligent Systems and Technology (TIST)

  • 详细综述了联邦学习的基本框架、挑战、技术和应用，适合作为综述性的阅读材料。

2. 隐私保护与安全性

联邦学习的一个重要目标是确保数据的隐私和安全，这一领域的研究为其提供了理论基础和技术手段。

• Bonawitz, K., et al. (2017). “Practical Secure Aggregation for Federated Learning on User-Held Data” arXiv

  • 讨论了如何在联邦学习中实现安全聚合（Secure Aggregation），即确保服务器无法知道单个客户端的模型更新内容，以保护用户隐私。

• Geyer, R. C., Klein, T., & Nabi, M. (2017). “Differentially Private Federated Learning: A Client Level Perspective” arXiv

  • 探讨了如何将差分隐私（Differential Privacy）应用于联邦学习中，以确保用户模型更新时的隐私。

• Zhao, Y., et al. (2018). “Federated Learning with Non-IID Data” arXiv

  • 讨论了在非独立同分布（non-IID）数据的情况下，如何在联邦学习中实现模型训练，这是实际应用中的重要挑战之一。

3. 优化与效率

联邦学习中的通信和计算效率问题是该领域的关键研究方向，许多研究尝试通过各种方法优化模型训练过程中的资源消耗。

• Li, X., et al. (2020). “Federated Optimization in Heterogeneous Networks” arXiv

  • 讨论了在客户端计算能力和网络资源异质性情况下如何进行联邦优化。

• Kairouz, P., et al. (2021). “Advances and Open Problems in Federated Learning” arXiv

  • 这篇论文对联邦学习的现状、挑战以及未来的研究方向进行了系统性综述，覆盖了通信效率、模型性能、隐私保护等多个方面。

• Chen, M., et al. (2020). “Joint Learning and Communication Optimization for Federated Learning over Wireless Networks” arXiv

  • 探讨了如何在无线网络环境下优化联邦学习中的学习效率和通信效率。

4. 系统实现与工具

要更好地理解联邦学习在实际中的应用和系统架构，可以参考一些开源框架和实际实现案例。

• Google AI. “Federated Learning for Mobile Keyboard Prediction” Blog Post

  • 这是联邦学习最早的实际应用之一，讲述了Google如何使用联邦学习提升手机键盘的预测能力。

• TensorFlow Federated (TFF): GitHub

  • TensorFlow Federated是Google推出的一个开源框架，用于实现联邦学习的系统实验。通过阅读其文档，可以深入理解联邦学习的具体实现细节。

5. 联邦学习在各领域的应用

联邦学习在诸多行业中都具有广泛的应用，了解这些应用有助于扩展对联邦学习实际意义的认识。

• Rieke, N., et al. (2020). “The Future of Digital Health with Federated Learning” arXiv

  • 探讨了联邦学习在医疗健康领域的应用，特别是在跨医院数据无法集中共享的情况下如何训练模型。

• Hard, A., et al. (2019). “Federated Learning for Mobile Keyboard Prediction” arXiv

  • 描述了联邦学习在智能手机上如何用于改善键盘输入的预测性能。

6. 联邦学习的挑战与未来研究方向

对于未来的研究，联邦学习还面临许多挑战，比如系统异质性、模型性能与隐私保护的平衡等。

• Wang, J., et al. (2021). “Federated Learning: Challenges, Methods, and Future Directions” arXiv
  • 这篇论文对联邦学习面临的主要挑战进行了分析，如数据不均衡、通信成本、模型性能等，并提出了一些未来的研究方向。

联邦学习论文阅读图谱总结：

1. 基础理论：先了解联邦学习的基本框架和经典算法。
2. 隐私与安全：深入研究数据隐私保护和安全机制。
3. 优化与效率：关注如何优化联邦学习中的通信与计算。
4. 系统实现：通过工具和实际案例理解系统实现细节。
5. 应用领域：了解联邦学习在不同领域的实际应用。
6. 挑战与未来方向：展望联邦学习的未来挑战和潜在研究方向。

通过这个图谱，你可以系统地了解联邦学习的关键领域，并逐步深入到各个具体问题的解决方法与研究前沿。

https://dl.acm.org/doi/pdf/10.1145/3620666.3651367

Background

Qumode

Qumodes are a different way of carrying and manipulating quantum information than qubits.

就像二进制在电脑中的encoding方式，总共n bit的内存，那必然只能有 $2^n$ 种内存state，这是由二进制0或1的特性决定的。然后在让我们看qubit和qumode

States for qubits

If we go to qubits, not much in this picture changes. While a qubit has infinitely many possible states, it turns out that you should look at what is called the basis of the state space, which loosely said means that you should find the minimal number of states in which you can express every other state. For a qubit, this turns out to be two, for example the up state and the down state. To use the language from above, each qubit therefore has 2 ‘possible assignments’, and you have n of them, so by the arguments presented above, there are $2^ⁿ$ unique states. Because we are doing quantum mechanics, superpositions of these states are also allowed, but that doesn’t change the picture: the dimensionality of the system is still $2^ⁿ$.

Qubits是由单个光子的量子态决定的，的存储维数限制依然是 $2^n$

States for qumodes

Squeezing gates

概要

Transformer是一种基于注意力机制，完全不需要递归或卷积网络的序列预测模型，且更易于训练

背景

介绍了Gated-RNN/LSTM的基本逻辑[[Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling]]，指出:
这种固有的顺序性质阻碍了训练示例中的并行化，这在较长的序列长度上变得至关重要，因为内存限制限制了示例之间的批处理，虽然后续有相关工作优化了一些性能，但是基本的限制并没有解除。

代码

https://github.com/hkproj/pytorch-transformer/
https://www.youtube.com/watch?v=ISNdQcPhsts

关于Transformer 中的LayerNorm: https://dkleine.substack.com/p/understanding-layer-normalization?utm_campaign=post&utm_medium=web