BAGEL: Emerging Properties in Unified Multimodal Pretraining

论文链接 | 项目主页

作者：Chaorui Deng, Deyao Zhu, Kunchang Li 等 (ByteDance Seed)

研究背景

统一多模态理解与生成（Unified Multimodal Understanding and Generation）是当前AI领域的热点方向。GPT-4o、Gemini 2.0等闭源系统展现了强大能力，但开源模型与之仍存在显著差距。现有开源统一模型主要在图文配对数据上训练，缺乏对复杂多模态交错数据（Interleaved Data）的利用。

研究目标

1. 缩小开源统一多模态模型与闭源系统（GPT-4o、Gemini 2.0）之间的性能差距
2. 解决现有模型架构中理解与生成模块之间的信息瓶颈（Bottleneck）问题
3. 构建能够支持复杂多模态推理的大规模交错数据

核心概念

理解与生成之间的瓶颈（Bottleneck）

在采用 External Diffuser 架构的模型中，LLM/VLM 与扩散模型通过轻量级适配器连接：

• 语言模型生成少量潜在token作为”语义条件”
• 这些token被传递给扩散模块生成图像
• 问题：LLM的丰富上下文被压缩到少量token中，导致信息损失，尤其影响长上下文多模态推理

Mixture-of-Transformer-Experts (MoT)

与传统MoE不同，MoT复制整个Transformer层而非仅FFN：

• 理解专家：处理文本和ViT token
• 生成专家：处理VAE token
• 两个专家通过共享自注意力在每层交互

研究方法

架构设计

BAGEL采用无瓶颈的集成Transformer方案：

双视觉编码器：

• 理解编码器：SigLIP2-so400m/14，捕获语义信息
• 生成编码器：FLUX VAE，处理像素级信息

训练范式

损失权重比：$\text{CE} : \text{MSE} = 0.25 : 1$

广义因果注意力（Generalized Causal Attention）

对于交错多图像生成：

• Noised VAE tokens：用于Rectified-Flow训练
• Clean VAE tokens：作为后续生成的条件
• ViT tokens：统一输入格式，提升交错生成质量

采用Diffusion Forcing策略，对不同图像添加独立噪声级别。

数据构���

数据规模

交错数据构建流程

视频数据：

1. 视频预处理（分割、裁剪、质量过滤）
2. 使用蒸馏的小型VLM生成帧间描述
3. 构建时序对齐的交错序列

网页数据：

1. 两阶段主题筛选（LLM + fastText）
2. 质量过滤（分辨率、清晰度、相关性）
3. Caption-first策略：为每张图像生成描述并插入其前

推理增强数据（Reasoning-Augmented Data）

受DeepSeek-R1启发，构建50万条推理增强样本：

• Text-to-Image生成
• 自由形式图像操作
• 概念性编辑

主要发现

涌现能力（Emerging Properties）

论文定义：某能力在早期训练阶段不存在，但在后期训练中出现

不同能力的涌现时间点（达到85%峰值性能所需token数）：

关键发现：

• 理解和生成能力最先收敛
• 编辑能力随后涌现
• 需要复杂推理的智能编辑能力最后涌现
• ViT tokens对智能编辑至关重要（移除后性能下降16%）

架构对比实验

在1.5B模型上对比Dense、MoE、MoT三种架构：

• MoT在生成任务上优势最明显
• 表明理解和生成可能需要不同的参数空间

实验结果

多模态理解（7B参数）

图像生成（GenEval）

智能编辑（IntelligentBench）

讨论

优势

• 无瓶颈架构：理解与生成模块间无损信息交互
• 涌现能力：首次系统揭示统一多模态预训练的涌现规律
• 开源贡献：发布代码、模型权重和数据构建协议
• 推理增强：CoT显著提升复杂任务表现（WISE: +0.18, IntelligentBench: +10.4）

局限性

• 与GPT-4o在智能编辑上仍有差距（55.3 vs 78.9）
• 模型规模相对较小（7B active / 14B total）
• 训练计算成本高（需要大规模交错数据）

相关工作

统一多模态模型：

• Janus-Pro：采用离散视觉tokenizer的自回归方法
• MetaQuery-XL：冻结预训练VLM backbone
• Transfusion：统一AR和扩散的早期探索

视觉生成：

• FLUX.1-dev：当前SOTA扩散模型
• SD3-Medium：Stable Diffusion系列

未来方向

1. 更大规模训练：探索更大模型和更多数据下的涌现行为
2. 视频生成：论文展示了初步的视频生成能力，有待深入
3. 强化学习：无瓶颈架构为多模态RL提供了基础
4. 世界建模：导航、3D操作等世界建模任务的进一步探索

参考文献

• Deng et al. (2025). Emerging Properties in Unified Multimodal Pretraining. arXiv:2505.14683
• DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
• Esser et al. (2024). Scaling Rectified Flow Transformers for High-Resolution Image Synthesis (SD3)

arXiv:2503.07137

作者：Siyuan Mu (四川农业大学), Sen Lin (休斯顿大学)

研究背景

随着AI基础大模型的快速发展，现代数据集变得越来越多样化和复杂，包含多模态数据（文本、图像、音频）和复杂结构（图、层次关系）。这给大模型发展带来两大挑战：

1. 计算资源消耗巨大：训练和部署大模型的计算成本呈指数增长
2. 异构数据拟��困难：在单一模型中整合冲突或异构知识变得困难，导致训练不稳定和性能次优

混合专家模型（Mixture of Experts, MoE）通过动态选择和激活最相关的子模型来处理输入数据，成为解决这些挑战的有效方案。

研究目标

• 填补现有MoE综述的空白（过时或缺乏关键领域讨论）
• 全面总结MoE的基础设计、算法、理论和应用四大关键组件
• 为研究者提供系统性参考，激发进一步研究

核心概念

MoE基本原理

MoE采用”分而治之”（divide and conquer）策略，与传统密集模型不同：

• 传统模型：对每个输入激活所有参数
• MoE模型：根据输入特征动态选择和激活最相关的参数子集

MoE层数学表示

$$
\text{MoE}(x) = \sum_{i \in \mathcal{I}_D} w_i M_i(x)
$$
其中 $\mathcal{I}_D$ 是被选中专家的索引集，$w_i$ 是第 $i$ 个专家的权重，$M_i(x)$ 是专家网络输出。

研究方法

1. 门控函数（Gating Function）

线性门控（Softmax Gating）

$$
G(x)i = \text{softmax}(\text{TopK}(g(x) + R{noise}, k))i
$$
其中 $g(x)$ 是线性函数计算的门控值，$R{noise}$ 是鼓励专家探索的噪声。

非线性门控

• 余弦门控（GMoE）：
  $$
  G(x) = \text{TopK}\left(\text{softmax}\left(\frac{E^T W_{linear} x}{\tau |W_{linear} x| |E|}\right)\right)
  $$
• 指数族分布门控
• Soft MoE：使用加权平均而非离散分配

2. 专家网络（Expert Network）

3. 路由策略（Routing Strategy）

• Token级路由：基于token表示进行路由决策（最经典）
• 模态级路由：根据数据模态进行路由（多模态任务）
• 任务级路由：根据任务ID确定路由（多任务学习）

4. 训练策略

负载均衡损失（Switch Transformer）

$$
\mathcal{L}{aux} = \alpha \cdot N \cdot \sum{i=1}^{N} f_i \cdot Q_i
$$
其中 $f_i$ 是分配给专家 $i$ 的token比例，$Q_i$ 是路由概率比例。

MoA（Mixture-of-Attention）详解

基本架构

MoA将MoE机制引入多头注意力模块，每个注意力头视为一个”专家”。

工作流程

1. 输入token进入MoA层
2. 门控网络计算每个注意力头的重要性分数
3. 选择TopK个最相关的注意力头
4. 仅计算被选中头的输出并加权求和

代码实现核心

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

class MixtureOfAttention(nn.Module):
    def __init__(self, d_model, num_heads=8, head_dim=64, top_k=2):
        self.attention_experts = nn.ModuleList([
            AttentionExpert(d_model, head_dim) for _ in range(num_heads)
        ])
        self.router = AttentionRouter(d_model, num_heads, top_k)

    def forward(self, x):
        weights, indices, logits = self.router(x)
        output = torch.zeros_like(x)
        for k in range(self.top_k):
            for head_idx in range(self.num_heads):
                mask_k = (indices[:, :, k] == head_idx)
                if mask_k.any():
                    head_output = self.attention_experts[head_idx](x)
                    output[mask_k] += weights[:, :, k][mask_k].unsqueeze(-1) * head_output[mask_k]
        return output

MoA vs 标准多头注意力

主要发现

算法应用领域

应用领域

代表性大模型

讨论

优势

• 计算效率：通过稀疏激活显著降低计算成本
• 模型容量：可扩展至万亿参数而不成比例增加计算
• 专业化学习：不同专家专注于不同知识领域
• 可解释性：通过分析专家分配机制理解模型行为

局限性

• 训练稳定性：动态专家选择可能导致负载不均衡和模型崩溃
• 系统复杂性：All-to-All通信模式增加系统设计难度
• 内存需求：多专家参数存储可能超出单设备容量

未来方向

1. 训练稳定性与负载均衡：开发更鲁棒的训练策略
2. 训练与系统效率：优化硬件-软件协同设计
3. 架构设计：使用元学习或强化学习动态调整专家数量
4. 理论发展：深入理解专家路由决策和聚类机制
5. 定制算法设计：探索MoE与对比学习、自监督学习的结合
6. 新应用领域：医疗、机器人、自动驾驶、教育、金融

相关工作

• Switch Transformer：首个万亿参数MoE模型
• V-MoE：视觉领域MoE应用
• Mixtral 8×7B：高效MoE语言模型
• Soft MoE：软分配MoE新范式
• [[BAGEL-Unified-Multimodal-Pretraining]]

参考文献

• Fedus et al. (2022). Switch Transformers: Scaling to Trillion Parameter Models. JMLR.
• Shazeer et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. arXiv.
• Riquelme et al. (2021). Scaling Vision with Sparse Mixture of Experts. NeurIPS.
• Jiang et al. (2024). Mixtral of Experts. arXiv.