涌现的定义
西哲中的涌现
“涌现”（Emergence）最早起源于哲学领域。19世纪，英国哲学家乔治·亨利·刘易斯次用这个词来描述那些无法通过组成部分的性质解释的整体特性，即“整体大于部分之和”的现象。
复杂系统（计算机）中的涌现
系统科学家穆雷·盖尔曼和斯图尔特·考夫曼通过对复杂系统中自组织行为的研究，进一步发展了“涌现”的概念。他们认为，“涌现”指的是在复杂系统内，简单组件通过相互作用自然产生的某些特性或现象。这意味着，整体所展现的特征或行为不能简单地从其组成部分的性质中推导出来，而是在这些部分的相互作用中自发产生的。涌现现象侧重于解释复杂系统如何在没有外部指令或中央控制的情况下，通过系统内部的简单规则和相互作用，形成新的有序结构和行为。这表明，复杂性可以自然地产生，而不需要外部干预或预先的详细设计。
在这一方面最具代表性的就是生命游戏：
在生命游戏中：
- 规则极其简单（细胞的生死规则）。
- 初始状态可能看似随机。
- 但随着演化，整个系统会涌现出复杂的模式，如振荡器、滑翔机等。
![[game-of-life-loop-cropped.gif]]
AI中的涌现
关于文本自回归模型chatgpt参数提升带来的语言理解、推理、编程、创意生成等新能力的涌现我这里就不过多赘述了，我主要侧重分享一下在自监督视觉领域的涌现现象。
DINO（Self-Distillation with No Labels）是一种自监督学习方法，用于无标签学习视觉特征。它基于知识蒸馏（Distillation）和对比学习的思想，使用两组权重共享的网络（教师网络和学生网络）进行训练。
这个模型的思想是使用学生模型来预测教师模型生成的label，而教师模型的权重则使用学生模型的权重更新。其中学生们模型输入的图像是原始照片中的局部小区域的裁剪，而教师模型的输入是更大更全局的裁剪。
这种自监督的方式将数据集从原先有标注的数据集的百万规模扩展到了无标注网络图片的数亿规模。
在经过训练之后，这个模型能够实现那些起初并没有详细地针对性设计的功能
- 可以在没有做任何微调或者添加映射层的基础上在nearest neighbors classifier (k-NN)达到top-1准确率。
- 其次，在模型的最后一层self-attention layer上可以观察到显著的语义分割信息
## 体现的自然辩证法规律“量变产生质变”
在 DINO 这一自监督学习方法中，**“量变产生质变”**的自然辩证法规律得到了显著体现。该原理指出，**事物的质变并非突发的，而是由量变的积累达到临界点后发生的飞跃**。在 DINO 中，这一过程主要体现在以下几个方面：
- **训练数据规模的扩展促成能力涌现**
- 传统的有监督学习依赖人工标注的数据集，规模通常在百万级别，而 DINO 通过自监督学习，使训练数据扩展到了无标注的海量网络图片，规模达到数亿。
- 这一量的积累，使模型在没有人工监督的情况下，也能自发学会区分物体类别，最终形成具有良好泛化能力的特征表示。
- 特征学习的逐步优化推动了语义信息涌现
- 训练初期，DINO 学到的特征较为混乱，仅能捕捉低级视觉模式，如边缘和颜色分布。
- 随着训练的持续，网络的特征表达能力逐步提升，最终在 self-attention 层中涌现出**显式的语义分割能力**，尽管分割能力并非最初的训练目标。
- 教师-学生架构中不断积累的信息对齐，并通过自蒸馏的方式不断优化自身，局部的优化（量变）最终促成了全局的能力提升（质变）。
