Base Model

ChemGPT 早期基座模型基于 EleutherAI 的语言模型 GPT‑Neo，在分子字符串语料（SMILES 或 SELFIES）上进行自回归建模。
典型预训练数据集为公开的大规模分子库 PubChem10M，参数规模覆盖百万到十亿级别（如约 4.7M 的轻量版本或 100M+ 的科研版本）。
属于领域特化的 decoder-only 化学语言模型。

Training Method

• 对分子进行编码：对 SMILES/SELFIES/反应式进行 tokenization，构建化学“语言”词表（原子、键、环、分支、立体标记等均被离散化为 token）
• 预训练目标：自回归分子语言建模（Next-token prediction），最大化生成合法分子序列的对数似然。

调用方式

网页直接使用

https://www.chemgpt.app/
（我没有注册账号，直接问会显示网络繁忙）

模型推理（文本生成 Pipeline）

text-generation pipeline 适合生成式任务（包括化学问答、分子生成）。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

from transformers import pipeline

chem_pipe = pipeline(
    "text-generation",
    model="ncfrey/ChemGPT-1.2B",  # 或 ncfrey/ChemGPT-4.7M
    device_map="auto"
)

prompt = "CCO>>"  # 以乙醇为前缀生成分子衍生结构或产物候选
result = chem_pipe(
    prompt,
    max_new_tokens=128,
    temperature=0.7,
    do_sample=True
)

print(result[0]["generated_text"])

模型推理（直接使用 model.generate）

当需要精细控制 token 级生成时，直接调用 generate API。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "ncfrey/ChemGPT-1.2B"  # 或 Chemistry 结构生成模型 ncfrey/ChemGPT-4.7M
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)
model.eval()
model.to("cuda" if torch.cuda.is_available() else "cpu")

prompt = "CCO>>"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    output_ids = model.generate(
        **inputs,
        max_new_tokens=100,
        do_sample=True,
        temperature=0.6,
        top_p=0.95
    )

generated = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(generated)

框架

论文使用**RSSM(Recurrent State Space Model)**：使用encoder来编码环境和动作生成latent state, 预测未来latent state，最后基于latent state预测奖励。

优势：

• 网络可以在 latent 中快速 roll-out 数千条 imagined trajectories
• 不用预测 pixel → 速度极快
• 潜在空间的 Markov 性保证了规划时的可微分性

重参数化 Reparameterization Trick

Dreamer 最关键的地方：

动作必须是可微的随机变量，这样梯度才能从 value 反传到 actor。

如果我们直接写 $a \sim \mathcal{N}(\mu, \sigma)$, 那么采样是不可微的 → 梯度断掉 → Actor 无法学习。
重参数化技巧的做法：$a=\mu+\sigma\cdot\epsilon$, $\epsilon\sim\mathcal{N}(0,1)$
现在：

• ε 是随机的
• μ 和 σ 是可微的网络输出
  所以动作对 actor 参数有梯度, 这就是可微规划（differentiable planning）的基础。

目前学界广泛认为，世界模型是通往AGI的正确道路。而世界模型这一理念可以追溯到这篇1991年的文章。

寓言

1890 年代的人想造飞机，却只能根据他们零碎的观察去猜。他们看到现代飞机巨大、复杂，于是做了一个错误类比：
“现代飞机又大又重 → 所以重量不是问题。”
这当然荒唐。真正让飞机能飞的前提是升力、功率重量比、材料强度等关键工程指标的平衡。但他们只看到了表象，所以：

• 座椅用实心钢
• 完全不关心重量控制
• 座舱设计完全按马车或汽车类比
• 控制系统用汽车方向盘、油门
• 甚至把“看地面”和“开窗透气”当成关键需求

寓言中的团队觉得项目太大，所以分专业化研究，但他们犯了一个致命错误： 没有系统架构，没有统一指标，没有工程指导思想。
因此：

• 每个小组各做各的
• 没有协调
• 没有明确目标
• 没有性能指标
• 完全不知道“重量、升力、结构”是耦合的
  这其实是现代大型项目失败的典型原因。

论文的核心思想：AI 不应依赖内部表征，世界就是模型

Brooks 的核心观点用一句话总结就是：

智能不是“建模世界 + 推理”的结果，而是“直接在世界中行动”的结果。世界本身就是模型，不需要额外的表征。

传统 AI（symbolic AI）强调：

1. 先感知世界形成表征
2. 用表征进行内部推理
3. 规划行动

Brooks 强烈反对。他认为：

• 显式表征只会拖慢系统、增加错误来源
• 真正的智能首先来源于“行动”而非“思考”
• 复杂智能应从简单行为逐层堆叠，而非从复杂推理开始

这种思想后来直接催生了：

• 行为式机器人学
• Embodied AI
• Subsumption Architecture
• 深度强化学习中“end-to-end from pixels to actions”的理念
• 现代多模态 agent 的行为驱动架构
  Brooks 的方法强调直接耦合感知与动作，由多个独立行为层并行运行，无中心控制，无统一世界模型。

目的

识别不同尺寸的物体是目标检测中的一个基本挑战，而特征金字塔一直是多尺度目标检测中的一个基本的组成部分，但是由于特征金字塔计算量大，会拖慢整个检测速度，所以大多数方法为了检测速度而尽可能的去避免使用特征金字塔，而是只使用高层的特征来进行预测。高层的特征虽然包含了丰富的语义信息，但是由于低分辨率，很难准确地保存物体的位置信息。与之相反，低层的特征虽然语义信息较少，但是由于分辨率高，就可以准确地包含物体位置信息。所以如果可以将低层的特征和高层的特征融合起来，就能得到一个识别和定位都准确的目标检测系统。所以本文就旨在设计出这样的一个结构来使得检测准确且快速。

FPN结构

为了使得不同尺度的特征都包含丰富的语义信息，同时又不使得计算成本过高，作者就采用top down和lateral connection的方式，让低层高分辨率低语义的特征和高层低分辨率高语义的特征融合在一起，使得最终得到的不同尺度的特征图都有丰富的语义信息。

bottom-up

Bottom-up的过程就是将图片输入到backbone ConvNet中提取特征的过程中。Backbone输出的feature map的尺寸有的是不变的，有的是成2倍的减小的。对于那些输出的尺寸不变的层，把他们归为一个stage，那么每个stage的最后一层输出的特征就被抽取出来。以ResNet为例，将卷积块conv2， conv3， conv4， conv5的输出定义为{$C_2, C_{3}. C_{4}, C_{5}$} ，这些都是每个stage中最后一个残差块的输出，这些输出分别是原图的{$\frac{1}{4}, \frac{1}{8}, \frac{1}{16}, \frac{1}{32}$}倍，所以这些特征图的尺寸之间就是2倍的关系。

top-down

Top-down的过程就是将高层得到的feature map进行上采样然后往下传递，这样做是因为，高层的特征包含丰富的语义信息，经过top-down的传播就能使得这些语义信息传播到低层特征上，使得低层特征也包含丰富的语义信息。本文中，采样方法是最近邻上采样，使得特征图扩大2倍。上采样的目的就是放大图片，在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的像素，在本文中使用的是最近邻上采样(插值)。这是最简单的一种插值方法，不需要计算，在待求像素的四个邻近像素中，将距离待求像素最近的邻近像素值赋给待求像素。
最邻近法计算量较小，但可能会造成插值生成的图像灰度上的不连续，在灰度变化的地方可能出现明显的锯齿状。

Lateral connection

• 对于每个stage输出的feature map $C_{n}$，都先进行一个1*1的卷积降低维度。
• 然后再将得到的特征和上一层采样得到特征图$P_{n+1}$进行融合，就是直接相加，element-wise addition。因为每个stage输出的特征图之间是2倍的关系，所以上一层上采样得到的特征图的大小和本层的大小一样，就可以直接将对应元素相加 。
• 相加完之后需要进行一个3x3的卷积才能得到本层的特征输出$P_{n}$。使用这个3x3卷积的目的是为了消除上采样产生的混叠效应(aliasing effect)，混叠效应应该就是指上边提到的‘插值生成的图像灰度不连续，在灰度变化的地方可能出现明显的锯齿状’。在本文中，因为金字塔所有层的输出特征都共享classifiers/ regressors，所以输出的维度都被统一为256，即这些3x3的卷积的channel都为256。
  

FPN&RPN

下图所示为Faster R-CNN中的RPN的网络结构，接收单尺度的特征输入，然后经过3x3的卷积，并在feature map上的每个点处生成9个anchor(3个尺寸，每种尺寸对应3个宽高比)，之后再在两个分支并行的进行1x1卷积，分别用于对anchors进行分类和回归。这是单尺度的特征输入的RPN。

Formally, we define the anchors to have areas of {$32^2, 64^2, 128^2, 256^2, 512^2$} pixels on {$P_2, P_3, P_4, P_5, P_6$}

在生成anchor的时候，因为输入是多尺度特征，就不需要再对每层都使用3种不同尺度的anchor了，所以只为每层设定一种尺寸的anchor，图中绿色的数字就代表每层anchor的size，但是每种尺寸还是会对应3种宽高比。所以总共会有15种anchors。此外，anchor的ground truth label和Faster R-CNN中的定义相同，即如果某个anchor和ground-truth box有最大的IoU，或者IoU大于0.7，那这个anchor就是正样本，如果IoU小于0.3，那就是负样本。此外，需要注意的是每层的RPN head都参数共享的。

Used in [[CenterNet]]

pre: https://www.youtube.com/watch?v=HRLMSrxw2To&t=308s

解决的问题

Modeling spatial transformations is a long standing problem in computer vision

• Deformation (human pose)
• Scale
• Viewpoint variation
• Intra-class variation (不同设计的同一种物体)

Traditional approaches:

• build datasets with sufficient desired variations
• use transformation-invariant features and algorithms

架构

优势

与传统CNN拥有相同的输入输出

• regular convolution -> deformable convolution
• regular RoI pooling -> deformable RoI pooling

可以端到端训练且无需额外监督信号

直接认为是一种在物体检测方面即插即用的模块即可

Q&A

1

What is standard dense supervised learning? Mentioned in [[CenterNet]].

Standard dense supervised learning typically refers to a supervised learning setup where:

1. Standard supervised learning means:
   • You have input data X and corresponding ground truth labels Y.
   • The goal is to train a model $f_\theta(X)$ that maps inputs to outputs by minimizing a loss function (e.g., cross-entropy, MSE) between the predicted labels and ground truth.
   • The training dataset is fully labeled (i.e., each input has a corresponding label).
2. Dense refers to:
   • A per-pixel or per-element prediction task, where every element in the input gets a corresponding label.
   • Common in vision tasks like:
     • Semantic segmentation (each pixel is labeled with a class).
     • Depth estimation (each pixel has a depth value).
     • Optical flow (each pixel has a motion vector).
     • Surface normal estimation (each pixel has a 3D orientation vector).

In contrast to sparse supervision, where only a subset of the input (e.g., bounding boxes, keypoints) is labeled, dense supervision provides full annotations for every relevant part of the input.

Example
In semantic segmentation:

• Input: an RGB image (e.g., 512×512 pixels).
• Output: a label map of the same size (512×512), where each pixel has a class label like “road”, “car”, “sky”, etc.
• Model: often a Fully Convolutional Network (FCN) or encoder-decoder like U-Net or DeepLab.
• Loss: usually pixel-wise cross-entropy.