n## 重要的日子
7/1：♥️糖醋羊排CP成立！！♥️

Track

• sunclientlogin发票报销到账
• 开固态硬盘发票

Routine

爱心屋签到： aixinwu.sjtu.edu.cn/products/asw-store
每日二GRISSO💊， 米诺地尔

Starting from 10/9:

Non-routine

论文

Due

• 大论文
  • 硕士论文的布局，参考已有的（journal paper）
  • 实机试验，在工业环境/生活场景（难度更高）下，工具抓取
• 64G内存
• ICRA paper acceptance notification 1/31
• tzc233.github.io 一周年纪念日 2026/5/21
• 读书会吃饭 2026/3/23

No Due

• 保温杯
• “现在的贺卡好高级”
• 软考
• ccf csp
• 穹彻智能实习
• Godot Learning [[Godot Learning Plan]]
• 琪琪水彩
• 流萤水彩
• 美罗城 云海肴 汽锅鸡
• 《涉过愤怒的海》
• 《被讨厌的勇气》读书会p16
• 《被寄生的家庭》读书会p18
• 《蛙》读书会 p21
• 《断舍离》读书会 p20
• 潮汕砂锅粥
• 想买…
  • ipad（matebook e go）
  • 欧珑无极乌龙
  • bose大鲨2耳塞套
  • 综合效果器 ..?
  • 清音音箱
  • 220V户外电源

有生之年系列

• 手工🎸
• 侍奉社

Archived

• 攀爬机器人 🔒Done! 2025-10-21 🕸️ Track > Routine > Non-routine > Due
  • 群组建立
  • 其他构型的机器人
  • 数字样机调研
  • 初步进度安排
• AI Lab 具身智能简历投递 10/11 🔒Done! 2025-10-21 🕸️ Track > Routine > Non-routine > Due
• 奖学金申请10/18 5p.m. 🔒Done! 2025-10-31 🕸️ Track > Routine > Non-routine > Due
• 电网论文修改（作为通讯） 🔒Done! 2025-11-08 🕸️ Track > Routine > Non-routine > Due
  • 分类号加一下TN919.8，标识码A
  • 公式精简，保持现有篇幅，加入测试图片，文章前部分的图片往后挪
  • 合并一下1.2,1.3(2.1空间定位, 2.2分布推理机制，2.3预警方式), 第一章为系统总体架构设计，删除第一句话，不需要人机交互模块
  • 性能测试（仅保留第一句话）
    • 3.1 视觉检测模块分布推理的性能测试
    • 3.2 参考bohan实验
  • 把系统实现合并到系统设计，不需要系统实现章节
  • 明确论文重点(low latency)
  • 版面空间节省
    • 对比试验设计
      • 系统延迟表现
        • model quantization
        • layer pruning
      • 整个系统的综合表现（survey，参考bohan论文）
  • 低光照’
• 电网验收 11/11 上午 🔒Done! 2025-12-02 🕸️ Track > Routine > Non-routine > Due
  • hololens和手机开会议
  • 预训练识别
• draumurvakna.github.io 一周年纪念日 2025/10/27 🔒Done! 2025-12-02 🕸️ Track > Routine > Non-routine > Due
• 攀爬机器人 🔒Done! 2026-01-02 🕸️ Track > Routine > Non-routine > Due
  • 需要的数据
    • 真实的角钢照片，问byy要
    • 3D渲染生成照片
    • 深度图生成（包括噪声）
    • 更换背景
  • moveit路径规划视频
  • 测试塔需求文档（结构，工期，价格）
  • 机器人URDF导入unity,演示基本步态，动作流
• 糖糖呵护指南 🔒Done! 2026-01-02 🕸️ Track > Routine > Non-routine > No Due
• 给糖糖补补 🔒Done! 2026-01-02 🕸️ Track > Routine > Non-routine > No Due

主要工作流

紧固相机

近距离拍摄”螺栓”

• 距离要求：<0.3m
• 精度误差要求：<1mm@0.3m

奥比中光

待选：

• Gemini 335Lg(作为电爪相机)

Intel

待选：

• D405(作为紧固相机)

组装

参照组装手册拼装带夹爪的机器小车。

准备

机器人逆运动学

已知末端的位置和姿态，以及所有连杆的几何参数下，求解关节的位置。

解析法

特点：运算速度快（达到us级），通用性差，可以分为代数法与几何法进行求解。
串联机械臂有逆运动学解析解的充分条件是满足Pieper准则
即如果机器人满足两个充分条件中的一个，就会得到封闭解，这两个条件是：

• 三个相邻关节轴相交于一点；
• 三个相邻关节轴相互平行。

数值法

特点：通用性高，但是求解速度较慢（ms级）。
除了一些特殊的机械臂构型外，机械臂逆运动学问题很难用解析解求解，因此在许多情况下会使用数值解求解。
Newton-Raphson（NR）是数值解的一种方法。它需要基本的雅可比矩阵(关节空间的速度映射到笛卡尔空间)。然而，当且仅当原始方程的函数具有逆函数，且原始方程可解时，NR方法才会成功。

• 前一个条件意味着机器人需要非冗余，机器人在从初始配置到最终配置的运动过程中不通过奇异点。
• 后一个条件意味着机械臂的期望位置和方向需要在机器人的工作空间内，是可解的。

雅可比矩阵求逆：
运动微分方程可得

求逆可得

一面结果

主要是自我介绍，项目介绍，针对简历和scope的Q&A,较为顺利。
代码测是在小鹏自己的代码编写平台，带语言切换，输出，debug，类似力扣。题目是写一个计算路径数量的函数，考察递归算法。期待后续二面。

Base Model

ChemGPT 早期基座模型基于 EleutherAI 的语言模型 GPT‑Neo，在分子字符串语料（SMILES 或 SELFIES）上进行自回归建模。
典型预训练数据集为公开的大规模分子库 PubChem10M，参数规模覆盖百万到十亿级别（如约 4.7M 的轻量版本或 100M+ 的科研版本）。
属于领域特化的 decoder-only 化学语言模型。

Training Method

• 对分子进行编码：对 SMILES/SELFIES/反应式进行 tokenization，构建化学“语言”词表（原子、键、环、分支、立体标记等均被离散化为 token）
• 预训练目标：自回归分子语言建模（Next-token prediction），最大化生成合法分子序列的对数似然。

调用方式

网页直接使用

https://www.chemgpt.app/
（我没有注册账号，直接问会显示网络繁忙）

模型推理（文本生成 Pipeline）

text-generation pipeline 适合生成式任务（包括化学问答、分子生成）。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

from transformers import pipeline

chem_pipe = pipeline(
    "text-generation",
    model="ncfrey/ChemGPT-1.2B",  # 或 ncfrey/ChemGPT-4.7M
    device_map="auto"
)

prompt = "CCO>>"  # 以乙醇为前缀生成分子衍生结构或产物候选
result = chem_pipe(
    prompt,
    max_new_tokens=128,
    temperature=0.7,
    do_sample=True
)

print(result[0]["generated_text"])

模型推理（直接使用 model.generate）

当需要精细控制 token 级生成时，直接调用 generate API。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "ncfrey/ChemGPT-1.2B"  # 或 Chemistry 结构生成模型 ncfrey/ChemGPT-4.7M
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)
model.eval()
model.to("cuda" if torch.cuda.is_available() else "cpu")

prompt = "CCO>>"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    output_ids = model.generate(
        **inputs,
        max_new_tokens=100,
        do_sample=True,
        temperature=0.6,
        top_p=0.95
    )

generated = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(generated)

框架

论文使用**RSSM(Recurrent State Space Model)**：使用encoder来编码环境和动作生成latent state, 预测未来latent state，最后基于latent state预测奖励。

优势：

• 网络可以在 latent 中快速 roll-out 数千条 imagined trajectories
• 不用预测 pixel → 速度极快
• 潜在空间的 Markov 性保证了规划时的可微分性

重参数化 Reparameterization Trick

Dreamer 最关键的地方：

动作必须是可微的随机变量，这样梯度才能从 value 反传到 actor。

如果我们直接写 $a \sim \mathcal{N}(\mu, \sigma)$, 那么采样是不可微的 → 梯度断掉 → Actor 无法学习。
重参数化技巧的做法：$a=\mu+\sigma\cdot\epsilon$, $\epsilon\sim\mathcal{N}(0,1)$
现在：

• ε 是随机的
• μ 和 σ 是可微的网络输出
  所以动作对 actor 参数有梯度, 这就是可微规划（differentiable planning）的基础。

目前学界广泛认为，世界模型是通往AGI的正确道路。而世界模型这一理念可以追溯到这篇1991年的文章。

寓言

1890 年代的人想造飞机，却只能根据他们零碎的观察去猜。他们看到现代飞机巨大、复杂，于是做了一个错误类比：
“现代飞机又大又重 → 所以重量不是问题。”
这当然荒唐。真正让飞机能飞的前提是升力、功率重量比、材料强度等关键工程指标的平衡。但他们只看到了表象，所以：

• 座椅用实心钢
• 完全不关心重量控制
• 座舱设计完全按马车或汽车类比
• 控制系统用汽车方向盘、油门
• 甚至把“看地面”和“开窗透气”当成关键需求

寓言中的团队觉得项目太大，所以分专业化研究，但他们犯了一个致命错误： 没有系统架构，没有统一指标，没有工程指导思想。
因此：

• 每个小组各做各的
• 没有协调
• 没有明确目标
• 没有性能指标
• 完全不知道“重量、升力、结构”是耦合的
  这其实是现代大型项目失败的典型原因。

论文的核心思想：AI 不应依赖内部表征，世界就是模型

Brooks 的核心观点用一句话总结就是：

智能不是“建模世界 + 推理”的结果，而是“直接在世界中行动”的结果。世界本身就是模型，不需要额外的表征。

传统 AI（symbolic AI）强调：

1. 先感知世界形成表征
2. 用表征进行内部推理
3. 规划行动

Brooks 强烈反对。他认为：

• 显式表征只会拖慢系统、增加错误来源
• 真正的智能首先来源于“行动”而非“思考”
• 复杂智能应从简单行为逐层堆叠，而非从复杂推理开始

这种思想后来直接催生了：

• 行为式机器人学
• Embodied AI
• Subsumption Architecture
• 深度强化学习中“end-to-end from pixels to actions”的理念
• 现代多模态 agent 的行为驱动架构
  Brooks 的方法强调直接耦合感知与动作，由多个独立行为层并行运行，无中心控制，无统一世界模型。