前言

三周年的post更多就是一种形式了，看了二周年的post， 感觉已经把我本人对于博客网的情感表达得较为详尽了，一年过去我并没有对此生发更多的感情了。看到自己在二周年的博客里提到了：

再往后就遇到了那个她，开始在博客上记录自己那股悸动的感觉，因为这种感觉不记录下来的话，就会溺死在往后的岁月里。当时真的从未想过我们会在一起，我感觉就是一个很特别的我喜欢的女孩子，她肯定有很多爱她的人并不渴求我的爱，毕竟牡丹这么多年了，这恋爱观念的惯性可不小。后来，她也看到了这篇博客，就这样，双向奔赴的我们以这种非常浪漫的方式在一起了。从此博客对我的意义，已经不再是可有可无了，是我的生活了。

不过很搞笑的是我写完那篇后过了20天我就失去了她，不过博客与我而言的意义依然没有太大变动，目前依然是我生活的一部分。
关于博客网本身确实每太多好生发的了，我还是主要写写这一年与博客有关的事情吧。

很长很长的句号

因为考虑到可能对彼此存在潜在的不好影响，所以我删除了网站上所有曾经的恋爱日志，并且更换了我后续日志的密码。

曾经在一次争吵中，她告诉我不要再把我写的东西印成书送给她，没人会想要读这些。我想也是，凡事都有两面性，曾经让人很爽的东西，也终于会慢慢褪色，会变成让人不爽的东西。有的时候我真的在想，或许在恋爱的时候不记录这些更好，或许恋爱的时候就享受恋爱本身，不过度反思的话或许反而能享受更久。曾经的我期望通过自省的方式让自己走在所谓的“正确”的道路上，认为这样走下去就能真的一直相伴下去。但我显然错了，两个人能相伴一生是因为他俩是彼此对的人，而不是因为其中一个人永远做他认为正确的事情。当然，分手是正确的，不尝试复合也是正确的，我一直这么认为。

之后的句号当然就很长了，有“这里一片荒原”，“鹭岛旅”，“Merry Go Round of Life”…分手后的情绪状态也是很宝贵的素材，我确实记录了不少，“Emmm this is my sorror it looks beauty”，但更多的是记录下了我疗愈自己的方式，导致我有的时候状态不对的时候都会打开通读一遍，看着脆弱的一个人慢慢把自己重新拼起来，是可以鼓舞我很久的。

换行\n

之后遇到了雪糕，某种程度雪糕重塑了我对于亲密关系的认知（人与人之间为什么可以做到互相理解到这个程度），这会让我意识到，或许我真的从未走进过一段亲密关系。我从此放下了对前任的执念了。
对了雪糕也有属于她的博客网，这上面（以及公众号“集闲殿”）的文章，已经影响了很多人。

麻木

最近其实真的有些麻木了，很少会花时间去感知，梳理自己的情绪了，但倒也没出过什么岔子。
我好像在忘记很多事情，过去一年的事情，如果不在博客上了，我大概率已经忘了个七七八八了，我很害怕。
看到国外的一个演讲，说，“如果你要做第一等科研的话，肯定需要夜以继日得思考你的课题，哪怕不在工位上，在餐厅，在淋浴房，在公园里，你的脑子都要像强迫症一样思考这个课题”，我深以为然，并且我几乎没有费什么力气就达到了这一点。不过这也导致我在日常中不再乐意把我的思维岔出去写日志了。
这些体现在博客网的话就是，最近的日志“让一切隐于晦朔，就在那月之暗面”，已经有半个月没有更新了，然后博客网充斥着一些读过的论文的痕迹。。。
我想这才是我从小到大真正的常态吧。

四周年再见👋

docs

Start

1

pip install omegaconf

1

from omegaconf import OmegaConf

Create

You can create OmegaConf objects from multiple sources.

From dict

1
2
3
4
5
6
7
8
9

conf = OmegaConf.create({"k" : "v", "list" : [1, {"a": "1", "b": "2", 3: "c"}]})
print(OmegaConf.to_yaml(conf))

k: v
list:
- 1
- a: '1'
  b: '2'
  3: c

From list

1
2
3
4
5
6
7
8

conf = OmegaConf.create([1, {"a":10, "b": {"a":10, 123: "int_key"}}])
print(OmegaConf.to_yaml(conf))

- 1
- a: 10
  b:
    a: 10
    123: int_key

From yaml

1
2
3
4
5
6
7
8
9
10
11
12

conf = OmegaConf.load('source/example.yaml')
# Output is identical to the YAML file
print(OmegaConf.to_yaml(conf))

server:
  port: 80
log:
  file: ???
  rotation: 3600
users:
- user1
- user2

From dot-list

1
2
3
4
5
6
7
8
9
10
11

dot_list = ["a.aa.aaa=1", "a.aa.bbb=2", "a.bb.aaa=3", "a.bb.bbb=4"]
conf = OmegaConf.from_dotlist(dot_list)
print(OmegaConf.to_yaml(conf))

a:
  aa:
    aaa: 1
    bbb: 2
  bb:
    aaa: 3
    bbb: 4

From command line arguments

1
2
3
4
5
6
7
8

sys.argv = ['your-program.py', 'server.port=82', 'log.file=log2.txt']
conf = OmegaConf.from_cli()
print(OmegaConf.to_yaml(conf))

server:
  port: 82
log:
  file: log2.txt

官方文档

LMOD软件管理

https://lmod.readthedocs.io/en/latest/010_user.html

交大hpc使用lmod来管理用户软件，每一次重新登陆都会重置module，需要将软件重新load。
常用指令：

1
2
3
4
5

ml # list these loaded modules
ml miniconda3 # load the miniconda3 module
ml -miniconda3 # unload the miniconda3 module
module spider # inspect the possible modules that can be loaded
module spider cuda # show available cuda versions

oh-my-zsh更好的shell

hpc默认已安装zsh, 通过omzsh的安装脚本进行安装，并安装插件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

export CHSH=no  # 避免它自动切换默认 shell（HPC 通常不允许）
sh -c "$(curl -fsSL https://raw.githubusercontent.com/ohmyzsh/ohmyzsh/master/tools/install.sh)"
git clone https://github.com/zsh-users/zsh-syntax-highlighting.git \
  ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-syntax-highlighting
git clone https://github.com/zsh-users/zsh-autosuggestions \
  ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-autosuggestions
git clone --depth 1 https://github.com/junegunn/fzf.git ~/.fzf
~/.fzf/install
git clone https://github.com/psprint/zsh-navigation-tools ~/.zsh-navigation-tools

## vim add configuration in `.zshrc`
plugins=(
  git
  zsh-navigation-tools
  rails
  ruby
  zsh-syntax-highlighting
  zsh-autosuggestions
)
source ${(q-)ZSH_CUSTOM:-$ZSH/custom}/plugins/zsh-syntax-highlighting/zsh-syntax-highlighting.zsh

## :wq

nvim 更好的编辑器

因为在服务器上没有sudo权限所以需要手动编译

首先使用conda创建编译环境

1

conda create -n nvim-build cmake libtool gettext curl unzip ninja gcc gxx -y -c conda-forge

clone & build

1
2
3
4

git clone https://github.com/neovim/neovim.git
cd neovim
git checkout stable
make CMAKE_BUILD_TYPE=Release

Tricks

交互式计算资源

某些情况下需要进行并行编译，编译需要耗费大量资源，并不一定可以在登录节点使用：

1

srun -p cpu -n 4 --pty /bin/bash

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

(base) chenyulin@pilogin2 ~> srun -p cpu -n 4 --pty /bin/bash
srun: job 43090290 queued and waiting for resources
srun: job 43090290 has been allocated resources
(base) chenyulin@cas242 ~> ls
condalist.txt  dinov2  log  test.slurm
(base) chenyulin@cas242 ~> cd dinov2        
(base) chenyulin@cas242 ~/dinov2> conda activate dinov2
(dinov2) chenyulin@cas242 ~/dinov2> export CC=$CONDA_PREFIX/bin/gcc                       main
export CXX=$CONDA_PREFIX/bin/g++
(dinov2) chenyulin@cas242 ~/dinov2> which g++                                             main
~/.conda/envs/dinov2/bin/g++
(dinov2) chenyulin@cas242 ~/dinov2> vim conda_cyl.yaml                                    main
(dinov2) chenyulin@cas242 ~/dinov2> conda env update -f conda_cyl.yaml                    main
Retrieving notices: ...working... done
Channels:
 - xformers
 - pytorch
 - nvidia
 - conda-forge
 - defaults
 - nvidia/label/cuda-11.7.0
Platform: linux-64
Collecting package metadata (repodata.json): done
Solving environment: done
Installing pip dependencies: |

文件传输

本地向云端传输

使用hpc studio传输
https://studio.hpc.sjtu.edu.cn/pun/sys/dashboard/files/fs//lustre/home/acct-umjbyy/chenyulin/Data

云端之间互相传输

例如拷贝conda环境

1

cp -r /lustre/home/acct-umjbyy/chenyulin/.conda /dssg/home/acct-umjbyy/chenyulin/

Installation

1
2
3

yay -S tuxguitar
yay -S jack2
yay -S libffado

No sound, need some fix

涌现的定义

西哲中的涌现

“涌现”（Emergence）最早起源于哲学领域。19世纪，英国哲学家乔治·亨利·刘易斯次用这个词来描述那些无法通过组成部分的性质解释的整体特性，即“整体大于部分之和”的现象。

将一切都归结为简单基本规律的能力并不意味着有能力从这些规律出发，重建宇宙。在面对规模和复杂度的双重困难时，还原主义假说便崩溃了。在每个复杂度层次上，都会出现全新的性质。心理学不是应用生物学，生物学也不是应用化学。我们现在可以看到，整体不仅变得更多，而且与部分的总和也非常不同。

复杂系统（计算机）中的涌现

系统科学家穆雷·盖尔曼和斯图尔特·考夫曼通过对复杂系统中自组织行为的研究，进一步发展了“涌现”的概念。他们认为，“涌现”指的是在复杂系统内，简单组件通过相互作用自然产生的某些特性或现象。这意味着，整体所展现的特征或行为不能简单地从其组成部分的性质中推导出来，而是在这些部分的相互作用中自发产生的。涌现现象侧重于解释复杂系统如何在没有外部指令或中央控制的情况下，通过系统内部的简单规则和相互作用，形成新的有序结构和行为。这表明，复杂性可以自然地产生，而不需要外部干预或预先的详细设计。

在这一方面最具代表性的就是生命游戏：
在生命游戏中：

• 规则极其简单（细胞的生死规则）。
• 初始状态可能看似随机。
• 但随着演化，整个系统会涌现出复杂的模式，如振荡器、滑翔机等。
  ![[game-of-life-loop-cropped.gif]]

AI中的涌现

关于文本自回归模型chatgpt参数提升带来的语言理解、推理、编程、创意生成等新能力的涌现我这里就不过多赘述了，我主要侧重分享一下在自监督视觉领域的涌现现象。

DINO（Self-Distillation with No Labels）是一种自监督学习方法，用于无标签学习视觉特征。它基于知识蒸馏（Distillation）和对比学习的思想，使用两组权重共享的网络（教师网络和学生网络）进行训练。

Repository:

• https://github.com/facebookresearch/dinov2
• https://github.com/itsprakhar/Downstream-Dinov2

Installation

official:

1

conda env create -f conda.yaml

不建议使用official的conda.yaml, 使用更改后的conda_cyl.yaml。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

pip install torch==2.0.0 torchvision==0.15.1 torchaudio==2.0.1

conda install nvidia/label/cuda-11.7.0::cuda-toolkit -c nvidia/label/cuda-11.7.0
conda install cudatoolkit
conda install -c conda-forge gcc=11.2.0
conda install -c conda-forge gxx=11.2.0

conda env config vars set LD_LIBRARY_PATH="/home/cyl/miniconda3/envs/dinov2/lib/"
conda env config vars set CPATH="/home/cyl/miniconda3/envs/dinov2/include/"
conda env config vars set CUDA_HOME="/home/cyl/miniconda3/envs/dinov2/"

export CC=$CONDA_PREFIX/bin/gcc
export CXX=$CONDA_PREFIX/bin/g++

# check with `which g++`

conda env update -f conda_cyl.yaml

pip3 install -U xformers==0.0.18

conda env config vars set PYTHONPATH="/home/cyl/Reconst/dinov2/"

Demo 🐱

官方提供了 depth estimation 和 segmentation 的 notebook，可以找时间理解一下

Train

使用的数据集为Imagenet-mini

1
2
3
4

imagenet-mini
├── labels.txt
├── train
└── val

Note: 需要额外添加一个label.txt

使用脚本生产数据集的meta data:

1

针对的问题（任务场景）

Robotic planning and execution in open-world environments is a complex problem due to the vast state spaces and high variability of task embodiment.
例如针对家用场景：

• OVMM Challenge: https://aihabitat.org/challenge/2023_homerobot_ovmm/
  想要在这样复杂场景中执行 general, long-horizon, embodied tasks 需要生成一系列离散的动作，这些动作在都拥有累计和传播错误的可能。因此需要创建一个可行的计划并在该计划出现问题时恢复，需要对物理环境进行有效的抽象以及能够完全利用该抽象的planner。应对这些挑战需要整合自然语言理解，多粒度的场景抽象和理解以及有弹性的推理。

目前粗粒度（object-level）的场景抽象（场景图构建）已经有许多工作了，详见Reconstruct-Anything Literature Review，在这些工作中，重点都在于object detection和 object-level visual relationship detection

需要聚焦的部分是多粒度的场景抽象
需要多粒度的原因：

• Scalability: 如果只有一个粒度，那么输入LLM的场景图token不可控，影响扩展性
• 想要和物体进行更复杂的交互（相较于抓取），需要明确物体各个part的位置，语义性质，和父物体的parent-child relationship。这就要求场景图的生成需要考虑更细粒度。
• 针对不同复杂度的物体，需要的物体粒度层级不同
• 对于不同任务，需要的物体粒度也不同。
  具体案例（任务需要的颗粒度层次）：
• <Task>给水壶加水：
  • <object-level>水壶
    • <part-level>壶盖
    • <part-level>把手
  • <object-level>饮水机
    • <part-level>操作面板
      • <part-level>绿色按钮（常温水）
      • <part-level>红色按钮（开水）
      • <part-level>童锁
    • <part-level>水槽
  • <object-level>桌子
    • <part-level>桌面
• <Task>离开房间
  • <object-level>门
    • <part-level>把手
    • <part-level>纸条：“离开房间前把玩偶放回红筐”
  • <object-level>黄鸭玩偶
  • <object-level>红框
    

在更细粒度（part-level）的场景抽象中，重点在于子物体和父物体关系的识别

除此，和object-level scene graph中的object detection相对的，是part-level scene graph的子物体语义的多粒度分割和语义信息提取，可以由现有的Semantic-SAM和类似CLIP或者其他多模态模型的语义特征提取器实现。

主要的研究流程

明确研究对象Parent-child Relationship

What aspects does parent-child relationship include?

• 语义构成关系，即这个子物体的存在与否给父物体的语义带来了什么改变 Translation in embedding space.
• kinematic relations，也就是需要把一个物体以一个运动学树的形式构建出来
  
  

项目流程的流程

自监督的特征提取方法

My repository: https://github.com/Chen-Yulin/Semantic-SAM

Installation

测试过的python版本：3.8,3.10
官方步骤：

1
2
3
4
5
6
7
8

pip3 install torch==1.13.1 torchvision==0.14.1 --extra-index-url https://download.pytorch.org/whl/cu113
python -m pip install 'git+https://github.com/MaureenZOU/detectron2-xyz.git'
pip install git+https://github.com/cocodataset/panopticapi.git
git clone https://github.com/UX-Decoder/Semantic-SAM
cd Semantic-SAM
python -m pip install -r requirements.txt

export DATASET=/pth/to/dataset  # path to your coco data

一些绊脚石 ^ ^

1

根据[[Cuda+Torch]]，需要先安装cudatoolkit和cuda-toolkit

1
2
3
4
5

conda install nvidia/label/cuda-11.7.0::cuda-toolkit -c nvidia/label/cuda-11.7.0 
conda install cudatoolkit # no need to specify version
conda env config vars set LD_LIBRARY_PATH="/home/cyl/miniconda3/envs/<name>/lib/"
conda env config vars set CPATH="/home/cyl/miniconda3/envs/<name>/include/"
conda env config vars set CUDA_HOME="/home/cyl/miniconda3/envs/<name>/"

然后按照torch官网的安装指令：

1

conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia

2

第二行直接运行可能会报错，提示系统gcc版本过高，安装gcc=11.2.0

1
2
3
4
5
6

conda install -c conda-forge gcc=11.2.0
conda install -c conda-forge gxx=11.2.0

# 指定编译器路径
export CC=$CONDA_PREFIX/bin/gcc
export CXX=$CONDA_PREFIX/bin/g++

如果编译时出现ld: cannot find -lcudart: No such file or directory collect2: error: ld returned 1 exit status 报错，只是因为没有安装cudatoolkit ^ ^

3

安装完成后直接import semantic_sam会报错ModuleNotFoundError: No module named 'MultiScaleDeformableAttention' ^ ^
提示：

1
2
3

Please compile MultiScaleDeformableAttention CUDA op with the following commands:
	`cd mask2former[/modeling/pixel_decoder/ops](http://127.0.0.1:8888/modeling/pixel_decoder/ops)`
	`sh make.sh`

需要手动make一下 Mask2Former:

1
2

cd Mask2Former/mask2former/modeling/pixel_decoder/ops/
sh make.sh

4

一些版本问题

1
2

pip install gradio==3.37.0
pip install matplotlib==3.7.0

Demo 🐱

Generate multi-granularity Mask on CLICK

1

python demo.py --ckpt ./weights/swinl_only_sam_many2many.pth

Comment: 效果相较于SAM更多体现了语义的一致性，而不是基于texture进行分割。

Automatically Generate Mask on Different Granularity

1

python demo_auto_generation.py --ckpt ./weights/swinl_only_sam_many2many.pth

很重要的编码优化论文，MHE的概念：