Chen Yulin's Blog

Posted 2025-03-04Updated 2026-03-01Reviewa minute read (About 154 words)

使用的backbone是BERT(通过MLM训练)
该研究认为，image encoder的模型大小应该大于text encoder,所以在text encoder这里，只使用六层self attention来提取特征，剩余六层cross attention用于multi-modal encoder。

#Research-paper CV Image2Text Contrastive-Learning MultiModal VLP Image-Text

Posted 2025-03-04Updated 2026-03-01Reviewa few seconds read (About 3 words)

ViLT

#Research-paper CV Transformer Image2Text MultiModal VLP Image-Text

Posted 2025-03-03Updated 2026-03-01Reviewa few seconds read (About 0 words)

ZegCLIP

#Research-paper CV Semantic CLIP Open-Vocabulary Segmentation

Posted 2025-03-03Updated 2026-03-01Reviewa few seconds read (About 108 words)

BLIP

A vision-language model that unifies vision-language understanding and generation tasks.

#Research-paper CV Multi-modal Semantic CLIP VLP Image-Text

Posted 2025-02-19Updated 2026-03-01Review2 minutes read (About 273 words)

GLIP

GLIP是一个学习了object-level, language-aware, and semantic-rich visual representations 的模型。
统一对象检测和短语接地进行预训练。

#Research-paper CV Multi-modal Object-Detection CLIP Contrastive-Learning VLP Image-Grounding

Posted 2025-02-18Updated 2026-03-01Note25 minutes read (About 3683 words)

NSFC

在人机协作的工作环境中，准确地理解与推理工作场景至关重要。传统方法往往依赖静态感知技术，难以处理动态变化的场景信息。随着深度学习和大语言模型的进步，结合场景大模型与知识图谱的多模态推理技术，将为环境理解提供更强的动态感知和智能推理能力。

#CV

Posted 2025-02-18Updated 2026-03-01Reviewa few seconds read (About 0 words)

Extract Free Dense Labels from CLIP

#Research-paper CV Semantic CLIP Open-Vocabulary Segmentation

Posted 2025-02-17Updated 2026-03-01Note4 minutes read (About 558 words)

Docker

Docker Proxy 配置 | FuYao Docker 文档

FuYao 平台自定义镜像构建

目录结构

~/fuyao/my-docker/
├── Dockerfile
├── nvim-config/    # ~/.config/nvim
└── nvim-data/      # ~/.local/share/nvim

准备本地配置

1
2
3

mkdir -p ~/fuyao/my-docker && cd ~/fuyao/my-docker
cp -r ~/.config/nvim ./nvim-config
cp -r ~/.local/share/nvim ./nvim-data

Dockerfile 模板（含 Neovim 环境）

FROM infra-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/data-infra/fuyao:luome-250704-0233
ENV DEBIAN_FRONTEND=noninteractive

ENV MAX_JOBS=1
ENV TZ=Asia/Shanghai

ARG PIP_OPTIONS="-i https://nexus-wl.xiaopeng.link/repository/ai_infra_pypi_group/simple --timeout 120"

# 安装基础工具
RUN apt-get update && apt-get install -y \
    ripgrep \
    fd-find \
    nodejs \
    npm \
    python3-pip \
    && rm -rf /var/lib/apt/lists/*

# 安装指定版本 Neovim（需与本地版本一致）
RUN curl -LO https://github.com/neovim/neovim/releases/download/v0.10.4/nvim-linux64.tar.gz \
    && tar -xzf nvim-linux64.tar.gz \
    && mv nvim-linux64 /opt/nvim \
    && ln -s /opt/nvim/bin/nvim /usr/local/bin/nvim \
    && rm nvim-linux64.tar.gz

# 安装 pynvim
RUN pip install ${PIP_OPTIONS} pynvim

# 复制 nvim 配置和插件（包含 mason 安装的 LSP）
COPY nvim-config /root/.config/nvim
COPY nvim-data /root/.local/share/nvim

# FuYao 必需组件
COPY --from=infra-registry.cn-wulanchabu.cr.aliyuncs.com/data-infra/public:fuyao-base-1.9.7 \
    /opt/data-infra /opt/data-infra
ENV PATH="${PATH}:/opt/data-infra:/root/.local/share/nvim/mason/bin"
ENTRYPOINT ["tini", "-s", "--"]

构建命令

# 使用香港节点（可访问 GitHub）
fuyao docker --push --site=fuyao_hk --image-name=my-nvim --image-tag=v1

# 其他参数
# --timeout 7200        构建超时时间
# -f ./custom.dockerfile 指定 Dockerfile

使用镜像

# 镜像地址格式
infra-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/data-infra/fuyao:{image-name}-{image-tag}

# 启动交互式 shell
fuyao kubernetes shell --image <镜像地址>

# SSH 进入运行中的任务
fuyao ssh <job_name>

常见问题

Neovim 插件报错 `gsplit_plain` nil

原因：容器内 Neovim 版本与本地不一致，插件 API 不兼容
解决：Dockerfile 中指定与本地相同的 Neovim 版本

1 2	# 查看本地版本 nvim --version \| head -1

Mason LSP 无法使用

解决：确保 mason bin 目录在 PATH 中

1	ENV PATH="${PATH}:/root/.local/share/nvim/mason/bin"

构建超时

使用 --site=fuyao_hk 访问 GitHub
或提前下载文件用 COPY 代替 curl
使用国内 pip 镜像源

参考资源

#Docker FuYao Neovim

Posted 2025-02-17Updated 2026-03-01Review2 minutes read (About 297 words)

ConceptFusion

将不同帧$X_t$中的特征集合在M中特征点的公式：

#Research-paper CV Multi-modal Reconstruct 3D-Scene Semantic CLIP

Posted 2025-02-16Updated 2026-03-01Reviewa minute read (About 216 words)

Grounding-DINO

#Research-paper CV Transformer Object-Detection Open-Vocabulary Contrastive-Learning MultiModal DINO Image-Grounding

Docker

FuYao 平台自定义镜像构建

目录结构

准备本地配置

Dockerfile 模板（含 Neovim 环境）

构建命令

使用镜像

常见问题

Neovim 插件报错 `gsplit_plain` nil

Mason LSP 无法使用

构建超时

参考资源

Archives

Recents

Tags

Docker

FuYao 平台自定义镜像构建

目录结构

准备本地配置

Dockerfile 模板（含 Neovim 环境）

构建命令

使用镜像

常见问题

Neovim 插件报错 gsplit_plain nil

Mason LSP 无法使用

构建超时

参考资源

Archives

Recents

Tags

Neovim 插件报错 `gsplit_plain` nil