Routine

爱心屋签到： aixinwu.sjtu.edu.cn/products/asw-store
每日二GRISSO💊

Starting from 2/20:

Time	Monday	Tuesday	Wednesday	Thursday	Friday	Saturday	Sunday
08:00
09:00
10:00				计算机视觉DSY115
11:00
12:00
13:00
14:00				自然辩证法DSY202
15:00
16:00
17:00
18:00				数据挖掘CRQ219
19:00
20:00
21:00
22:00
Credits: 3+3+1

Non-routine

论文

• PointLLM
• ProgPrompt9
• SayPlan
• Grounding DINO
• DELTA
• MaskCLIP
• ConceptFusion

Due

• DeepSeek from scratch 2/20
• 医保补缴 2/20
• 春季选课 Registration 2/28

No Due

• Holo-Arm PRP application sheet
• 请糕吃烤鱼
• Godot Learning [[Godot Learning Plan]]
• 《禅与摩托车的维修艺术》[[《禅与摩托车维修艺术》读书会p10]]
• 琪琪水彩
• 流萤水彩
• 美罗城 云海肴 汽锅鸡
• 夏季expo 志愿者

有生之年系列

• 手工🎸
• 侍奉社

Archived

• AMD 2025冬令营 1/16 🔒Done! 2025-01-19 🕸️ Routine > Non-routine > Due
• 凉水彩 🔒Done! 2025-01-19 🕸️ Routine > Non-routine > Due > No Due
• wyf 生日 1/22 🔒Done! 2025-01-24 🕸️ Routine > Non-routine > Due
• JI VPN application 🔒Done! 2025-01-24 🕸️ Routine > Non-routine > Due > No Due
• 糕生日 2/11 🔒Done! 2025-02-13 🕸️ Routine > Non-routine > 论文 > Due
• WW2-Naval Mod 🔒Done! 2025-02-13 🕸️ Routine > Non-routine > 论文 > No Due
  • 潜艇
    • 深弹
    • 水箱毁伤
    • 水听
    • 视距外脱锁
    • 罗盘UI
    • 声纳
    • 发电机启停UI
    • 备用鱼雷
  • 舰载机修复
    • 水机回收
    • 机库
• 取邮政快递 🔒Done! 2025-02-13 🕸️ Routine > Non-routine > 论文 > No Due
• 《悉达多》[[《悉达多》 读书会p14]] 🔒Done! 2025-02-13 🕸️ Routine > Non-routine > 论文 > No Due
• Scene-LLm 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文
• 3D-LLM 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文
• Transformer from scratch 2/14 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文 > Due
• NSFC 环境重建大纲 2/18 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文 > Due
• 场景语义化的文献归纳 https://sjtu.feishu.cn/docx/DV4Sd0wM8oFGe9xFokJcHHJ9nlf 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文 > No Due
• DINO 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文

Related Works

Scene-LLM

一系列（数量没有限制）深度图片整合为一整个可以输入大语言模型的token,
可以实现动态更新场景
可以基于场景进行推理，输出物体之间的关系

ConceptFusion

用于从图像生成像素级clip embeding，由Scene-LLM使用

CLIP

通过对齐text encoder 和image encoder, 用于图像分类。单独使用image encoder可以生成图像整体的feature(clip embeding)

Pipeline

1. 建立有关工人装配所涉及工件的知识图谱（列表），知识图谱中注明各个工件的外形描述，和别的工件的关系，装配顺序关系
2. 持续获取人机协作场景的深度图像（可以多视角），通过ConceptFusion生成每个视角图像的feature point cloud
3. 使用Scene-LLM中提到的voxel的均匀下采样的方法，将场景tokenize，使其可以和prompt一起输入Scene-LLM
4. 通过prompt让Scene-LLM输出工件/工具的方位。
5. 根据Scene-LLM的输出对工件的图像区域进行crop，便于将其与知识图谱中对于工件外形的描述进行CLIP的图文比对
6. 根据比对结果获取工件的具体序号，并根据知识图谱生成场景中各工件之间的关系（文字的形式）

一、研究背景与意义

在人机协作的工作环境中，准确地理解与推理工作场景至关重要。传统方法往往依赖静态感知技术，难以处理动态变化的场景信息。随着深度学习和大语言模型的进步，结合场景大模型与知识图谱的多模态推理技术，将为环境理解提供更强的动态感知和智能推理能力。

• 场景大模型（Scene-LLM）：通过输入深度图像或点云数据，将场景信息转化为可用于推理的tokens，从而动态更新并理解场景中物体的关系。
• ConceptFusion：从图像中生成像素级特征，通过与Scene-LLM结合，帮助生成精确的物体描述和物体关系。
• CLIP：通过文本和图像的对齐，生成图像的语义特征，可用来进行图像分类、物体比对及外形描述验证。

二、研究目标

本研究的目标是提出一种结合场景大模型（Scene-LLM）与知识图谱的动态工作环境理解方法，利用深度学习的图像处理、物体检测和推理能力，优化人机协作的效率和安全性。具体目标包括：

1. 动态环境感知与更新：通过Scene-LLM和ConceptFusion，对多视角的工人装配场景进行实时处理，准确识别物体和工具的位置信息。
2. 任务与物体关系理解：构建基于知识图谱的任务理解模型，结合图文比对技术，优化任务分配与物体关系推理。
3. 智能协作与优化：通过知识图谱和场景推理，实现任务分配与协作策略的自动调整，提升人机协作的灵活性与效率。

三、研究内容与方法

1. 知识图谱的构建与任务推理

• 工件与任务的知识图谱：首先，构建关于工人装配任务的知识图谱，包括每个工件的外形描述、与其他工件的关系（如连接、依赖关系）、装配顺序等信息。
• 推理与任务分配：通过知识图谱中的任务和物体关系数据，结合实时场景感知数据，推理任务分配、物体排列顺序等决策，支持高效的协作流程。

2. 基于深度图像的场景理解与推理

• ConceptFusion与深度图像：从多视角获取工人作业场景的深度图像数据，使用ConceptFusion生成每个视角的像素级特征点云，以获取精确的物体位置与形状信息。
• 场景Token化：使用Scene-LLM中的体素均匀下采样方法，将图像数据转化为统一的tokens格式，确保数据可以与prompt一起输入Scene-LLM模型进行推理。
• 场景推理：通过Scene-LLM的推理能力，输出工件和工具的方位信息，并更新场景中的物体关系。

3. 物体比对与场景优化

• 图文比对：根据Scene-LLM的输出，选择工件的图像区域并进行裁剪，将其与知识图谱中关于工件外形的文字描述进行CLIP图文比对。
• 物体识别与编号：通过CLIP的图文比对，获取工件的具体编号，并根据比对结果更新知识图谱中工件的状态、位置等信息。
• 关系推理与更新：根据比对结果与任务推理，动态生成工作场景中各工件之间的关系（例如，哪两个工件应该连接、哪些工件在前一步和后一步需要做什么），并根据环境变化实时更新。

配置

proxy网络: https://docs.docker.com/engine/daemon/proxy/#httphttps-proxy

,

通过结合[[DINO]]和grounded-pretraining，可以使用人类输入（例如类别名称或转介表达式）检测任意对象

Grounding-DINO

Principle

Tight modality fusion based on [[DINO]]

什么是feature fusion?

- 在多模态领域，feature fusion 特指将不同模态的特征（如视觉、文本、音频等）进行融合的技术。CLIP 应该被看作是 Middle Fusion 的一种形式, 在特征提取后就进行融合对齐 #### large-scale grounded pre-train for concept generalization Reformulating **object detection** as a **phrase grounding task** and introducing **contrastive training** between object regions and language phrases on large-scale data

## Intro 尽管现有的视觉语言模型（VLM）在2D视觉语言的理解中取得了长足的进步，但与使用3D表示室内场景任务的人相比，它们对持续3D空间信息的掌握有限通常会使它们的有效性较小。 最近的一些文章[[3D-LLM]]以文本和其他方式桥接3D视觉信息显示出3D视觉理解和推理的潜力。但是，它们主要处理静态3D场景，这对于涉及场景变化的互动计划的适应性较低。

本文提出的模型主要想解决3D密集标注和交互式规划。
结合

• egocentric（crucial for immediate updates during object interactions and for localizing the agent within the scene）
• comprehensive（provides temporal persistent and multi-view consistent details of the entire 3D scene）
  scene-level的信息。

需要align the dense 3D visual information with the textual embedding space of a pre-trained LLM。3D点集由于其连续坐标系以及需要适应场景状态变化的表示形式而构成了一个独特的问题

Related Works

3D-VQA
VLN(Visual-Language Navigation)

3D-Visual-Language Data Generation

和[[3D-LLM]]一样，都是多视角采集D-RGB信息然后整合为3D frame
标注信息来自于Mini-GPT-V2（capable of generating captions and object descriptions from images by using caption and grounded caption identifiers）。

3D-frame

Uses image frames and a 2D-VLM(Mini-GPT-V2) to generate frame descriptions

Scene Data

3D场景数据是通过基于其相机姿势汇总的3D帧来重建
使用Llama-2-Chat-70B [65]生成场景的语言注释

prompted with a mix of context data including generated frame captions, frame object descriptions, annotated object lists, and annotated bounding boxes. These prompts lead to diverse instruction-following data types like dense caption, object caption, task decomposition, functionality enhancement, question-answering, and human-robot dialogues

对于VLM生成内容使用的self-checking: [83]

Scene-LLM

场景-LLM是一种3D视觉语言模型（VLM），具有简单而有效的体系结构，旨在理解以基于本体和场景级别的3D视觉信息，使其能够成功执行交互式计划任务。本节概述了3D视觉特征提取过程，我们的模型的体系结构，3D视觉信息与数据集的对齐以及使用Scene-LLM进行推理。

Employ visual language semantic features [51] to represent 3D visual semantics

• first extracting pixel-wise CLIP features from each image and then aggregating these into a 3D point set [[ConceptFusion]]

Tokenize 3D visual features for LLM input:

• hybrid point-voxel representation (need for dense 3D visual information, support for interactive updates, and manageable token lengths for the LLM)

网络大体上分为两层：

Projection layer

To bridge 3D visual tokens(F) with the LLM’s tokenized space
FC(1030, 768)->GELU->FC(768,768)

LLM

Llama-2-7b as the foundational LLM backbone

训练

Stage 1: Pretraining for Feature Alignment

在两个坐标系统（camera和世界坐标）下使用3D帧数据，以确保场景-LLM理解以自我为中心和以场景为中心的观点。
在此阶段，仅训练了projection layer，可以有效地对齐具有文本特征的3D视觉特征，同时保持LLM参数（φ）不变。

Stage 2: Finetuning

优化Scene-llm，以准确响应用户说明。我们使用标识符令牌“我看到”将3D帧语言和3D场景语言数据合并到前言。文本描述分为指令（$T_{INST}$）及其相应的响应（$T_{ANS}$）。利用转换后的3D视觉令牌（$T_{3D}$）和指令令牌（$T_{INST}$），我们的目标是微调LLM（φ）以自动生成$T_{ANS}$.
在这里，我们共同微调了投影层和LLM，由θ= {ψ，φ}表示