https://github.com/IDEA-Research/Grounded-Segment-Anything

By [[Grounding-DINO]] + SAM
Achieving Open-Vocab. Det & Seg

本文提出的模型主要想解决3D密集标注和交互式规划。
结合

• egocentric（crucial for immediate updates during object interactions and for localizing the agent within the scene）
• comprehensive（provides temporal persistent and multi-view consistent details of the entire 3D scene）
  scene-level的信息。

需要align the dense 3D visual information with the textual embedding space of a pre-trained LLM。3D点集由于其连续坐标系以及需要适应场景状态变化的表示形式而构成了一个独特的问题

Related Works

3D-VQA
VLN(Visual-Language Navigation)

3D-Visual-Language Data Generation

和[[3D-LLM]]一样，都是多视角采集D-RGB信息然后整合为3D frame
标注信息来自于Mini-GPT-V2（capable of generating captions and object descriptions from images by using caption and grounded caption identifiers）。

3D-frame

Uses image frames and a 2D-VLM(Mini-GPT-V2) to generate frame descriptions

Scene Data

3D场景数据是通过基于其相机姿势汇总的3D帧来重建
使用Llama-2-Chat-70B [65]生成场景的语言注释

prompted with a mix of context data including generated frame captions, frame object descriptions, annotated object lists, and annotated bounding boxes. These prompts lead to diverse instruction-following data types like dense caption, object caption, task decomposition, functionality enhancement, question-answering, and human-robot dialogues

Scene-LLM

场景-LLM是一种3D视觉语言模型（VLM），具有简单而有效的体系结构，旨在理解以基于本体和场景级别的3D视觉信息，使其能够成功执行交互式计划任务。本节概述了3D视觉特征提取过程，我们的模型的体系结构，3D视觉信息与数据集的对齐以及使用Scene-LLM进行推理。

Employ visual language semantic features [51] to represent 3D visual semantics

• first extracting pixel-wise CLIP features from each image and then aggregating these into a 3D point set [[ConceptFusion]]

Tokenize 3D visual features for LLM input:

• hybrid point-voxel representation (need for dense 3D visual information, support for interactive updates, and manageable token lengths for the LLM)

网络大体上分为两层：

Projection layer

To bridge 3D visual tokens(F) with the LLM’s tokenized space
FC(1030, 768)->GELU->FC(768,768)

LLM

Llama-2-7b as the foundational LLM backbone

训练

Stage 1: Pretraining for Feature Alignment

在两个坐标系统（camera和世界坐标）下使用3D帧数据，以确保场景-LLM理解以自我为中心和以场景为中心的观点。
在此阶段，仅训练了projection layer，可以有效地对齐具有文本特征的3D视觉特征，同时保持LLM参数（φ）不变。

Stage 2: Finetuning

优化Scene-llm，以准确响应用户说明。我们使用标识符令牌“我看到”将3D帧语言和3D场景语言数据合并到前言。文本描述分为指令（$T_{INST}$）及其相应的响应（$T_{ANS}$）。利用转换后的3D视觉令牌（$T_{3D}$）和指令令牌（$T_{INST}$），我们的目标是微调LLM（φ）以自动生成$T_{ANS}$.
在这里，我们共同微调了投影层和LLM，由θ= {ψ，φ}表示

前言

在读这本书之前从各种渠道了解了很多推荐语

• 一首印度的诗
• INFJ之书
• 能治文青病

一首印度的诗

得承认在此之前我对于印度的认知仅限于《三傻大闹宝莱坞》和历史课本中对于其历史文化的只言片语（以及我根本不求甚解）。书中的印度是否真实我并不关心，但我确实感受到了“黑塞心中禅宗的国度会是什么样的“。在这里，最为尊贵每天的日程便是，沐浴，诵经，聆听佛陀；在这里人们为了拜见一位在世活佛，甘愿跋涉千里，抛弃一切，只求得听其法义，以洗涤心灵；在这里，一个人的虔诚，洁净，可以令金钱黯然失色。

西游记中西天取的经，是无字经书，大道无言这一点在书中也有体现。

知识可以传授，但智慧不能。人们可以寻见智慧，在生命中体现出智慧，以智慧自强，以智慧来创造奇迹，但人们不可能去传授智慧。我年少时就有过这种疑问，正是我的怀疑驱使我远离教师们。我还有过一种思想，乔文达，你又会认为那是开玩笑或只是一种愚蠢的念头：就是说，每一真理的反面也同样真实。比如说，只有偏面的真理才能形诸于言辞；事实上，以语言表达或思维的一切都只能是片面的，只是半个真理而已，它们都缺乏完备、圆融与统一；当佛陀世尊宣讲关于世界的教义，他不得不把世界分为轮回与涅槃，虚幻与真如，痛苦与救赎。人别无选择，对于那些要传授教义的导师们来说尤其如此。而世界自身则遍于我之内外，从不片面。从未有一人或一事纯属轮回或者纯属涅槃，从未有一人完全是圣贤或是罪人。世界之所以表面如此是因为我们有一种幻觉，即认为时间是某种真实之物。时间并无实体，乔文达，我曾反复悟到这一点。而如果时间并非真实，那么仿佛存在于现世与永恒，痛苦与极乐，善与恶之间的分界线也只是一种幻象。

INFJ之书

悉达多在自我的路上深沉地思索。他意识到自己已不再是青年，他已经是一个成熟的男人。他感到某种东西已然脱离了他，仿佛一条蛇已蜕去了旧皮。那种伴随他整个青年时代并一直是他自我之一部分的因素已被抛在了身后：这就是寻觅导师和聆听教义的愿望。他已经离开他所见到过的最后一位导师——这位贤明的导师，最神圣的佛陀世尊。他甚至不得不离开他，他无法接受他的教义。
这位思想者缓缓地走自己的路并向自己道：你想要从教义和教师那里学到，而尽管他们教给你许多，却无法传授与你的那件事到底是什么呢? 他接着想：那就是自我，我希望学到有关自我的特性与本质。过去我一直想要摆脱自我并征服自我，然而我从未能够征服自我，我只是在欺骗它，逃离它，躲避它。的确，世上没有任何东西能够如自我那样占据我全部的思绪。这是一个难解之谜：我存在，而且我是唯一的、不同于任何其他人的独立个体。我是悉达多。我对世上万有所知最少的恰恰是我的自我，恰恰是悉达多。
这位踽踽独行的沉思者突然停下来，为那种意念所攫住，而另一种意念会立刻从前念之中浮现出来，这就是：之所以我对自我一无所知，之所以悉达多对我来说一直保持陌生与未知，只因为一点，只由于这唯一的原因——我害怕自我，我在逃避自我。我在追寻梵天，阿特曼。我欲求摧毁自我、摆脱自我以便在未知的存在最深层发现万有的核心，即阿特曼、生命、上帝或绝对终极之物。而正因为如此，我却一路丢失了自我。

他举目四望，仿佛初次见到这个世界。这世界美丽、陌生而神秘。瞧! 那儿是金黄，那儿是湛蓝，那儿又是碧绿。天空与河流，森林和山峦都如此美好，如此神秘，如此诱人，而在所有这一切之中，他，觉醒的悉达多，正走在通向自我的道路上。所有这一切，所有这些金黄与湛蓝，河流与树木第一次映入悉达多的眼帘。那不再是魔罗魅惑迷人的幻术，不再是玛耶虚无缥缈的面纱，也不再是世界万像毫无意义的偶然显现。尽管这一切为那些追求圆融统一，轻视个别差异的思想高深的婆罗门贵族所鄙弃，而河流毕竟就是河流。假如悉达多自性中唯一的神明隐秘地居于湛蓝或河流之中，那么此刻恰恰是金黄与湛蓝、天空与森林映入站在这里的悉达多的眼帘，这本身也正是天意，正是神的安排。意义与实在并非隐藏于事物的背后，而是寓于事物自身，寓于事物的一切现象。

能治文青病

怎么看待圆满

尘世并非不圆满，或是正处在一条通向圆满的漫长的路上。不，他每一个瞬间都是圆满的。一切罪孽本身就蕴含着宽恕，所有小孩儿本身就蕴含着老人，所有新生儿都蕴含着死亡，所有濒死者都蕴含着永生。

他看到的不再是他的朋友悉达多的脸庞，他仿佛看到许许多其他的形象，一个长长的系列，一条不息的形象之流——百种，千种，万种，无数的形象不断生生灭灭然而又似乎同时并存；所有这些形象一刻不停地变幻和更新，而它们又都复归于悉达多。他看见一条鱼的形象，一条眼睛已黯然无光的垂死的鱼，正极其痛苦地大张着嘴；他看见一张新生婴儿的脸庞，面色赤红，满是皱纹，正张口欲哭。他看见一张杀人凶犯的脸，看见他持刀刺进一个人的身体；而在同一瞬间，他看到这名罪犯双膝跪地，绳索缠身，头被刽子手一刀砍落。他看到陷于炽烈情爱之狂喜中的男人、女人不同姿态的赤裸身躯；他看到人们死去之后身体僵直、死寂、冰冷而空无。他看到许多动物的形象——野猪、鳄鱼、大像、公牛与飞鸟，他也看到大神黑天 与阿耆尼 。他看到所有这些面宠与形象以千万种方式彼此联系，彼此扶助，彼此爱恋，而同时却又彼此仇恨，彼此毁灭并重获新生。每一形态都终归于无，都是无常世界中苦难而充满激情的存在；然而它们却并未死去，它们只是在不断变幻，不断再生，不断以新的形态出现；只有时间作为不同形态之间联系的纽带。所有这些形态都经历暂住，流转与再生，彼此交汇并融合，而在这一切之上回旋着某种稀薄、虚幻却又无可置疑的存在，像一层薄薄的冰或玻璃体，像一层透明如水的躯壳、外形或面具——而这面具正是侨文达在那一刻所吻的悉达多微笑的面容。侨文达看到这面具般的微笑，这回旋于流转万相之上的圆融的微笑，这超脱于万千生生死死之上的永恒的微笑——悉达多的微笑——与他曾经上百次带着敬畏瞻仰过的乔达摩佛陀的微笑毫无二致。他们的微笑同样是那么安详、微妙而不可测度，同样是那种或许是慈悲，或许是嘲讽，形态万千的圣明的微笑。侨文达知道，一切圆成的佛陀世尊正是如是微笑的。

Intro

Recent works have explored aligning images and videos with LLM for a new generation of multi-modal LLMs that equip LLMs with the ability to understand and reason about 2D images.
但是仍缺少对于3D物理空间进行分析的模型, which involves richer concepts such as spatial relationships, affordances, physics and interaction so on.

由此提出了inject the 3D world into large language models, 介绍一个全新的3D-llm模型族，可以将3D表示（即带有功能的3D点云）作为输入，并执行一系列与3D相关的任务。
优势：

• 关于整个场景的长期记忆可以存储在整体3D表示中，而不是情节的部分视图观测值
• 3D属性（如提供和空间关系）可以从3D表示形式中进行推论，远远超出了基于语言或基于2D图像的LLM的范围

挑战

• 数据获取：3D数据的稀缺性阻碍了基于3D的基础模型的发展。 3D数据与语言描述配对甚至更难获得
  • 提出了一组独特的数据生成管道，这些管道可以生成大规模的3D数据与语言配对。
• Obtain meaningful 3D features that could align with language features for 3D-LLMs: 一种方法是使用类似的对比性范式从头开始训练3D编码，以在2D图像和语言之间对齐。但是，该范式消耗了巨大的数据，时间和GPU资源。
  • 使用了一个3D功能提取器，该提取器构造了渲染的多视图图像的2D预处理特征的3D功能。最近，还使用了2D预训练的CLIP特征来训练其VLMS，也有很多视觉语言模型（例如Blip-2，Flamingo）。由于我们提取的3D功能与2D预处理的功能相同，因此我们可以无缝使用2D VLM作为骨架，并输入3D功能，以进行3D-LLM的有效训练。

TODO

Track

Routine

爱心屋签到： aixinwu.sjtu.edu.cn/products/asw-store
每日二GRISSO💊

Starting from 2/20:

Non-routine

论文

Due

Moved to [[2025 Summer Schedule]]

No Due

Moved to [[2025 Summer Schedule]]

有生之年系列

Moved to [[2025 Summer Schedule]]

Archived

• AMD 2025冬令营 1/16 🔒Done! 2025-01-19 🕸️ Routine > Non-routine > Due
• 凉水彩 🔒Done! 2025-01-19 🕸️ Routine > Non-routine > Due > No Due
• wyf 生日 1/22 🔒Done! 2025-01-24 🕸️ Routine > Non-routine > Due
• JI VPN application 🔒Done! 2025-01-24 🕸️ Routine > Non-routine > Due > No Due
• 糕生日 2/11 🔒Done! 2025-02-13 🕸️ Routine > Non-routine > 论文 > Due
• WW2-Naval Mod 🔒Done! 2025-02-13 🕸️ Routine > Non-routine > 论文 > No Due
  • 潜艇
    • 深弹
    • 水箱毁伤
    • 水听
    • 视距外脱锁
    • 罗盘UI
    • 声纳
    • 发电机启停UI
    • 备用鱼雷
  • 舰载机修复
    • 水机回收
    • 机库
• 取邮政快递 🔒Done! 2025-02-13 🕸️ Routine > Non-routine > 论文 > No Due
• 《悉达多》[[《悉达多》 读书会p14]] 🔒Done! 2025-02-13 🕸️ Routine > Non-routine > 论文 > No Due
• Scene-LLm 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文
• 3D-LLM 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文
• Transformer from scratch 2/14 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文 > Due
• NSFC 环境重建大纲 2/18 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文 > Due
• 场景语义化的文献归纳 https://sjtu.feishu.cn/docx/DV4Sd0wM8oFGe9xFokJcHHJ9nlf 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文 > No Due
• DINO 🔒Done! 2025-02-19 🕸️ Routine > Non-routine > 论文
• PointLLM 🔒Done! 2025-03-09 🕸️ Routine > Non-routine > 论文
• ProgPrompt9 🔒Done! 2025-03-09 🕸️ Routine > Non-routine > 论文
• SayPlan 🔒Done! 2025-03-09 🕸️ Routine > Non-routine > 论文
• Grounding DINO 🔒Done! 2025-03-09 🕸️ Routine > Non-routine > 论文
• DELTA 🔒Done! 2025-03-09 🕸️ Routine > Non-routine > 论文
• MaskCLIP 🔒Done! 2025-03-09 🕸️ Routine > Non-routine > 论文
• ConceptFusion 🔒Done! 2025-03-09 🕸️ Routine > Non-routine > 论文
• 春季选课 Registration 2/28 🔒Done! 2025-03-09 🕸️ Routine > Non-routine > 论文 > Due
• 本科学分转换申请 文件 2/28 🔒Done! 2025-03-09 🕸️ Routine > Non-routine > 论文 > Due
• Holo-Arm PRP application sheet 🔒Done! 2025-03-09 🕸️ Routine > Non-routine > 论文 > No Due
• 《禅与摩托车的维修艺术》[[《禅与摩托车维修艺术》读书会p10]] 🔒Done! 2025-03-09 🕸️ Routine > Non-routine > 论文 > No Due
• 知识图谱表格细节完善 3/10 🔒Done! 2025-03-12 🕸️ Routine > Non-routine > 论文 > Due
• 褴褛飞旋电吉他 🔒Done! 2025-03-12 🕸️ Routine > Non-routine > 论文 > No Due
• DeepSeek from scratch 2/20 (deleted) 🔒Done! 2025-03-12 🕸️ Routine > Non-routine > 论文 > Due
• 场景语义理解/重建 文献综述，表格 3/13 🔒Done! 2025-03-21 🕸️ Routine > Non-routine > 论文 > Due
• 给陈天华发上海大学生机械工程创新大赛证书 3/22 🔒Done! 2025-03-23 🕸️ Routine > Non-routine > 论文 > Due
• 大众餐厅草莓 3/24 🔒Done! 2025-03-23 🕸️ Routine > Non-routine > 论文 > Due
• 《素食者》读书会p15 🔒Done! 2025-03-23 🕸️ Routine > Non-routine > 论文 > No Due
• 医保扫码补缴 3/29~3/30 🔒Done! 2025-03-31 🕸️ Routine > Non-routine > 论文 > Due
• PRP Application 3/30 🔒Done! 2025-03-31 🕸️ Routine > Non-routine > 论文 > Due
• 自然辩证法pre 4/2 🔒Done! 2025-04-03 🕸️ Routine > Non-routine > 论文 > Due
• 服务器shell配置 🔒Done! 2025-04-03 🕸️ Routine > Non-routine > 论文 > No Due
• 计算机视觉hw1 4/10 🔒Done! 2025-04-07 🕸️ Non-routine > 论文 > Due
• 数据挖掘pre registration 4/8 🔒Done! 2025-04-08 🕸️ Routine > Non-routine > 论文 > Due
• 加入雪糕的steam家庭成员 🔒Done! 2025-04-09 🕸️ Routine > Non-routine > 论文 > Due
• 确定490最终人选 4/10 (顾，孙一豪，安瑞童) 🔒Done! 2025-04-12 🕸️ Track > Routine > Non-routine > Due
• 数据挖掘pre 4/10 🔒Done! 2025-04-12 🕸️ Track > Routine > Non-routine > Due
• 博客三周年纪念 4/10 🔒Done! 2025-04-12 🕸️ Track > Routine > Non-routine > Due
• 4903 kickoff 信息通知 🔒Done! 2025-04-15 🕸️ Track > Routine > Non-routine > Due
• 《简单的激情》读书会p19 🔒Done! 2025-04-15 🕸️ Track > Routine > Non-routine > No Due
• 俞国雄 🔒Done! 2025-04-15 🕸️ Track
• meet 毕 11:00 4/17 🔒Done! 2025-04-17 🕸️ Track > Routine > Non-routine > Due
• 490 kickoff meeting 4/17 🔒Done! 2025-04-18 🕸️ Track > Routine > Non-routine > Due
  • background
  • 分工
    • 核心模块复现
    • 文献综述，针对要解决的问题(已经做了什么工作，我们怎么解决,inspiration)，针对大背景(Introduction)
      • 限定范围
    • 数据准备
• 中午羽毛球 4/18 🔒Done! 2025-04-18 🕸️ Track > Routine > Non-routine > Due
• meet wyf 4/19 🔒Done! 2025-04-21 🕸️ Track > Routine > Non-routine > Due
• CV meeting 4/19 🔒Done! 2025-04-21 🕸️ Track > Routine > Non-routine > Due
• 计算机视觉 project proposal 4/24 🔒Done! 2025-04-21 🕸️ Track > Routine > Non-routine > Due
• 数据挖掘hw1 4/20 🔒Done! 2025-04-21 🕸️ Track > Routine > Non-routine > Due
• 490 论文下发 ed.1 🔒Done! 2025-04-21 🕸️ Track > Routine > Non-routine > Due
• connected paper调研 🔒Done! 2025-04-25 🕸️ Track > Routine > Non-routine > Due
• Seminar 4/25 10:00 🔒Done! 2025-04-25 🕸️ Track > Routine > Non-routine > Due
• 夏季选课 (10:00 on April 25 to 13:00 on April 28) 🔒Done! 2025-04-25 🕸️ Track > Routine > Non-routine > Due
• CenterNet 🔒Done! 2025-05-01 🕸️ Track > Routine > Non-routine > 论文
• 划船 4/26 10:00 🔒Done! 2025-05-01 🕸️ Track > Routine > Non-routine > Due
• 孤独摇滚剧场版 4/26 11:35 🔒Done! 2025-05-01 🕸️ Track > Routine > Non-routine > Due
• 桶川读书会 4/26 19:00 🔒Done! 2025-05-01 🕸️ Track > Routine > Non-routine > Due
• 千岛湖 4/27 🔒Done! 2025-05-01 🕸️ Track > Routine > Non-routine > Due
  • 记得带便携烤架
  • 攻略
  • 酒店
  • 车票
• 数据挖掘hw2 5/5 (4/25) 🔒Done! 2025-05-01 🕸️ Track > Routine > Non-routine > Due
• 筹备老妈生日 5/26 🔒Done! 2025-05-03 🕸️ Track > Routine > Non-routine > Due
• 并行报告 5/3 🔒Done! 2025-05-03 🕸️ Track > Routine > Non-routine > Due
• 计算机视觉hw2 5/1 🔒Done! 2025-05-03 🕸️ Track > Routine > Non-routine > Due
• 老妈生日礼物：运动耳机 🔒Done! 2025-05-03 🕸️ Track > Routine > Non-routine > No Due
• 乒乓球拍 🔒Done! 2025-05-03 🕸️ Track > Routine > Non-routine > No Due
• 《负负得正》 🔒Done! 2025-05-03 🕸️ Track > Routine > Non-routine > No Due
• 《桶川跟踪狂杀人事件》读书会p17 🔒Done! 2025-05-05 🕸️ Track > Routine > Non-routine > No Due
• 自然辩证法语音转录 🔒Done! 2025-05-08 🕸️ Track > Routine > Non-routine > Due
• 小仓鼠衣服洗烘 🔒Done! 2025-05-10 🕸️ Track > Routine > Non-routine > Due
• 自然辩证法考试 5/9 18:00 dxy102 🔒Done! 2025-05-10 🕸️ Track > Routine > Non-routine > Due
• AR论文修改 5/10 🔒Done! 2025-05-10 🕸️ Track > Routine > Non-routine > Due

伪代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

# f_q, f_k: encoder networks for query and key 
# queue: dictionary as a queue of K keys (CxK) 
# m: momentum 
# t: temperature  

f_k.params = f_q.params # initialize 
for x in loader: # load a minibatch x with N samples 
	x_q = aug(x) # a randomly augmented version 
	x_k = aug(x) # another randomly augmented version  
	q = f_q.forward(x_q) # queries: NxC 
	k = f_k.forward(x_k) # keys: NxC 
	k = k.detach() # no gradient to keys  
	
	# positive logits: Nx1 
	l_pos = bmm(q.view(N,1,C), k.view(N,C,1))  # 相当于把batch中每个正样本对之间求了cosine临近
	
	# negative logits: NxK 
	l_neg = mm(q.view(N,C), queue.view(C,K))  
	
	# logits: Nx(1+K) 
	logits = cat([l_pos, l_neg], dim=1)  
	
	# contrastive loss, Eqn.(1) 
		labels = zeros(N) # positives are the 0-th，将识别的类别视为0,可以直接使用CrossEntropyLoss
	loss = CrossEntropyLoss(logits/t, labels)  
	
	# SGD update: query network 
	loss.backward() 
	update(f_q.params)  
	
	# momentum update: key network 
	f_k.params = m*f_k.params+(1-m)*f_q.params  
	
	# update dictionary 
	enqueue(queue, k) # enqueue the current minibatch 
	dequeue(queue) # dequeue the earliest minibatch

亮点

Dictionary as a queue

在使用key encoder(momentum encoder)创建负样本，并把encode过的负样本存在一个queue（FIFO）中方便后续对比时直接使用，每次训练都会使用一个新的mini batch，此时会将此mini batch中的样本encode之后加入queue并删除存在最久的那个mini batch的样本（因为考虑到最老的mini batch使用的encoder是最过时的，所以FIFO是非常合理的），这样可以有效控制负样本的数量，也就是公式中的K。

• 节省字典的计算开销
• 而且mini batch大小可以直接和负样本脱钩

Momentum update

因为负样本数量（字典/队列）很大，所以没办法给key encoder回传梯度，所以可以考虑把query encoder的参数直接复制给key encoder，但过快改变的key encoder会导致样本字典的特征不一致，所以使用动量更新的方式。

过往工作对比

b)
只有一个编码器进行学习。Memory bank存下了所有样本的key。每当梯度回传后，会把memory bank被本次训练中被采样过的key使用新的encoder进行更新。

• 缺乏特帧一致性
• 需要训练一阵个epoch才能更新一遍memory bank

MoCo和memory bank 更接近，但是使用了queue dictionary和momentum update