主要工作流

紧固相机

近距离拍摄”螺栓”

• 距离要求：<0.3m
• 精度误差要求：<1mm@0.3m

奥比中光

待选：

• Gemini 335Lg(作为电爪相机)

Intel

待选：

• D405(作为紧固相机)

目前学界广泛认为，世界模型是通往AGI的正确道路。而世界模型这一理念可以追溯到这篇1991年的文章。

寓言

1890 年代的人想造飞机，却只能根据他们零碎的观察去猜。他们看到现代飞机巨大、复杂，于是做了一个错误类比：
“现代飞机又大又重 → 所以重量不是问题。”
这当然荒唐。真正让飞机能飞的前提是升力、功率重量比、材料强度等关键工程指标的平衡。但他们只看到了表象，所以：

• 座椅用实心钢
• 完全不关心重量控制
• 座舱设计完全按马车或汽车类比
• 控制系统用汽车方向盘、油门
• 甚至把“看地面”和“开窗透气”当成关键需求

寓言中的团队觉得项目太大，所以分专业化研究，但他们犯了一个致命错误： 没有系统架构，没有统一指标，没有工程指导思想。
因此：

• 每个小组各做各的
• 没有协调
• 没有明确目标
• 没有性能指标
• 完全不知道“重量、升力、结构”是耦合的
  这其实是现代大型项目失败的典型原因。

论文的核心思想：AI 不应依赖内部表征，世界就是模型

Brooks 的核心观点用一句话总结就是：

智能不是“建模世界 + 推理”的结果，而是“直接在世界中行动”的结果。世界本身就是模型，不需要额外的表征。

传统 AI（symbolic AI）强调：

1. 先感知世界形成表征
2. 用表征进行内部推理
3. 规划行动

Brooks 强烈反对。他认为：

• 显式表征只会拖慢系统、增加错误来源
• 真正的智能首先来源于“行动”而非“思考”
• 复杂智能应从简单行为逐层堆叠，而非从复杂推理开始

这种思想后来直接催生了：

• 行为式机器人学
• Embodied AI
• Subsumption Architecture
• 深度强化学习中“end-to-end from pixels to actions”的理念
• 现代多模态 agent 的行为驱动架构
  Brooks 的方法强调直接耦合感知与动作，由多个独立行为层并行运行，无中心控制，无统一世界模型。

URDF 生成

使用solidworks URDF exporter.

https://www.bilibili.com/video/BV1WX4y157gg/?spm_id_from=333.337.search-card.all.click&vd_source=45fc7197aaca220eec8fef4c2711efe3

需要注意不要使用 lock constrain 限制零件位置。

URDF with Moveit2

https://moveit.picknik.ai/main/doc/examples/examples.html#integration-with-a-new-robot
首先克隆moveit2的示例仓库:

1

git clone -b humble https://github.com/moveit/moveit2_tutorials

编译项目colcon build，启动setup assistant：

1

ros2 launch moveit_setup_assistant setup_assistant.launch.py

随后按照教程配置SRDF。

配置完成后可以启动示例代码：

1

ros2 launch panda_moveit_config demo.launch.py

会将机械臂可视化并且拖动目标位置之后可以plan&execute。

概念梳理

Scene Graph

A scene graph is a structural representation, which can capture detailed semantics by explicitly Modeling:

• objects (‘‘man’’, ‘‘fire hydrant’’, ‘‘shorts’’)
• attributes of objects (‘‘fire hydrant is yellow’’)
• relations between paired objects (‘‘man jumping over fire hydrant’’)

A scene graph is a set of visual relationship triplets in the form of <subject, relation, object> or <object, is, attribute>

针对的问题（任务场景）

Robotic planning and execution in open-world environments is a complex problem due to the vast state spaces and high variability of task embodiment.
例如针对家用场景：

• OVMM Challenge: https://aihabitat.org/challenge/2023_homerobot_ovmm/
  想要在这样复杂场景中执行 general, long-horizon, embodied tasks 需要生成一系列离散的动作，这些动作在都拥有累计和传播错误的可能。因此需要创建一个可行的计划并在该计划出现问题时恢复，需要对物理环境进行有效的抽象以及能够完全利用该抽象的planner。应对这些挑战需要整合自然语言理解，多粒度的场景抽象和理解以及有弹性的推理。

目前粗粒度（object-level）的场景抽象（场景图构建）已经有许多工作了，详见Reconstruct-Anything Literature Review，在这些工作中，重点都在于object detection和 object-level visual relationship detection

需要聚焦的部分是多粒度的场景抽象
需要多粒度的原因：

• Scalability: 如果只有一个粒度，那么输入LLM的场景图token不可控，影响扩展性
• 想要和物体进行更复杂的交互（相较于抓取），需要明确物体各个part的位置，语义性质，和父物体的parent-child relationship。这就要求场景图的生成需要考虑更细粒度。
• 针对不同复杂度的物体，需要的物体粒度层级不同
• 对于不同任务，需要的物体粒度也不同。
  具体案例（任务需要的颗粒度层次）：
• <Task>给水壶加水：
  • <object-level>水壶
    • <part-level>壶盖
    • <part-level>把手
  • <object-level>饮水机
    • <part-level>操作面板
      • <part-level>绿色按钮（常温水）
      • <part-level>红色按钮（开水）
      • <part-level>童锁
    • <part-level>水槽
  • <object-level>桌子
    • <part-level>桌面
• <Task>离开房间
  • <object-level>门
    • <part-level>把手
    • <part-level>纸条：“离开房间前把玩偶放回红筐”
  • <object-level>黄鸭玩偶
  • <object-level>红框
    

在更细粒度（part-level）的场景抽象中，重点在于子物体和父物体关系的识别

除此，和object-level scene graph中的object detection相对的，是part-level scene graph的子物体语义的多粒度分割和语义信息提取，可以由现有的Semantic-SAM和类似CLIP或者其他多模态模型的语义特征提取器实现。

主要的研究流程

明确研究对象Parent-child Relationship

What aspects does parent-child relationship include?

• 语义构成关系，即这个子物体的存在与否给父物体的语义带来了什么改变 Translation in embedding space.
• kinematic relations，也就是需要把一个物体以一个运动学树的形式构建出来
  
  

项目流程的流程

自监督的特征提取方法

涉及的文章：

• 相近工作
  • [[Part-level Scene Reconstruction Affords Robot Interaction]]
  • [[Scene Reconstruction with Functional Objects for Robot Autonomy]]
  • [[Reasoning with Scene Graphs for Robot Planning under Partial Observability]]
  • [[ACDC- Automated Creation of Digital Cousins for Robust Policy Learning]]
  • [[CLIP-Fields- Weakly Supervised Semantic Fields for Robotic Memory]]
  • [[Factorizable Net= An Efficient Subgraph-based Framework for Scene Graph Generation]]
  • [[SayPlan= Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning]]
  • [[ConceptGraphs= Open-Vocabulary 3D Scene Graphs for Perception and Planning]]
• 数据生成
  • [[PHYSCENE- Physically Interactable 3D Scene Synthesis for Embodied AI]]
• 数据集
  • CLEVR
  • Visual Genome
• 其他
  • [[SceneGraphFusion- Incremental 3D Scene Graph Prediction from RGB-D Sequences]]
  • [[Visual Relationship Detection with Language Priors]]
  • [[Image generation from scene graphs]]
  • [[(FCSGG) Fully Convolutional Scene Graph Generation]]
  • [[RelTR= Relation Transformer for Scene Graph Generation]]
  • [[Scene Graph Generation by Iterative Message Passing]]
  • [[From Pixels to Graphs= Open-Vocabulary Scene Graph Generation with Vision-Language Models]]
  • [[(VtransE) Visual Translation Embedding Network for Visual Relation Detection]]
  • [[(UVtransE) Contextual Translation Embedding for Visual Relationship Detection and Scene Graph Generation]]
  • [[(RLSV) Representation Learning for Scene Graph Completion via Jointly Structural and Visual Embedding]]
  • [[Energy-Based Learning for Scene Graph Generation]]

研究目标

通过构建part-level scene-graph，结合Reasoning with LLM 让机器人能够实现更复杂的交互，并以此完成更复杂的任务。

Scene Graph Introduction

Background

Visual scene understanding长期以来一直被认为是计算机视觉的圣杯

Rapid scene understanding at all levels

Generally

Visual scene understanding 可以被分为两块任务

• recognition task

  • image level
    • image classification
      • [[DINO]]
      • [[CLIP多模态预训练模型]]
  • pixel level
    • semantic segmentation: classify each pixel in an image into a category
      • Mask RCNN
      • U-Net
  • instance level
    • instance segmentation: detect and delineate each individual object instance in an image (bounding boxes or segmentation masks)
      • [[Grounding-DINO]]
      • [[Gounded-SAM]]
  • pixel & instance level
    • [[Panoptic Segmentation]]: takes into account both per-pixel class and instance labels
      • [[MaskDINO]]
      • [[Semantic-SAM]]
  

• application task

  • …

Relation & Interaction

但是以上这些Generally的工作注重的都是the localization of objects，更高级别的任务强调探索对象之间的丰富语义关系，以及对象与周围环境的相互作用

• 视觉关系检测（VRD）
  • [[GPS-Net= Graph Property Sensing Network for Scene Graph Generation]]
  • [[Large-scale visual relationship understanding]]
• 人类对象相互作用（HOI）
  • …

CV & NLP

除此之外还有将NLP和CV结合起来的方向，主要是一些VLM

• image caption
• visual question answering
• visual dialog

Structured Representation of Scene (Scene Graph)

对于总体场景的感知和信息的有效表示仍然是瓶颈。
所以Li Feifei 在[[Image Retrieval using Scene Graphs]]提出Scene Graph

与Structured Representation相对的是Latent Representation

Scene Graph Definition

A scene graph is a structural representation, which can capture detailed semantics by explicitly Modeling

• objects (‘‘man’’, ‘‘fire hydrant’’, ‘‘shorts’’)
• attributes of objects (‘‘fire hydrant is yellow’’)
• relations between paired objects (‘‘man jumping over fire hydrant’’)

A scene graph is a set of visual relationship triplets in the form of <subject, relation, object> or <object, is, attribute>

Scene graphs should serve as an objective semantic representation of the state of the scene

为什么选择scene graph

Scene Graph具有应对和改善其他视觉任务的内在潜力。
可以解决的视觉任务包括：

• Image captioning
  • take an image as an input and parse it into a scene graph, and then generate a reasonable text as output.
• Visual question answering
• Content-based image retrieval
• Image generation
  • extracting scene graphs from the text description and then generate realistic images
    • [[Image generation from scene graphs]]
• referring expression comprehension

Scene Graph Generation

场景图生成的目的是解析图像或一系列图像，并且生成结构化表示，以此弥合视觉和语义感知之间的差距，并最终达到对视觉场景的完整理解。
任务的本质是检测视觉关系。

先驱工作

早先由Feifei [[Visual Relationship Detection with Language Priors]] 提出了视觉关系检测的方法。
以及Visual Genome这个包含物体关系的数据集

生成方法

Two-stage

Detects objects first and then solves a classification task to determine the relationship between each pair of objects

b) 提取每个区域的特征。包括object的appearance, spatial information, label, depth, and mask；predicate的appearance, spatial, depth, and mask。

• Fast/Faster R-CNN

c) 这些多模态特征被 vectorized, combined, and refined。可以通过：

• message passing mechanisms
  • [[Scene Graph Generation by Iterative Message Passing]]
• attention mechanisms
• visual translation embedding

d) 分类器用于预测predicate的类别

基于Visual translation embedding的

• Translation between Subject and Object (subject+predicate ≈ object)
  • [[(VtransE) Visual Translation Embedding Network for Visual Relation Detection]]
• Translation among Subject, Object and Predicate
  • [[(UVtransE) Contextual Translation Embedding for Visual Relationship Detection and Scene Graph Generation]]
  • [[(RLSV) Representation Learning for Scene Graph Completion via Jointly Structural and Visual Embedding]]

One-stage!!!

Simultaneously detects and recognizes objects and relations
相较于two-stage:

• 需要更少的计算资源和参数
• 不会受到object detection的质量影响
  Example:
• [[(FCSGG) Fully Convolutional Scene Graph Generation]] (bottom-up + RAF)
• [[RelTR= Relation Transformer for Scene Graph Generation]] (bottom-up)
• [[SGTR= End-to-end Scene Graph Generation with Transformer]] (top-down)

Open-Vocabulary

基本都是基于LLM或者VLM之类的大模型

• [[From Pixels to Graphs= Open-Vocabulary Scene Graph Generation with Vision-Language Models]]
• [[ConceptGraphs= Open-Vocabulary 3D Scene Graphs for Perception and Planning]]

Scene Graph小结

这里所有的工作都是关于如何判断两个独立物体之间的谓语关系（例如riding, holding…），并没有涉及part-level relationship的工作。part-level的父子关系和object-level的谓语关系是很不一样的。

不基于Scene Graph 的场景理解方法

隐式场景

即场景信息存储在一个神经网络中，并没有显式的结构，规划器（可以是LLM）通过query这个模型来获得信息。

• [[CLIP-Fields- Weakly Supervised Semantic Fields for Robotic Memory]]
  • 无结构化，只提供语义查询，定位

数字表亲场景

核心思想是用交互更丰富的模型组合成可交互的替代场景。

• [[Scene Reconstruction with Functional Objects for Robot Autonomy]]
• [[ACDC- Automated Creation of Digital Cousins for Robust Policy Learning]]
  • 通既有的精细模型库来拟合场景中的物体，可以实现更丰富的交互，对家常物品zero-shot，但是精度有限，不能应对复杂物体

Contact Graph (可以认为是Scene Graph的扩展)

主要用于建模物体之间的运动学关系

• [[Scene Reconstruction with Functional Objects for Robot Autonomy]]
• [[Part-level Scene Reconstruction Affords Robot Interaction]]
  • 这个涉及到了父子之间的运动学关系

Scene Graph & Robots

将 scene graph 用于机器人任务理解和规划

• [[SayPlan= Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning]]
• [[Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation]]
• [[ConceptGraphs= Open-Vocabulary 3D Scene Graphs for Perception and Planning]]

本文提出的模型主要想解决3D密集标注和交互式规划。
结合

• egocentric（crucial for immediate updates during object interactions and for localizing the agent within the scene）
• comprehensive（provides temporal persistent and multi-view consistent details of the entire 3D scene）
  scene-level的信息。

需要align the dense 3D visual information with the textual embedding space of a pre-trained LLM。3D点集由于其连续坐标系以及需要适应场景状态变化的表示形式而构成了一个独特的问题

Related Works

3D-VQA
VLN(Visual-Language Navigation)

3D-Visual-Language Data Generation

和[[3D-LLM]]一样，都是多视角采集D-RGB信息然后整合为3D frame
标注信息来自于Mini-GPT-V2（capable of generating captions and object descriptions from images by using caption and grounded caption identifiers）。

3D-frame

Uses image frames and a 2D-VLM(Mini-GPT-V2) to generate frame descriptions

Scene Data

3D场景数据是通过基于其相机姿势汇总的3D帧来重建
使用Llama-2-Chat-70B [65]生成场景的语言注释

prompted with a mix of context data including generated frame captions, frame object descriptions, annotated object lists, and annotated bounding boxes. These prompts lead to diverse instruction-following data types like dense caption, object caption, task decomposition, functionality enhancement, question-answering, and human-robot dialogues

Scene-LLM

场景-LLM是一种3D视觉语言模型（VLM），具有简单而有效的体系结构，旨在理解以基于本体和场景级别的3D视觉信息，使其能够成功执行交互式计划任务。本节概述了3D视觉特征提取过程，我们的模型的体系结构，3D视觉信息与数据集的对齐以及使用Scene-LLM进行推理。

Employ visual language semantic features [51] to represent 3D visual semantics

• first extracting pixel-wise CLIP features from each image and then aggregating these into a 3D point set [[ConceptFusion]]

Tokenize 3D visual features for LLM input:

• hybrid point-voxel representation (need for dense 3D visual information, support for interactive updates, and manageable token lengths for the LLM)

网络大体上分为两层：

Projection layer

To bridge 3D visual tokens(F) with the LLM’s tokenized space
FC(1030, 768)->GELU->FC(768,768)

LLM

Llama-2-7b as the foundational LLM backbone

训练

Stage 1: Pretraining for Feature Alignment

在两个坐标系统（camera和世界坐标）下使用3D帧数据，以确保场景-LLM理解以自我为中心和以场景为中心的观点。
在此阶段，仅训练了projection layer，可以有效地对齐具有文本特征的3D视觉特征，同时保持LLM参数（φ）不变。

Stage 2: Finetuning

优化Scene-llm，以准确响应用户说明。我们使用标识符令牌“我看到”将3D帧语言和3D场景语言数据合并到前言。文本描述分为指令（$T_{INST}$）及其相应的响应（$T_{ANS}$）。利用转换后的3D视觉令牌（$T_{3D}$）和指令令牌（$T_{INST}$），我们的目标是微调LLM（φ）以自动生成$T_{ANS}$.
在这里，我们共同微调了投影层和LLM，由θ= {ψ，φ}表示