• scalable的理解
  • 要能够在 low cost 的情况下复制方法用于新的场景（主要是指数据获取）建议改为More accessible, affordable
• Infared的用处
  • 指尖的抓取行程测距(存在一定noise，几毫米，量程合适)
• 不能只说RL的坏处
• 机器人遥控和人工的Incompatible
• 视角Invarient可不可以用scale up的方式解决

主要工作流

紧固相机

近距离拍摄”螺栓”

• 距离要求：<0.3m
• 精度误差要求：<1mm@0.3m

奥比中光

待选：

• Gemini 335Lg(作为电爪相机)

Intel

待选：

• D405(作为紧固相机)

目前学界广泛认为，世界模型是通往AGI的正确道路。而世界模型这一理念可以追溯到这篇1991年的文章。

寓言

1890 年代的人想造飞机，却只能根据他们零碎的观察去猜。他们看到现代飞机巨大、复杂，于是做了一个错误类比：
“现代飞机又大又重 → 所以重量不是问题。”
这当然荒唐。真正让飞机能飞的前提是升力、功率重量比、材料强度等关键工程指标的平衡。但他们只看到了表象，所以：

• 座椅用实心钢
• 完全不关心重量控制
• 座舱设计完全按马车或汽车类比
• 控制系统用汽车方向盘、油门
• 甚至把“看地面”和“开窗透气”当成关键需求

寓言中的团队觉得项目太大，所以分专业化研究，但他们犯了一个致命错误： 没有系统架构，没有统一指标，没有工程指导思想。
因此：

• 每个小组各做各的
• 没有协调
• 没有明确目标
• 没有性能指标
• 完全不知道“重量、升力、结构”是耦合的
  这其实是现代大型项目失败的典型原因。

论文的核心思想：AI 不应依赖内部表征，世界就是模型

Brooks 的核心观点用一句话总结就是：

智能不是“建模世界 + 推理”的结果，而是“直接在世界中行动”的结果。世界本身就是模型，不需要额外的表征。

传统 AI（symbolic AI）强调：

1. 先感知世界形成表征
2. 用表征进行内部推理
3. 规划行动

Brooks 强烈反对。他认为：

• 显式表征只会拖慢系统、增加错误来源
• 真正的智能首先来源于“行动”而非“思考”
• 复杂智能应从简单行为逐层堆叠，而非从复杂推理开始

这种思想后来直接催生了：

• 行为式机器人学
• Embodied AI
• Subsumption Architecture
• 深度强化学习中“end-to-end from pixels to actions”的理念
• 现代多模态 agent 的行为驱动架构
  Brooks 的方法强调直接耦合感知与动作，由多个独立行为层并行运行，无中心控制，无统一世界模型。

URDF 生成

使用solidworks URDF exporter.

https://www.bilibili.com/video/BV1WX4y157gg/?spm_id_from=333.337.search-card.all.click&vd_source=45fc7197aaca220eec8fef4c2711efe3

需要注意不要使用 lock constrain 限制零件位置。

URDF with Moveit2

https://moveit.picknik.ai/main/doc/examples/examples.html#integration-with-a-new-robot
首先克隆moveit2的示例仓库:

1

git clone -b humble https://github.com/moveit/moveit2_tutorials

编译项目colcon build，启动setup assistant：

1

ros2 launch moveit_setup_assistant setup_assistant.launch.py

随后按照教程配置SRDF。

配置完成后可以启动示例代码：

1

ros2 launch panda_moveit_config demo.launch.py

会将机械臂可视化并且拖动目标位置之后可以plan&execute。

概念梳理

Scene Graph

A scene graph is a structural representation, which can capture detailed semantics by explicitly Modeling:

• objects (‘‘man’’, ‘‘fire hydrant’’, ‘‘shorts’’)
• attributes of objects (‘‘fire hydrant is yellow’’)
• relations between paired objects (‘‘man jumping over fire hydrant’’)

A scene graph is a set of visual relationship triplets in the form of <subject, relation, object> or <object, is, attribute>

针对的问题（任务场景）

Robotic planning and execution in open-world environments is a complex problem due to the vast state spaces and high variability of task embodiment.
例如针对家用场景：

• OVMM Challenge: https://aihabitat.org/challenge/2023_homerobot_ovmm/
  想要在这样复杂场景中执行 general, long-horizon, embodied tasks 需要生成一系列离散的动作，这些动作在都拥有累计和传播错误的可能。因此需要创建一个可行的计划并在该计划出现问题时恢复，需要对物理环境进行有效的抽象以及能够完全利用该抽象的planner。应对这些挑战需要整合自然语言理解，多粒度的场景抽象和理解以及有弹性的推理。

目前粗粒度（object-level）的场景抽象（场景图构建）已经有许多工作了，详见Reconstruct-Anything Literature Review，在这些工作中，重点都在于object detection和 object-level visual relationship detection

需要聚焦的部分是多粒度的场景抽象
需要多粒度的原因：

• Scalability: 如果只有一个粒度，那么输入LLM的场景图token不可控，影响扩展性
• 想要和物体进行更复杂的交互（相较于抓取），需要明确物体各个part的位置，语义性质，和父物体的parent-child relationship。这就要求场景图的生成需要考虑更细粒度。
• 针对不同复杂度的物体，需要的物体粒度层级不同
• 对于不同任务，需要的物体粒度也不同。
  具体案例（任务需要的颗粒度层次）：
• <Task>给水壶加水：
  • <object-level>水壶
    • <part-level>壶盖
    • <part-level>把手
  • <object-level>饮水机
    • <part-level>操作面板
      • <part-level>绿色按钮（常温水）
      • <part-level>红色按钮（开水）
      • <part-level>童锁
    • <part-level>水槽
  • <object-level>桌子
    • <part-level>桌面
• <Task>离开房间
  • <object-level>门
    • <part-level>把手
    • <part-level>纸条：“离开房间前把玩偶放回红筐”
  • <object-level>黄鸭玩偶
  • <object-level>红框
    

在更细粒度（part-level）的场景抽象中，重点在于子物体和父物体关系的识别

除此，和object-level scene graph中的object detection相对的，是part-level scene graph的子物体语义的多粒度分割和语义信息提取，可以由现有的Semantic-SAM和类似CLIP或者其他多模态模型的语义特征提取器实现。

主要的研究流程

明确研究对象Parent-child Relationship

What aspects does parent-child relationship include?

• 语义构成关系，即这个子物体的存在与否给父物体的语义带来了什么改变 Translation in embedding space.
• kinematic relations，也就是需要把一个物体以一个运动学树的形式构建出来
  
  

项目流程的流程

自监督的特征提取方法

涉及的文章：

• 相近工作
  • [[Part-level Scene Reconstruction Affords Robot Interaction]]
  • [[Scene Reconstruction with Functional Objects for Robot Autonomy]]
  • [[Reasoning with Scene Graphs for Robot Planning under Partial Observability]]
  • [[ACDC- Automated Creation of Digital Cousins for Robust Policy Learning]]
  • [[CLIP-Fields- Weakly Supervised Semantic Fields for Robotic Memory]]
  • [[Factorizable Net= An Efficient Subgraph-based Framework for Scene Graph Generation]]
  • [[SayPlan= Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning]]
  • [[ConceptGraphs= Open-Vocabulary 3D Scene Graphs for Perception and Planning]]
• 数据生成
  • [[PHYSCENE- Physically Interactable 3D Scene Synthesis for Embodied AI]]
• 数据集
  • CLEVR
  • Visual Genome
• 其他
  • [[SceneGraphFusion- Incremental 3D Scene Graph Prediction from RGB-D Sequences]]
  • [[Visual Relationship Detection with Language Priors]]
  • [[Image generation from scene graphs]]
  • [[(FCSGG) Fully Convolutional Scene Graph Generation]]
  • [[RelTR= Relation Transformer for Scene Graph Generation]]
  • [[Scene Graph Generation by Iterative Message Passing]]
  • [[From Pixels to Graphs= Open-Vocabulary Scene Graph Generation with Vision-Language Models]]
  • [[(VtransE) Visual Translation Embedding Network for Visual Relation Detection]]
  • [[(UVtransE) Contextual Translation Embedding for Visual Relationship Detection and Scene Graph Generation]]
  • [[(RLSV) Representation Learning for Scene Graph Completion via Jointly Structural and Visual Embedding]]
  • [[Energy-Based Learning for Scene Graph Generation]]

研究目标

通过构建part-level scene-graph，结合Reasoning with LLM 让机器人能够实现更复杂的交互，并以此完成更复杂的任务。

Scene Graph Introduction

Background

Visual scene understanding长期以来一直被认为是计算机视觉的圣杯

Rapid scene understanding at all levels

Generally

Visual scene understanding 可以被分为两块任务

• recognition task

  • image level
    • image classification
      • [[DINO]]
      • [[CLIP多模态预训练模型]]
  • pixel level
    • semantic segmentation: classify each pixel in an image into a category
      • Mask RCNN
      • U-Net
  • instance level
    • instance segmentation: detect and delineate each individual object instance in an image (bounding boxes or segmentation masks)
      • [[Grounding-DINO]]
      • [[Gounded-SAM]]
  • pixel & instance level
    • [[Panoptic Segmentation]]: takes into account both per-pixel class and instance labels
      • [[MaskDINO]]
      • [[Semantic-SAM]]
  

• application task

  • …

Relation & Interaction

但是以上这些Generally的工作注重的都是the localization of objects，更高级别的任务强调探索对象之间的丰富语义关系，以及对象与周围环境的相互作用

• 视觉关系检测（VRD）
  • [[GPS-Net= Graph Property Sensing Network for Scene Graph Generation]]
  • [[Large-scale visual relationship understanding]]
• 人类对象相互作用（HOI）
  • …

CV & NLP

除此之外还有将NLP和CV结合起来的方向，主要是一些VLM

• image caption
• visual question answering
• visual dialog

Structured Representation of Scene (Scene Graph)

对于总体场景的感知和信息的有效表示仍然是瓶颈。
所以Li Feifei 在[[Image Retrieval using Scene Graphs]]提出Scene Graph

与Structured Representation相对的是Latent Representation

Scene Graph Definition

A scene graph is a structural representation, which can capture detailed semantics by explicitly Modeling

• objects (‘‘man’’, ‘‘fire hydrant’’, ‘‘shorts’’)
• attributes of objects (‘‘fire hydrant is yellow’’)
• relations between paired objects (‘‘man jumping over fire hydrant’’)

A scene graph is a set of visual relationship triplets in the form of <subject, relation, object> or <object, is, attribute>

Scene graphs should serve as an objective semantic representation of the state of the scene

为什么选择scene graph

Scene Graph具有应对和改善其他视觉任务的内在潜力。
可以解决的视觉任务包括：

• Image captioning
  • take an image as an input and parse it into a scene graph, and then generate a reasonable text as output.
• Visual question answering
• Content-based image retrieval
• Image generation
  • extracting scene graphs from the text description and then generate realistic images
    • [[Image generation from scene graphs]]
• referring expression comprehension

Scene Graph Generation

场景图生成的目的是解析图像或一系列图像，并且生成结构化表示，以此弥合视觉和语义感知之间的差距，并最终达到对视觉场景的完整理解。
任务的本质是检测视觉关系。

先驱工作

早先由Feifei [[Visual Relationship Detection with Language Priors]] 提出了视觉关系检测的方法。
以及Visual Genome这个包含物体关系的数据集

生成方法

Two-stage

Detects objects first and then solves a classification task to determine the relationship between each pair of objects

b) 提取每个区域的特征。包括object的appearance, spatial information, label, depth, and mask；predicate的appearance, spatial, depth, and mask。

• Fast/Faster R-CNN

c) 这些多模态特征被 vectorized, combined, and refined。可以通过：

• message passing mechanisms
  • [[Scene Graph Generation by Iterative Message Passing]]
• attention mechanisms
• visual translation embedding

d) 分类器用于预测predicate的类别

基于Visual translation embedding的

• Translation between Subject and Object (subject+predicate ≈ object)
  • [[(VtransE) Visual Translation Embedding Network for Visual Relation Detection]]
• Translation among Subject, Object and Predicate
  • [[(UVtransE) Contextual Translation Embedding for Visual Relationship Detection and Scene Graph Generation]]
  • [[(RLSV) Representation Learning for Scene Graph Completion via Jointly Structural and Visual Embedding]]

One-stage!!!

Simultaneously detects and recognizes objects and relations
相较于two-stage:

• 需要更少的计算资源和参数
• 不会受到object detection的质量影响
  Example:
• [[(FCSGG) Fully Convolutional Scene Graph Generation]] (bottom-up + RAF)
• [[RelTR= Relation Transformer for Scene Graph Generation]] (bottom-up)
• [[SGTR= End-to-end Scene Graph Generation with Transformer]] (top-down)

Open-Vocabulary

基本都是基于LLM或者VLM之类的大模型

• [[From Pixels to Graphs= Open-Vocabulary Scene Graph Generation with Vision-Language Models]]
• [[ConceptGraphs= Open-Vocabulary 3D Scene Graphs for Perception and Planning]]

Scene Graph小结

这里所有的工作都是关于如何判断两个独立物体之间的谓语关系（例如riding, holding…），并没有涉及part-level relationship的工作。part-level的父子关系和object-level的谓语关系是很不一样的。

不基于Scene Graph 的场景理解方法

隐式场景

即场景信息存储在一个神经网络中，并没有显式的结构，规划器（可以是LLM）通过query这个模型来获得信息。

• [[CLIP-Fields- Weakly Supervised Semantic Fields for Robotic Memory]]
  • 无结构化，只提供语义查询，定位

数字表亲场景

核心思想是用交互更丰富的模型组合成可交互的替代场景。

• [[Scene Reconstruction with Functional Objects for Robot Autonomy]]
• [[ACDC- Automated Creation of Digital Cousins for Robust Policy Learning]]
  • 通既有的精细模型库来拟合场景中的物体，可以实现更丰富的交互，对家常物品zero-shot，但是精度有限，不能应对复杂物体

Contact Graph (可以认为是Scene Graph的扩展)

主要用于建模物体之间的运动学关系

• [[Scene Reconstruction with Functional Objects for Robot Autonomy]]
• [[Part-level Scene Reconstruction Affords Robot Interaction]]
  • 这个涉及到了父子之间的运动学关系

Scene Graph & Robots

将 scene graph 用于机器人任务理解和规划

• [[SayPlan= Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning]]
• [[Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation]]
• [[ConceptGraphs= Open-Vocabulary 3D Scene Graphs for Perception and Planning]]