爱心屋签到： aixinwu.sjtu.edu.cn/products/asw-store
每日二GRISSO💊
希望可以每天看两个小时论文
爱心屋签到： aixinwu.sjtu.edu.cn/products/asw-store
中午12点抢羽毛球场
午/晚饭后乌灵💊
每日二GRISSO💊
| Time | Monday | Tuesday | Wednesday | Thursday | Friday | Saturday | Sunday |
|---|---|---|---|---|---|---|---|
| 08:00 | 周末睡懒觉～ | ||||||
| 09:00 | 读论文 | 读论文 | 读论文 | Arch Update | |||
| 10:00 | 组会 | Seminar | |||||
| 11:00 | |||||||
| 12:00 | Friday afternoon | ||||||
| 13:00 | |||||||
| 14:00 | ME6801(DXY402) | 新中特(CRQ214) | E-Guitar | ||||
| 15:00 | |||||||
| 16:00 | ECE6903(DZY3-105) | ME6801(DXY402) | ECE6903(DZY3-105) | ||||
| 17:00 | 博客网维护 | ||||||
| 18:00 | VG501(DXY112) | Nvim Update | |||||
| 19:00 | E-Guitar | E-Guitar | E-Guitar | E-Guitar | E-Guitar | ||
| 20:00 | Movie | ||||||
| 21:00 | |||||||
| 22:00 | Reading | Reading | Reading | Reading | Reading | ||
| Credits: 3+3+2+1 |
~/Book [[《学做工：工人阶级子弟为何继承父业》读书会p11]] (只看了一半) 🔒Done! 2024-11-27 🕸️ 2024 Fall > Routine > Non-routine > No Duehttps://juejin.cn/post/7224738994825789496
https://www.youtube.com/watch?v=h3ij3F3cPIk&t=1005s
DI+NO（蒸馏+No Label）
具体来说，DINO 是使用一种称为“无监督自蒸馏”的方法，该方法通过自监督学习来学习模型的知识表示。在这个方法中，模型使用自身的输出来生成“伪标签”，然后使用这些伪标签来重新训练模型，从而进一步提高模型的性能和泛化能力。
https://blog.csdn.net/xbinworld/article/details/83063726
重点idea就是提出用soft target来辅助hard target一起训练，而soft target来自于大模型的预测输出。这里有人会问，明明true label（hard target）是完全正确的，为什么还要soft target呢？
hard target 包含的信息量（信息熵）很低，soft target包含的信息量大，拥有不同类之间关系的信息（比如同时分类驴和马的时候，尽管某张图片是马，但是soft target就不会像hard target 那样只有马的index处的值为1，其余为0，而是在驴的部分也会有概率。）[5]
这样的好处是，这个图像可能更像驴，而不会去像汽车或者狗之类的，而这样的soft信息存在于概率中，以及label之间的高低相似性都存在于soft target中。但是如果soft targe是像这样的信息[0.98 0.01 0.01]，就意义不大了，所以需要在softmax中增加温度参数T（这个设置在最终训练完之后的推理中是不需要的）
关于DINO中发生的涌现
https://juejin.cn/post/7280436457142501388
DINO之前的工作
LERF- Language Embedded Radiance Fields
NeRF+CLIP
一个Language Field
通过优化从现成的视觉语言模型（如 CLIP）到 3D 场景的嵌入，为 NeRF 中的语言奠定基础。
LERF 提供了一个额外的好处：由于我们从多个尺度的多个视图中提取 CLIP 嵌入，因此通过 3D CLIP 嵌入获得的文本查询的相关性图与通过 2D CLIP 嵌入获得的文本查询的相关性图相比更加本地化。根据定义，它们也是 3D 一致的，可以直接在 3D 字段中进行查询，而无需渲染到多个视图。
相较于Clip-Field[[CLIP-Fields- Weakly Supervised Semantic Fields for Robotic Memory]], LERF 更密集。
CLIP-Fields [32] and NLMaps-SayCan [8] fuse CLIP embeddings of crops into pointclouds, using a contrastively supervised field and classical pointcloud fusion respectively. In CLIP-Fields, the crop locations are guided by Detic [40]. On the other hand, NLMaps-SayCan relies on region proposal networks. These maps are sparser than LERF as they primarily query CLIP on detected objects rather than densely throughout views of the scene. Concurrent work ConceptFusion [19] fuses CLIP features more densely in RGBD pointclouds, using Mask2Former [9] to predict regions of interest, meaning it can lose objects which are out of distribution to Mask2Former’s training set. In contrast, LERF does not use region or mask proposals.
给定一组校准的输入图像，我们将 CLIP 嵌入到 NeRF 内的 3D 场中。然而，查询单个 3D 点的 CLIP 嵌入是不明确的，因为 CLIP 本质上是全局图像嵌入，不利于像素对齐特征提取。为了解释这一特性，我们提出了一种新颖的方法，该方法涉及学习以样本点为中心的卷上的语言嵌入领域。具体来说，该字段的输出是包含指定体积的图像作物的所有训练视图中的平均 CLIP 嵌入。通过将查询从点重新构造为体积，我们可以有效地从输入图像的粗裁剪中监督密集的字段，这些图像可以通过在给定的体积尺度上进行调节来以像素对齐的方式渲染。
