
主要工作流
## 主要参数要求 在室外工作,输出至少720P深度与RGB图像 最好可以支持gmsl2接口 ### 电爪相机 拍摄"角钢选取"画面 - 距离要求:>0.4m - 精度误差要求:<10mm@1m 近距离拍摄"角钢抓取点"画面 - 距离要求:0.2-0.3m - 精度误差要求:<3mm@0.3m紧固相机
近距离拍摄”螺栓”
- 距离要求:<0.3m
- 精度误差要求:<1mm@0.3m
奥比中光
待选:
- Gemini 335Lg(作为电爪相机)
Intel
待选:
- D405(作为紧固相机)
近距离拍摄”螺栓”
待选:
- Gemini 335Lg(作为电爪相机)
待选:
- D405(作为紧固相机)
已知末端的位置和姿态,以及所有连杆的几何参数下,求解关节的位置。
特点:运算速度快(达到us级),通用性差,可以分为代数法与几何法进行求解。
串联机械臂有逆运动学解析解的充分条件是满足Pieper准则
即如果机器人满足两个充分条件中的一个,就会得到封闭解,这两个条件是:
特点:通用性高,但是求解速度较慢(ms级)。
除了一些特殊的机械臂构型外,机械臂逆运动学问题很难用解析解求解,因此在许多情况下会使用数值解求解。
Newton-Raphson(NR)是数值解的一种方法。它需要基本的雅可比矩阵(关节空间的速度映射到笛卡尔空间)。然而,当且仅当原始方程的函数具有逆函数,且原始方程可解时,NR方法才会成功。
雅可比矩阵求逆:
运动微分方程可得
求逆可得
**如果机械臂的初始关节状态$q(0)$已知,最终的目标关节位置可以通过速度对时间的积分进行计算。** 欧拉积分法 #### 多解 由于机械臂是多自由度、串联、多旋转轴的复杂系统,只要自由度不少于 6 或部分结构“折叠方式”不唯一,就会出现多个可行姿态。 • **6自由度机械臂**:通常最多 8 个逆解。 • **冗余机械臂(7自由度以上)**:无限多解,存在连续解族。 这类机械臂需要用优化方法选择最优解。主要是自我介绍,项目介绍,针对简历和scope的Q&A,较为顺利。
代码测是在小鹏自己的代码编写平台,带语言切换,输出,debug,类似力扣。题目是写一个计算路径数量的函数,考察递归算法。期待后续二面。
ChemGPT 早期基座模型基于 EleutherAI 的语言模型 GPT‑Neo,在分子字符串语料(SMILES 或 SELFIES)上进行自回归建模。
典型预训练数据集为公开的大规模分子库 PubChem10M,参数规模覆盖百万到十亿级别(如约 4.7M 的轻量版本或 100M+ 的科研版本)。
属于领域特化的 decoder-only 化学语言模型。
https://www.chemgpt.app/
(我没有注册账号,直接问会显示网络繁忙)
text-generation pipeline 适合生成式任务(包括化学问答、分子生成)。
1 | from transformers import pipeline |
当需要精细控制 token 级生成时,直接调用 generate API。
1 | from transformers import AutoModelForCausalLM, AutoTokenizer |
1 | # ===== 第一课时:函数的定义与使用 ===== |
DREAM TO CONTROL= LEARNING BEHAVIORS BY LATENT IMAGINATION
论文使用**RSSM(Recurrent State Space Model)**:使用encoder来编码环境和动作生成latent state, 预测未来latent state,最后基于latent state预测奖励。
优势:
Dreamer 最关键的地方:
动作必须是可微的随机变量,这样梯度才能从 value 反传到 actor。
如果我们直接写 $a \sim \mathcal{N}(\mu, \sigma)$, 那么采样是不可微的 → 梯度断掉 → Actor 无法学习。
重参数化技巧的做法:$a=\mu+\sigma\cdot\epsilon$, $\epsilon\sim\mathcal{N}(0,1)$
现在:
奠定世界模型= Intelligence without representation
目前学界广泛认为,世界模型是通往AGI的正确道路。而世界模型这一理念可以追溯到这篇1991年的文章。
1890 年代的人想造飞机,却只能根据他们零碎的观察去猜。他们看到现代飞机巨大、复杂,于是做了一个错误类比:
“现代飞机又大又重 → 所以重量不是问题。”
这当然荒唐。真正让飞机能飞的前提是升力、功率重量比、材料强度等关键工程指标的平衡。但他们只看到了表象,所以:
寓言中的团队觉得项目太大,所以分专业化研究,但他们犯了一个致命错误: 没有系统架构,没有统一指标,没有工程指导思想。
因此:
Brooks 的核心观点用一句话总结就是:
智能不是“建模世界 + 推理”的结果,而是“直接在世界中行动”的结果。世界本身就是模型,不需要额外的表征。
传统 AI(symbolic AI)强调:
Brooks 强烈反对。他认为:
这种思想后来直接催生了:
Custom Robot URDF with Moveit2
使用solidworks URDF exporter.
需要注意不要使用
lock constrain限制零件位置。
https://moveit.picknik.ai/main/doc/examples/examples.html#integration-with-a-new-robot
首先克隆moveit2的示例仓库:
1 | git clone -b humble https://github.com/moveit/moveit2_tutorials |
编译项目colcon build,启动setup assistant:
1 | ros2 launch moveit_setup_assistant setup_assistant.launch.py |
随后按照教程配置SRDF。
配置完成后可以启动示例代码:
1 | ros2 launch panda_moveit_config demo.launch.py |
会将机械臂可视化并且拖动目标位置之后可以plan&execute。
7/1:♥️糖醋羊排CP成立!!♥️
爱心屋签到: aixinwu.sjtu.edu.cn/products/asw-store
每日二GRISSO💊
Starting from 5/12:
| Time | Monday | Tuesday | Wednesday | Thursday | Friday | Saturday | Sunday |
|---|---|---|---|---|---|---|---|
| 08:00 | |||||||
| 09:00 | byy组会 | ||||||
| 10:00 | ECE7606 DZY3-306 | ECE7606 DZY3-306 | |||||
| 11:00 | |||||||
| 12:00 | |||||||
| 13:00 | 490组会 | ||||||
| 14:00 | ENGR6002 DXY209 | ||||||
| 15:00 | |||||||
| 16:00 | MATH6003 DXY215 | MATH6003 DXY302 | |||||
| 17:00 | |||||||
| 18:00 | |||||||
| 19:00 | |||||||
| 20:00 | |||||||
| 21:00 | |||||||
| 22:00 | |||||||
| Credits: 3(MATH)+3(ECE)+1(TC) |