Standard Toolchain Setup

Guide: https://docs.espressif.com/projects/esp-idf/en/stable/esp32/get-started/linux-macos-setup.html#

ESP_IDF

I directly download the archive with all the submodules included: https://github.com/espressif/esp-idf/releases/tag/v5.3.1

This archive can also be downloaded from Espressif’s download server: https://dl.espressif.com/github_assets/espressif/esp-idf/releases/download/v5.3.1/esp-idf-v5.3.1.zip

cd into the unzip folder (The installation will fail in conda venv)

1
2
3

conda deactivate
./install.sh
. ./export.sh

In ~/.zshrc

1

alias get_idf='. $HOME/esp/esp-idf-v5.3.1/export.sh'

Then each time I need to setup esp32 development environment, I only need to type get_idf.

Some useful commands

1
2
3
4
5
6

idf.py set-target esp32
idf.py menuconfig
idf.py build
idf.py -p /dev/ttyUSB0 -b 115200 flash
idf.py -p /dev/ttyUSB0 -b monitor
idf.py -p /dev/ttyUSB0 flash monitor # combine together

PlatformIO

事实证明pio是最方便的。。
事前安装过pio的vscode插件，直接打开pio的esp32项目就直接可以编译上传以及查看串口监视器。

一款线上还在更新中的shader教学，有可交互代码，爆赞
https://thebookofshaders.com/

一些dalao写的shader：
https://www.shadertoy.com/

Shader Tutorials by Ronja
https://www.ronja-tutorials.com/
https://github.com/ronja-tutorials/ShaderTutorials?tab=readme-ov-file

Shader Tutorial For Beginner
https://github.com/Xibanya/ShaderTutorials

因为oh-my-live2d官网崩了，所以需要自己私有托管一下live2d服务才能让博客网上的小埋复活。(bonus:可以借此尝试自己制作一个live2d形象)
更于9/25，拖着很久没搞，然后官网自己复活了，好好好，直接快进到customized live2d。

程序接口定义

Python->Unity

代码仓库：

https://github.com/Chen-Yulin/Unity-Python-UDP-Communication

传输的数据为字符串：

1
2
3

def SendData(self, strToSend):
    # Use this function to send string to C#
    self.udpSock.sendto(bytes(strToSend,'utf-8'), (self.udpIP, self.udpSendPort))

物体识别信息

需要包含的信息：物体种类，物体的三轴方位，三轴旋转，三轴尺寸。

格式：

1
2
3
4
5
6
7
8
9
10
11

{Object Detection}
category
position.x
position.y
position.z
eulerRotation.x
eulerRotation.y
eulerRotation.z
scale.x
scale.y
scale.z

示例：

1
2
3
4
5
6
7
8
9
10
11

{Object Detection}
Handle
0.1
0.052
0.026
0
90
0
0.5
0.3
1

机械臂实时角度

需要包含的信息：6 个 joint 角度(单位为度)

格式：

1
2
3
4
5
6
7
8

{Current Joint}
j0
j1
j2
j3
j4
j5
j6

Unity->Python

机械臂需要旋转的角度

需要包含的信息：6 个 joint 角度(单位为度)

格式：

1
2
3
4
5
6
7
8

{Target Joint}
j0
j1
j2
j3
j4
j5
j6