Transformer是一种基于注意力机制，完全不需要递归或卷积网络的序列预测模型，且更易于训练
介绍了Gated-RNN/LSTM的基本逻辑[[Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling]]，指出:
这种固有的顺序性质阻碍了训练示例中的并行化，这在较长的序列长度上变得至关重要，因为内存限制限制了示例之间的批处理，虽然后续有相关工作优化了一些性能，但是基本的限制并没有解除。
https://github.com/hkproj/pytorch-transformer/
https://www.youtube.com/watch?v=ISNdQcPhsts
关于Transformer 中的LayerNorm: https://dkleine.substack.com/p/understanding-layer-normalization?utm_campaign=post&utm_medium=web
参考: https://forum-zh.obsidian.md/t/topic/292
总结了各文章之间的 关联度，太直观了
Citexs Paperpicky
领域文献调研分析网络图将推荐文献可视化，在这里可以很容易看到文献之间的引用和被引用的关系。每个圆球代表一篇文章，圆球大小与共引次数正相关，从AI推荐文献、经典文献、核心文献三个维度给大家推荐出关联文献。
（1）AI推荐文献是根据所输入的关键词，智能筛选出与关键词高度关联的文献，在这里大家可以看到近期发表的研究成果；
（2）经典文献是基于推荐文献共引用关系筛选出的文献，一般都是该领域的必读文献，也就是说只要你研究该领域，这些文献肯定要读；
（3）核心文献则是AI推荐文献和经典文献重叠共引的部分。
先放两首诗
泰戈尔的《生如夏花》
我听见回声，
来自山谷和心间
以寂寞的镰刀收割空旷的灵魂
不断地重复决绝，
又重复幸福
终有绿洲摇曳在沙漠
我相信自己
生来如同璀璨的夏日之花
不凋不败，
妖冶如火
承受心跳的负荷和呼吸的累赘
乐此不疲
——
我听见音乐，
来自月光和胴体
辅极端的诱饵捕获飘渺的唯美
一生充盈着激烈，
又充盈着纯然
总有回忆贯穿于世间
我相信自己
死时如同静美的秋日落叶
不盛不乱，
姿态如烟
即便枯萎也保留丰肌清骨的傲然
玄之又玄
——
我听见爱情，
我相信爱情
爱情是一潭挣扎的蓝藻
如同一阵凄微的风
穿过我失血的静脉
驻守岁月的信念
——
我相信一切能够听见
甚至预见离散，
遇见另一个自己
而有些瞬间无法把握
任凭东走西顾，
逝去的必然不返
请看我头置簪花，
一路走来一路盛开
频频遗漏一些，
又深陷风霜雨雪的感动
——
般若波罗蜜，
一声一声
生如夏花之绚烂，
死如秋叶之静美
还在乎拥有什么
莎士比亚十四行诗其18
Shall I compare thee to a summer’s day?
Thou art more lovely and more temperate:
Rough winds do shake the darling buds of May,
And summer’s lease hath all too short a date:
——
Sometime too hot the eye of heaven shines,
And often is his gold complexion dimm’d;
And every fair from fair sometime declines,
By chance or nature’s changing course untrimm’d
——
But thy eternal summer shall not fade
Nor lose possession of that fair thou owest;
Nor shall Death brag thou wander’st in his shade,
When in eternal lines to time thou growest:
——
So long as men can breathe or eyes can see,
So long lives this and this gives life to thee
——
译：
可否把你比作夏天？
你比夏天更可爱温婉
烈风吹散了五月的花蕾
且相约有期，夏日苦短
有时盛夏之目光灼烤
金色的面容失去了光彩
一切美丽终将凋零
偶然，或自然规律的安排
可你的夏季永不衰败
天生丽质，娇颜不改
死的阴影也无法将你遮蔽
永恒的诗中你将常在
只要人呼吸，眼睛能阅读，
此诗长存，而你，青春永驻
很久很久去外省市旅行过了。
疫情前，因为工作性质的原因，虽然父母无需打卡上班，看似自由支配的时间很多，但实际上也意味着不会有明确的长假安排，家里出去基本也以一日游居多。记忆里上一次出去是初中去杭州。疫情后老妈子总是担心出去要得病，而且要求我们也非必要不出游。
我从小也对于旅游不感冒，非常傲慢地认为，旅游不就是花很多钱，在难得的空闲时间里，挤到人最多的地方，然后看几个也没啥好看的景点，然后带着一身疲惫去读书吗？那时候我还不理解旅行和旅游的区别。
说来小时候出去玩印象最深的其实是行的过程。去西湖印象最深的是和麻麻骑双人自行车绕湖骑了一圈。去北京印象最深的是爬了好久长城，到顶之后还一股脑滚下来过。
慢慢长大，我在高三暑假那年明确跟家里人说我要去骑行，而且要骑个远的，要到拉萨。当时可把他们吓得够呛呀。后来因为综评等一系列事情，发现时间凑不出来，我也就作罢，宅了一个暑假。大概是这个时候，我对于出去玩这件事情的认识，第一次从旅游变成了旅行。即，出去玩不是为了游乐，为了到特定的地区场所，高效汲取同质化的快乐，而是为了行万里路，在行的过程中认识人，认识路，认识自己。我认为禅宗之意是旅途中不可分离的一部分。走马观花而心不明净，是为游而非行。行者无疆，旅行带来的便该是这种开阔，自信，昂扬。
到大二，和航模队的大家去阜新参加比赛。第一次乘绿皮，还在绿皮上学会了斗地主。绿皮上，hmt和我说，下次工训的比赛，我们一起;crz跟我说一起创立一个club。
然后便是目前处于大四春假的时候了。老爸几年前就开始嚷嚷着要去厦门玩了，但因为种种原因一直没去，我感觉他都快忘了。我提出，失恋了好痛苦呀，网上说必须要看海！老妈子自然是担心我一个人去会出事（比如找个风水好的地把自己埋了），所以就让老爸一起，完美！！
近日沉迷于木鱼水心剪辑版的《编辑部的故事》，无论我多么地烦躁，打开后心情总是会变得沉静，这剧是养人的，解说也是沉沉静静的那种风格，和葛优那种自带的反抒情特质还不一样，解说一个抒情的字眼都没，却字字都在抒情。
之后这一个系列很快就看完了，想去他频道下看看别的剧集系列，其一便为所谓的《星空读书会》。
up提到在他频道遇到了金钱上的困难，商业化进度有限时，受到过一位小伙伴的来信（附10w资助），信里有一句话：
“不为别的，只希望周围的孩子日后长大，拿着手机，对着电脑的时候，我可以告诉他们，这里有广阔的宇宙，浩瀚的文明”。
根据github托管仓库的提交记录，我的这个博客网建于2022/4/10，倒也是马上就要了两周年了，去年这会很忙，倒是没想到做一个一周年回顾，这次就一起补上吧。
近日小小燃起了一下修缮博客的激情，比如加了桌宠，播放器，亚克力风格的卡片，圆角，目录卡片之类的。也奇怪，似乎我就是非常热衷于做这些很游离的事情，做了，会花很多时间，不做也不会怎么样。想说自己还是有颗匠人/艺术家的心，还是很痴迷于这种永远在路上的项目的。做这些可爱的，美美的东西，真的很治愈啊。很多项目，很多科研，换个人，一样做，但博客，模组，辩论这些东西才是真正反映我们内核的东西。
