概要

Transformer是一种基于注意力机制，完全不需要递归或卷积网络的序列预测模型，且更易于训练

背景

介绍了Gated-RNN/LSTM的基本逻辑[[Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling]]，指出:
这种固有的顺序性质阻碍了训练示例中的并行化，这在较长的序列长度上变得至关重要，因为内存限制限制了示例之间的批处理，虽然后续有相关工作优化了一些性能，但是基本的限制并没有解除。

代码

https://github.com/hkproj/pytorch-transformer/
https://www.youtube.com/watch?v=ISNdQcPhsts

参考: https://forum-zh.obsidian.md/t/topic/292

文献搜集网站

Google Scholar 114
Connected Papers

总结了各文章之间的 关联度，太直观了

文献管理软件

Zotero

参考: https://sspai.com/post/56724 安装了`Firefox-Zotero`插件，可以直接捕获网页内容并存到Zotero Liberary中（打开pdf界面后直接点击插件按钮即可保存） 保存后Zotero会自行抓取论文关键信息并重新生成标题