https://dl.acm.org/doi/pdf/10.1145/3620666.3651367

Background

Qumode

Qumodes are a different way of carrying and manipulating quantum information than qubits.

就像二进制在电脑中的encoding方式，总共n bit的内存，那必然只能有 $2^n$ 种内存state，这是由二进制0或1的特性决定的。然后在让我们看qubit和qumode

States for qubits

If we go to qubits, not much in this picture changes. While a qubit has infinitely many possible states, it turns out that you should look at what is called the basis of the state space, which loosely said means that you should find the minimal number of states in which you can express every other state. For a qubit, this turns out to be two, for example the up state and the down state. To use the language from above, each qubit therefore has 2 ‘possible assignments’, and you have n of them, so by the arguments presented above, there are $2^ⁿ$ unique states. Because we are doing quantum mechanics, superpositions of these states are also allowed, but that doesn’t change the picture: the dimensionality of the system is still $2^ⁿ$.

Qubits是由单个光子的量子态决定的，的存储维数限制依然是 $2^n$

States for qumodes

相较于qubit,qumode针对的是一个光场的状态，理论上可以有无限state

Squeezing gates

Squeezing gates on the vacuum state generate different states in the qumodes S2 gate generates the Two-mode Squeezed Vacuum (TMSV) state when applied to the vacuum state |0, 0⟩ which can be mathematically expressed as $z = re^{iφ}$ is the squeezing parameters

背景

LSTM主要是用于解决递归网络中梯度指数级消失或者梯度爆炸的问题

https://www.youtube.com/watch?v=YCzL96nL7j0&t=267s
LSTM和RNN主要的区别就在于：LSTM有两条记忆链，一条短期记忆，一条长期记忆。

主要分成三个模块 - Forget Gate: 决定遗忘多少长期记忆 - Input Gate: 决定将多少当前输入存入长期记忆 - Output Gate: 基于短期记忆和输入决定输出的百分比，乘上长期记忆激活后的值，获得新的短期记忆，也就是输出。 这里gate的概念启发了grConv[[On the Properties of Neural Machine Translation= Encoder–Decoder Approaches]]

概要

对比了 RNN Encoder-Decoder 和 GRU(new proposed)之间的翻译能力，发现GRU更具优势且能够理解语法。

背景

RNN Encoder–Decoder

因为会把要翻译的语句映射到固定长度的vector所以训练需要的内存空间是固定的且很小，500M和几十G形成对比。
但也有问题：

As this approach is relatively new, there has not been much work on analyzing the properties and behavior of these models. For instance: What are the properties of sentences on which this approach performs better? How does the choice of source/target vocabulary affect the performance? In which cases does the neural machine translation fail?

不够Fancy的地方：

• 随着源句长度的增加，神经机器翻译模型的性能迅速下降。
• 词汇量的大小对翻译效果有很大的影响。

Encoder For Variable-Length Sequences

RNN

递归神经网络(RNN)在变长序列x = ( x1 , x2, … , xT)上通过保持隐藏状态h随时间变化而工作

grConv

这是本文提出的用于替换RNN Encoder-Decoder 中的Encoder的一种新的神经网络，文中称为：gated recursive convolutional neural network (grConv)

如图a为Recursive convolutional NN (这是啥？) #question 图b为grConv grConv则是让隐藏层通过训练w参数可以从三个输入中挑选： 其中 $\omega_c+\omega_l+\omega_r=1$ 由此便获得了如图c,d所示的自主学习语法结构的能力。 非常直观的图 #paradigm

Background: RNN

首先介绍了RNN通过hidden state来实现记忆力功能

但指出RNN的训练有梯度消失/爆炸的现象，且记忆会沿序列长度的增加而指数下降，缺乏长期记忆能力。 解决梯度消失/爆炸目前有梯度裁剪和二阶梯度的方法，但成效并不显著

Gated RNN

[[On the Properties of Neural Machine Translation= Encoder–Decoder Approaches]]

概要

Transformer是一种基于注意力机制，完全不需要递归或卷积网络的序列预测模型，且更易于训练

背景

介绍了Gated-RNN/LSTM的基本逻辑[[Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling]]，指出:
这种固有的顺序性质阻碍了训练示例中的并行化，这在较长的序列长度上变得至关重要，因为内存限制限制了示例之间的批处理，虽然后续有相关工作优化了一些性能，但是基本的限制并没有解除。

代码

https://github.com/hkproj/pytorch-transformer/
https://www.youtube.com/watch?v=ISNdQcPhsts

关于Transformer 中的LayerNorm: https://dkleine.substack.com/p/understanding-layer-normalization?utm_campaign=post&utm_medium=web

参考: https://forum-zh.obsidian.md/t/topic/292

文献搜集网站

1

Google Scholar 114

2

Connected Papers

总结了各文章之间的 关联度，太直观了

3

Citexs Paperpicky
领域文献调研分析网络图将推荐文献可视化，在这里可以很容易看到文献之间的引用和被引用的关系。每个圆球代表一篇文章，圆球大小与共引次数正相关，从AI推荐文献、经典文献、核心文献三个维度给大家推荐出关联文献。
（1）AI推荐文献是根据所输入的关键词，智能筛选出与关键词高度关联的文献，在这里大家可以看到近期发表的研究成果；
（2）经典文献是基于推荐文献共引用关系筛选出的文献，一般都是该领域的必读文献，也就是说只要你研究该领域，这些文献肯定要读；
（3）核心文献则是AI推荐文献和经典文献重叠共引的部分。

文献管理软件

Zotero

参考: https://sspai.com/post/56724 安装了`Firefox-Zotero`插件，可以直接捕获网页内容并存到Zotero Liberary中（打开pdf界面后直接点击插件按钮即可保存） 保存后Zotero会自行抓取论文关键信息并重新生成标题