6.2 面向序列数据的神经网络
在现实世界中，许多的数据之间存在明显的顺序关系。例如，文字或词是按照某种特定的顺序排列的，如果这种顺序关系被打乱，那么文章的意思往往会发生改变；对于一个视频片段，分别对其中的帧进行正放和倒放也往往会产生两种截然不同的内容。这类数据常常被称为序列数据。由于序列数据中的数据样本存在着顺序关系，它们往往并不遵循在传统的全连接网络或卷积神经网络中默认成立的数据样本之间独立且同分布的假设，这使得上述两种模型在面对序列数据时往往表现不佳；此外，传统的全连接网络或者卷积神经网络一般仅能处理输入为固定长度的数据，而序列数据的样本往往存在着变长问题，即不同的数据样本可能长度不一致，这进一步局限了传统神经网
络模型在序列数据上的应用。为了解决这些问题，循环神经网络[25]
（Recurrent Neural Networks，RNN）被提出。