使用神经网络的序列到序列学习

深度神经网络（DNNs）是强大的模型，已在复杂的学习任务中取得优异表现。尽管DNN在存在大量带标签训练集时表现良好，但它们无法用于序列到序列的映射。本文提出了一种通用的端到端序列学习方法，对序列结构的假设极少。该方法使用多层长短期记忆网络（LSTM）将输入序列映射为固定维度的向量，然后再用另一个深度LSTM从该向量解码目标序列。主要结果是在WMT'14数据集上的英法翻译任务中，LSTM产生的翻译在整个测试集上获得了34.8的BLEU分数，其中LSTM的BLEU分数对未登录词进行了惩罚。此外，LSTM对长句子处理也没有困难。相比之下，一个基于短语的统计机器翻译（SMT）系统在同一数据集上的BLEU分数为33.3。当我们用LSTM对上述SMT系统生成的1000个假设进行重排序时，BLEU分数提升到了36.5，接近该任务的以前最佳结果。LSTM还学到了合理的短语和句子表示，这些表示对词序敏感，但对主动与被动语态相对不变。最后，我们发现将所有源句中的词序倒转（但不对目标句进行倒转）显著提升了LSTM的性能，因为这样引入了许多源句与目标句之间的短期依赖，使优化问题变得更容易。