变压器模型的训练技巧

摘要 本文描述了我们在神经机器翻译中使用最近的Tensor2Tensor框架和变压器序列到序列模型（Vaswani et al., 2017）的实验。我们考察了一些影响最终翻译质量、内存使用、训练稳定性和训练时间的关键参数，并在每个实验结束时为同事研究人员提供一系列建议。除了确认“更多数据和更大模型”的一般口号外，我们还讨论了如何扩展到多个GPU，并提供有关批量大小、学习率、预热步骤、最大句子长度和检查点平均化的实用培训建议。我们希望我们的观察可以使其他人在其特定硬件和数据约束下获得更好的结果。