Deep learning for natural language processing: advantages and challenges

自然语言处理是人工智能的一个重要方向，研究让计算机使用人类语言、即自然语言的理论和方法。深度学习是指基于深度神经网络的机器学习技术。目前深度学习已成功应用于自然语言处理并取得了重大进展。　　　 本文总结了深度学习用于自然语言处理的成果，并阐述了这一技术的优势和面临的挑战。 该文认为自然语言处理有五个主要任务：分类、匹配、翻译、结构预测和序列决策过程。 这五个任务中的前四个，深度学习方法的表现都优于或显著优于传统方法，并且成为解决这些问题的当前最好技术。第五项任务序列决策过程包括多轮对话，深度学习对该任务的贡献如何尚未得到完全验证。 在深度学习应用于自然语言处理的问题中，机器翻译的进展尤其引人注目，正成为该应用的代表性技术。此外，深度学习还首次使某些应用成为可能，比如，深度学习成功应用于图像检索、生成式的自然语言对话等。 深度学习在自然语言处理中的优势主要在于端到端的训练和表示学习，这使深度学习区别于传统机器学习方法，也使之成为自然语言处理的强大工具。 深度学习面临着一些挑战。比如，缺乏理论基础和模型可解释性、模型训练需要大量数据和强大的计算资源。而深度学习在自然语言处理中也面临一些独特的挑战，如长尾问题、与符号处理的结合，以及推理和决策。 可以预见，未来深度学习与其他技术（强化学习、推断、知识）结合起来将会使自然语言处理更上一层楼。