Uma pesquisa sobre a aplicação de redes neurais recorrentes na modelagem estatística de linguagem

Neste artigo, apresentamos uma pesquisa sobre a aplicação de redes neurais recorrentes na tarefa de modelagem estatística de linguagem. Embora tenha sido demonstrado que esses modelos obtêm bom desempenho nesta tarefa, muitas vezes superior a outras técnicas de ponta, eles sofrem de algumas desvantagens importantes, incluindo um tempo de treinamento muito longo e limitações no número de palavras de contexto que podem ser levadas em conta na prática. Extensões recentes para modelos de redes neurais recorrentes foram desenvolvidas em uma tentativa de abordar essas desvantagens. Este artigo fornece uma visão geral das extensões mais importantes. Cada técnica é descrita e seu desempenho na modelagem estatística de linguagem, conforme descrito na literatura existente, é discutido. Nossa visão geral estruturada permite detectar as técnicas mais promissoras no campo das redes neurais recorrentes, aplicadas à modelagem de linguagem, mas também destaca as técnicas para as quais pesquisas adicionais são necessárias.