Um novo modelo de linguagem baseado em rede neural recorrente (RNN LM) com aplicações em reconhecimento de fala é apresentado. Os resultados indicam que é possível obter uma redução de cerca de 50% na perplexidade utilizando uma mistura de vários RNN LMs, comparado a um modelo de linguagem de backoff de última geração. Experimentos de reconhecimento de fala mostram uma redução de cerca de 18% na taxa de erro de palavras na tarefa do Wall Street Journal ao comparar modelos treinados com a mesma quantidade de dados, e aproximadamente 5% na tarefa muito mais difícil NIST RT05, mesmo quando o modelo de backoff é treinado com muito mais dados do que o RNN LM. Fornecemos ampla evidência empírica para sugerir que modelos de linguagem conexionistas são superiores às técnicas padrão de n-gramas, exceto pela sua alta complexidade computacional (de treinamento). Termos de indexação: modelagem de linguagem, redes neurais recorrentes, reconhecimento de fala.
Mikolov et al. (Sun,) estudaram essa questão.