Muestreo de Importancia Adaptativa para Acelerar el Entrenamiento de un Modelo de Lenguaje Probabilístico Neuronal

Trabajos anteriores sobre modelado de lenguaje estadístico han demostrado que es posible entrenar una red neuronal feedforward para aproximar probabilidades sobre secuencias de palabras, lo que resulta en una reducción significativa del error en comparación con los modelos básicos estándar basados en n-gramas. Sin embargo, entrenar el modelo de red neuronal con el criterio de máxima verosimilitud requiere cálculos proporcionales al número de palabras en el vocabulario. En este artículo, introducimos el muestreo adaptativo de importancia como una forma de acelerar el entrenamiento del modelo. La idea es utilizar un modelo de n-gramas adaptativo para rastrear las distribuciones condicionales producidas por la red neuronal. Mostramos que se puede obtener una aceleración muy significativa en problemas estándar.