MaskGAN: Mejor generación de texto a través de completar el______

Los modelos de generación de texto neurales son a menudo modelos de lenguaje autorregresivos o modelos seq2seq. Estos modelos generan texto muestreando palabras secuencialmente, con cada palabra condicionada a la palabra anterior, y son el estado del arte para varios benchmarks de traducción automática y resumen. Estos benchmarks a menudo se definen por la perplejidad de validación, aunque esta no es una medida directa de la calidad del texto generado. Además, estos modelos suelen ser entrenados a través de máxima verosimilitud y teacher forcing. Estos métodos son adecuados para optimizar la perplejidad pero pueden resultar en mala calidad de muestra, ya que generar texto requiere condicionar sobre secuencias de palabras que pueden no haber sido observadas en el tiempo de entrenamiento. Proponemos mejorar la calidad de la muestra utilizando Redes Generativas Antagónicas (GANs), que entrenan explícitamente al generador para producir muestras de alta calidad y han demostrado un gran éxito en la generación de imágenes. Las GANs fueron diseñadas originalmente para emitir valores diferenciables, por lo que la generación de lenguaje discreto es un desafío para ellas. Afirmamos que la perplejidad de validación por sí sola no es indicativa de la calidad del texto generado por un modelo. Introducimos una GAN condicional de actor-crítico que completa el texto faltante condicionado en el contexto circundante. Mostramos cualitativa y cuantitativamente, evidencia de que esto produce muestras de texto condicional y incondicional más realistas en comparación con un modelo entrenado por máxima verosimilitud.