Uso de corpora en sistemas de chatbot de aprendizaje automático

Un chatbot es un sistema de conversación automática que interactúa con usuarios humanos a través de un lenguaje conversacional natural. Se ha utilizado software para aprender patrones conversacionales de un corpus de diálogos transcritos para generar una variedad de chatbots que hablan varios idiomas y subidiomas, incluidas diversas variedades de inglés, además de francés, árabe y afrikáans. Este artículo presenta un programa para aprender de transcripciones habladas del Corpus de Diversidad del Diálogo en inglés, el Corpus de Francés de Minnesota, el Corpus de Afrikáans Hablado, el corpus paralelo árabe-inglés del Corán y el Corpus Nacional Británico de Inglés; discutimos los problemas que surgieron durante el aprendizaje y la prueba. Se lograron dos objetivos principales a partir del proceso de automatización. Uno era la capacidad de generar diferentes versiones del chatbot en diferentes idiomas, llevando la tecnología de chatbots a idiomas con pocos o ningún recurso de PNL: las técnicas de aprendizaje basadas en corpora se transfirieron de manera sencilla para desarrollar chatbots para afrikáans y árabe coránico. El segundo logro fue la capacidad de aprender un número muy grande de categorías en poco tiempo, ahorrando esfuerzo y errores al hacer dicho trabajo manualmente: generamos más de un millón de categorías AIML o reglas de conversación del corpus BNC, 20 veces el tamaño de los conjuntos de reglas AIML existentes, y probablemente la base de conocimiento de IA más grande jamás creada.