MuTual: Un Conjunto de Datos para el Razonamiento en Diálogo de Varios Turnos

Los sistemas de diálogo no orientados a tareas han logrado un gran éxito en los últimos años gracias a la accesibilidad de datos de conversación y al desarrollo de técnicas de aprendizaje profundo. Dado un contexto, los sistemas actuales son capaces de ofrecer una respuesta relevante y fluida, pero a veces cometen errores lógicos debido a sus limitadas capacidades de razonamiento. Para facilitar la investigación sobre el razonamiento en la conversación, introducimos Mu-Tual, un nuevo conjunto de datos para el Razonamiento en Diálogo de Varios Turnos, que consta de 8,860 diálogos anotados manualmente basados en exámenes de comprensión auditiva en inglés para estudiantes chinos. En comparación con benchmarks anteriores para sistemas de diálogo no orientados a tareas, MuTual es mucho más desafiante, ya que requiere un modelo que pueda manejar diversos problemas de razonamiento. Los resultados empíricos muestran que los métodos más avanzados solo alcanzan el 71%, que está muy por detrás del rendimiento humano del 94%, lo que indica que hay un amplio margen para mejorar la capacidad de razonamiento. MuTual está disponible en https://github.com/Nealcly/MuTual.