SciTaiL: Un conjunto de datos de implicación textual a partir de preguntas de respuesta científica

Presentamos un nuevo conjunto de datos y un modelo para la implicación textual, derivado de tratar la respuesta a preguntas de opción múltiple como un problema de implicación. SciTail es el primer conjunto de implicación que se crea exclusivamente a partir de oraciones naturales que ya existen de forma independiente ``en la naturaleza'' en lugar de oraciones escritas específicamente para la tarea de implicación. A diferencia de los conjuntos de datos de implicación existentes, creamos hipótesis a partir de preguntas científicas y los correspondientes candidatos de respuesta, y premisas a partir de oraciones relevantes de la web recuperadas de un gran corpus. Estas oraciones son a menudo lingüísticamente desafiantes. Esto, combinado con la alta similitud léxica de la premisa y la hipótesis tanto para pares implicados como no implicados, hace que esta nueva tarea de implicación sea particularmente difícil. El desafío resultante se evidencia por el desempeño mediocre de los sistemas de implicación textual de última generación en SciTail, especialmente en comparación con una línea base de clase mayoritaria simple. Como un paso adelante, demostramos que se puede mejorar la precisión en SciTail en un 5% utilizando un nuevo modelo neural que explota la estructura lingüística.