Las mejores presentaciones en la competencia EfficientQA superaron significativamente las líneas base al combinar sistemas de recuperación de vanguardia con técnicas de generación y compresión de respuestas.
Otro
Revisamos la competencia EfficientQA de NeurIPS 2020. La competencia se centró en la respuesta a preguntas de dominio abierto (QA), donde los sistemas toman preguntas en lenguaje natural como entrada y devuelven respuestas en lenguaje natural. El objetivo de la competencia era construir sistemas que pudieran predecir respuestas correctas mientras también satisfacen estrictos presupuestos de memoria en disco. Estos presupuestos de memoria estaban diseñados para alentar a los concursantes a explorar la compensación entre almacenar corpus de recuperación o los parámetros de modelos aprendidos. En este informe, describimos la motivación y organización de la competencia, revisamos las mejores presentaciones y analizamos las predicciones del sistema para informar una discusión sobre la evaluación de QA de dominio abierto.
Min et al. (Fri,) informaron de otro. Las mejores presentaciones en la competencia EfficientQA superaron significativamente las líneas base al combinar sistemas de recuperación de vanguardia con técnicas de generación y compresión de respuestas.