Contaminación de Tareas: Los Modelos de Lenguaje Pueden No Ser de Pocos Ejemplos Más

Los modelos de lenguaje grandes (LLMs) ofrecen un rendimiento impresionante en varias tareas de cero y pocos ejemplos. Sin embargo, su éxito en configuraciones de cero o pocos ejemplos puede verse afectado por la contaminación de tareas, una limitación potencial que no se ha examinado a fondo. Este artículo investiga cómo ha cambiado cronológicamente el rendimiento de los LLMs en cero y pocos ejemplos a lo largo de los conjuntos de datos publicados a lo largo del tiempo, y a través de los LLMs lanzados con el tiempo. Utilizando modelos de la serie GPT-3 y varios otros LLMs de código abierto recientes, y controlando la dificultad del conjunto de datos, encontramos que los conjuntos de datos lanzados antes de la fecha de creación de los datos de entrenamiento de los LLMs tienen un rendimiento sorprendentemente mejor que los conjuntos de datos lanzados después de la fecha de creación de los datos de entrenamiento de los LLMs. Esto indica fuertemente que, para muchos LLMs, existe contaminación de tareas en la evaluación de cero y pocos ejemplos para conjuntos de datos anteriores a la fecha de creación de los datos de entrenamiento de los LLMs. Además, utilizamos la inspección de datos de entrenamiento, la extracción de datos de entrenamiento y un ataque de inferencia de membresía, que revelan más evidencia de contaminación de tareas. Es importante señalar que para tareas sin posibilidad de contaminación de tareas, los LLMs rara vez demuestran mejoras estadísticamente significativas sobre baselines de simple mayoría, tanto en configuraciones de cero como de pocos ejemplos.