Con la amplia disponibilidad de modelos de lenguaje de gran tamaño y su capacidad para generar vastas salidas utilizando variadas indicaciones y configuraciones, determinar la mejor salida para una tarea dada requiere un proceso de evaluación intensivo, donde los practicantes de aprendizaje automático deben decidir cómo evaluar las salidas y luego llevar a cabo la evaluación cuidadosamente. Este proceso es tanto laborioso como costoso. A medida que los practicantes trabajan con un número creciente de modelos, ahora deben evaluar las salidas para determinar qué modelo tiene el mejor desempeño para una tarea dada. Los LLMs se utilizan cada vez más como evaluadores para filtrar datos de entrenamiento, evaluar el rendimiento del modelo o ayudar a evaluadores humanos con evaluaciones detalladas. Nuestra aplicación, EvalAssist, apoya este proceso al ayudar a los usuarios a refinar interactivamente los criterios de evaluación. En nuestro estudio con practicantes de aprendizaje automático (n=15), cada uno completando 6 tareas que yield 131 evaluaciones, exploramos cómo los factores relacionados con las tareas y las estrategias de juicio influyen en el refinamiento de criterios y las percepciones de los usuarios. Los hallazgos muestran que los usuarios realizaron más evaluaciones mediante la evaluación directa al hacer que los criterios fueran específicos para la tarea, modificando juicios y cambiando el modelo de evaluador de IA. Concluimos con recomendaciones sobre cómo los sistemas pueden apoyar mejor a los practicantes con evaluaciones asistidas por IA.
Ashktorab et al. (Sat,) estudiaron esta cuestión.