Cuándo las combinaciones de humanos y IA son útiles: una revisión sistemática y un meta-análisis

Inspirados por el uso creciente de la inteligencia artificial (IA) para aumentar las capacidades humanas, los investigadores han estudiado sistemas humano-IA que involucran diferentes tareas, sistemas y poblaciones. A pesar de un amplio corpus de trabajo, carecemos de una comprensión conceptual amplia de cuándo las combinaciones de humanos e IA son mejores que cualquiera por separado. Aquí abordamos esta cuestión realizando una revisión sistemática y un meta-análisis preregistrados de 106 estudios experimentales que reportan 370 tamaños de efecto. Buscamos un conjunto interdisciplinario de bases de datos (la Biblioteca Digital de la Asociación de Maquinaria Computacional, el Web of Science y la eLibrary de la Asociación para Sistemas de Información) para estudios publicados entre el 1 de enero de 2020 y el 30 de junio de 2023. Cada estudio debía incluir un experimento original con participantes humanos que evaluara el rendimiento de humanos solos, IA sola y combinaciones humano-IA. Primero, encontramos que, en promedio, las combinaciones humano-IA tuvieron un rendimiento significativamente peor que el mejor de los humanos o la IA sola (g de Hedges = -0.23; intervalo de confianza del 95%, -0.39 a -0.07). Segundo, encontramos pérdidas de rendimiento en tareas que involucraban tomar decisiones y ganancias significativamente mayores en tareas que involucraban crear contenido. Finalmente, cuando los humanos superaron a la IA sola, encontramos ganancias de rendimiento en la combinación, pero cuando la IA superó a los humanos solos, encontramos pérdidas. Las limitaciones de la evidencia evaluada aquí incluyen un posible sesgo de publicación y variaciones en los diseños de estudio analizados. En general, estos hallazgos destacan la heterogeneidad de los efectos de la colaboración humano-IA y señalan avenidas prometedoras para mejorar los sistemas humano-IA.