Prácticas de aprendizaje automático explicables: abriendo otra caja negra para una IA médica confiable

Resumen En los últimos años, las herramientas de aprendizaje automático (ML) se han implementado con éxito en el contexto médico. Sin embargo, varios profesionales han expresado preocupaciones sobre la falta de transparencia— a nivel algorítmico— de muchas de estas herramientas; y las soluciones del campo de la IA explicativa (XAI) se han visto como una forma de abrir la ‘caja negra’ y hacer que las herramientas sean más confiables. Recientemente, Alex London ha argumentado que en el contexto médico no necesitamos que las herramientas de aprendizaje automático sean interpretables a nivel algorítmico para hacerlas fiables, siempre que cumplan con algunos estrictos desiderata empíricos. En este artículo, analizamos y desarrollamos la posición de London. En particular, hacemos dos afirmaciones. Primero, afirmamos que la solución de London al problema de la confianza puede potencialmente abordar otro problema, que es cómo evaluar la fiabilidad de las herramientas de ML en medicina con fines regulatorios. Segundo, afirmamos que para abordar este problema, necesitamos desarrollar las opiniones de London cambiando el enfoque de la opacidad de los detalles algorítmicos a la opacidad de la forma en que se entrenan y construyen las herramientas de ML. Afirmamos que para regular las herramientas de IA y evaluar su fiabilidad, las agencias necesitan una explicación de cómo se han construido las herramientas de ML, lo que requiere documentar y justificar las elecciones técnicas que los profesionales han hecho al diseñar tales herramientas. Esto se debe a que diferentes diseños algorítmicos pueden llevar a diferentes resultados y a la realización de diferentes propósitos. Sin embargo, dado que las elecciones técnicas subyacentes al diseño algorítmico están moldeadas por consideraciones cargadas de valores, abrir la caja negra del proceso de diseño también significa hacer transparentes y motivadores (técnicos y éticos) los valores y preferencias detrás de tales elecciones. Usando herramientas de la filosofía de la tecnología y la filosofía de la ciencia, elaboramos un marco que muestra cómo debería lucir una explicación de los procesos de entrenamiento de herramientas de ML en medicina.