¿Necesitamos explicaciones de las salidas de la IA para usar sistemas de IA (en entornos de alto riesgo)? Esta pregunta ha sido debatida activamente recientemente, con un grupo negando que se necesiten explicaciones mientras el sistema de IA sea suficientemente preciso. Lo que importa, según ellos, es que los resultados mejoren. El otro grupo argumenta que tenemos razones procedimentales, centradas en la autonomía y la auto-abogacía, que superan los argumentos basados en los resultados en sentido contrario. Aquí presento un conjunto de argumentos para demostrar que los argumentos basados en resultados también deberían favorecer la explicabilidad para muchos de los sistemas actuales, ya que los problemas con la supervisión humana y la responsabilidad a menudo conducen a peores resultados generales incluso si se integra un sistema de IA más preciso. Los críticos de la explicabilidad pasaron por alto el hecho de que la IA opera dentro de un sistema socio-técnico más amplio, y su precisión por sí sola nos dice poco sobre los resultados finales. Además, consolido los argumentos procedimentales y presento una visión de las repercusiones de estos argumentos. Al respecto, deberíamos evitar aplicaciones de la IA que reemplacen en gran medida la toma de decisiones (relegando a los humanos a la posición de verificar las salidas). Sin embargo, podemos usar la IA en otros roles incluso para la toma de decisiones de alto riesgo mientras cumpla con todos los requisitos establecidos tanto por argumentos basados en resultados como por argumentos procedimentales. Lo que importa, en última instancia, es la capacidad de explicar las decisiones, y con el rol adecuado para la IA eso es posible incluso cuando se apoya en sistemas opacos.
Stefan N. R. Buijsman (Fri,) estudió esta pregunta.