Compreendendo a Independência de Escolha e os Tipos de Erro na Colaboração Humano-IA

A capacidade de tomar decisões de delegação apropriadas é um pré-requisito importante para uma colaboração eficaz entre humanos e IAs. No entanto, trabalhos recentes mostraram que as pessoas têm dificuldade em avaliar sistemas de IA na presença de erros de previsão, ficando longe de confiar adequadamente em sistemas de IA. Utilizamos um estudo de crowdsourcing pré-registrado (N = 611) para ampliar essa literatura com duas características cruciais pouco exploradas na tomada de decisões humano-IA: independência de escolha e tipo de erro. Os sujeitos em nosso estudo completam repetidamente duas tarefas de previsão e escolhem quais previsões desejam delegar a um sistema de IA. Para uma tarefa, os sujeitos recebem uma heurística de decisão que lhes permite fazer previsões informadas e relativamente precisas. A segunda tarefa é substancialmente mais difícil de resolver, e os sujeitos devem criar sua própria regra de decisão. Variamos sistematicamente o desempenho do sistema de IA de modo que ele forneça a melhor previsão possível para ambas as tarefas ou apenas para uma das duas. Nossos resultados demonstram que as pessoas violam sistematicamente a independência de escolha ao levar em conta o desempenho da IA em uma segunda tarefa não relacionada. Humanos que delegam previsões a uma IA superior em seu próprio domínio de especialização reduzem significativamente a confiança apropriada quando o modelo comete erros sistemáticos em um domínio de especialização complementar. Em contraste, humanos que delegam previsões a uma IA superior em um domínio de especialização complementar aumentam significativamente a confiança apropriada quando o modelo comete erros sistemáticos no domínio de especialização humana. Além disso, mostramos que os humanos diferenciam entre tipos de erro e que esse efeito é condicionado ao domínio de especialização considerado. Esta é a primeira exploração empírica da independência de escolha e tipos de erro no contexto da colaboração humano-IA. Nossos resultados têm amplas e importantes implicações para o futuro design, implementação e aplicação apropriada de sistemas de IA.