A supervisão falha de duas maneiras estruturalmente distintas. A primeira é familiar: o supervisor é corrupto, capturado ou incompetente. A segunda é menos visível e mais durável: a camada de supervisão é colocada dentro do mesmo campo de incentivos que o sistema que controla, fazendo com que reproduza o comportamento do sistema em vez de corrigi-lo. Esta nota documenta a segunda classe de falhas: Reflexão sobre Incentivos. O mecanismo é ativado quando a estrutura de recompensas do supervisor está alinhada com — e não independente de — os resultados que se propõe a avaliar. Sob esta condição, a supervisão não enfraquece com o tempo. Ela opera em plena capacidade na direção errada. Três casos em IA na saúde e automação de contratações instanciam o mecanismo. A condição estrutural que deve ser mantida para a supervisão funcionar — independência de incentivos — é derivada das evidências do caso e formalizada como um critério de diagnóstico.
Roman Kir (Mon,) estudou esta questão.