Avaliando a Justiça Algorítmica com Classe Protegida Não Observada Usando Combinação de Dados

O impacto crescente das decisões algorítmicas na vida das pessoas nos obriga a escrutinar sua justiça e, em particular, os impactos desiguais que algoritmos aparentemente neutros podem ter em diferentes grupos. Exemplos incluem decisões de crédito, contratação, publicidade, justiça criminal, medicina personalizada e formulação de políticas direcionadas, onde em alguns casos existem estruturas legislativas ou regulatórias para a justiça que definem classes protegidas específicas. Neste artigo, estudamos um desafio fundamental na avaliação de impactos desiguais na prática: a filiação à classe protegida muitas vezes não é observada nos dados. Isso é particularmente problemático em empréstimos e cuidados de saúde. Consideramos o uso de um conjunto de dados auxiliar, como o censo dos EUA, para construir modelos que preveem a classe protegida a partir de variáveis proxy, como sobrenome e geolocalização. Mostramos que mesmo com esses dados, uma variedade de medidas comuns de disparidade geralmente é não identificável, proporcionando uma nova perspectiva sobre os vieses documentados de métodos populares baseados em proxy. Fornecemos caracterizações exatas do conjunto mais restrito de todas as possíveis verdadeiras disparidades que são consistentes com os dados (e possivelmente suposições adicionais). Além disso, oferecemos algoritmos baseados em otimização para computar e visualizar esses conjuntos e ferramentas estatísticas para avaliar a incerteza de amostragem. Juntas, essas ferramentas permitem avaliações confiáveis e robustas de disparidades—uma ferramenta importante quando a avaliação de disparidades pode ter implicações políticas de longo alcance. Demonstramos isso em dois estudos de caso com dados reais: concessão de hipotecas e dosagem de medicina personalizada. Este artigo foi aceito por Hamid Nazerzadeh, Seção Especial de Ciência da Gestão sobre Análise Prescritiva Baseada em Dados.