Audit de travail : Explorer le régime d'audit des biais algorithmiques de la ville de New York

En juillet 2023, la ville de New York (NYC) a lancé le premier système d'audit algorithmique pour les systèmes d'apprentissage automatique commerciaux. La loi locale 144 (LL 144) oblige les employeurs basés à NYC utilisant des outils de prise de décision automatisée en matière d'emploi (AEDTs) dans le recrutement à subir des audits de biais annuels réalisés par un auditeur indépendant. Cet article examine les leçons de la LL 144 pour d'autres tentatives nationales d'audit algorithmique. À travers des entretiens qualitatifs avec 16 experts et praticiens au sein du régime, nous constatons que la LL 144 n'a pas établi efficacement un régime d'audit. La loi ne définit pas clairement des aspects clés, tels que les AEDTs et les auditeurs indépendants, conduisant les auditeurs, les fournisseurs d'AEDTs et les entreprises utilisant des AEDTs à définir la mise en œuvre pratique de la loi de manière à ne pas protéger les candidats à l'embauche. Les facteurs contributifs incluent la théorie de changement orientée vers la transparence défectueuse de la loi, le lobbying de l'industrie réduisant la définition des AEDTs, ainsi que des défis pratiques et culturels auxquels sont confrontés les auditeurs pour accéder aux données, et un large désaccord sur ce qui constitue un auditeur légitime, entraînant quatre rôles distincts d'auditeur. Nous concluons avec quatre recommandations pour les décideurs souhaitant créer des régimes d'audit de biais similaires, en soulignant des définitions plus claires, des indicateurs et une responsabilité accrue. En explorant la LL 144 à travers le prisme des auditeurs, notre article fait progresser la base de preuves autour de l'audit en tant que mécanisme de responsabilité, fournissant des orientations aux décideurs cherchant à créer des régimes similaires.