LabelAId: Intervenções de IA Just-in-time para Melhorar a Qualidade de Rotulagem Humana e o Conhecimento de Domínio em Sistemas de Crowdsourcing

As plataformas de crowdsourcing transformaram a resolução de problemas distribuída, mas o controle de qualidade continua sendo um desafio persistente. As medidas tradicionais de controle de qualidade, como a triagem prévia de trabalhadores e o aprimoramento de instruções, muitas vezes se concentram apenas na otimização da produção econômica. Este artigo explora intervenções de IA just-in-time para aprimorar tanto a qualidade da rotulagem quanto o conhecimento específico de domínio entre os trabalhadores da multidão. Introduzimos o LabelAId, um modelo de inferência avançado que combina Supervisão Fraca Programática (PWS) com FT-Transformers para inferir a correção do rótulo com base no comportamento do usuário e no conhecimento de domínio. Nossa avaliação técnica mostra que nosso pipeline LabelAId supera consistentemente as referências de ML de última geração, melhorando a precisão da inferência de erros em 36,7% com 50 amostras subsequentes. Implementamos então o LabelAId no Project Sidewalk, uma plataforma de crowdsourcing de código aberto para acessibilidade urbana. Um estudo entre sujeitos com 34 participantes demonstra que o LabelAId melhora significativamente a precisão da rotulagem sem comprometer a eficiência, além de aumentar a confiança do rotulador. Discutimos os fatores de sucesso do LabelAId, suas limitações e sua generalizabilidade para outros domínios científicos de crowdsourcing.