Anotação Seletiva via Alocação de Dados: Esses Dados Devem Ser Triados para Especialistas para Anotação em vez do Modelo

Para obter anotações de alta qualidade com orçamento limitado, métodos de anotação semiautomática são comumente utilizados, onde uma parte dos dados é anotada por especialistas e um modelo é então treinado para completar as anotações dos dados restantes. No entanto, esses métodos focam principalmente na seleção de dados informativos para anotações de especialistas a fim de melhorar a capacidade preditiva do modelo (ou seja, dados triados para humanos), enquanto o restante dos dados é designado de forma indiscriminada para anotação pelo modelo (ou seja, dados triados para o modelo). Isso pode levar a ineficiências na alocação de orçamento para anotações, já que dados fáceis que o modelo poderia anotar com precisão podem ser desnecessariamente atribuídos ao especialista, e dados difíceis podem ser classificado incorretamente pelo modelo. Como resultado, a qualidade geral da anotação pode ser comprometida. Para resolver esse problema, propomos uma estrutura de anotação seletiva chamada SANT. Ela aproveita efetivamente tanto os dados triados para humanos quanto os triados para o modelo por meio dos mecanismos propostos de triagem consciente de erros e bi-pesagem. Assim, dados informativos ou difíceis são atribuídos ao especialista para anotação, enquanto dados fáceis são tratados pelo modelo. Resultados experimentais mostram que o SANT superou consistentemente outras referências, levando a anotações de maior qualidade por meio de sua alocação adequada de dados tanto para trabalhadores especialistas quanto para modelos. Fornecemos um trabalho pioneiro sobre anotação de dados dentro das restrições orçamentárias, estabelecendo um marco para futuros estudos de anotação baseados em triagem.