Medidas de avaliação para relevância e credibilidade em listas ranqueadas

Discussões recentes sobre fatos alternativos, fake news e política de pós-verdade motivaram pesquisas sobre a criação de tecnologias que permitam às pessoas não apenas acessar informações, mas também avaliar a credibilidade das informações apresentadas a elas por sistemas de recuperação de informações. Embora existam tecnologias para filtrar informações de acordo com a relevância e/ou credibilidade 15, atualmente não existe uma medida única para avaliar a acurácia ou precisão (e, de forma mais geral, a eficácia) tanto da relevância quanto da credibilidade dos resultados recuperados. Uma maneira óbvia de fazer isso é medir a eficácia da relevância e da credibilidade separadamente e, em seguida, consolidar as duas medidas em uma só. Há pelo menos dois problemas com essa abordagem: (I) não é certo que os mesmos critérios sejam aplicados à avaliação de relevância e credibilidade (e a aplicação de critérios diferentes introduz viés na avaliação); (II) existem muito mais medidas e mais ricas para avaliar a eficácia da relevância do que para avaliar a eficácia da credibilidade (arriscando, assim, um viés adicional). Motivados pelo exposto acima, apresentamos dois novos tipos de medidas de avaliação que são projetadas para medir a eficácia tanto da relevância quanto da credibilidade em listas ranqueadas de resultados de recuperação. A avaliação experimental em um pequeno conjunto de dados anotado por humanos (que disponibilizamos gratuitamente para a comunidade de pesquisa) mostra que nossas medidas são expressivas e intuitivas em sua interpretação.