Desempenho do usuário versus medidas de precisão para tarefas simples de busca

Vários estudos recentes demonstraram que o tipo de melhorias na eficácia dos sistemas de recuperação de informações relatadas em fóruns como SIGIR e TREC não se traduz em um benefício para os usuários. Dois dos estudos usaram uma tarefa de recuperação de instâncias e um terceiro utilizou uma tarefa de resposta a perguntas, portanto, talvez não seja surpreendente que as medidas baseadas em precisão da eficácia do sistema de RI em avaliações de consulta única não correlacionem com o desempenho do usuário nessas tarefas. Neste estudo, avaliamos duas tarefas diferentes de recuperação de informações nos dados da TREC Web-track: uma tarefa de usuário baseada em precisão, medida pelo tempo que os usuários precisam para encontrar um único documento relevante a um tópico da TREC; e, uma tarefa simples de recuperação, representada pelo número total de documentos relevantes que os usuários podem identificar em cinco minutos. Os usuários utilizam motores de busca com precisão média controlada (MAP) entre 55% e 95%. Nossos resultados mostram que não há uma relação significativa entre a eficácia do sistema medida por MAP e a tarefa baseada em precisão. Uma relação significativa, mas fraca, está presente para a métrica de precisão de um documento retornado. Uma relação fraca está presente entre MAP e a tarefa simples de recuperação.