Avaliação da Mudança Temporal em Coletas de Testes de IR

Sistemas de recuperação de informação têm sido avaliados usando o paradigma de Cranfield há muitos anos. Este paradigma permite uma avaliação sistemática, justa e reproduzível de diferentes métodos de recuperação em ambientes experimentais fixos. No entanto, sistemas de recuperação do mundo real devem lidar com ambientes dinâmicos e mudanças temporais que afetam a coleção de documentos, tendências tópicas e a percepção individual do usuário sobre o que é considerado relevante. No entanto, a dimensão temporal nas avaliações de IR ainda é pouco estudada. Para isso, este trabalho investiga como a generalizabilidade temporal das avaliações de eficácia pode ser avaliada. Como um modelo conceitual, generalizamos experimentos do tipo Cranfield para o contexto temporal, classificando a mudança nos componentes essenciais de acordo com as operações de criar, atualizar e excluir do armazenamento persistente conhecido como CRUD. A partir dos diferentes tipos de mudança, diferentes cenários de avaliação são derivados e é delineado o que eles implicam. Com base nesses cenários, sistemas de recuperação renomados de última geração são testados e é investigado como a eficácia da recuperação muda em diferentes níveis de granularidade. Demonstramos que as medidas propostas podem ser bem adaptadas para descrever as mudanças nos resultados da recuperação. Os experimentos realizados confirmam que a eficácia da recuperação depende fortemente do cenário de avaliação investigado. Descobrimos que não apenas o desempenho médio de recuperação de sistemas únicos, mas também o desempenho relativo do sistema são fortemente afetados pelos componentes que mudam e em que medida esses componentes mudaram.