PARADE: Agregação de Representação de Passagens para Reclassificação de Documentos

Modelos de transformadores pré-treinados, como BERT e T5, mostraram ser altamente eficazes na classificação de passagens e documentos ad-hoc. Devido aos limites inerentes de comprimento de sequência desses modelos, eles precisam ser executados sobre as passagens de um documento, em vez de processar toda a sequência do documento de uma só vez. Embora várias abordagens para agregar sinais em nível de passagem tenham sido propostas, ainda não houve uma comparação extensa dessas técnicas. Neste trabalho, exploramos estratégias para agregar sinais de relevância das passagens de um documento em uma pontuação de classificação final. Constatamos que as técnicas de agregação de representação de passagens podem melhorar significativamente em relação às técnicas propostas em trabalhos anteriores, como tomar a pontuação máxima da passagem. Chamamos essa nova abordagem de PARADE. Em particular, o PARADE pode melhorar significativamente os resultados em coleções com amplas necessidades de informação onde os sinais de relevância podem estar espalhados por todo o documento (como TREC Robust04 e GOV2). Enquanto isso, técnicas de agregação menos complexas podem funcionar melhor em coleções com uma necessidade de informação que muitas vezes pode ser apontada para uma única passagem (como TREC DL e TREC Genomics). Também realizamos análises de eficiência e destacamos várias estratégias para melhorar a agregação baseada em transformadores.