Métodos de Pré-treinamento em Recuperação de Informação

O núcleo da recuperação de informação (IR) é identificar informações relevantes a partir de recursos em grande escala e retorná-las como uma lista ordenada para responder à necessidade de informação do usuário. Nos últimos anos, o renascimento do aprendizado profundo avançou significativamente este campo e levou a um tópico quente chamado NeuIR (ou seja, recuperação de informação neural), especialmente o paradigma dos métodos de pré-treinamento (PTMs). Devido a objetivos de pré-treinamento sofisticados e ao grande tamanho dos modelos, modelos pré-treinados podem aprender representações universais de linguagem a partir de dados textuais massivos, que são benéficos para a tarefa de ranking de IR. Recentemente, um grande número de trabalhos, dedicados à aplicação de PTMs em IR, foram introduzidos para promover o desempenho da recuperação. Considerando o rápido progresso nessa direção, esta pesquisa visa fornecer uma revisão sistemática dos métodos de pré-treinamento em IR. Para ser específico, apresentamos uma visão geral dos PTMs aplicados em diferentes componentes de um sistema de IR, incluindo o componente de recuperação, o componente de reordenação e outros componentes. Além disso, também introduzimos PTMs especificamente projetados para IR e resumimos conjuntos de dados disponíveis, assim como rankings de benchmarks. Além disso, discutimos alguns desafios abertos e destacamos várias direções promissoras, com a esperança de inspirar e facilitar mais trabalhos sobre esses tópicos para pesquisas futuras.