Pré-treinar um Codificador de Texto Discriminativo para Recuperação Densa via Predição de Intervalos Contrastivos

A recuperação densa tem mostrado resultados promissores em muitas tarefas relacionadas à recuperação de informações (IR), cuja base é o aprendizado de representações textuais de alta qualidade para uma busca efetiva. Alguns estudos recentes mostraram que modelos de linguagem baseados em autoencoders são capazes de aumentar o desempenho da recuperação densa usando um decodificador fraco. No entanto, argumentamos que 1) não é discriminativo decodificar todos os textos de entrada e, 2) mesmo um decodificador fraco tem o efeito de desvio sobre o codificador. Portanto, neste trabalho, introduzimos uma nova tarefa de predição de intervalos contrastivos para pré-treinar apenas o codificador, mas ainda reter a capacidade de gargalo do autoencoder. Assim, podemos 1) aprender representações textuais discriminativas de forma eficiente com o aprendizado contrastivo em grupo sobre intervalos e, 2) evitar completamente o efeito de desvio do decodificador. Experimentos abrangentes em conjuntos de dados de benchmark de recuperação disponíveis publicamente mostram que nossa abordagem pode superar significativamente os métodos existentes de pré-treinamento para recuperação densa.