O Elefante na Sala: Repensando o Uso de Modelos de Linguagem Pré-treinados em Recomendação Sequencial

A recomendação sequencial (SR) testemunhou avanços significativos com a ajuda de Modelos de Linguagem Pré-treinados (PLMs). Alguns modelos de SR baseados em PLM utilizam diretamente PLM para codificar as sequências de texto do comportamento histórico do usuário para aprender representações do usuário, enquanto raramente há uma exploração aprofundada da capacidade e adequação do PLM na modelagem de sequências de comportamento. Neste trabalho, primeiro realizamos análises extensivas entre PLMs e modelos de SR baseados em PLM, descobrindo uma grande subutilização e redundância de parâmetros dos PLMs na modelagem de sequências de comportamento. Inspirados por isso, exploramos diferentes usos leves de PLMs em SR, visando estimular ao máximo a capacidade dos PLMs para SR enquanto atendemos às demandas de eficiência e usabilidade de sistemas práticos. Descobrimos que a adoção de PLMs ajustados ao comportamento para inicializações de itens de modelos de SR convencionais baseados em ID é a estrutura mais econômica de SR baseada em PLM, que não traz nenhum custo adicional de inferência, mas poderia alcançar um dramático aumento de desempenho em comparação com a versão original. Experimentos extensivos em cinco conjuntos de dados mostram que nossa estrutura simples e universal leva a uma melhoria significativa em comparação com modelos clássicos de SR e SR baseados em PLM SOTA, sem custos adicionais de inferência. Nosso código pode ser encontrado em https://github.com/777pomingzi/Rethinking-PLM-in-RS.