Estimulação para Prompt de Aprendizado Incremental de Classe sem Repetição

O aprendizado incremental de classe (CIL) se dedica a abordar o esquecimento catastrófico enquanto aprende continuamente novas tarefas. Recentemente, técnicas de ajuste de prompt baseadas em transformadores de visão (ViT) alcançaram resultados promissores em CIL sem repetição. Para aliviar o esquecimento, métodos representativos usam um mecanismo de consulta-chave para gerar prompts e anexá-los ao ViT pré-treinado congelado. No entanto, esses métodos negligenciam o efeito da consulta, e a capacidade de aprendizado do modelo é limitada devido a prompts inadequados. Neste artigo, propomos uma nova abordagem chamada Estimulação para Prompt (P2P). Em vez de usar uma função de consulta independente da tarefa, aprendemos consultas de amostra juntamente com prompts em resposta à mudança da distribuição de dados em CIL. O P2P pode separar melhor as classes entre tarefas porque os prompts gerados são eficazes e características de amostra mais discriminativas podem ser extraídas. Além disso, todo o processo de treinamento é de ponta a ponta e as consultas são decididas pelos próprios prompts, evitando parâmetros adicionais. O P2P melhora a plasticidade do modelo enquanto mantém boa resistência ao esquecimento na longa sequência de tarefas. Experimentos mostram que nossa abordagem alcança resultados de punta de linha com até menos parâmetros.