Subespaço de Projeção Ortogonal para Agregar Conhecimento Prévio Online para Adaptação Contínua em Tempo de Teste

A Adaptação Contínua em Tempo de Teste (CTTA) é uma tarefa que requer um modelo pré-treinado de fonte para se adaptar continuamente a novos cenários com distribuições de alvo em mudança. Os métodos CTTA existentes focam principalmente em mitigar os desafios do esquecimento catastrófico e da acumulação de erros. Embora tenham surgido métodos baseados na adaptação ao esquecimento com ajuste fino eficiente em termos de parâmetros, ainda têm dificuldades em equilibrar desempenho competitivo e adaptação eficiente do modelo, particularmente em tarefas complexas como segmentação semântica. Neste artigo, para resolver as questões mencionadas, propomos um novo pipeline, Projeção Ortogonal Subespacial para agregar Conhecimento Prévio Online, denominado OoPk. Especificamente, primeiro projetamos um subespaço de ajuste ortogonalmente, o que permite que o modelo se adapte a novos domínios enquanto preserva a integridade do conhecimento do modelo de fonte pré-treinado para aliviar o esquecimento catastrófico. Em seguida, elaboramos uma estratégia de agregação de conhecimento prévio online que emprega uma estratégia agressiva, mas eficiente, de mascaramento de imagem para imitar o dinamismo potencial do alvo, melhorando a adaptabilidade do domínio do modelo aluno. Isso melhora gradualmente o conhecimento do modelo professor, garantindo rótulos pseudo de alta qualidade e reduzindo a acumulação de erros. Demonstramos nosso método com experimentos extensivos que superam os métodos CTTA anteriores e alcançam desempenhos competitivos em vários benchmarks de TTA contínuo em tarefas de segmentação semântica.