AdvLoRA: Adaptação Adversarial de Baixa Classificação de Modelos de Visão-Linguagem

Modelos de Visão-Linguagem (VLMs) são uma técnica significativa para Inteligência Geral Artificial (AGI). Com o rápido crescimento da AGI, o problema de segurança se torna um dos desafios mais importantes para os VLMs. Neste artigo, por meio de extensos experimentos, demonstramos a vulnerabilidade dos métodos convencionais de adaptação para VLMs, que podem trazer riscos significativos de segurança. Além disso, à medida que o tamanho dos VLMs aumenta, a aplicação de técnicas convencionais de adaptação adversarial em VLMs resulta em altos custos computacionais. Para resolver esses problemas, propomos um método de adaptação adversarial eficiente em termos de parâmetros chamado AdvLoRA por Adaptação de Baixa Classificação. Primeiro, investigamos e revelamos a propriedade intrínseca de baixa classificação durante a adaptação adversarial para VLMs. Diferente do LoRA, melhoramos a eficiência e robustez da adaptação adversarial ao projetar um novo método de reparametrização baseado em agrupamento de parâmetros e alinhamento de parâmetros. Além disso, uma estratégia de atualização de parâmetros adaptativa é proposta para melhorar ainda mais a robustez. Com essas definições, nosso AdvLoRA proposto alivia os problemas de segurança do modelo e alto desperdício de recursos. Extensos experimentos demonstram a eficácia e eficiência do AdvLoRA.