Ajuste Dinâmico de Prompt Consciente da Instância para Modelos de Nuvem de Pontos Pré-treinados

Modelos de nuvem de pontos pré-treinados têm encontrado extensas aplicações em tarefas de compreensão 3D, como classificação de objetos e segmentação de partes. No entanto, a estratégia predominante de ajuste fino completo em tarefas subsequentes leva a um grande overhead de armazenamento por tarefa para os parâmetros do modelo, o que limita a eficiência ao aplicar modelos pré-treinados em larga escala. Inspirados pelo recente sucesso do ajuste de prompt visual (VPT), este artigo tenta explorar o ajuste de prompt em modelos de nuvem de pontos pré-treinados, buscando um equilíbrio elegante entre desempenho e eficiência de parâmetros. Descobrimos que, embora o prompting estático independente da instância, por exemplo, VPT, mostre alguma eficácia na transferência subsequente, ele é vulnerável à diversidade de distribuição causada por vários tipos de ruídos em dados de nuvem de pontos do mundo real. Para superar essa limitação, propomos uma nova estratégia de Ajuste Dinâmico de Prompt Consciente da Instância (IDPT) para modelos de nuvem de pontos pré-treinados. A essência do IDPT é desenvolver um módulo de geração de prompt dinâmico para perceber características semânticas anteriores de cada instância de nuvem de pontos e gerar tokens de prompt adaptativos para aumentar a robustez do modelo. Notavelmente, experimentos extensivos demonstram que o IDPT supera o ajuste fino completo na maioria das tarefas com apenas 7% dos parâmetros treináveis, proporcionando uma solução promissora para aprendizado eficiente em termos de parâmetros para modelos de nuvem de pontos pré-treinados. O código está disponível em https://github.com/zyh16143998882/ICCV23-IDPT.