Ajuste de Prompt Eficiente por Projeção em Múltiplos Espaços e Fusão de Prompt

O ajuste de prompt é um método promissor para afinar um modelo de linguagem pré-treinado sem re-treinamento de seus parâmetros em larga escala. Em vez disso, anexa um prompt suave ao texto de entrada, permitindo que tarefas posteriores sejam bem adaptadas apenas aprendendo as embeddings dos tokens de prompt. No entanto, os métodos existentes ainda enfrentam dois desafios: (i) é difícil equilibrar precisão e eficiência. Um prompt suave mais longo (mais curto) geralmente leva a uma precisão melhor (pior), mas à custa de mais (menos) tempo de treinamento. (ii) O desempenho pode não ser consistente ao se adaptar a diferentes tarefas posteriores. Atribuímos isso ao mesmo espaço de embedding, mas responsável por diferentes requisitos das tarefas posteriores. Para abordar essas questões, propomos um método de Ajuste de Prompt Eficiente (EPT) por projeção em múltiplos espaços e fusão de prompt. Especificamente, ele decompõe um dado prompt suave em um prompt mais curto e duas matrizes de baixa classificação, reduzindo significantemente o número de parâmetros, assim como o tempo de treinamento. A precisão também é aprimorada ao aproveitar matrizes de baixa classificação e o prompt curto como fontes adicionais de conhecimento para enriquecer a semântica do prompt curto original. Além disso, projetamos o prompt suave em múltiplos subespaços para melhorar a consistência de desempenho e, em seguida, aprendemos adaptativamente os pesos de combinação de diferentes espaços por meio de uma rede de porta. Experimentos experimentais em 13 tarefas subsequentes de processamento de linguagem natural mostram que nosso método supera significativamente e de forma consistente 11 métodos de comparação, com uma porcentagem relativa de melhorias de até 28,8%, e o tempo de treinamento diminuído em 14%.