Instrucción para la Generación de Prompt-a-Prompt para Aprendizaje Cero-Shot

El aprendizaje cero-shot (ZSL) tiene como objetivo explorar las interacciones semántico-visuales para descubrir el conocimiento integral transferido de categorías vistas a clasificar categorías no vistas. Recientemente, la ingeniería de prompts ha surgido en ZSL, demostrando un impresionante potencial al permitir la transferencia cero-shot de diversos conceptos visuales a tareas posteriores. Sin embargo, estos métodos aún no están bien generalizados a dominios no vistos amplios. Una razón clave es que la adaptación fija de los prompts aprendibles en dominios vistos tiende a enfatizar en exceso las características visuales primarias observadas durante el entrenamiento. En este trabajo, proponemos una metodología de generación de Prompt-a-Prompt (P2P), que aborda este problema al adoptar aún más la técnica de seguimiento de instrucciones para destilar prompts visuales instructivos para el descubrimiento de conocimiento transferible integral. El núcleo de P2P es extraer instrucciones relacionadas semánticamente de características visuales condicionadas por prompts e instrucciones de texto sobre conceptos semánticos compartidos entre modalidades y luego rectificar inversamente las representaciones visuales con la guía de los prompts de instrucción aprendidos. Esto refuerza la compensación por detalles visuales faltantes en contextos primarios y elimina aún más la disparidad entre modalidades, dotando de generalización a dominios no vistos. A través de resultados experimentales extensos, demostramos la eficacia de P2P para lograr un rendimiento superior en comparación con los métodos de vanguardia.