Le prompting de méta-tâches élicite des embeddings à partir de grands modèles de langage

Dans ce travail, nous introduisons une nouvelle méthode d'embedding non supervisée, le prompting de méta-tâches avec limitation explicite à un mot (MetaEOL), pour générer des embeddings de phrases de haute qualité à partir de grands modèles de langage (LLMs) sans nécessité de réglages fins du modèle ou d'ingénierie spécifique à la tâche. En tirant parti du prompting de méta-tâches, MetaEOL guide les LLMs à produire des embeddings à travers une série de prompts soigneusement conçus qui abordent plusieurs aspects représentatifs. Nos expériences complètes démontrent que les embeddings moyennés à partir de diverses méta-tâches offrent des performances compétitives sur les références de similarité textuelle sémantique (STS) et excellent dans les tâches en aval, dépassant les modèles entraînés par contraste. Nos résultats suggèrent une nouvelle loi d'échelle pour la génération d'embeddings, offrant une approche polyvalente et efficace en ressources pour l'extraction d'embeddings à travers divers scénarios centrés sur les phrases.