LLMEmbed: Die echte Funktion leichter LLMs bei der Textklassifikation überdenken

Mit dem Aufschwung der großen Sprachmodelle (LLMs) ist das Prompt-Learning zu einer vielversprechenden Methode geworden, die hauptsächlich in verschiedenen Forschungsbereichen untersucht wird. Kürzlich wurden viele Versuche unternommen, die auf Prompt-Learning basieren, um die Leistung der Textklassifikation zu verbessern. Die meisten dieser Methoden basieren jedoch auf heuristischen Chain-of-Thought (CoT) Ansätzen und tendieren dazu, komplexer, aber weniger effizient zu sein. In diesem Papier überdenken wir die LLM-basierte Methodik der Textklassifikation und schlagen eine einfache und effektive Strategie für das Transfer-Learning vor, nämlich LLMEmbed, um diese klassische, aber herausfordernde Aufgabe zu bewältigen. Um dies zu veranschaulichen, untersuchen wir zunächst, wie man die Text-Embeddings über verschiedene leichte LLMs bei unterschiedlichen Netzwerk-Tiefen richtig extrahiert und kombiniert, um deren Robustheit und Diskrimination zu verbessern; danach passen wir solche Embeddings an, um den Klassifikator zu trainieren. Wir führen umfassende Experimente an öffentlich verfügbaren Datensätzen durch, und die Ergebnisse zeigen, dass LLMEmbed eine starke Leistung erzielt, während es im Vergleich zu aktuellen Methoden, die auf größeren LLMs basieren, z.B. GPT-3, und komplizierten promptbasierten Strategien, geringe Trainingsaufwände nutzt. Unser LLMEmbed erreicht angemessene Genauigkeit bei öffentlich verfügbaren Benchmarks ohne Feintuning und verwendet lediglich 4% der Modellparameter, 1,8% Stromverbrauch und 1,5% Laufzeit im Vergleich zu seinen Pendants. Der Code ist verfügbar unter: https://github.com/ChunLiu-cs/LLMEmbed-ACL2024.