Anleitung durch große Sprachmodelle: Eine Umfrage zu Fortschritten und Herausforderungen

Zusammenfassung Die Semantik von Aufgaben kann durch eine Reihe von Eingabe-Ausgabe-Beispielen oder durch eine Textanweisung ausgedrückt werden. Konventionelle Ansätze des maschinellen Lernens für die Verarbeitung natürlicher Sprache (NLP) basieren hauptsächlich auf der Verfügbarkeit von großangelegten, aufgabenspezifischen Beispielen. Es ergeben sich zwei Probleme: Erstens gilt die Sammlung von aufgabenspezifischen, gekennzeichneten Beispielen nicht für Szenarien, in denen Aufgaben möglicherweise zu kompliziert oder kostspielig zu annotieren sind, oder das System sofort mit einer neuen Aufgabe umgehen muss; zweitens ist dies nicht benutzerfreundlich, da Endbenutzer wahrscheinlich eher bereit sind, eine Aufgabenbeschreibung bereitzustellen, als eine Reihe von Beispielen vor der Nutzung des Systems. Daher zeigt die Community ein zunehmendes Interesse an einem neuen Paradigma zur Suche nach Aufsicht für NLP: Lernen, Aufgabenanweisungen zu folgen, das heißt, Anweisungen zu befolgen. Trotz der beeindruckenden Fortschritte gibt es einige ungelöste Forschungsfragen, mit denen die Community zu kämpfen hat. Diese Umfrage versucht, die aktuelle Forschung zum Befolgen von Anweisungen zusammenzufassen und Einblicke zu geben, insbesondere indem sie die folgenden Fragen beantwortet: (i) Was ist eine Aufgabenanweisung und welche Anweisungstypen gibt es? (ii) Wie sollten wir Anweisungen modellieren? (iii) Welche beliebten Datensätze zum Befolgen von Anweisungen und Bewertungsmetriken gibt es? (iv) Welche Faktoren beeinflussen und erklären die Leistung der Anweisungen? (v) Welche Herausforderungen bleiben beim Befolgen von Anweisungen bestehen? Soweit wir wissen, ist dies die erste umfassende Umfrage über das Befolgen von Anweisungen.