Große Sprachmodelle sind keine guten Few-Shot-Informationsextraktoren, aber gute Reranker für schwierige Proben!

Große Sprachmodelle (LLMs) haben bemerkenswerte Fortschritte in verschiedenen Aufgaben gemacht. Ob LLMs jedoch wettbewerbsfähige Few-Shot-Lösungen für Informationsextraktions (IE)-Aufgaben sind, bleibt ein offenes Problem. In dieser Arbeit zielen wir darauf ab, eine gründliche Antwort auf diese Frage zu geben. Durch umfangreiche Experimente an neun Datensätzen in vier IE-Aufgaben zeigen wir, dass aktuelle fortgeschrittene LLMs in den meisten Einstellungen konsistent eine unterlegene Leistung, höhere Latenz und erhöhte Budgetanforderungen im Vergleich zu fein abgestimmten SLMs aufweisen. Daher schließen wir, dass LLMs im Allgemeinen keine effektiven Few-Shot-Informationsextraktoren sind. Dennoch veranschaulichen wir, dass LLMs mit geeigneten Aufforderungsstrategien SLMs effektiv ergänzen und herausfordernde Proben bewältigen können, mit denen SLMs Schwierigkeiten haben. Darüber hinaus schlagen wir ein adaptives Filter-then-Rerank-Paradigma vor, um die Stärken von LLMs und SLMs zu kombinieren. In diesem Paradigma dienen SLMs als Filter und LLMs als Reranker. Indem wir LLMs auffordern, einen kleinen Teil schwieriger Proben, die von SLMs identifiziert wurden, neu zu bewerten, erzielt unser vorläufiges System konsistent vielversprechende Verbesserungen (im Durchschnitt 2,4 % F1-Gewinn) bei verschiedenen IE-Aufgaben, mit akzeptablem Zeit- und Kostenaufwand.