CRITIC: Große Sprachmodelle können sich durch werkzeuginteraktive Kritik selbst korrigieren

Jüngste Entwicklungen bei großen Sprachmodellen (LLMs) sind beeindruckend. Diese Modelle zeigen jedoch manchmal Inkonsistenzen und problematisches Verhalten, wie das Halluzinieren von Fakten, das Erzeugen fehlerhaften Codes oder das Erstellen von beleidigendem und toxischem Inhalt. Im Gegensatz zu diesen Modellen nutzen Menschen typischerweise externe Werkzeuge, um ihre ursprünglichen Inhalte zu überprüfen und zu verfeinern, wie die Nutzung einer Suchmaschine zur Faktenüberprüfung oder eines Code-Interpreters zum Debuggen. Inspiriert von dieser Beobachtung stellen wir ein Framework namens CRITIC vor, das LLMs, die im Wesentlichen "schwarze Kästen" sind, ermöglicht, ihre eigenen Ausgaben auf eine Weise zu validieren und schrittweise zu ändern, die der menschlichen Interaktion mit Werkzeugen ähnelt. Genauer gesagt, beginnt CRITIC mit einer ursprünglichen Ausgabe, interagiert mit geeigneten Werkzeugen, um bestimmte Aspekte des Textes zu bewerten, und überarbeitet dann die Ausgabe basierend auf dem Feedback, das während dieses Validierungsprozesses erhalten wurde. Umfassende Bewertungen, die die Beantwortung offener Fragen, die mathematische Programmsynthese und die Toxizitätsreduzierung umfassen, zeigen, dass CRITIC die Leistung von LLMs konsequent verbessert. Gleichzeitig hebt unsere Forschung die entscheidende Bedeutung externen Feedbacks für die Förderung der fortlaufenden Selbstverbesserung von LLMs hervor.