Auf dem Weg zu besserer Mensch-Agent-Ausrichtung: Bewertung des Nutzens von Aufgaben in LLM-gestützten Anwendungen

Die rasante Entwicklung im Bereich der großen Sprachmodelle (LLMs) hat zu einem Anstieg von Anwendungen geführt, die die Zusammenarbeit mehrerer Agenten erleichtern, um Menschen bei ihren täglichen Aufgaben zu unterstützen. Es bleibt jedoch eine erhebliche Lücke, um zu bewerten, ob LLM-gestützte Anwendungen die Benutzererfahrung und die Effizienz der Aufgabenerledigung tatsächlich verbessern. Dies verdeutlicht den dringenden Bedarf an Methoden zur Überprüfung des Nutzens von LLM-gestützten Anwendungen, insbesondere durch die Sicherstellung der Übereinstimmung zwischen der Funktionalität der Anwendung und den Bedürfnissen der Endbenutzer. Wir stellen AgentEval vor, das eine Implementierung für die mathematischen Probleme bietet, ein neuartiges Framework, das entwickelt wurde, um den Verifizierungsprozess des Nutzens zu vereinfachen, indem es automatisch eine Reihe von Kriterien vorschlägt, die auf den einzigartigen Zweck einer bestimmten Anwendung zugeschnitten sind. Dies ermöglicht eine umfassende Bewertung, die den Nutzen einer Anwendung anhand der vorgeschlagenen Kriterien quantifiziert. Wir präsentieren eine umfassende Analyse der Robustheit der Arbeit des Quantifizierers.