Ein vielschichtiges Bewertungsrahmenwerk zur Beurteilung synthetischer Daten, die von großen Sprachmodellen erzeugt werden

Die rasanten Fortschritte in der generativen KI und großen Sprachmodellen (LLMs) haben neue Wege zur Erzeugung synthetischer Daten eröffnet, insbesondere im Bereich strukturierter tabellarischer Formate, wie Produktbewertungen. Trotz der potenziellen Vorteile sind Bedenken hinsichtlich Datenschutzverletzungen aufgekommen, insbesondere wenn persönliche Informationen in den Trainingsdatensätzen verwendet werden. Darüber hinaus fehlt es an einem umfassenden Bewertungsrahmen, der in der Lage ist, die Qualität der generierten synthetischen Daten und deren Nützlichkeit für nachgelagerte Aufgaben quantitativ zu messen. Um diese Lücke zu schließen, stellen wir SynEval vor, ein Open-Source-Bewertungsrahmenwerk, das entwickelt wurde, um die Treue, Nützlichkeit und den Schutz der Privatsphäre synthetisch generierter tabellarischer Daten mithilfe einer Vielzahl unterschiedlicher Bewertungsmetriken zu bewerten. Wir validieren die Wirksamkeit unseres vorgeschlagenen Rahmenwerks - SynEval - indem wir es auf synthetische Produktbewertungsdaten anwenden, die von drei hochmodernen LLMs erzeugt wurden: ChatGPT, Claude und Llama. Unsere experimentellen Ergebnisse beleuchten die Kompromisse zwischen verschiedenen Bewertungsmetriken im Kontext der Erzeugung synthetischer Daten. Darüber hinaus ist SynEval ein wichtiges Instrument für Forscher und Praktiker, die mit synthetischen tabellarischen Daten arbeiten, und ermöglicht es ihnen, sorgfältig zu bestimmen, inwieweit die generierten Daten für ihre spezifischen Anwendungen geeignet sind, wobei der Fokus auf dem Schutz der Privatsphäre der Nutzer liegt.