Eine umfassende Bewertung von ChatGPT bei affektiven Computeraufgaben

Mit dem Aufstieg der Foundation-Modelle ist ein neues Paradigma der künstlichen Intelligenz entstanden, das einfach allgemeine Foundation-Modelle mit Aufforderungen verwendet, um Probleme zu lösen, anstatt ein separates maschinelles Lernmodell für jedes Problem zu trainieren. Es wurde gezeigt, dass solche Modelle emergente Eigenschaften besitzen, um Probleme zu lösen, auf die sie zunächst nicht trainiert wurden. Die Studien zur Effektivität solcher Modelle sind nach wie vor recht begrenzt. In dieser Arbeit untersuchen wir umfassend die Fähigkeiten der ChatGPT-Modelle, nämlich GPT-4 und GPT-3.5, bei 13 affektiven Computerproblemen, nämlich Aspektextraktion, Aspektpolaritätsklassifikation, Meinungsent extraction, Sentimentanalyse, Sentimentintensitätsranking, Emotionenintensitätsranking, Erkennung von Suizidneigung, Erkennung von Toxizität, Wohlbefindensbewertung, Engagementmessung, Persönlichkeitsbewertung, Sarkasmusdetektion und Subjektivitätsdetektion. Wir führen einen Rahmen zur Bewertung der ChatGPT-Modelle bei regressionsbasierten Problemen ein, wie z.B. Intensitätsranking-Probleme, indem wir sie als paarweise Ranking-Klassifikation modellieren. Wir vergleichen ChatGPT mit traditionellen NLP-Methoden, wie end-to-end rekurrenten neuronalen Netzen und Transformatoren. Die Ergebnisse zeigen die emergenten Fähigkeiten der ChatGPT-Modelle bei einer Vielzahl von affektiven Computerproblemen, wobei GPT-3.5 und insbesondere GPT-4 bei vielen Problemen, insbesondere bei solchen, die mit Sentiment, Emotionen oder Toxizität verbunden sind, eine starke Leistung gezeigt haben. Die ChatGPT-Modelle sind bei Problemen mit impliziten Signalen, wie Engagementmessung und Subjektivitätsdetektion, hinter den Erwartungen zurückgeblieben.