Kann ChatGPT verwendet werden, um Zitationszahlen, Leserzahlen und Interaktionen in sozialen Medien vorherzusagen? Eine Untersuchung unter 2222 wissenschaftlichen Abstracts

Zusammenfassung Diese Studie untersucht das Potenzial von ChatGPT, einem großen Sprachmodell, in der Scientometrie, indem sie dessen Fähigkeit bewertet, Zitationszahlen, Mendeley-Leser und Engagement in sozialen Medien vorherzusagen. In dieser Studie wurden 2222 Abstracts von PLOS ONE-Artikeln, die in den ersten Monaten des Jahres 2022 veröffentlicht wurden, mit ChatGPT-4 analysiert, das einen Satz von 60 Kriterien zur Bewertung jedes Abstracts verwendete. Durch eine Hauptkomponentenanalyse wurden drei Komponenten identifiziert: Qualität und Zuverlässigkeit, Zugänglichkeit und Verständlichkeit sowie Neuheit und Engagement. Die Zugänglichkeit und Verständlichkeit der Abstracts korrelierte mit einer höheren Mendeley-Leserzahl, während Neuheit und Engagement sowie Zugänglichkeit und Verständlichkeit mit Zitationszahlen (Dimensions, Scopus, Google Scholar) und sozialer Medienaufmerksamkeit verknüpft waren. Qualität und Zuverlässigkeit zeigten eine minimale Korrelation mit Zitations- und Altmetric-Ergebnissen. Schließlich wurde festgestellt, dass die prädiktiven Korrelationen der ChatGPT-basierten Bewertungen traditionelle Lesbarkeit-Metriken übertrafen. Die Ergebnisse heben das Potenzial großer Sprachmodelle in der Scientometrie hervor und könnten möglicherweise den Weg für KI-unterstützte Peer-Reviews ebnen.