Key points are not available for this paper at this time.
초록 이 연구에서는 대형 언어 모델인 ChatGPT의 과학계획 측정에서의 잠재력을 탐구하여 인용 수, Mendeley 독자 수 및 소셜 미디어 참여를 예측하는 능력을 평가합니다. 이 연구에서는 2022년 초에 발표된 PLOS ONE 기사의 2222개의 초록을 분석하였고, ChatGPT-4가 각 초록을 평가하기 위해 60개의 기준을 사용하였습니다. 주요 구성 요소 분석을 통해 세 가지 구성 요소가 식별되었습니다: 품질 및 신뢰성, 접근성 및 이해가능성, 혁신성 및 참여도. 초록의 접근성 및 이해가능성은 Mendeley 독자 수와 높은 상관관계를 보였으며, 혁신성 및 참여도와 접근성 및 이해가능성은 인용 수(Dimensions, Scopus, Google Scholar) 및 소셜 미디어 관심과 연결되었습니다. 품질 및 신뢰성은 인용 및 대체 지표(altmetrics) 결과와 최소한의 상관관계를 보였습니다. 마지막으로, ChatGPT 기반 평가의 예측 상관관계가 전통적인 가독성 지표를 초월한다는 것을 발견했습니다. 이러한 발견은 과학계획 측정에서 대형 언어 모델의 잠재력을 강조하며 AI 지원 동료 심사를 위한 길을 열 가능성이 있습니다.
Joost de Winter(Thu,)가 이 질문을 연구했습니다.