Key points are not available for this paper at this time.
Les revues et les conférences s'inquiètent du fait que les revues par les pairs assistées par l'intelligence artificielle (IA), en particulier les modèles de langage large (LLMs), peuvent influencer négativement la validité et l'équité du système de revue par les pairs, qui est un pilier de la science moderne. Dans ce travail, nous répondons à cette préoccupation par une étude quasi-expérimentale sur la prévalence et l'impact des revues par les pairs assistées par IA dans le contexte de la Conférence Internationale sur les Représentations d'Apprentissage (ICLR) 2024, une grande conférence prestigieuse sur l'apprentissage automatique. Nos contributions sont triples. Premièrement, nous obtenons une borne inférieure pour la prévalence des revues assistées par IA à ICLR 2024 en utilisant le détecteur de LLM GPTZero, estimant qu'au moins 15,8\% des revues ont été écrites avec l'aide de l'IA. Deuxièmement, nous estimons l'impact des revues assistées par IA sur les scores des soumissions. En considérant des paires de revues avec des scores différents attribués au même article, nous constatons que dans 53,4\% des paires, la revue assistée par IA obtient un score supérieur à la revue humaine (p = 0,002 ; différence relative de probabilité d'obtenir un score plus élevé : +14,4\% en faveur des revues assistées par IA). Troisièmement, nous évaluons l'impact de la réception d'une revue par les pairs assistée par IA sur l'acceptation des soumissions. Dans une étude appariée, les soumissions proches du seuil d'acceptation qui ont reçu une revue par les pairs assistée par IA étaient 4,9 points de pourcentage (p = 0,024) plus susceptibles d'être acceptées que les soumissions qui n'en ont pas reçu. Globalement, nous montrons que les revues assistées par IA sont conséquentes pour le processus de revue par les pairs et offrons une discussion sur les implications futures des tendances actuelles.
Latona et al. (Fri,) ont étudié cette question.