Intégration des grands modèles de langage dans les revues systématiques : un cadre et une étude de cas utilisant ROBINS-I pour l'évaluation du risque de biais

Les grands modèles de langage (LLMs) peuvent faciliter et accélérer les revues systématiques, bien que l'approche pour intégrer les LLMs dans le processus de révision ne soit pas claire. Cette étude évalue l'accord entre GPT-4 et les examinateurs humains dans l'évaluation du risque de biais à l'aide de l'outil Risk Of Bias In Non-randomised Studies of Interventions (ROBINS-I) et propose un cadre pour intégrer les LLMs dans les revues systématiques. L'étude de cas a démontré que le pourcentage brut d'accord était le plus élevé pour le domaine ROBINS-I de 'Classification de l'Intervention'. Le coefficient d'accord de Kendall était le plus élevé pour les domaines de 'Sélection des Participants', 'Données Manquantes' et 'Mesure des Résultats', suggérant un accord modéré dans ces domaines. L'accord brut sur le risque global de biais dans les domaines était de 61 % (coefficient de Kendall = 0,35). Le cadre proposé pour intégrer les LLMs dans les revues systématiques se compose de quatre domaines : justification de l'utilisation des LLM, protocole (définition de la tâche, sélection du modèle, ingénierie des invites, méthodes de saisie des données, rôle humain et métriques de succès), exécution (révisions itératives au protocole) et rapport. Nous identifions cinq types de tâches de base pertinents pour les revues systématiques : sélection, extraction, jugement, analyse et narration. Compte tenu du niveau d'accord avec un examinateur humain dans l'étude de cas, l'association de l'intelligence artificielle avec un examinateur humain indépendant reste nécessaire.