C^3Bench : Une Évaluation Complète de la Compréhension du Chinois Classique pour les Grands Modèles de Langue

La Compréhension du Chinois Classique (CCU) a une valeur significative dans la préservation et l'exploration de l'exceptionnelle culture traditionnelle chinoise. Récemment, des chercheurs ont tenté de tirer parti du potentiel des Grands Modèles de Langue (LLMs) pour la CCU en capitalisant sur leurs remarquables capacités de compréhension et sémantiques. Cependant, aucun banc d'essai complet n'est disponible pour évaluer les capacités de CCU des LLMs. Pour combler cette lacune, cet article introduit C^3bench, un banc d'essai complet de compréhension du chinois classique, qui comprend 50 000 paires de textes pour cinq tâches principales de CCU : classification, récupération, reconnaissance des entités nommées, ponctuation et traduction. De plus, les données de C^3bench proviennent de dix domaines différents, couvrant la plupart des catégories en chinois classique. En utilisant le C^3bench proposé, nous évaluons de manière exhaustive la performance quantitative de 15 LLMs représentatifs sur les cinq tâches de CCU. Nos résultats établissent non seulement un classement public des capacités de CCU des LLMs, mais fournissent également certaines conclusions. En particulier, les LLMs existants ont des difficultés avec les tâches de CCU et sont encore inférieurs aux modèles supervisés. De plus, les résultats indiquent que la CCU est une tâche qui nécessite une attention particulière. Nous croyons que cette étude pourrait fournir une référence standard, des bases de référence complètes et des idées précieuses pour l'avancement futur de la recherche sur la CCU basée sur les LLMs. Le pipeline d'évaluation et le jeu de données sont disponibles à https://github.com/SCUT-DLVCLab/C3bench.