Analyses morphologiques des LLM sur des mots fins générés par FST complexes

Les systèmes de traitement du langage basés sur des règles ont été éclipsés par les systèmes neuronaux en termes d'utilité, mais il reste à déterminer si les systèmes de traitement du langage naturel (NLP) neuronaux, en pratique, apprennent les règles de grammaire que les humains utilisent. Ce travail vise à éclairer cette question en évaluant les LLM à la pointe de la technologie dans une tâche d'analyse morphologique des formes nominales finlandaises complexes. Nous générons les formes à l'aide d'un outil FST, et il est peu probable qu'elles aient été présentes dans les ensembles d'entraînement des LLM, nécessitant donc une capacité de généralisation morphologique. Nous constatons que GPT-4-turbo rencontre certaines difficultés dans cette tâche, tandis que GPT-3.5-turbo lutte et que les modèles plus petits Llama2-70B et Poro-34B échouent presque complètement.