Key points are not available for this paper at this time.
L'évaluation des capacités des modèles de génération de texte nécessite des approches capables de capturer à la fois les complexités syntaxiques et sémantiques inhérentes à la langue. Les méthodes d'évaluation traditionnelles reposent souvent sur l'intervention humaine ou des références statiques, ce qui ne permet pas d'obtenir l'évolutivité ou la profondeur nécessaires pour une évaluation rigoureuse. Le nouveau concept de manipulation d'invite basée sur les tokens offre une alternative automatisée et évolutive qui sonde systématiquement le comportement des modèles à travers des variations contrôlées au niveau des tokens. Cette méthode améliore la compréhension de la sensibilité des modèles en ciblant des tokens critiques au sein des invites, testant la robustesse des modèles de langage sans biais humain. Des expériences menées sur le modèle Mistral LLM ont démontré des impacts significatifs sur la performance du modèle à travers des substitutions de tokens, des suppressions et un réagencement syntaxique, en particulier en relation avec des structures syntaxiques clés. Les résultats soulignent l'importance de la discrimination des tokens pour évaluer à la fois la fluidité et la cohérence des sorties des modèles à travers un large éventail de tâches linguistiques. De futures recherches pourraient étendre le cadre à des modèles multilingues et des tâches en aval plus complexes, offrant des aperçus plus profonds sur la façon dont les manipulations de tokens affectent la performance dans différents contextes linguistiques.
Gereti et al. (Mon,) ont étudié cette question.