La réponse à des questions multi-saut (MHQA) fait progresser le traitement du langage naturel en incitant les modèles à combiner des informations provenant de plusieurs sources dans une série d'étapes de raisonnement. Malgré des avancées substantielles dans la MHQA pour l'anglais, les ressources pour évaluer les modèles de langage de grande taille (LLMs) en portugais restent rares. Pour combler cette lacune, nous introduisons une traduction portugaise du dataset HotpotQA, une référence bien établie pour la MHQA en anglais. Nous évaluons systématiquement plusieurs variantes du LLM multilingue Llama sur les ensembles de données originaux et traduits, en analysant les variations de performance par langue. Nos résultats montrent que les modèles multilingues fonctionnent systématiquement mieux en anglais qu'en portugais, bien que cet écart se réduise avec l'augmentation de la taille du modèle. De plus, nous montrons l'impact du fine-tuning sur l'amélioration des performances de MHQA en portugais. Cette étude fournit des informations précieuses pour optimiser les LLMs dans des contextes multilingues et contribue à une référence pertinente pour la recherche en MHQA en portugais.
Mucciaccia et al. (Mon,) ont étudié cette question.