Comprendre les LLMs nécessite plus qu'une généralisation statistique

La dernière décennie a vu l'émergence de recherches florissantes en théorie de l'apprentissage profond tentant de répondre à la question : "Pourquoi l'apprentissage profond se généralise-t-il ?" Un puissant changement de perspective a précipité ce progrès : l'étude des modèles surparamétrés dans le régime d'interpolation. Dans cet article, nous soutenons qu'un autre changement de perspective est nécessaire, puisque certaines des caractéristiques souhaitables des LLMs ne découlent pas d'une bonne généralisation statistique et nécessitent une explication théorique distincte. Notre argument principal repose sur l'observation que les modèles probabilistes AR sont intrinsèquement non identifiables : des modèles ayant une divergence KL nulle ou presque nulle — et donc une perte de test équivalente — peuvent présenter des comportements très différents. Nous soutenons notre position avec des exemples mathématiques et des observations empiriques, illustrant pourquoi la non-identifiabilité a une pertinence pratique à travers trois études de cas : (1) la non-identifiabilité de l'extrapolation de règle en zero-shot ; (2) la non-identifiabilité approximative de l'apprentissage en contexte ; et (3) la non-identifiabilité de la fine-tuning. Nous examinons des directions de recherche prometteuses axées sur des mesures de généralisation pertinentes pour les LLM, la transférabilité et les biais inductifs.