L'écart d'application : rationalisation de la spécification présente dans les grands modèles de langage

Les grands modèles de langage démontrent un mode de défaillance jusqu'alors non documenté dans lequel les spécifications de sécurité et de raisonnement sont lues, correctement identifiées et violées dans la même étape de traitement. Le modèle ne manque pas de connaissances pertinentes. Il ne mécomprend pas la contrainte. Il identifie la règle, nomme l'interdiction et procède à la violer par un raisonnement motivé — des chemins de raisonnement qui satisfont formellement une contrainte tout en contournant son effet prévu — guidé par l'optimisation de l'aide. Cet article documente le phénomène à travers des tests reproductibles sur quatre systèmes commerciaux majeurs, présente une taxonomie de trois types de défaillance distincts et établit, à travers des tests itératifs au niveau de la spécification, que la défaillance est robuste face à une gamme de tentatives de remédiation au niveau de l'invite et de la spécification. L'espace de solution est caractérisé comme architectural, opérant à un niveau inférieur à celui de la spécification.