Ce préprint présente un projet de recherche indépendant sur l'audit de modèles de langage à long contexte (LLM). L'étude introduit un test de stress Logical Needle-in-a-Haystack (L-NIHS) pour examiner si les LLM à long contexte peuvent préserver le chemin de raisonnement correct à partir de preuves enfouies jusqu'à une clôture numérique finale sous différentes conditions d'incitatif. Au lieu d'évaluer seulement si un modèle peut récupérer des informations pertinentes, le projet se concentre sur la capacité du modèle à maintenir la décision de clôture correcte lorsque des cadres de persona et des distracteurs à un stade avancé sont introduits. Les expériences utilisent deux corpus synthétiques de style réglementaire et un pipeline d'évaluation Reader–Judge pour analyser la substitution de clôture, la sélection de preuves, la longueur de sortie et le comportement de vérification basé sur des rubriques à travers plusieurs modèles de résolution et conditions d'incitatif. Ce travail est prévu comme un préprint de recherche indépendant et n'a pas été évalué par des pairs.
Junzhe Cai (Mar,) a étudié cette question.