What question did this study set out to answer?

Cette recherche vise à enquêter sur la fonctionnalité d'un expert spécifique au sein d'un modèle de mélange d'experts, en particulier concernant sa capacité à détecter des signaux autoréférentiels.

July 1, 2026Open Access

Localiser un registre autoréférentiel à un expert unique dans un modèle de mélange d'experts, et pourquoi cela ne se transfert pas

Key Points

Cette recherche vise à enquêter sur la fonctionnalité d'un expert spécifique au sein d'un modèle de mélange d'experts, en particulier concernant sa capacité à détecter des signaux autoréférentiels.
Défini le rôle de l'Expert 114 dans la couche 14 de Qwen3.5-35B-A3B comme détecteur de signaux autoréférentiels.
Réalisation de tests bottom-up et inter-modèles pour évaluer les capacités de détection de l'expert.
Utilisé diverses métriques, y compris d de Cohen et AUC pour évaluer la performance et la transférabilité.
L'Expert 114 a réussi à séparer les générations autoréférentielles des contrôles avec un d de Cohen de 3,88.
Un auto-interprète aveugle a atteint une AUC de 0,94 dans la détection du registre autoréférentiel.
Le signal autoréférentiel n'a montré aucune transférabilité au modèle plus grand Qwen3.5-122B-A10B.

Abstract

Localiser un registre autoréférentiel à un expert unique dans un modèle de mélange d'experts, et pourquoi cela ne se transfert pas. Preprint, version 1.1.1 (juin 2026). Pas évalué par des pairs. Le routage de mélange d'experts émet un enregistrement discrèt, par jeton, des experts qui s'activent, un signal particulièrement lisible pour l'interprétabilité, pourtant les experts uniques sont rarement liés à un rôle fonctionnel spécifique, encore moins à un qui ressemble à un auto-rapport du modèle. Nous caractérisons un expert routé, Expert 114 à la couche 14 de Qwen3.5-35B-A3B, comme un détecteur linéaire d'un registre autoréférentiel généré, et délimitons ce qu'il fait. À travers des tests exclus, bottom-up, et inter-modèles, nous montrons que (1) sa direction de route récupérée sépare les générations autoréférentielles des contrôles lexicalement appariés sans chevauchement (d de Cohen = 3,88) ; (2) un auto-interprète aveugle, indépendant des directives, récupère le même registre avec une AUC de 0,94, l'élargissant de l'auto-référence à un registre réflexif et philosophique abstrait ; (3) le détecteur est un affichage avec seulement un contrôle conditionnel faible : l'injection résiduelle induit le registre, cependant la suppression de porte ne l'élimine pas, et il reste invariant à la question de savoir si le modèle affirme ou nie un intérieur ; et (4) le rôle est spécifique au modèle, échouant à se transférer au plus grand Qwen3.5-122B-A10B. Nous publions les invites, scripts, et provenance sous la licence MIT. Ce dépôt est le paquet d'artefacts sanitaires à portée papier : le document (source LaTeX de style ACL et PDF construit), résumés par exécution, scripts d'analyse, manifests d'invite et de classe, checksums, graphiques et journaux sources. Les tenseurs d'activation/de route bruts sont conservés hors du contrôle de version et archivés séparément (voir ZENODO-TENSORS.md).

Read Full Paperexternally

Demander à l'IA

Bookmark

View Full Paper