多语言对齐是一种有效且具有代表性的范式，用于增强大型语言模型（LLMs）的多语言能力，它将高资源语言的能力转移到低资源语言。同时，针对语言特异性神经元的一些研究表明，在处理不同语言时，LLMs中存在选择性激活的语言特异性神经元。这为在多语言场景中更具体地分析和理解LLMs的机制提供了新的视角。在本工作中，我们提出了一种新的更细粒度的神经元识别算法，该算法检测语言神经元（包括语言特异性神经元和语言相关神经元）以及语言无关神经元。此外，基于不同类型神经元的分布特征，我们将LLMs在多语言推理中的内部过程划分为四个部分：(1) 多语言理解，(2) 共享语义空间推理，(3) 多语言输出空间转换，和 (4) 词汇空间输出。此外，我们系统地分析了对齐前后模型中不同类型神经元的变化，亦分析了“自发多语言对齐”现象。总体而言，我们的工作基于不同类型神经元进行了全面的调查，提供了实证结果和宝贵见解，为更好理解多语言对齐及LLMs的多语言能力提供了支持。
张等人（周二，）研究了这一问题。