大型言語モデル(LLM)を原子力工学などの安全に重要な領域に統合するには、その内部の推論プロセスを深く理解する必要があります。本論文では、LLMがドメイン特有の知識をどのように符号化し、利用するかを解釈するための新しい方法論を提示します。この方法論は、沸騰水型原子炉システムをケーススタディとして使用しています。一般目的のLLM(Gemma-3-1b-it)を低ランク適応と呼ばれるパラメータ効率の良いファインチューニング技術を用いて原子力ドメインに適応させました。基本モデルのニューロン活性化パターンとファインチューニングモデルのそれを比較することで、適応プロセス中に行動が大きく変化したニューロンのスパースセットを特定しました。これらの専門的なニューロンの因果的役割を探るために、ニューロンサイレンシング技術を採用しました。私たちの結果は、多くの専門的ニューロンを個別にサイレンスしても統計的に有意な効果は得られなかったものの、全体グループを無効化すると統計的に有意なタスクパフォーマンスの低下がもたらされたことを示しています。定性的分析により、これらのニューロンをサイレンスすることで、詳細で文脈に即した技術情報を生成するモデルの能力が損なわれることが明らかになりました。本論文は、ブラックボックスモデルの透明性を高めるための具体的な方法論を提供し、ドメインの専門性を検証可能な神経回路に結びつける道筋を示します。これは、原子力規制フレームワーク(例:10 CFR 50 Appendix B)によって義務づけられた検証および妥当性確認の課題に対処し、原子力グレードの人工知能(AI)保証を実現するための道を提供します。
Yoon Pyo Lee(Mon,)がこの問題を研究しました。