BERTにおけるコードアテンションに関する探索的研究

ソフトウェア工学における最近の多くのモデルは、Transformerアーキテクチャに基づく深層ニューラルモデルを導入するか、コードに基づいて訓練されたTransformerベースの事前トレーニング済み言語モデル（PLM）を使用しています。これらのモデルは、コード要約やバグ検出などの多くの下流タスクにおいて最先端の結果を達成していますが、主に自然言語処理（NLP）分野で研究されたTransformerおよびPLMに基づいています。現在の研究は、自然言語とプログラミング言語の違いにもかかわらず、これらのモデルのコードにNLPからの推論と実践に依存しています。また、コードがどのようにモデル化されるかを説明する文献も限られています。