ESM2を超えて：効率的クラスタリングによるグラフ強化タンパク質配列モデリング

タンパク質は生命のプロセスに不可欠であり、進化と多様性を支えています。配列技術の進歩により、数百万のタンパク質が明らかになり、生物学的分析とAI開発のための洗練された事前学習タンパク質モデルの必要性が強調されています。FacebookのESM2は、これまでの最も先進的なタンパク質言語モデルであり、教師なし学習のためのマスク予測タスクを活用し、著しい生化学的精度を持つアミノ酸の表現を生成しています。しかし、それは機能的なタンパク質の洞察を提供することに欠けており、表現品質の向上の機会を示しています。本研究では、タンパク質ファミリー分類をESM2のトレーニングに組み込むことでこのギャップを解決します。このアプローチは、コミュニティ伝播ベースのクラスタリングアルゴリズムで強化され、グローバルなタンパク質の表現を改善し、文脈予測タスクがローカルなアミノ酸の精度を微調整します。特に、我々のモデルは、いくつかの下流実験で最先端の結果を達成し、グローバルとローカルの方法論を組み合わせることの力を示し、タンパク質表現の品質を大幅に向上させることを実証しました。