RB-GAT：グラフ注意ネットワークを用いたRoBERTa-BiGRUベースのテキスト分類モデル

深層学習の発展に伴い、いくつかのグラフニューラルネットワーク（GNN）に基づくアプローチがテキスト分類に利用されています。しかし、GNNは文書シーケンス内の文脈テキスト情報を捉える際に課題に直面します。これに対処するために、RoBERTa-BiGRU埋め込みとマルチヘッドグラフ注意ネットワーク（GAT）を組み合わせた新しいテキスト分類モデルRB-GATが提案されています。まず、事前学習済みのRoBERTaモデルを活用して、異なる文脈での単語およびテキスト埋め込みを学習します。次に、双方向ゲート付き再帰ユニット（BiGRU）を使用して、テキストコンテクストからの長期依存性および双方向文情報を捉えます。次に、マルチヘッドグラフ注意ネットワークを用いて、この情報を分析し、文書のノード特徴として機能させます。最後に、分類結果はソフトマックス層を通じて生成されます。5つのベンチマークデータセットにおける実験結果は、我々の方法がOhsumed、R8、MR、20NGおよびR52においてそれぞれ71.48%、98.45%、80.32%、90.84%及び95.67%の精度を達成できることを示しており、既存の9つのテキスト分類アプローチに対して優れています。