最適化されたトランスフォーマーベースの質問応答システムのための事前学習モデルの比較

本研究は、健康関連の質問に焦点を当てた質問応答システム用のトランスフォーマーベースのモデルの評価と最適化に深入りします。ウィキペディアの記事から抽出した専門的なデータセットを利用して、Bert-base-cased、Electra-base、Deberta-base、Xlm-roberta-base、Distilbert-base、およびAlbert-baseというトランスフォーマーモデルを、F1スコアおよび正確な一致精度に基づいて精査しました。Electra-baseとDeberta-baseは顕著な性能を示し、デノイジングメカニズムおよび解離されたアテンションを備えたモデルの重要性を浮き彫りにしました。結果は、特定のドメイン、特に健康関連の文脈における適切なモデル選択の重要な役割を強調しています。今後の研究の方向性として、健康データセットのためのファインチューニング戦略や最適化を探求し、医療情報抽出と質問応答の課題に対応する可能性があります。本研究は、自然言語処理分野に貴重な洞察を提供し、特に健康分野におけるトランスフォーマーベースの質問応答システムの進展を促します。