シャープネス認識最小化が言語モデルの一般化を改善する

超人的な能力への魅力が、GPT-3やT5のような言語モデルへのかなりの関心を呼び起こし、研究は主に新しいモデルアーキテクチャ、トレーニングタスク、損失目標に関するものであり、モデルのキャパシティやデータセットのサイズを拡大するための大規模なエンジニアリング努力が行われてきました。それに対して、これらのモデルの一般化をより良い最適化を通じて改善するための研究は比較的少ないです。