スパースDNN推論とトレーニングのためのハードウェアアクセラレータ設計：チュートリアル

深層神経ネットワーク（DNN）は、人工知能生成コンテンツ（AIGC）やロボティクスなど、多くの分野で広く使用されています。これらのタスクを効率的にサポートするために、計算およびメモリ集約型DNNを圧縮するためのモデルプルーニング技術が開発されています。しかし、一般的なハードウェアアクセラレータでこれらのスパースモデルを直接実行すると、スパースパターンから生じる無効なデータが、不要な計算や不規則なメモリアクセスを引き起こすため、重大な未活用を引き起こす可能性があります。本稿では、スパースモデルを加速する際の重要な問題を分析し、畳み込み神経ネットワーク（CNN）、再帰神経ネットワーク（RNN）、生成対抗ネットワーク（GAN）、およびトランスフォーマーなどのさまざまなスパースDNNのための典型的なハードウェア設計の概要を提供します。概要の後には、異なるケースにおけるハードウェアオーバーヘッドを評価するための定性的指標を用いたスパースDNN向けの効率的なアクセラレータ設計に関する実践的なガイドラインを示します。また、スパースDNN実装の視点からハードウェア／ソフトウェア／アルゴリズムの共同最適化に関する潜在的な機会を強調し、高スループットとエネルギー効率で大規模言語モデル（LLM）の展開を促進するスパースアテンションを持つトランスフォーマーの効率的な実装に向けた最近の設計動向についての洞察を提供します。