BrevitasとFINNを用いたFPGAエッジコンピューティングデバイス上での量子化ニューラルネットワークの高速プロトタイピング

本論文では、VHDLのような高水準言語に関する知識が限られている研究者のために、FPGAのようなエッジコンピューティングデバイス上でのディープラーニングニューラルネットワークモデルの高速プロトタイピングのためのソリューションを提案します。量子化にはXilinxのBrevitasツールを使用し、Pynq-Z2ボード上でのデプロイ/推論にはFINNフレームワークを使用します。また、本論文では、FPGAプロトタイピングのために現在利用可能な方法と、BrevitasやFINNのようなツールを活用して、FPGAのような小規模エッジコンピュータ上でより効率的にDNNの推論を行う方法を共有します。それには、1. 量子化に配慮したトレーニング（QAT）とポストトレーニング量子化（PTQ）、2. ネットワークと変換の簡素化、3. FINNコンパイラを使用したNNモデルのデータフローパーティショニング、4. HWビルドのためのDMA、FIFOおよびIP生成、5. PYNQ Pythonドライバを使用したFPGA上での推論が含まれます。カスタムモデルの重みと活性化は、浮動小数点から8ビット、4ビット、2ビットに量子化され、それぞれの精度低下は0.1%、0.8%、7.6%が観察されました。