ThiNet: 深層ニューラルネットワーク圧縮のためのフィルターレベルプルーニング手法

我々は、ThiNetと呼ばれる効率的で統一的なフレームワークを提案し、CNNモデルのトレーニングと推論の両方の段階で同時に加速と圧縮を行います。フィルターレベルのプルーニング、つまり重要性が低い場合にはフィルター全体を破棄することに焦点を当てています。我々の方法は元のネットワーク構造を変更せず、したがって、あらゆる市販の深層学習ライブラリによって完全にサポートされます。フィルタープルーニングを最適化問題として正式に確立し、現在の層ではなく次の層から計算された統計情報に基づいてフィルターをプルーニングする必要があることを明らかにし、ThiNetを既存の手法と差別化します。実験結果はこの戦略の効果を示し、最先端の技術を進化させました。また、ILSVRC-12ベンチマークにおけるThiNetのパフォーマンスを示します。ThiNetはVGG-16で3.31倍のFLOPs削減と16.63倍の圧縮を達成し、トップ5の精度が0.52%低下します。ResNet-50での類似実験により、コンパクトなネットワークでもThiNetはパラメータとFLOPsを半分以上削減できることが明らかになりましたが、トップ5の精度が約1%低下します。さらに、元のVGG-16モデルは非常に小さなモデルにさらにプルーニング可能で、モデルサイズはわずか5.05MBで、AlexNetレベルの精度を維持しながら、より強力な一般化能力を示します。