完全同型暗号を用いた深層ニューラルネットワークのプライバシー保護型機械学習

完全同型暗号 (FHE) は、プライバシー保護型機械学習 (PPML) のための有望なツールです。様々な FHE スキームとアプローチに基づいて、いくつかの PPML モデルが提案されています。FHE スキームは PPML モデルを実装するためのツールとして適していますが、CryptoNet、SEALion、および CryptoDL などの FHE に基づく以前の PPML モデルは、単純で非標準的な機械学習モデルに限られており、より実践的で高度なデータセットでは効率的かつ正確であることが証明されていません。以前の PPML スキームは、近似法を採用する代わりに非算術型活性化関数を単純な算術関数に置き換え、連続的な同型評価を可能にするブートストラッピングを使用していませんでした。したがって、標準的な活性化関数を使用することも、層数を大規模にすることもできませんでした。本研究では、まずブートストラッピングを用いた RNS-CKKS FHE で標準の ResNet-20 モデルを実装し、CIFAR-10 データセットおよび平文モデルパラメータで実装されたモデルを検証します。非算術関数を単純な算術関数に置き換えるのではなく、ReLU や Softmax などの非算術関数を十分な精度で評価するために最先端の近似法を使用します。また、提案したモデルで RNS-CKKS スキームのブートストラッピング技法を初めて使用し、暗号化されたデータ上で任意の深層学習モデルを評価できるようにします。我々は、CIFAR-10 データセットを用いた提案モデルが、非暗号化データを用いた元の ResNet-20 モデルと同一の結果を 98.43% 示すことを数値的に確認しました。提案モデルの分類精度は 92.43%±2.65% であり、元の ResNet-20 CNN モデル (91.89%) に非常に近いです。推論には、172 GB のメモリを持つデュアルインテル Xeon Platinum 8280 CPU (112 コア) で約 3 時間かかります。我々は、これにより FHE を高度な深層 PPML モデルに適用する可能性が開かれると信じています。