DP-AdamBC: あなたのDP-Adamは実際にはDP-SGDです（バイアス補正を適用しない限り）

Adamオプティマイザーは、その強力な経験的性能から現代のディープラーニングにおいて人気のある選択肢です。しかし、プライバシーに敏感なシナリオでは、Adamオプティマイザーを使用した従来の差分プライバシー（DP）の適用が、いくつかのタスクでの最適でない性能につながることを観察しています。この性能の低下は、DP保証を強制するために勾配計算に独立したノイズを追加することによって導入されたAdamの2次モーメント推定器におけるDPバイアスによるものです。このDPバイアスは、非プライベートなAdamの挙動やAdamの符号降下解釈と一貫しない、低分散パラメータ更新の異なるスケーリングをもたらします。私たちは、2次モーメント推定におけるバイアスを補正し、Adamの期待される挙動を回復するDP-AdamBC最適化アルゴリズムを提案します。経験的には、DP-AdamBCは、画像、テキスト、およびグラフノード分類タスクにおいて、最終精度で最大3.5％のDP-Adamの最適化性能を大幅に向上させます。