動的プロトタイプによる解釈可能で信頼性のあるディープフェイク検出

本論文では、動的プロトタイプを視覚的説明の一形態として使用し、顔画像における偽造検出のための新しい人間中心のアプローチを提案します。現在、最先端のディープフェイク検出のほとんどは、推論のために動画をフレームごとに処理するブラックボックスモデルに基づいており、時間的な不整合を詳しく調べるものはほとんどありません。しかし、ディープフェイク動画内のそのような時間的アーティファクトの存在は、監視する人間にディープフェイクを検出し説明する上で重要です。この目的のために、動的表現（すなわちプロトタイプ）を利用してディープフェイクの時間的アーティファクトを説明する、解釈可能で効果的なソリューションであるDynamic Prototype Network（DPNet）を提案します。広範な実験結果は、DPNetがGoogleのDeepFakeDetection、DeeperForensics、Celeb-DFなどの未知のテストデータセットでも競争力のある予測性能を達成し、ディープフェイクのダイナミクスに関する簡単な参照説明を提供することを示しています。DPNetのプロトタイプフレームワークに基づいて、これらのダイナミクスに基づいた時間的論理仕様をさらに定式化し、モデルの望ましい時間的挙動への適合性を確認することで、このような重要な検出システムに信頼性を提供します。