深層学習と音声合成を利用した多言語ビデオ吹き替えの自動化

本論文は、深層学習と音声合成技術を組み合わせて、複数の言語へのビデオ翻訳を自動化するためのホリスティックなアプローチを提供します。自動音声翻訳とマルチモーダル翻訳の最近の進展を活用して、高品質の吹き替えビデオ素材を効率的かつ大規模に再現するアプローチを開発します。この方法論には、1. 元のビデオから音声を抽出すること、2. 音声の文字起こしと翻訳、3. 翻訳された音声トラックの合成、4. これらを元のビデオの音声と融合させて、最終的な多言語吹き替えビデオを得ることが含まれます。試験結果は、提案されたアプローチが異なる言語やビデオフォーマットの間で、高品質で元のビデオと区別がつかない吹き替えビデオを生成できることを示す証拠を提供します。