Sprachausgabe-Tiefenfälschungserkennung mittels convolutional neural networks

Die Produktion von künstlichem Medieninhalt bringt ethische, rechtliche und soziale Implikationen für Journalismus, Bildung, Unterhaltung und Industrie mit sich. Software-Tools stehen derzeit jedem zur Verfügung, der böswillig digitale Audio-Stimmen erzeugen oder manipulieren möchte. In diesem Zusammenhang ist die Erkennung der Sprachauthentizität wichtig, um die Konsequenzen ihrer kriminellen Nutzung zu vermeiden. Hier schlagen wir die Anwendung von convolutional neural networks (CNN) und Mel-Spektrogrammen zur Erkennung künstlich erzeugter Stimmen vor. Überwachte Experimente mit Sprachproben, die aus verschiedenen Sprachdatensätzen gesammelt wurden, wurden durchgeführt, um die beste CNN-Topologie zu finden, die die Erkennung hinsichtlich der Genauigkeit durchführt, unabhängig von der gesprochenen Sprache. Die besten gefundenen Genauigkeitswerte sind: 99% für den FoR-Datensatz, 94% für den ASV und 98% für WaveFake. Das Training des Modells mit allen Datensätzen zusammen und das Testen mit einzelnen Datensätzen ergibt Genauigkeiten von 98% für die FoR-Basis, 92% für den ASV und 96% für WaveFake. Diese Ergebnisse sind kompatibel mit den in der aktuellen Technik gefundenen und belegen die Praktikabilität des Modells.