Hören Sie Ihr Gesicht: Gesichtsbasiertes Sprachumwandlung mit F0-Schätzung

Dieses Papier befasst sich mit dem aufkommenden Bereich der gesichtsbasierten Sprachumwandlung, der die einzigartige Beziehung zwischen den Gesichtszügen eines Individuums und seinen stimmlichen Eigenschaften nutzt. Wir präsentieren ein neuartiges gesichtsbasiertes Sprachumwandlungsframework, das insbesondere die durchschnittliche Grundfrequenz des Zielsprechers nutzt, die ausschließlich aus seinen Gesichtsabbildungen abgeleitet wird. Durch umfassende Analysen zeigt unser Framework eine überlegene Sprachgenerierungsqualität und die Fähigkeit, Gesichtszüge mit Stimmeigenschaften in Einklang zu bringen, einschließlich der Verfolgung der Grundfrequenz des Zielsprechers.