Diffusionsmodelle für die auditive semantische Kommunikation

Die direkte Übertragung von Audiosignalen von einem Sender zu einem Empfänger über einen lauten Kanal kann konsistente Bandbreite beanspruchen und ist anfällig für Fehler beim Versuch, die übertragenen Bits wiederherzustellen. Im Gegensatz dazu schlägt der aktuelle Ansatz der semantischen Kommunikation vor, die Semantik zu senden und dann semantisch konsistente Inhalte am Empfänger zu regenerieren, ohne den Bitstrom exakt wiederherzustellen. In diesem Papier schlagen wir ein generatives Framework für die auditive semantische Kommunikation vor, das das Kommunikationsproblem als inverses Problem betrachtet und somit robust gegenüber verschiedenen Störungen ist. Unsere Methode überträgt niederdimensionale Darstellungen des Audiosignals und der zugehörigen Semantik an den Empfänger, der das entsprechende Signal mit besonderem Fokus auf dessen Bedeutung (d.h. die Semantik) dank des bedingten Diffusionsmodells im Kern erzeugt. Während des Generierungsprozesses stellt das Diffusionsmodell die empfangenen Informationen aus mehreren Verunreinigungen gleichzeitig wieder her, einschließlich Störgeräuschen und fehlenden Teilen, die durch die Übertragung über den lauten Kanal verursacht werden. Wir zeigen, dass unser Framework Konkurrenten in einem realen Szenario und unter verschiedenen Kanalbedingungen übertrifft. Besuchen Sie die Projektseite, um Proben anzuhören und auf Code und experimentelle Verfahren zuzugreifen: https://ispamm.github.io/diffusion-audio-semantic-communication/.