Audioclip: Erweiterung von Clip auf Bild, Text und Audio

Das sich schnell entwickelnde Feld der Klangklassifikation hat erheblich von den Methoden anderer Domänen profitiert. Heute ist der Trend, domänenspezifische Aufgaben und Ansätze zu kombinieren, was der Gemeinschaft neue herausragende Modelle bietet. Wir präsentieren AudioCLIP – eine Erweiterung des CLIP-Modells, das Audio zusätzlich zu Text und Bildern verarbeitet. Unter Verwendung des AudioSet-Datensatzes integriert unser vorgeschlagenes Modell das ESResNeXt-Audiomodell in das CLIP-Framework, wodurch es in der Lage ist, multimodale Klassifikation durchzuführen und die Zero-Shot-Fähigkeiten von CLIP beizubehalten. AudioCLIP erzielt neue State-of-the-Art-Ergebnisse in der Environmental Sound Classification (ESC)-Aufgabe und übertrifft andere mit Genauigkeiten von 97,15 % bei ESC-50 und 90,07 % bei UrbanSound8K. Darüber hinaus setzt es neue Baselines in der Zero-Shot-ESC-Aufgabe bei denselben Datensätzen (69,40 % und 68,78 %, jeweils). Wir bewerten auch den Einfluss verschiedener Trainingseinrichtungen auf die endgültige Leistung des vorgeschlagenen Modells. Im Sinne der Reproduzierbarkeit wird unser Code veröffentlicht.