UniAudio 1.5: Ein durch Large Language Models gesteuertes Audio-Codec ist ein Few-shot Audioaufgabenlerner

Die Large Language Models (LLMs) haben außergewöhnliche Fähigkeiten im Textverständnis und in der -generierung gezeigt, können jedoch ohne Fine-Tuning nicht direkt auf übergreifende Aufgaben angewendet werden. Dieses Papier schlägt einen Ansatz für kontextuelles Lernen über Modalitäten hinweg vor, der es den eingefrorenen LLMs ermöglicht, mehrere Audioaufgaben im Few-shot-Stil ohne Parameteraktualisierung zu erreichen. Insbesondere schlagen wir ein neuartiges und von LLMs gesteuertes Audio-Codec-Modell, LLM-Codec, vor, um die Audio-Modalität in den textlichen Raum zu übertragen, d. h. Audio-Tokens mit Wörtern oder Sub-Wörtern im Vokabular der LLMs darzustellen, während eine hohe Audio-Rekonstruktionsqualität beibehalten wird. Die zentrale Idee besteht darin, die Modalitätsheterogenität zwischen Text und Audio zu verringern, indem die Audio-Modalität in einen gut trainierten LLMs-Tokenraum komprimiert wird. Somit kann die Audio-Repräsentation als eine neue Fremdsprache betrachtet werden, und die LLMs können die neue Fremdsprache mit mehreren Demonstrationen erlernen. In Experimenten untersuchen wir die Leistung des vorgeschlagenen Ansatzes in mehreren Audioverständnis- und -generierungsaufgaben, z. B. Sprach-Emotion-Klassifikation, Audio-Klassifikation, Text-zu-Sprache-Generierung, Sprachverbesserung usw. Die experimentellen Ergebnisse zeigen, dass die mit dem vorgeschlagenen LLM-Codec, genannt UniAudio 1.5, ausgestatteten LLMs, die nur durch einige Beispiele angestoßen wurden, in einfachen Szenarien die erwarteten Funktionen erreichen können. Dies bestätigt die Durchführbarkeit und Effektivität des vorgeschlagenen Ansatzes für kontextuelles Lernen über Modalitäten hinweg. Um die Forschung zum Few-shot Audioaufgabenlernen und zu multimodalen LLMs zu erleichtern, haben wir das LLM-Codec-Modell als Open Source veröffentlicht.