Exploration des capacités de génération audio des modèles de langage basés sur du texte

Comment la représentation textuelle de l'audio est-elle liée à l'apprentissage du monde audio par les modèles de langage de grande taille (LLM) ? Cette recherche examine dans quelle mesure les LLM peuvent être incités à générer de l'audio, malgré leur formation principale sur des données textuelles. Nous utilisons une approche en trois niveaux, augmentant progressivement la complexité de la génération audio : 1) Notes musicales, 2) Sons environnementaux, et 3) Discours humain. Pour combler le fossé entre le texte et l'audio, nous utilisons le code comme intermédiaire, incitant les LLM à générer du code qui, une fois exécuté, produit la sortie audio souhaitée. Pour évaluer la qualité et l'exactitude de l'audio généré, nous utilisons les scores FAD et CLAP. Nos résultats révèlent que bien que les LLM puissent générer des caractéristiques audio de base, leur performance se détériore à mesure que la complexité de l'audio augmente. Cela suggère que bien que les LLM possèdent une compréhension latente du monde auditif, leur capacité à traduire cette compréhension en sortie audio tangible reste rudimentaire. Des recherches supplémentaires sur des techniques pouvant améliorer la qualité et la diversité de l'audio généré par les LLM peuvent conduire à une amélioration de leurs performances dans la génération d'audio basé sur du texte.