Futga: 세밀한 음악 이해를 위한 시간 향상 생성 증강 접근법

기존의 음악 캡셔닝 방법은 짧은 음악 클립에 대한 간결한 전반적인 설명을 생성하는 데 한정되어 있으며, 이는 세밀한 음악적 특성과 시간 기반의 음악 변화를 포착하지 못합니다. 이러한 한계를 해결하기 위해, 우리는 시간 구성으로부터 생성적 증강 학습을 통해 세밀한 음악 이해 능력을 갖춘 FUTGA 모델을 제안합니다. 우리는 기존 음악 캡션 데이터셋과 대규모 언어 모델(LLMs)을 활용하여 전체 길이의 곡을 위한 구조적 설명과 시간 경계가 포함된 세밀한 음악 캡션을 합성합니다. 제안된 합성 데이터셋으로 강화된 FUTGA는 주요 전환 지점에서 음악의 시간적 변화를 식별하고 그 음악적 기능을 파악하며 각 음악 세그먼트에 대한 자세한 설명을 생성할 수 있습니다. 우리는 또한 MusicCaps와 Song Describer 데이터셋의 증강으로 생성된 FUTGA에 의해 생성된 전체 길이의 음악 캡션 데이터셋을 소개합니다. 우리는 음악 생성 및 검색을 포함한 여러 다운스트림 작업에서 자동 생성된 캡션을 평가합니다. 실험 결과는 생성된 캡션의 질과 제안된 음악 캡셔닝 접근법이 다양한 다운스트림 작업에서 달성한 향상된 성능을 입증합니다. 우리 코드와 데이터셋은 https://huggingface.co/JoshuaW1997/FUTGAblue{https://huggingface.co/JoshuaW1997/FUTGA}에서 확인할 수 있습니다.