감정 이미지 콘텐츠 분석에 기반한 음악 추천

음악은 가장 평범한 장면에도 큰 의미를 부여할 수 있는 능력을 가지고 있습니다. 음악과 이미지를 인식하는 인간의 감각은 서로 밀접하게 관련되어 있으며, 두 가지 모두 유사한 감각과 감정을 유발할 수 있습니다. 광고 대행사는 시각적 요소에 오디오와 음악을 더하여 더 많은 관객을 참여시키고 자신의 콘텐츠와 관련된 감정을 보다 효과적으로 전달합니다. 시각과 음악을 유사한 감정에 맞추는 것은 사람들이 감정을 보다 생생하고 강하게 인식하는 데 도움이 될 수 있습니다. 본 논문은 이미지와 음악을 공통의 감정 벡터 공간에서 매칭하여 사용자에게 음악 추천을 제공하는 효과적인 교차 모달 신경망을 제안합니다. 가치와 각성과 관련된 값들을 사용하여 결합된 이미지-음악 쌍 데이터 세트가 생성되었습니다. 이 데이터 세트에 포함된 이미지는 OASIS 데이터 세트를 활용하며, 음악 부분은 Spotify API와 YouTube를 사용하여 쿼리하였습니다. MobileNetV3, ResNet-18 및 EfficientNetB4를 이미지를 학습하는 데 사용하고, SampleCNN을 원시 오디오 클립을 위해 이용하는 전이 학습 접근법이 제안됩니다. 주어진 이미지 입력에 대해 상위 n개의 음악 추천 목록이 출력됩니다. 따라서 이 개념은 두 가지 매개변수의 감정 공간에서 다양한 깊은 숨겨진 특징에 기반하여 음악과 이미지 매칭을 생성하는 것을 목표로 합니다.