SampleCNN: 음악 분류를 위한 매우 작은 필터를 사용하는 최종-최종 심층 합성곱 신경망

합성곱 신경망(CNN)은 최종-최종 방식으로 다양한 원시 데이터의 다양한 기계 학습 작업에 적용되었습니다. 오디오 영역에서는 원시 파형 기반 접근법이 오디오의 계층적 특성을 직접 학습하는 데 탐색되었습니다. 그러나 이전 연구의 대다수는 단기 푸리에 변환과 유사한 프레임 수준 구조를 채택하여 모델 용량을 제한하였습니다. 우리는 일반적인 프레임 수준 입력 표현을 넘어서 샘플 수준 필터를 사용하여 표현을 학습하는 CNN 아키텍처를 제안했습니다. 이 아키텍처는 음악 자동 태깅에서 스펙트로그램 기반 CNN 모델과 유사한 성능을 보였습니다. 본 논문에서는 세 가지 방법으로 이전 작업을 확장합니다. 첫째, 샘플 수준 모델은 훨씬 더 긴 훈련 시간을 요구하므로 입력 신호를 점진적으로 다운샘플링하고 성능에 미치는 영향을 검토합니다. 둘째, 다중 수준 및 다중 스케일 특징 집계 기법을 사용하여 모델을 확장하고 이후 여러 음악 분류 작업에 대한 전이 학습을 수행합니다. 마지막으로, 각 레이어에서 샘플 수준 CNN에 의해 학습된 필터를 시각화하여 계층적으로 학습된 특성을 식별하고 이들이 로그 스케일 주파수에 민감함을 보여줍니다.