CrossNet: 전 세계, 교차 대역, 협대역, 및 위치 인코딩을 활용한 단일 및 다중 채널 스피커 분리

우리는 잔향 및 소음이 있는 조건에서 스피커 분리와 향상을 위한 복합 스펙트럼 매핑 접근법인 CrossNet을 소개합니다. 제안된 구조는 인코더 레이어, 전역 다중 헤드 자기 주의 모듈, 교차 대역 모듈, 협대역 모듈 및 출력 레이어로 구성됩니다. CrossNet은 시간-주파수 영역에서 전역, 교차 대역 및 협대역 상관관계를 포착합니다. 긴 발화에서 성능 저하 문제를 해결하기 위해 무작위 청크 위치 인코딩을 도입합니다. 여러 데이터 세트에 대한 실험 결과는 CrossNet의 효율성과 강건성을 입증하며, 잔향 및 소음이 있는 스피커 분리 작업에서 최첨단 성능을 달성합니다. 또한, CrossNet은 최근 기준에 비해 더 빠르고 안정적인 훈련을 보입니다. 추가로, CrossNet의 높은 성능은 다중 마이크로폰 조건에서도 확장되어 다양한 음향 시나리오에서의 다재다능함을 입증합니다.