XR 기술을 이용한 음악 분야 시각화

음향 장면 시각화는 현장의 직관적 평가에 효과적입니다. 음향 장면을 시각화하기 위해 음향 홀로그램, 광학 방법 및 음압 시각화와 같은 다양한 방법과 시스템이 연구되고 제안되었습니다. 특히, 음악 분야 시각화는 음악 공연 평가, 청각 장애인 지원 및 예술적 표현 촉진에 효과적입니다. 본 연구에서는 음향 장면 시각화 시스템 "OTOMIRU®"를 사용합니다. 이 시스템은 16채널 마이크로폰 어레이, PC에서의 측정 시스템 및 XR(확장 현실) 장치에서의 시각화 시스템으로 구성됩니다. 측정 시스템은 MVDR(최소 분산 왜곡 없는 응답) 빔 포밍 방법을 사용하여 마이크로폰 어레에서 녹음된 음원들을 분석합니다. 분석 결과는 TCP(전송 제어 프로토콜)를 통해 시각화 시스템으로 전송됩니다. 마지막으로, 결과는 컬러 맵과 같은 열화상으로 시각화되어 XR 장치의 실제 세계에 중첩됩니다. 이 시스템은 주로 소음 시각화, 탐지 및 건설 현장이나 실내 공간의 대책에 사용됩니다. 음악 분야를 시각화하기 위해 시스템을 적용하여 음압 수준뿐만 아니라 주파수와 같은 기타 음향 매개변수를 시각화합니다. 이러한 매개변수를 시각화하기 위해 음향 장면 정보는 세부적이고 이해 가능한 형태로 제공됩니다. 우리는 시각화의 효율성과 다른 상황에의 적용 가능성을 보여줍니다.