저수지 컴퓨팅을 이용한 동적 예측 코딩으로 잡음 강인한 다감각 음성 인식을 수행하다

다감각 통합은 뇌가 여러 감각 모달리티로부터의 입력을 통합하여 통합된 인식을 만들어내는 지각적 과정이다. 주요 문제는 뇌가 피질에서 공통 신경 기반을 사용하여 다감각 통합을 수행하는 방식을 이해하는 것이다. 이 과정에서 피질 뉴런 간의 순환 연결의 역할을 설명하기 위해 저수지 컴퓨팅 기반의 피질 모델이 제안되었다. 저수지 컴퓨팅은 음성 인식과 같은 시계열 처리에 적합하다. 이 연구는 저수지 컴퓨팅 기반의 피질 모델을 확장하여 피질 내의 다감각 통합을 포함하는 데 초점을 맞춘다. 이 연구는 예측 코딩과 저수지 컴퓨팅을 결합하여 다감각 음성 인식의 동적 모델을 소개한다. 예측 코딩은 피질의 계층 구조를 위한 프레임워크를 제공한다. 이 모델은 다감각 통합의 계산 이론에서 유도된 신뢰도 가중치를 통합하여 다감각 시계열 처리에 적응한다. 이 모델은 복합적인 시계열 관리를 요구하는 다감각 음성 인식 작업을 다룬다. 우리는 저수지가 시간 맥락 정보를 추출하고 감각 잡음에 따라 감각 입력에 가중치를 부여하여 음성을 효과적으로 인식하는 것을 관찰하였다. 이러한 발견은 순환 네트워크의 동적 속성이 다감각 시계열 처리에 적용 가능하다는 것을 나타내며, 저수지 컴퓨팅이 다감각 통합에 적합한 모델로 자리 잡게 한다.