안면 표정 및 생리학적 신호를 통한 감정 인식

본 논문은 생리학적 및 안면 표정 데이터 스트림을 기반으로 하는 시간 정보 보존 다중 모달 감정 인식 프레임워크를 제안합니다. 각 구성 요소의 성능을 개별적으로 평가하고 비교한 후 데이터 융합을 통해 평가합니다. 특히 감정 인식을 위한 안면 표정에서 카메라의 다양한 시점이 미치는 영향을 비교하고 이러한 시점을 결합하여 더 나은 성능을 달성합니다. 감정 상태와 생리학적 상태 간의 관계를 더 정확하게 모델링하기 위해 시간 정보 보존 프레임워크(TIPF)를 제안합니다. 또한 서로 다른 시간대와 모달리티에서 정보를 결합할 때 다양한 융합 전략을 비교합니다. 실험 결과, TIPF는 생리학적 신호를 사용할 때 감정 인식 성능을 상당히 향상시키며, 안면 표정과 생리학적 데이터를 융합할 때 최고의 성능을 달성합니다.