본 연구는 메타버스 환경에서 성별 및 연령대와 같은 인구통계학적 속성정보를 반영하여 인간 행동 인식(HAR) 모델이 인식성능을 향상시키는 방법을 제안한다. 이를 위해 성별과 연령대에 따라 사용자를 그룹화하고, XR 장비를 착용한 상태에서 골프 스윙과 볼링 투구 동작 데이터를 수집하여 세부 동작 단계로 라벨링하였다. 수집한 데이터를 기반으로 LSTM, GRU, 1D-CNN, Transformer 모델을 학습시켜 인구통계학적 속성정보 반영 여부에 따른 모델 성능을 비교하였다. 실험 결과 인구통계학적 속성정보를 반영한 모든 모델에서 골프 스윙 동작은 평균 약 3%, 볼링 투구 동작은 평균 약 1.5%의 성능 향상을 확인하였다. 특히 가장 성능이 우수했던 Transformer 모델은 각 동작에서 3.8%, 1.8%의 성능 향상을 보였다. 또한 성별 및 연령대별 세부 분석에서도 모든 그룹에서 성능이 개선되었으며, t-SNE 시각화 결과에서도 인구통계학적 속성정보를 반영했을 때 특징이 더 명확하게 분리되는 것을 확인하였다. 이러한 결과를 통해 인구통계학적 속성정보가 HAR 모델의 인식 성능 향상과 사용자 그룹 간 성능 개선에 영향을 주는 것을 확인할 수 있었으며, 이는 향후 포용적이고 사용자 친화적인 메타버스 환경 구현을 위한 행동 인식 기술 개발에 의미 있는 기여할 수 있을 것으로 기대된다.
Han et al. (Mon,) studied this question.