Alabib-65: 알제리 수화 인식에 대한 실제 데이터셋

수화 인식(SLR)은 수화를 문자나 음성 언어로 필기할 수 있는 시스템을 만들어 청각 장애인과 청각인이 경계를 허물고자 하는 유망한 연구 분야입니다. 다양한 수화 인식을 조사하는 문헌이 증가하고 있으며, 특히 미국 수화에 대한 연구가 활발합니다. 지금까지 우리의 지식으로는, 알제리 SLR을 고려한 연구는 없습니다. 이는 주로 데이터셋의 부족 때문입니다. 이 문제를 해결하기 위해, 우리는 Alabib-65, 첫 번째 알제리 수화 데이터셋을 만들었습니다. 이 데이터셋은 41명의 원어민 수화 사용자로부터 실제 환경에서 녹화된 최대 6,238개의 비디오로 구성되어 있습니다. 이 데이터셋은 여러 이유로 도전적입니다. 첫째, 클래스 간 변동성이 적습니다. 65개의 수화 클래스는 손의 구성, 위치 또는 동작 면에서 유사하며 동일한 하위 부분을 공유할 수 있습니다. 둘째, 클래스 내 변동성이 큽니다. 게다가 정적이고 단순한 배경에서 수집된 다른 SL 데이터셋과 비교할 때, 우리의 비디오는 단순에서 복잡한 22개의 배경을 가진 실내 및 실외 환경에서 녹화되었습니다. 향후 연구를 지원하기 위해, 우리는 최첨단 기계 학습 방법을 사용하여 이 새로운 데이터셋에서 기준 결과를 제공했습니다. 즉, Fisher 벡터와 SVM 분류기를 사용하는 IDTF, VGG16-GRU, I3D, I3D-GRU, I3D-GRU-어텐션입니다. 결과는 우리 데이터셋의 타당성과 도전 과제를 보여줍니다.