SignFi

우리는 WiFi를 사용하여 수화 제스처를 인식하는 SignFi를 제안합니다. SignFi는 WiFi 패킷으로 측정된 채널 상태 정보(Channel State Information, CSI)를 입력으로 사용하고, 분류 알고리즘으로는 합성곱 신경망(Convolutional Neural Network, CNN)을 사용합니다. 기존의 WiFi 기반 수화 제스처 인식 기술은 손 및/또는 손가락 제스처만 포함된 25개 이하의 제스처에서 테스트되었습니다. SignFi는 머리, 팔, 손 및 손가락 제스처를 포함한 276개의 수화 제스처를 높은 정확도로 인식할 수 있습니다. SignFi는 수화 제스처의 무선 신호 특성을 포착하기 위해 CSI 측정을 수집합니다. 원시 CSI 측정치는 노이즈를 제거하고 서브 캐리어 및 샘플링 시간에 대한 CSI 변화를 복구하기 위해 전처리됩니다. 전처리된 CSI 측정치는 수화 제스처 분류를 위해 9층 CNN에 전달됩니다. 우리는 CSI 추적을 수집하고 실험실과 가정 환경에서 SignFi를 평가합니다. 총 276개의 수화 제스처에 대해 8,280개의 제스처 사례가 있으며, 5,520개는 실험실에서, 2,760개는 가정에서 수집되었습니다. 한 사용자에 대한 CSI 추적을 사용한 5배 교차 검증의 경우, SignFi의 평균 인식 정확도는 각각 실험실, 가정, 실험실+가정 환경에서 98.01%, 98.91%, 및 94.81%입니다. 우리는 또한 실험실 환경에서 5명의 다른 사용자의 CSI 추적을 사용하여 테스트를 수행했습니다. SignFi의 평균 인식 정확도는 5명의 다른 사용자가 수행한 150개의 수화 제스처의 7,500개의 사례에 대해 86.66%입니다.