Key points are not available for this paper at this time.
손에 조작되는 물체를 인식하는 것은 개인의 활동에 대한 필수 정보를 제공하고 일상 생활에서 시각의 응용에 광범위한 영향을 미칠 수 있습니다. 착용 가능한 카메라의 자기 중심 시점은 조작된 물체를 인식하는 데 있어 가까운 시야 및 물체를 자연적인 위치에서 볼 수 있는 것과 같은 독특한 장점을 가지고 있습니다. 우리는 포괄적인 데이터셋을 수집하고 조작된 물체의 자기 중심 인식의 가능성과 도전 과제를 분석합니다. 우리는 라펠 카메라를 착용하고 인간 피실험자가 일상 활동에서 물체를 조작할 때 비압축 비디오 스트림을 기록합니다. 크기, 모양, 색상 및 질감이 다양한 42개의 일상 물체를 사용합니다. 각 물체에 대해 다양한 조명과 배경에서 10개의 비디오 시퀀스를 촬영합니다. 우리는 이 데이터셋과 SIFT 기반 인식 시스템을 사용하여 모션 블러 및 손 가림과 같은 자기 중심 물체 인식의 주요 도전 과제와 손 색상, 위치 사전 및 시간 일관성과 같은 독특한 제약을 정량적으로 특성화하고 분석합니다. SIFT 기반 인식의 평균 인식률은 12%이며, 시간 일관성을 강화함으로써 20%에 도달합니다. 우리는 시뮬레이션을 사용하여 SIFT 기반 인식의 상한을 64%로 추정하고, 배경 혼잡으로 인한 정확도 손실을 20%, 손 가림에 대한 손실을 13%로 추정합니다. 우리의 정량적 평가는 조작된 물체의 자기 중심 인식이 많은 독특한 특성과 향후 연구 기회가 있는 도전적이지만 실행 가능한 문제임을 보여줍니다.
Ren et al. (Mon,)은 이 질문을 연구했습니다.