가려진 사람 재식별을 위한 포즈 추정을 통한 가시적 부분 식별

우리는 사람 재식별(re-id)에서의 가림 문제에 중점을 두고 있으며, 이는 실제 상황에서 사람을 검색할 때 주요 도전 과제가 됩니다. 이전의 가려진 re-id 문제에 대한 방법은 일반적으로 오직 탐색만 가려져 있다고 가정하여 수동으로 자르기로 가림을 제거합니다. 그러나 실제로 항상 이 가정이 성립하는 것은 아닙니다. 본 논문은 이 가정을 완화하고 탐색 이미지와 갤러리 이미지 모두가 가려질 수 있는 보다 일반적인 가림 문제를 조사합니다. 이 도전적인 문제의 핵심은 몸체와 가림을 식별하여 노이즈 정보를 억제하는 것입니다. 우리는 포즈 정보를 re-id 프레임워크에 통합하여 세 가지 측면에서 모델에 이점을 제공한다고 제안합니다. 첫째, 신체의 위치를 제공합니다. 그런 다음, 우리는 모델이 신체 영역에만 집중하고 가림으로 인해 발생하는 노이즈 기능을 필터링할 수 있도록 포즈 마스크 기능 분기를 설계합니다. 둘째, 추정된 포즈는 어떤 신체 부위가 가시적인지를 드러내어 더 유용한 사람 특징을 구성할 수 있는 힌트를 제공합니다. 우리는 가시적인 신체 부위를 기반으로 하여 채널 방향으로 기능 반응을 적응식으로 재조정하는 포즈 내장 기능 분기를 제안합니다. 셋째, 테스트에서 추정된 포즈는 탐색 및 갤러리 이미지 모두에 대해 어떤 영역이 유용하고 신뢰할 수 있는지를 나타냅니다. 그런 다음 우리는 추출된 공간적 기능을 부위로 명확히 분리합니다. 일반적으로 가시적인 부위에서만 부위 기능을 사용하여 검색합니다. 가려진 re-id의 성능을 보다 좋게 평가하기 위해, 우리는 35,000장 이상의 이미지를 포함하는 대규모 가려진 re-id 데이터 세트인 Occluded-DukeMTMC를 제안합니다. 광범위한 실험 결과, 우리의 접근법이 가려진, 부분적으로 보이는 및 비가려진 re-id 데이터 세트에서 이전 방법들을 초월한다는 것을 보여줍니다.