패션 랜드마크 탐지 및 의류 카테고리 분류를 위한 주의 깊은 패션 문법 네트워크

이 연구는 패션 랜드마크 위치 지정 및 의류 카테고리 분류와 같은 시각적 패션 분석 문제를 해결하기 위한 지식 기반 패션 네트워크를 제안합니다. 제안된 패션 모델은 이 분야에서 고급 인간 지식을 활용합니다. 우리는 두 가지 중요한 패션 문법을 제안합니다: (i) 운동학적 관계를 포착하는 의존 문법, (ii) 의복의 양측 대칭을 고려한 대칭 문법. 문법 토폴로지에 대해 메시지 전달을 효율적으로 접근하고 정규화된 랜드마크 레이아웃을 생성하기 위해 양방향 합성곱 순환 신경망(BCRNN)을 도입합니다. 의류 카테고리 분류를 강화하기 위해, 우리의 패션 네트워크는 랜드마크 인식 주의와 카테고리 유도 주의라는 두 가지 새로운 주의 메커니즘으로 인코딩됩니다. 전자는 우리의 네트워크가 의복의 기능적 부분에 집중하도록 강제하며, 도메인 지식 중심의 표현을 학습하여 지도 학습 기반의 주의 메커니즘을 이끕니다. 후자는 목표 지향적이며, 직접적으로 작업 관련 특징을 강화하고 암묵적이고 위에서 아래로 학습될 수 있습니다. 대규모 패션 데이터 세트에서의 실험 결과는 우리 패션 문법 네트워크의 우수한 성능을 입증합니다.