야생의 질감 설명

패턴과 질감은 많은 자연 물체의 주요 특징입니다: 셔츠는 줄무늬일 수 있고, 나비의 날개는 정맥 모양일 수 있으며, 동물의 피부는 비늘 모양일 수 있습니다. 이미지 이해에서 이 차원을 지원하는 것을 목표로 하여, 우리는 의미적 속성으로 질감을 설명하는 문제를 다룹니다. 우리는 사십칠 개의 질감 용어의 어휘를 식별하고 이를 사용하여 "야생에서" 수집된 대규모 패턴 데이터셋을 설명합니다. 결과적으로 생성된 설명 가능한 질감 데이터셋(Describable Textures Dataset, DTD)은 이미지를 인식하기 위한 설명 가능한 질감 속성의 최적 표현을 찾기 위한 기초입니다. 우리는 개체 인식에서 질감 인식으로 개선된 피셔 벡터(Improved Fisher Vector, IFV)와 심층 신경망 활성화 특징(Deep Convolutional-network Activation Features, DeCAF)을 포팅하고, 놀랍게도 이 두 기능 모두 우리의 문제뿐만 아니라 기존의 재료 인식 데이터셋에서도 전문화된 질감 설명자를 초월함을 보여줍니다. 또한, 우리 의 설명 가능한 속성은 뛰어난 질감 설명자로, 데이터셋과 작업 간에 전이하며, 특히 IFV와 DeCAF와 조합할 경우 FMD 및 KTH-TIPS-2b 벤치마크에서 최첨단 기술보다 10% 이상 유의미하게 성능이 향상됩니다. 또한, 이들은 재료와 인터넷 이미지를 직관적으로 설명하는 능력을 발휘합니다.