이미지 인식을 위한 셀프 어텐션 탐구

최근 연구에서는 셀프 어텐션이 이미지 인식 모델의 기본 구성 요소로 작용할 수 있음을 보여주었습니다. 우리는 셀프 어텐션의 변형을 탐구하고 이미지 인식에 대한 효과성을 평가합니다. 두 가지 형태의 셀프 어텐션을 고려합니다. 하나는 쌍별 셀프 어텐션으로, 표준 점 곱 어텐션을 일반화하며 본질적으로 집합 연산자입니다. 다른 하나는 패치별 셀프 어텐션으로, 이는 컨볼루션보다 엄격히 더 강력합니다. 우리의 쌍별 셀프 어텐션 네트워크는 컨볼루션에 해당하는 네트워크와 비슷하거나 더 나은 성능을 보이며, 패치별 모델은 컨볼루션 기준선을 상당히 초과하는 성과를 보입니다. 또한 학습된 표현의 강인성을 조사하는 실험을 수행하였으며, 셀프 어텐션 네트워크가 강인성과 일반화 측면에서 상당한 이점을 가질 수 있음을 결론짓습니다.