Key points are not available for this paper at this time.
마스킹 오토인코더는 확장 가능한 비전 학습 모델로, MAE he2022masked의 제목이 제안하듯이 비전에서의 자기 감독 학습(SSL)은 NLP와 유사한 경로를 취할 수 있습니다. 특히, 마스킹 예측(예: BERT)을 활용한 생성적 전제 과제가 NLP에서 사실상의 표준 SSL 관행이 되었습니다. 반면, 비전에서의 생성적 방법에 대한 초기 시도는 대조적 학습과 같은 판별 방법에 의해 묻혔습니다. 그러나 마스크 이미지 모델링의 성공은 마스킹 오토인코더(과거에는 주로 디노이징 오토인코더라 불렸습니다)를 재조명하게 했습니다. NLP에서 BERT와의 격차를 줄이기 위한 이정표로서, 마스킹 오토인코더는 비전 및 그 너머에서 SSL을 위한 전례 없는 주목을 받았습니다. 이 연구는 마스킹 오토인코더에 대한 종합적인 조사를 수행하여 SSL의 유망한 방향에 대한 통찰력을 제공합니다. 마스킹 오토인코더를 활용한 SSL을 처음으로 검토하는 이 작업은 역사적인 발전, 최근 진전 및 다양한 응용 프로그램에 대한 함의를 논의함으로써 비전에서의 응용에 중점을 둡니다.
Zhang et al. (Sat,)는 이 질문을 연구했습니다.