메타 학습을 통한 소음 강인 딥 신경망 훈련

레이블 소음은 딥 신경망(DNN)의 성능을 상당히 저하시킬 수 있습니다. 소음 강인 DNN을 훈련하기 위해 손실 보정(LC) 접근법이 도입되었습니다. LC 접근법은 소음이 있는 레이블이 알려지지 않은 노이즈 전이 행렬 T에 의해 깨끗한(실제) 레이블에서 손상되었다고 가정합니다. 기본 DNN과 T는 별도로 훈련될 수 있으며, T는 사전 지식을 사용하여 근사화됩니다. 예를 들어, T는 각 클래스의 샘플에서 최대 또는 평균 예측을 쌓아 구성됩니다. 본 연구에서는 메타 학습 프레임워크를 통해 데이터에서 T를 직접 학습하는 새로운 손실 보정 접근법인 메타 손실 보정(MLC)을 제안합니다. MLC는 모델에 구애받지 않으며, 사전 지식을 사용하여 경험적으로 근사화하는 대신 데이터에서 T를 학습합니다. 광범위한 평가가 컴퓨터 비전(MNIST, CIFAR-10, CIFAR-100, Clothing1M) 및 자연어 처리(Twitter) 데이터셋에서 수행되었습니다. 실험 결과 MLC가 최신 접근법에 비해 매우 경쟁력 있는 성능을 달성했음을 보여줍니다.