DRL: 클래스 점진적 학습을 위한 병렬 어댑터를 통한 구별 표현 학습

사전 훈련 모델(PTM)의 우수한 표현 능력 덕분에 비재연 클래스 점진적 학습(CIL) 연구에서 눈부신 진전이 이루어졌습니다. 그러나 이것은 점점 더 큰 모델 복잡성, 점진적 학습 중 비매끄러운 표현 변화 및 단계별 하위 문제 최적화와 전역 추론 간의 불일치라는 세 가지 난제 때문에 여전히 매우 도전적인 작업입니다. 본 논문에서는 이러한 문제를 구체적으로 해결하기 위해 구별 표현 학습(DRL) 프레임워크를 제안합니다. 효과적이고 효율적으로 점진적 학습을 수행하기 위해, DRL의 네트워크는 점진적 병렬 어댑터(IPA) 네트워크라고 하며 PTM에 기반하여 구축되며, 각 점진적 단계에서 적은 양의 파라미터 학습 오버헤드를 가진 경량 어댑터를 학습함으로써 모델을 점진적으로 증강합니다. 어댑터는 모델을 새로운 클래스에 적응시키는 역할을 하며, 전이 게이트를 통해 현재 모델로부터의 표현 능력을 상속하고 전파할 수 있습니다. 그 결과, 이 설계는 서로 다른 점진적 단계 간의 매끄러운 표현 변화를 보장합니다. 더욱이, 불일치를 완화하고 점진적 단계 전반에 걸쳐 유사한 특징 표현을 가능하게 하기 위해, 우리는 분리된 앵커 감독(DAS)을 설계하였습니다. 이는 긍정 샘플과 부정 샘플의 제약을 각각 가상 앵커와 비교함으로써 분리합니다. 이 분리는 구별 표현 학습을 촉진하고 다른 단계에서 학습된 특징 공간을 정렬하여 데이터의 하위 집합에 대한 단계별 지역 최적화와 모든 클래스에 대한 전역 추론 간의 간격을 좁힙니다. 여섯 개 기준점에서의 광범위한 실험 결과, 우리의 DRL은 훈련 및 추론 단계 모두에서 높은 효율성을 유지하면서 전체 CIL 기간 동안 다른 최첨단 방법보다 지속적으로 우수한 성능을 보여줍니다.