연속 학습을 위한 스케치 기반 재생 투영

연속 학습은 인간 학습을 밀접하게 모방하며, 모델이 이전에 학습한 지식을 잊지 않고 연속적으로 태스크의 흐름에서 학습할 수 있게 합니다. 재생 기반의 연속 학습 방법은 과거 태스크에 속하는 데이터를 재소개함으로써 잊음을 완화하고 성능을 향상시킵니다. 그러나 재소개된 데이터가 경험한 모든 데이터를 효과적으로 나타내지 않을 경우, 재생 방법의 성능은 저하될 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 저장된 메모리 내에서 원래 데이터 흐름의 분포를 포착하고 유지하기 위한 스케치 기반 재생 투영(SRP) 방법을 제안합니다. SRP는 기존의 재생 프레임워크를 보강하고 두 가지 접근 방식을 도입합니다. 첫 번째로, 우리는 서로 다른 태스크 내에서 특징 분포를 근사하기 위한 스케치 기반 샘플 선택 기법을 개발하여 이후 재생을 위한 다양한 예시의 분포를 포착합니다. 두 번째로, 예시를 축소된 차원 공간으로 투영하면서 서로 간의 관계를 보존하고 클래스 간의 차이를 강조하는 데이터 압축 방법을 제안하여 각 클래스의 다양한 표현을 촉진하되 기존의 재생 방법론과 유사한 메모리 요구량을 유지합니다. 우리의 실험 결과는 SRP가 재생의 다양성을 향상시키고 기존 재생 모델의 성능을 개선함을 보여줍니다.