데이터 증강을 통한 다중 에폭 학습으로 딥 클릭률 예측

이 논문은 클릭률 (CTR) 모델에서의 원 에폭 과적합 현상을 조사합니다. 이 현상은 두 번째 에폭 시작 시 성능이 현저히 감소하는 것을 나타냅니다. 광범위한 연구에도 불구하고 기존의 단일 에폭 접근 방식보다 다중 에폭 훈련의 효율성은 여전히 불분명합니다. 우리는 고차원 데이터 희소성으로 인한 임베딩 레이어의 과적합을 주요 문제로 확인합니다. 이를 해결하기 위해, 비연속적 및 연속적 학습 시나리오 모두에 적합한 새로운 단순한 데이터 증강을 통한 다중 에폭 학습 (MEDA) 프레임워크를 도입합니다. 이 프레임워크는 기존의 딥 CTR 모델에 원활하게 통합될 수 있으며, 재훈련 및 잘 알려진 재앙적 망각 문제에서의 "망각 또는 과적합" 딜레마를 처리하는 데 잠재적인 응용 프로그램을 가질 수 있습니다. MEDA는 임베딩 레이어가 후속 훈련 데이터 또는 다층 퍼셉트론 (MLP) 레이어에 대한 의존도를 줄임으로써 과적합을 최소화하고, 다양한 임베딩 공간에서 MLP를 훈련시켜 데이터 증강을 달성합니다. 우리의 연구 결과는 사전 훈련된 MLP 레이어가 새로운 임베딩 공간에 적응하여 과적합 없이 성능을 향상시킬 수 있음을 확인합니다. 이러한 적응성은 MLP 레이어가 임베딩의 절대 위치보다는 상대 관계에 초점을 맞춘 매칭 함수 학습에서 중요한 역할을 한다는 것을 강조합니다. 우리가 아는 한, MEDA는 딥 CTR 예측 모델에 맞춘 최초의 다중 에폭 훈련 전략을 나타냅니다. 우리는 여러 공공 및 비즈니스 데이터셋에 대한 광범위한 실험을 실시하였으며, 데이터 증강의 효과성과 기존의 단일 에폭 훈련을 초월한 우수성을 완전히 입증하였습니다. 또한, MEDA는 실제 온라인 광고 시스템에서 상당한 이점을 나타냈습니다.