MSBoost: 그라디언트 부스팅을 위한 다중 기본 추정기가 있는 모델 선택 활용

초록 그라디언트 부스팅은 표 형식 회귀, 분류 및 순위를 위한 널리 사용되는 기계 학습 알고리즘입니다. 대부분의 오픈 소스 그라디언트 부스팅 구현체인 XGBoost, LightGBM 등은 기본 추정기로 결정 트리를 단독으로 사용했습니다. 본 논문은 정적 기본 추정기(보통 결정 트리)에만 의존하는 대신, 이전 층의 잔차 오차에서 모델 목록을 병렬로 학습하고, 특정 층의 기본 추정기로 검증 오류가 가장 적은 모델을 선택하는 대안 경로를 처음으로 제시합니다. 본 논문은 50개 이상의 표 형식 회귀 및 분류 데이터셋에서 다른 그라디언트 부스팅 구현체와 비교하여 최첨단 결과를 달성했습니다. 또한, 절제 연구에서는 MSBoost가 특히 작고 노이즈가 많은 데이터셋에 효과적임을 보여줍니다. 따라서, 대규모 고품질 데이터셋을 얻는 것이 어려운 분야의 표 형식 기계 학습 문제에서 상당한 사회적 영향을 미칩니다.