도메인 적응과 얽힘: 최적 수송 관점

현재의 머신러닝 시스템은 테스트되는 대상 분포가 시스템을 훈련하는 데 사용된 소스 분포와 다를 때 발생하는 분포 변화(DS)에 대해 취약합니다. DS에 대한 견고성 문제는 도메인 적응 분야에서 광범위하게 연구되었습니다. 심층 신경망의 경우, 비지도 도메인 적응(UDA)을 위한 인기 있는 프레임워크는 도메인 일치인데, 이는 알고리즘이 피쳐 또는 출력 공간에서 주변 분포를 정렬하려고 시도하는 것입니다. 그러나 이러한 방법에 대한 현재의 이론적 이해는 제한적이며, 기존 이론적 결과는 실제 성능을 특성화하는 데 충분히 정확하지 않습니다. 본 논문에서는 UDA 문제를 분석하는 최적 수송에 기반한 새로운 경계를 도출합니다. 우리의 새로운 경계에는 변화하는 데이터 분포에 대한 조건부 간의 Wasserstein 거리의 기댓값으로 구성된 얽힘이라는 용어가 포함되어 있습니다. 얽힘 항의 분석은 UDA의 최적화 불가능한 측면에 대한 새로운 관점을 제공합니다. 여러 DS 시나리오에서 다양한 모델을 사용한 실험을 통해, 우리는 이 항이 UDA 알고리즘의 다양한 성능을 설명하는 데 어떻게 사용될 수 있는지를 보여줍니다.