훈련 없는 모델 병합을 통한 다중 목표 도메인 적응

이 논문에서는 장면 이해 모델의 다중 목표 도메인 적응을 연구합니다. 이전 방법들은 도메인 간 일관성 손실을 통해 괄목할 만한 결과를 달성했지만, 종종 모든 목표 도메인에서 이미지에 동시에 비현실적으로 접근할 수 있다는 가정을 했으며, 데이터 전송 대역폭 제한 및 데이터 개인 정보 보호와 같은 제약을 간과했습니다. 이러한 문제를 감안할 때, 우리는 다음과 같은 질문을 제기합니다: 훈련 데이터에 직접 접근할 필요 없이 서로 다른 도메인에서 독립적으로 적응된 모델을 어떻게 병합할 수 있을까요? 이 문제에 대한 우리의 해결책은 모델 매개변수를 병합하는 것과 모델 버퍼(즉, 정규화 레이어 통계)를 병합하는 두 가지 요소를 포함합니다. 모델 매개변수 병합을 위해 모드 연결성에 대한 경험적 분석 결과, 서로 다른 모델을 적응시킬 때 동일한 사전 훈련된 백본 가중치를 사용할 경우 선형 병합으로 충분하다는 것이 밝혀졌습니다. 모델 버퍼 병합을 위해 우리는 현실 세계 분포를 가우시안 사전 모형으로 모델링하고, 별도로 훈련된 모델의 버퍼에서 새로운 통계를 추정합니다. 우리의 방법은 간단하지만 효과적이며, 훈련 데이터에 접근할 필요 없이 데이터 조합 훈련 기준선과 유사한 성능을 달성합니다. 프로젝트 페이지: https://air-discover.github.io/ModelMerging