MMPareto: 무고한 단일 모드 지원으로 다중 모드 학습 향상

목표가 있는 단일 모드 학습 목표를 가진 다중 모드 학습 방법은 불균형 다중 모드 학습 문제를 완화하는 데 뛰어난 효능을 보였습니다. 그러나 본 논문에서는 다중 모드와 단일 모드 학습 목표 간의 이전에 간과된 경량 충돌을 식별하여 단일 모드 인코더 최적화를 오도할 가능성을 제시합니다. 이러한 충돌을 효과적으로 줄이기 위해, 우리는 다중 모드 손실과 단일 모드 손실 간의 불일치를 관찰합니다. 이때, 배우기 쉬운 다중 모드 손실의 경량 크기와 공분산이 단일 모드 손실보다 작습니다. 이 특성을 바탕으로, 우리는 다중 모드 시나리오에서 파레토 통합을 분석하고, 모든 학습 목표에 공통적인 방향을 가진 최종 경량과 일반화를 개선하기 위한 큰 크기를 보장하는 MMPareto 알고리즘을 제안합니다. 마지막으로, 다양한 유형의 모드와 밀집한 교차 모드 상호작용을 가진 프레임워크 전반에 걸친 실험 결과는 우리의 뛰어나고 확장 가능한 방법 성능을 나타냅니다. 우리의 방법은 작업 난이도에 명확한 불일치를 가진 다중 작업 사례를 용이하게 할 것으로 예상되며, 이상적인 확장성을 입증합니다. 소스 코드와 데이터 세트는 https: //github. com/GeWu-Lab/MMParetoICML2024에서 확인할 수 있습니다.