도메인 적응 밀집 예측을 위한 희소 시각 프롬프트 탐색

시각 프롬프트는 시각적 교차 도메인 문제를 해결하는 효율적인 방법을 제공했습니다. 이전 연구에서는 이미지 수준의 프롬프트를 입력에 배치하고 각 대상 도메인에 대한 프롬프트를 미세 조정하여 분류 테스트 시간 적응(TTA) 문제를 해결하기 위해 도메인 프롬프트를 도입했습니다. 그러나 이미지 수준의 프롬프트가 프롬프트 할당 영역의 연속적인 공간 세부정보를 마스킹하기 때문에, 특히 밀집 예측 TTA 문제를 다룰 때 부정확한 맥락 정보와 제한된 도메인 지식 추출로 인해 어려움을 겪게 됩니다. 이러한 문제를 해결하기 위해, 우리는 전체 이미지 픽셀에 최소한의 학습 가능한 매개변수(예: 0.1%)를 적용하고 입력의 더 많은 공간 정보를 보존하는 새로운 희소 시각 도메인 프롬프트(SVDP) 접근 방식을 제안합니다. 도메인 특화 지식을 추출하기 위해 SVDP를 더 잘 적용하기 위해, 우리는 큰 배포 이동이 있는 픽셀에 SVDP의 학습 가능한 매개변수를 적응적으로 할당하는 도메인 프롬프트 배치(DPP) 방법을 도입합니다. 또한 각 대상 도메인 샘플이 고유한 도메인 이동을 나타낸다는 것을 인식하고, 각 샘플에 대해 프롬프트 매개변수를 다르게 최적화하는 도메인 프롬프트 업데이트(DPU) 전략을 설계하여 대상 도메인에 대한 효율적인 적응을 촉진합니다. 광범위하게 사용되는 TTA 및 지속적 TTA 벤치마크에서 광범위한 실험을 수행했으며, 우리가 제안한 방법이 의미론적 분할 및 깊이 추정 작업 모두에서 최첨단 성능을 달성합니다.