Fusion of Geometric Information and Vision-Language Models for Object Instance Segmentation in Low-Light Aerial 3D Models

UAV 기반 3차원 공간정보 구축은 강우 직후나 일몰 직전 등 저조도 환경에서는 광량 부족과 기체 흔들림에 따른 영상 왜곡으로 객체 탐지 정밀도 확보에 한계가 있다. 특히 기존 CNN 기반 모델은 시각 특징 의존도가 높아, 경계가 불분명한 악조건에서 식별 성능이 저하되는 구조적 한계가 있다. 본 연구는 이러한 환경적 제약을 극복하고자 3차원 기하 정보와 시각-언어 모델(VLM)을 융합한 객체 인스턴스 분할 프레임워크를 제안한다. 제안 기법은 시각 정보가 제한된 환경에서 객체의 의미론적 맥락을 추론하기 위해 개방형 어휘 아키텍처인 OpenSeeD를 적용하였다. 대규모 데이터셋의 사전 학습 가중치로 텍스처 인코더-디코더 구조를 최적화하였으며, 시각적 공백을 항공 객체 특화 언어 지식으로 보완하여 탐지 알고리즘의 신뢰도를 확보하였다. 또한, 개별 객체의 물리적 체적과 기하학적 형태를 분석하는 필터링 파이프 라인을 구축하여 오탐지를 제어하고 최종 분석 결과를 정교하게 보정하였다. 본 연구의 성능 검증을 위해 기존의 대표적 인스턴스 분할 모델인 ResNeXt-101 기반 Cascade Mask R-CNN을 베이스라인으로 설정하여 저조도 항공 모델에 대한 비교 실험을 수행하였다. 제안 기법은 텍스처 부재 상황에서도 안정적인 탐지 강건성을 입증하였다. 정량적 평가 결과, 베이스라인인 ResNeXt-101 기반 Cascade Mask R-CNN 대비 정밀도 24.82%p, 재현율 34.5%p, F1-Score 33.08%p가 향상되었으며, 특히 객체의 공간적 형상 일치도를 나타내는 mIoU는 37.73%p 유의미하게 향상되었다.