데이터 증강 대비 조정을 통한 객체 환각 완화

비록 주목할 만한 발전을 이루었지만, 다중 모달 대형 언어 모델(MLLM)은 사실적으로 부정확한 정보를 환각하는 경향이 있습니다. 본 연구에서는 MLLM의 객체 환각 문제를 다룹니다. 이는 모델 입력에 존재하지 않는 객체에 대한 정보가 제공되는 경우입니다. 우리는 환각을 완화하면서 일반적인 비전-언어 기능을 유지하기 위해 사전 훈련된 기성 MLLM에 적용할 수 있는 대비 조정 방법을 소개합니다. 주어진 사실 토큰에 대해, 우리는 실제 정보를 선택적으로 변경하여 생성적 데이터 증강을 통해 환각된 토큰을 생성합니다. 제안된 대비 조정은 환각된 토큰에 비해 사실 토큰의 상대적 가능성을 향상시키기 위해 토큰 수준에서 적용됩니다. 우리의 철저한 평가를 통해 대비 조정이 환각 완화에 효과적임을 확인했습니다. 더욱이, 제안된 대비 조정은 간단하고 빠르며, 추가 오버헤드 없이 최소한의 훈련이 필요합니다.