LLaVA-docent: 예술 감상 교육을 지원하기 위한 다중 모드 대형 언어 모델을 통한 지침 조정

다양한 분야에서 학습을 지원하기 위한 다양한 AI 시스템이 개발되고 있지만, 예술 감상 교육을 위한 AI 지원은 광범위하게 탐구되지 않았습니다. 대부분의 학생들에게 낯설고 어려운 과제로 인식되는 예술 감상은, 맞춤형 질문을 제공하고 청중이 작품을 깊이 감상하도록 격려하는 생성 AI가 지원하는 대화 파트너와 함께할 때 더 접근 가능해질 수 있습니다. 본 연구는 예술 감상 교육에서 다중 모드 대형 언어 모델(MLLM)의 적용을 탐구하며, 예술 감상의 개인 튜터 역할을 수행하도록 설계된 LLaVA-Docent 모델 개발에 중점을 두고 있습니다. 우리의 접근 방식은 디자인과 개발 연구를 포함하였으며, 기능적 MLLM 지원 챗봇을 제작하고 예술 감상 교육을 위한 데이터 디자인 프레임워크를 개발하기 위해 반복적인 개선에 중점을 두었습니다. 이를 위해 우리는 GPT-4에 의해 생성된 가상 대화 데이터셋을 구축하였고, 이는 우리의 MLLM, LLaVA-Docent 교육에 중요한 역할을 했습니다. LLaVA-Docent의 성능은 대체 설정에 대한 벤치마킹을 통해 평가되었으며, 그 강점과 약점이 드러났습니다. 우리의 연구 결과는 MMLM 기반의 개인화된 예술 감상 챗봇의 효능을 강조하며, 예술 감상이 가르쳐지고 경험되는 새로운 접근 방식에 대한 적용 가능성을 보여줍니다.