AI 기반 재난 관리 분석 시스템을 위한 데이터 주석 인터페이스 설계에서 지식 격차 해소

데이터 주석 인터페이스는 주로 정확한 응답을 유도하기 위해 실제 진실 레이블을 활용합니다. 특정 분야의 전문 작업에서 인공지능(AI)의 사용이 증가함에 따라, 초보 주석자가 초기 지식이 어떻게 부정확한 답변으로 이어질 수 있는지를 인식하도록 돕는 것이 점점 더 중요해지고 있습니다. 이는 대규모로 양질의 주석을 보장하는 데 도움이 됩니다. 이 문제를 조사하기 위해 우리는 재난 관리 분야에서 다양한 전문성을 가진 8명의 개인을 대상으로 형성적 연구를 실시했습니다. 목표는 재난과 관련된 트위터 메시지를 분류할 때 주석자 간의 불일치를 초래하는 일반적인 요인을 이해하고 그들의 각 응답을 분석하는 것이었습니다. 우리의 분석 결과, 전문가와 초보 주석자 간의 불일치의 두 가지 주요 원인을 확인했습니다: 1) 상황에 대한 맥락 지식 부족 또는 불확실성, 2) 시각적 또는 보조 신호의 부재. 이러한 결과를 바탕으로, 우리는 초보자들이 잠재적인 실수를 식별하고 제시된 트위터의 숨겨진 맥락을 제공하는 데 도움이 되는 보조 도구를 생성하는 맥락 인터페이스를 설계했습니다. 최종 연구에서는 Context 디자인과 데이터 주석 UI에서 널리 사용되는 두 가지 디자인인 하이라이트 및 추론 기반 인터페이스를 비교했습니다. 우리는 태도 및 행동 데이터 측면에서 이러한 디자인 간에 유의미한 차이를 발견했습니다. 우리는 주석자 간의 지식 격차를 해소하기 위한 향후 인터페이스 설계에 대한 함의로 결론을 맺습니다.