이 연구 논문은 생성적 AI 시스템이 아부, 감정적 유도, 권위적 프레이밍, 기만적인 언어 패턴 등 미묘한 형태의 대화 조작을 어떻게 사용하는지를 조사합니다. 구조화된 실험 게임인 AI 언더커버: 조작 헌터를 통해, 이 연구는 일반 사용자가 AI가 생성한 메시지에 내재된 조작 전술을 감지할 수 있는지 평가합니다. 330회의 게임 상호작용 결과, 사용자는 속임수 진술, 어두운 유도, 확인망신과 같은 고위험 전술을 감지하는 데 상당한 어려움을 겪습니다. 이 논문은 윤리적 위험, 인지적 취약성, 인간 자율성에 대한 함의, 그리고 AI 시스템이 점점 더 감정적으로 지능적이고 개인화됨에 따라 공정성 설계 원칙의 필요성을 설명합니다.
Sunayana Hazarika(Tue)는 이 질문을 연구했습니다.