설계된 주의: 주의력 없는 응답자를 감지하고 데이터 품질을 개선하기 위해 주의 검사 사용

초록 본 논문은 1차 실증 데이터 수집에서 주의력 없는 응답자를 감지하기 위한 주의 검사와 조작 검증을 검토한다. 이러한 표면적인 주의 검사는 한 세기 전 처음 제안된 단순한 역척도부터 최근의 온라인 데이터 캡처 도구를 이용한 응답 패턴 및 타이밍 응답 평가와 같은 보다 복잡한 방법까지 다양하다. 주의 검사 검증 또한 유도 쿼리를 통한 자동 감지와 같은 쉽게 구현할 수 있는 메커니즘부터 연구자에 의한 응답의 매우 집중적인 조사까지 다양하다. 후자는 연구자의 판단이 데이터 해석에 영향을 미칠 가능성이 있기 때문에 의도하지 않은 연구자 편향을 발생시킬 수 있는 잠재력을 가진다. 본 연구의 실증적 결과는 구성과 척도 검증이 적합 통계에서 지속적으로 유의미한 개선을 보여주며, 이는 실증 모델을 위해 주로 척도와 구성으로 작업하는 연구자에게 큰 도움이 된다. 그러나 분석에 사용된 기본적인 실험 모델에 기반하여, 주의 검사는 일반적으로 실험 조작에 대한 테스트 통계의 유의성에서 일관된 체계적인 개선을 보이지 않는다. 이러한 결과는 주의 검사가 본질적으로 샘플 응답자의 손실—정확도 감소 및 제2형 오류 증가—과 우연히 얻은 기회를 활용하는 것 사이의 본질적인 절충을 유발할 수 있음을 나타낸다—이전의 유의미한 결과가 사실상 제1형 오류의 결과였을 가능성. 분석 결과 주의 검사가 원인인 탈락률이 관찰된 샘플에서는 70%를 초과하며 일반적으로 가정되는 것보다 훨씬 크다는 것을 보여준다. 이러한 손실률은 주의 검사를 검증하지 않는 연구가 의도치 않게 제1형 오류율을 증가시킬 수 있다는 우려를 불러일으킨다. 본 원고는 다양한 주의 검사에 대한 일반적인 가이드라인을 제공하고, 방법의 심리적 뉘앙스를 논의하며, 인센티브 정렬, 금전적 보상 및 이후에 발생하는 응답자의 기분 간의 미세한 균형을 강조한다.