アマゾンのメカニカルタークで得られた回答の類似性を、オンラインや直接リクルートによる研究と比較する

コンピュータおよびインターネットベースの質問票は、人間とコンピュータの相互作用研究や心理学、社会学などの関連分野において標準的なツールとなっています。アマゾンのメカニカルターク（AMT）サービスは、参加者をリクルートし、特定のタイプの実験を行うための新しい方法です。この研究では、AMTを通じてリクルートされた参加者が、オンラインフォーラムを通じてリクルートされた参加者や大学キャンパスで直接リクルートされた参加者と異なる回答をするかどうかを比較します。さらに、AMT内で実施された研究と、AMTを通じてリクルートされた参加者でありながら外部のオンライン質問票サービスを用いて行われた研究では、回答に違いがあるかどうかも比較します。この研究の結果、AMTを通じてリクルートされた参加者から得られた結果と、キャンパスやオンラインフォーラムでリクルートされた参加者から得られた結果の間には統計的な差があることが示されました。ただし、この差は非常に小さく、実際的な意味はないと主張します。AMT内での研究とオンライン質問票サービスでの研究との間には有意な差はありませんでした。また、AMT内で直接得られた結果と、キャンパスおよびオンラインフォーラム条件で得られた結果との間にも有意な差はありませんでした。これは、AMTが参加者をリクルートし、研究を行うための実用的かつ経済的な選択肢であることを示唆しているかもしれません。AMTを使用して研究を設定・実施することは、他の一般的に使用される方法と比較して、一般的に少ない労力と時間を必要とします。私たちは発見を議論し、経験的研究のためのAMT使用の制限についても述べます。