Projetar um suporte eficaz de IA generativa requer entender como as pessoas escolhem e utilizam essas ferramentas para suas tarefas de informação. Realizamos um estudo exploratório de pesquisa examinando o que motiva as pessoas a usar o ChatGPT para tarefas de informação, como elas percebem a qualidade da resposta em tarefas de familiaridade variável e quais preocupações surgem durante o uso. Coletamos 110 respostas de pesquisa de participantes do Amazon Mechanical Turk sobre duas tarefas recentes suportadas pelo ChatGPT (totalizando 220 tarefas), incluindo motivações para uso, avaliações de respostas (especificidade, relevância, precisão, compreensibilidade, criatividade) e reflexões abertas sobre a experiência geral. A codificação qualitativa revelou 12 motivações que abrangem capacidades tecnológicas, demandas da tarefa e preferências individuais, enquanto a adequação percebida centrou-se nas capacidades do ChatGPT, qualidade da resposta, eficiência e suporte para tarefas não rotineiras. As tarefas que os participantes identificaram como relativamente fáceis tendiam a ser curtas, de baixo risco e bem compreendidas, e os participantes avaliaram as respostas do ChatGPT para essas tarefas mais altas em quatro das cinco dimensões de avaliação. As tarefas que os participantes identificaram como mais desafiadoras tendiam a envolver menor familiaridade auto-relatada, mais requisitos ou restrições e menor qualidade percebida da resposta em especificidade, relevância, precisão e compreensibilidade, enquanto as classificações de criatividade não diferiram de maneira confiável. Em todas as tarefas, preocupações sobre precisão, limitações tecnológicas e alfabetização em IA do usuário frequentemente levaram a verificações ou retrabalhos. Juntas, as descobertas fornecem um relato descritivo de como as motivações dos usuários, a qualidade da resposta percebida e as avaliações retrospectivas de adequação variam entre tarefas de informação familiares e não familiares, e apontam para designs que melhor se adaptam às capacidades e ao suporte de verificação às demandas da tarefa.
Li et al. (Ter,) estudaram esta questão.