Key points are not available for this paper at this time.
Avanços recentes em modelos de linguagem grande multimodal (LLMs) reduziram as barreiras para prototipar rapidamente recursos impulsionados por IA via prompts, especialmente para casos de uso destinados a dispositivos móveis. Apesar do valor do feedback do usuário situado, o processo de solicitar feedback inicial de usuários situados em dispositivos móveis sobre protótipos de IA continua desafiador. O amplo escopo e flexibilidade dos LLMs significa que, para um protótipo específico de caso de uso, há uma necessidade crucial de entender a ampla gama de entradas do ambiente real que provavelmente serão fornecidas pelo usuário, bem como suas expectativas em contexto sobre o comportamento da IA. Para explorar o conceito de prototipagem e teste de IA in situ, criamos o MobileMaker: uma ferramenta de prototipagem de IA que permite aos designers criar rapidamente protótipos móveis de IA que podem ser testados no dispositivo, e permite que testadores façam revisões no dispositivo, em campo, do protótipo através de linguagem natural. Em um estudo exploratório com 16 usuários, exploramos como o feedback dos usuários sobre protótipos criados com o MobileMaker se compara ao de ferramentas de prototipagem existentes (por exemplo, Figma, editores de prompt). Descobrimos que os protótipos do MobileMaker possibilitaram uma descoberta mais acidental de: casos extremos de entrada do modelo, discrepâncias entre a interpretação em contexto da tarefa pela IA e pelo usuário, e sinais contextuais negligenciados pela IA. Além disso, aprendemos que, embora a capacidade de fazer revisões no ambiente real tenha levado os usuários a se sentirem mais realizados como participantes ativos no processo de design, isso pode também restringir seu feedback ao subconjunto de mudanças percebidas como mais acionáveis ou implementáveis pela ferramenta de prototipagem.
Petridis et al. (Mon,) estudaram essa questão.