Seu Pedido é Meu Comando: Sobre a Avaliação da Generalidade Centrada no Humano de Modelos Multimodais

Mesmo com deficiências óbvias, grandes modelos multimodais comandados por prompts estão se mostrando serem ferramentas cognitivas flexíveis que representam uma generalidade sem precedentes. Mas a direcionalidade, diversidade e grau de interação do usuário criam uma distinta “generalidade centrada no humano” (GCH), em vez de uma totalmente autônoma. GCH implica que —para um usuário específico— um sistema é tão geral quanto é eficaz para as tarefas relevantes do usuário e suas maneiras prevalentes de interação. Uma avaliação centrada no humano de sistemas de IA de uso geral, portanto, precisa refletir a natureza pessoal da interação, das tarefas e da cognição. Argumentamos que a melhor maneira de entender esses sistemas é como extensores cognitivos altamente acoplados, e analisar as adaptações cognitivas bidirecionais entre eles e os humanos. Neste artigo, apresentamos uma formulação de GCH, bem como uma visão geral de alto nível dos elementos e trade-offs envolvidos no processo de interação. Encerramos o artigo delineando algumas perguntas de pesquisa essenciais e sugestões para melhorar as práticas de avaliação, que imaginamos como características para a avaliação da inteligência artificial geral no futuro. Este artigo aparece na trilha de IA & Sociedade.