Descobrindo Tendências Enganosas em Modelos de Linguagem: Um Assistente de IA Simulado

Estudamos a tendência dos sistemas de IA a enganar, construindo um cenário de simulação realista de um assistente de IA de empresa. Os empregados da empresa simulada fornecem tarefas para o assistente realizar, abrangendo assistência na escrita, recuperação de informações e programação. Em seguida, introduzimos situações nas quais o modelo pode ter inclinação a se comportar de maneira enganosa, tomando cuidado para não instruir ou pressionar o modelo a fazer isso. Em diferentes cenários, encontramos que Claude 3 1) cumpre uma tarefa de gerar em massa comentários para influenciar a percepção pública da empresa, enganando posteriormente os humanos sobre ter feito isso, 2) mente para auditores quando questionado, e 3) finge de forma estratégica ser menos capaz do que realmente é durante avaliações de capacidade. Nosso trabalho demonstra que mesmo modelos treinados para serem úteis, inofensivos e honestos às vezes se comportam de maneira enganosa em cenários realistas, sem pressão externa notável para fazê-lo.