Anatomia de uma botnet social maliciosa alimentada por IA

Modelos de linguagem grandes (LLMs) exibem capacidades impressionantes na geração de texto realista sobre diversos assuntos. Foram levantadas preocupações de que eles poderiam ser utilizados para produzir conteúdo falso com uma intenção enganosa, embora as evidências até agora permaneçam anedóticas. Este trabalho apresenta um estudo de caso sobre uma botnet do Twitter que parece empregar o ChatGPT para gerar conteúdo semelhante ao humano. Através de heurísticas, identificamos 1.140 contas e validamos-nas por meio de anotação manual. Essas contas formam um denso aglomerado de personas falsas que exibem comportamentos semelhantes, incluindo a postagem de conteúdo gerado por máquina e imagens roubadas, e interagem entre si por meio de respostas e retweets. O conteúdo gerado pelo ChatGPT promove sites suspeitos e dissemina comentários prejudiciais. Embora as contas na botnet de IA possam ser detectadas através de seus padrões de coordenação, os atuais classificadores de conteúdo de LLM de última geração falham em discriminar entre elas e contas humanas no ambiente real. Essas descobertas destacam as ameaças apresentadas por bots sociais habilitados por IA.