Visuelle adversarielle Beispiele zur Umgehung angepasster großer Sprachmodelle

Warnung: Dieses Papier enthält Daten, Eingabeaufforderungen und Modelldaoutputs, die beleidigender Natur sind. In letzter Zeit gab es ein gesteigertes Interesse an der Integration von Vision in große Sprachmodelle (LLMs), exemplifiziert durch visuelle Sprachmodelle (VLMs) wie Flamingo und GPT-4. Dieses Papier beleuchtet die Sicherheits- und Schutzimplikationen dieses Trends. Zunächst betonen wir, dass die kontinuierliche und hochdimensionale Natur der visuellen Eingaben einen schwachen Punkt gegen adversarielle Angriffe darstellt und damit eine erweiterte Angriffsfläche für vision-integrierte LLMs repräsentiert. Zweitens heben wir hervor, dass die Vielseitigkeit von LLMs auch visuelle Angreifern eine breitere Palette erreichbarer adversarieller Ziele bietet, wodurch die Implikationen von Sicherheitsfehlern über einfache Fehlklassifikationen hinausgehen. Zur Veranschaulichung präsentieren wir eine Fallstudie, in der wir visuelle adversarielle Beispiele ausnutzen, um die Sicherheitsmaßnahmen von angepassten LLMs mit integrierter Vision zu umgehen. Interessanterweise stellen wir fest, dass ein einziges visuelles adversariales Beispiel ein angepasstes LLM universell jailbreaken kann, indem es gezwungen wird, eine Vielzahl von schädlichen Anweisungen zu befolgen (die es ansonsten nicht befolgen würde) und schädliche Inhalte zu generieren, die den engen Rahmen eines ursprünglich verwendeten 'few-shot' abwertenden Korpus überschreiten, um das adversarielle Beispiel zu optimieren. Unsere Studie unterstreicht die zunehmenden adversariellen Risiken, die mit der Verfolgung von Multimodalität verbunden sind. Unsere Ergebnisse verbinden auch die langstudierten adversariellen Verwundbarkeiten neuronaler Netzwerke mit dem neu entstehenden Bereich der KI-Ausrichtung. Der präsentierte Angriff deutet auf eine grundlegende adversarielle Herausforderung für die KI-Ausrichtung hin, insbesondere im Hinblick auf den aufkommenden Trend zur Multimodalität bei neuen Grundmodellen.