Benchmarking von Poisoning-Angriffen gegen Retrieval-Augmented Generation

Retrieval-Augmented Generation (RAG) hat sich als effektiv erwiesen, um Halluzinationen in großen Sprachmodellen durch Einbeziehung externen Wissens während der Inferenz zu vermindern. Diese Integration bringt jedoch neue Sicherheitslücken mit sich, insbesondere gegenüber Poisoning-Angriffen. Obwohl frühere Arbeiten verschiedene Poisoning-Strategien untersucht haben, fehlt eine umfassende Bewertung ihrer praktischen Bedrohung für RAG-Systeme. Um diese Lücke zu schließen, schlagen wir den ersten umfassenden Benchmark-Rahmen für die Bewertung von Poisoning-Angriffen auf RAG vor. Unser Benchmark umfasst 5 Standard-Datensätze für Frage-Antwort-Systeme (QA) und 10 erweiterte Varianten sowie 13 Poisoning-Angriffsverfahren und 7 Verteidigungsmechanismen, die ein breites Spektrum bestehender Techniken repräsentieren. Mithilfe dieses Benchmarks führen wir eine umfassende Bewertung aller enthaltenen Angriffe und Verteidigungen über das gesamte Datensatzspektrum durch. Unsere Ergebnisse zeigen, dass bestehende Angriffe zwar auf Standard-QA-Datensätzen gut abschneiden, ihre Wirksamkeit auf den erweiterten Versionen jedoch deutlich abnimmt. Darüber hinaus demonstrieren unsere Resultate, dass verschiedene fortschrittliche RAG-Architekturen wie sequentielle, verzweigte, bedingte und Loop RAG sowie Multi-Turn-Konversations-RAG, multimodale RAG-Systeme und RAG-basierte LLM-Agentensysteme anfällig für Poisoning-Angriffe bleiben. Bemerkenswerterweise bieten aktuelle Verteidigungstechniken keinen robusten Schutz, was den dringenden Bedarf an widerstandsfähigeren und generalisierbaren Verteidigungsstrategien unterstreicht.