RAGCache: Effizientes Wissens-Caching für Retrieval-augmentierte Generierung

Retrieval-augmentierte Generierung (RAG) hat in verschiedenen Aufgaben der natürlichen Sprachverarbeitung signifikante Verbesserungen gezeigt, indem die Stärken großer Sprachmodelle (LLMs) und externer Wissensdatenbanken integriert wurden. Allerdings führt RAG zu einer langen Sequenzgenerierung und erhöht die Rechen- und Speicherkosten. Wir schlagen Thoth vor, ein neuartiges multilevel dynamisches Caching-System, das speziell für RAG entwickelt wurde. Unsere Analyse bewertet aktuelle RAG-Systeme und identifiziert den Leistungsengpass (d. h. lange Sequenz aufgrund der Wissensinjektion) sowie Optimierungsmöglichkeiten (d. h. Caching der Zwischenzustände des Wissens). Basierend auf diesen Erkenntnissen entwerfen wir Thoth, das die Zwischenzustände des abgerufenen Wissens in einem Wissensbaum organisiert und sie in der GPU- und Hostspeicherhierarchie cached. Thoth schlägt eine Ersetzungsstrategie vor, die sich der Inferenzmerkmale von LLMs und den Retrievalmustern von RAG bewusst ist. Außerdem überlappt es dynamisch die Retrieval- und Inferenzschritte, um die End-to-End-Latenz zu minimieren. Wir implementieren Thoth und evaluieren es an vLLM, einem hochmodernen LLM-Inferenzsystem, und Faiss, einer hochmodernen Vektordatenbank. Die experimentellen Ergebnisse zeigen, dass Thoth die Zeit bis zum ersten Token (TTFT) um bis zu 4x reduziert und den Durchsatz um bis zu 2,1x im Vergleich zu vLLM, das mit Faiss integriert ist, verbessert.