Eine Blaupause-Architektur von Compound-AI-Systemen für Unternehmen

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten gezeigt, die konventionelle NLP-Herausforderungen übertreffen und Möglichkeiten für die Nutzung in Produktionsanwendungen schaffen. In diesem Zusammenhang gibt es einen bemerkenswerten Trend zum Aufbau von Compound-AI-Systemen, bei denen LLMs in eine umfangreiche Softwareinfrastruktur mit vielen Komponenten wie Modellen, Abrufmechanismen, Datenbanken und Tools integriert werden. In diesem Papier stellen wir eine Blaupause-Architektur für Compound-AI-Systeme vor, die in Unternehmensumgebungen kosteneffektiv und praktikabel betrieben werden kann. Unsere vorgeschlagene Architektur zielt auf eine nahtlose Integration mit bestehender Rechen- und Dateninfrastruktur ab, wobei „Stream“ als das zentrale Orchestrierungskonzept dient, um Daten und Anweisungen zwischen Agenten und anderen Komponenten zu koordinieren. Aufgaben- und Datenplaner zerlegen, kartieren und optimieren Aufgaben und Daten für die verfügbaren Agenten und Datenquellen, die in den jeweiligen Registern definiert sind, unter Berücksichtigung von Produktionsbeschränkungen wie Genauigkeit und Latenz.