Eine Übersicht über LLM Edge-Intelligence: Aktuelle Forschungen und zukünftige Richtungen

Große Sprachmodelle (LLM) werden schnell zur Grundlage intelligenter Dienste, doch die Bereitstellung auf ressourcenbeschränkten Edge-Geräten bleibt eine Herausforderung. Diese Arbeit bietet eine umfassende und aktuelle Übersicht über das neu entstehende Forschungsfeld der auf großen Sprachmodellen basierenden Edge-Intelligenz. Zunächst wird eine integrierte Klassifikation von Edge-LLM-Bereitstellungsarchitekturen präsentiert, die deren Kompromisse hinsichtlich Latenz, Bandbreite und Datenschutz hervorhebt, gefolgt von einer Überprüfung von Optimierungstechniken zur Ausführung von LLMs auf Edge-Hardware. Zudem werden Sicherheits- und Datenschutzrisiken der verteilten Inferenz untersucht und aktuelle Gegenmaßnahmen zusammengefasst. Abschließend werden zukünftige Forschungsperspektiven skizziert. Diese Arbeit bietet Forschern eine Roadmap, um die Lücke zwischen den Einschränkungen des Edge-Computings und leistungsstarken Sprachmodellen zu überbrücken.