What question did this study set out to answer?

Diese Forschung zielt darauf ab, die Suche nach graphenbasierten neuronalen Architekturen (GNAS) hinsichtlich Effizienz und Skalierbarkeit auf Multi-GPU-Systemen zu optimieren.

May 20, 2026

FastGNAS: Beschleunigung und Skalierung der Suche nach graphenbasierten neuronalen Architekturen auf Multi-GPUs durch ringbasierte Modellmigration

Key Points

Diese Forschung zielt darauf ab, die Suche nach graphenbasierten neuronalen Architekturen (GNAS) hinsichtlich Effizienz und Skalierbarkeit auf Multi-GPU-Systemen zu optimieren.
Ein hybrides paralleles Framework eingeführt, das Daten- und Architekturparallelismus kombiniert.
Eine Caching-Schicht entwickelt, um Datenredundanz mit fortschrittlichen Batch-Management-Strategien zu reduzieren.
Feingranularen Lastenausgleich durch explorative Aufgabengenerierung und prädiktive Arbeitslastschätzung eingesetzt.
FastGNAS beschleunigt state-of-the-art Baselines im Durchschnitt um das 3,14-Fache (bis zu 6,18-Fache) über verschiedene Benchmarks.
Wettbewerbsfähige Genauigkeit erreicht im Vergleich zu existierenden GNAS-Frameworks.

Abstract

Die Suche nach graphenbasierten neuronalen Architekturen (GNAS), ein Teilbereich des automatisierten maschinellen Lernens (AutoML), zielt darauf ab, das Design von Architekturen für graphenbasierte neuronale Netzwerke (GNN) zu automatisieren. GNAS ist jedoch ein von Natur aus datenantikensiver Prozess, da es das Training und die Evaluierung zahlreicher Kandidaten-GNN-Architekturen erfordert, was zu massiven Datenzugriffsredundanzen führt. Vorhandene Multi-GPU-GNAS-Frameworks verwenden typischerweise Datenparallelismus, was hohe Synchronisationskosten verursacht, oder Architekturparallelismus, der Schwierigkeiten hat, auf große Datensätze zu skalieren. Wir schlagen FastGNAS vor, ein schnelles und skalierbares Multi-GPU-Framework, das entwickelt wurde, um die Datenmanagementherausforderungen zu bewältigen, die GNAS zugrunde liegen. Zunächst führt FastGNAS ein hybrides paralleles Framework ein, das Daten- und Architekturparallelismus kombiniert, ermöglicht durch eine neuartige ringbasierte Modellmigration. Genauer gesagt bietet es einen effizienten Datenfluss, der skalierbaren Datenparallelismus und isolierten Architekturparallelismus nutzt, um synchronisationsfreies Processing zu ermöglichen. Um die Datenredundanz anzugehen, bietet FastGNAS eine spezialisierte Caching-Schicht für Zwischenprodukte, implementiert durch fortschrittliche Batch-Management-Strategien, einschließlich inkrementeller Speicherung und einer probabilistischen Wiederverwendungsrichtlinie. Schließlich verwendet FastGNAS ein feingranulares Lastenausgleichs- und Schedulingverfahren durch explorative Aufgabengenerierung und prädiktive Arbeitslastschätzung, was eine zielgerichtete Ressourcenzuteilung über Kandidatenarchitekturen hinweg ermöglicht. Umfangreiche Experimente zeigen, dass FastGNAS state-of-the-art Baselines im Durchschnitt um das 3,14-Fache (bis zu 6,18-Fache) auf verschiedenen Benchmarks beschleunigen kann, während es eine wettbewerbsfähige Genauigkeit erreicht.

KI fragen

Bookmark