Beschleunigung von Tensorproduktoperationen mit Tensorkernen

In diesem Papier untersuchen wir die Beschleunigung von Tensorproduktoperationen in der Finite-Elemente-Methode und nutzen dabei die Rechenleistung der NVIDIA A100 GPU Tensorkerne. Wir geben einen zugänglichen Überblick über die erforderlichen mathematischen Grundlagen und diskutieren unsere Implementierungsstrategien. Unsere Studie konzentriert sich auf zwei gängige Programmieransätze für NVIDIA Tensorkerne: die C++ Warp Matrix Funktionen in nvcuda::wmma und die Inline Parallel Thread Execution (PTX) Anweisungen mma.sync.aligned. Ein wesentlicher Fokus liegt auf der Verwendung der vielseitigen Inline-PTX-Anweisungen in Kombination mit einem konfliktfreien Muster für den Zugriff auf den gemeinsamen Speicher, das der Schlüssel zu überlegener Leistung ist. Im Vergleich zu herkömmlichen CUDA-Kernen erzielt unser Ansatz eine bemerkenswerte 2,3-fache Steigerung der Leistung in doppelter Genauigkeit und erreicht 8 TFLOPS/s - 45% des theoretischen Maximums. Darüber hinaus zeigen numerische Experimente bei Halbe-Genauigkeitsberechnungen eine vierfache Verbesserung bei der Lösung der Poisson-Gleichung mit der flexiblen GMRES (FGMRES)-Methode, die durch ein Multigrid-Verfahren in 3D vorverarbeitet wurde. Dies wird erreicht, während der gleiche Diskretisierungsfehler wie bei den Berechnungen in doppelter Genauigkeit beibehalten wird. Diese Ergebnisse heben die erheblichen Vorteile der Verwendung von Tensor-Kernen für Finite-Elemente-Operatoren mit Tensorprodukten hervor, und erzielen ein optimales Gleichgewicht zwischen Rechengeschwindigkeit und Präzision.