Key points are not available for this paper at this time.
Die Beliebtheit von Empfehlungsmodellen und die verbesserten KI-Verarbeitungsfähigkeiten von CPUs bieten enorme Leistungsmöglichkeiten, um einer großen Anzahl von Nutzern zufriedenstellende Erfahrungen zu bieten. Leider erreichen die bestehenden Methoden zum Training von Empfehlungsmodellen aufgrund einzigartiger Herausforderungen wie dynamischer Form und hoher Parallelität nicht die notwendige Effizienz. Um die oben genannten Einschränkungen zu adressieren, untersuchen wir umfassend die besonderen Merkmale von Empfehlungsmodellen und entdecken mehrere ungenutzte Optimierungsmöglichkeiten. Um diese Möglichkeiten auszuschöpfen, schlagen wir AtRec vor, eine leistungsstarke Trainings-Engine für Empfehlungsmodelle, die den Trainingsprozess auf CPUs erheblich beschleunigt. Konkret präsentiert AtRec einen umfassenden Trainingsansatz, der Operator- und Graph-Ebene Joint-Optimierungen sowie Laufzeitanpassungen verwendet. Auf der Operator-Ebene identifiziert und optimiert AtRec die zeitaufwändigen Operatoren, was weitere effiziente Optimierungen auf Graph-Ebene ermöglicht. Auf der Graph-Ebene führt AtRec eine eingehende Analyse der Ineffizienzen in mehreren häufig verwendeten Untergraphen durch und ermöglicht eine weitere Leistungsverbesserung durch Eliminierung redundanter Berechnungen und Speicherzugriffe. Darüber hinaus identifiziert AtRec auch Ineffizienzen, die in der aktuellen Planung verbreitet sind, und schlägt Laufzeitbündelung vor, um eine bessere Laufzeitleistung zu erzielen. Die Experimentergebnisse zeigen, dass AtRec die derzeit besten Trainings-Engines für Empfehlungsmodelle erheblich übertreffen kann. Wir haben die Implementierung und die entsprechenden Daten von AtRec als Open Source veröffentlicht, um die Forschung in dieser Richtung voranzutreiben.
Wang et al. (Mon,) untersuchten diese Frage.