Kodierte Berechnung: Ein lerntheoretischer Rahmen

Kodierte Berechnung hat sich als vielversprechender Rahmen zur Bewältigung bedeutender Herausforderungen in der großflächigen verteilten Berechnung etabliert, einschließlich der Präsenz von langsamen, fehlerhaften oder kompromittierten Servern. Bei diesem Ansatz verarbeitet jeder Arbeiterknoten eine Kombination der Daten, anstatt der Rohdaten selbst. Das Endergebnis wird dann aus den kollektiven Ausgaben der Arbeiterknoten dekodiert. Es gibt jedoch eine erhebliche Lücke zwischen den aktuellen Ansätzen der kodierten Berechnung und dem breiteren Umfeld der allgemeinen verteilten Berechnung, insbesondere wenn es um Arbeitslasten im maschinellen Lernen geht. Um diese Lücke zu schließen, schlagen wir eine neuartige Grundlage für kodierte Berechnung vor, die die Prinzipien der Lerntheorie integriert und einen neuen Rahmen entwickelt, der sich nahtlos an Anwendungen des maschinellen Lernens anpasst. In diesem Rahmen besteht das Ziel darin, die Encoder- und Decoderfunktionen zu finden, die die Verlustfunktion minimieren, definiert als der mittlere quadratische Fehler zwischen den geschätzten und den tatsächlichen Werten. Um die Suche nach der optimalen Dekodierung und den Funktionen zu erleichtern, zeigen wir, dass die Verlustfunktion nach oben durch die Summe von zwei Termen beschränkt werden kann: dem Generalisierungsfehler der Dekodierungsfunktion und dem Trainingsfehler der Kodierungsfunktion. Mit Fokus auf den Sobolev-Raum zweiter Ordnung leiten wir dann den optimalen Encoder und Decoder ab. Wir zeigen, dass im vorgeschlagenen Lösungsszenario der mittlere quadratische Fehler der Schätzung mit der Rate von O (S⁴ N^-3) und O (S^8{5}N^-3{5}) in rauschfreien und rauschbehafteten Berechnungseinstellungen abnimmt, wobei N die Anzahl der Arbeiterknoten mit höchstens S langsamen Servern (Stragglers) ist. Schließlich bewerten wir das vorgeschlagene Schema bei Inferenzaufgaben für verschiedene Modelle des maschinellen Lernens und zeigen, dass der vorgeschlagene Rahmen in Bezug auf Genauigkeit und Konvergenzrate dem Stand der Technik überlegen ist.