Varianzreduzierende Kopplungen für Zufallsmerkmale: Perspektiven aus optimalem Transport

Zufallsmerkmale (RFs) sind eine beliebte Technik zur Skalierung von Kernelmethoden im maschinellen Lernen, bei der exakte Kernelbewertungen durch stochastische Monte-Carlo-Schätzungen ersetzt werden. Sie bilden die Grundlage für Modelle, die so vielfältig sind wie effiziente Transformer (durch Annäherung an die Aufmerksamkeit) bis hin zu spärlichen Spektrum-Gauss-Prozessen (durch Annäherung an die Kovarianzfunktion). Die Effizienz kann weiter verbessert werden, indem die Konvergenz dieser Schätzungen beschleunigt wird: ein Problem der Varianzreduktion. Wir gehen dies durch den einheitlichen Rahmen des optimalen Transports an und nutzen theoretische Einblicke und numerische Algorithmen, um neuartige, leistungsstarke RF-Kopplungen für Kernel zu entwickeln, die auf euklidischen und diskreten Eingaberaum definiert sind. Sie bieten konkrete theoretische Leistungszusagen und liefern manchmal starke empirische Fortschritte für skalierbare approximate Inferenz auf Graphen. Wir ziehen überraschende Schlussfolgerungen über die Vorteile und Grenzen der Varianzreduktion als Paradigma.