Online Gibbs Lernen

Wir schlagen ein neues Modell des Online-Lernens vor, das für das Lernen von realisierbaren und nicht realisierbaren, glatten sowie Schwellenfunktionen geeignet ist. Nach jeder Präsentation eines Beispiels werden die neuen Gewichte aus einer Gibbs-Verteilung mit einer Online-Energie gewählt, die das Bedürfnis ausgleicht, den momentanen Fehler zu minimieren, gegen das Bedürfnis, die Änderung der Gewichte zu minimieren. Wir zeigen, dass dieser Algorithmus die Gewichte findet, die den Verallgemeinerungsfehler im Limit einer unendlichen Anzahl von Beispielen minimieren. Die asymptotische Konvergenzrate ähnelt der des Batch-Lernens.