Diese Arbeit untersucht einen regularisierten Expectation–Maximization- (EM) -Algorithmus für lineare gemischte Modelle, bei denen das klassische Maximum-Likelihood-Schätzverfahren aufgrund der Schlechtgestelltheit der Normalgleichungen für die Fixed Effects instabil wird. In solchen Situationen ist die Designmatrix stark kollinear, was zu einer schlechten Konditionierung der empirischen Kovarianzmatrix und zu unzuverlässigen Parameterschätzungen führt. Daher wird in dieser Arbeit ein EM–PLS-Algorithmus vorgeschlagen und analysiert, bei dem das M-Step-Update für die Fixed-Effects-Parameter durch ein auf Partial Kleinst Quadrate (PLS) basierendes regularisiertes Update ersetzt wird. Die theoretische Analyse erfolgt durch eine Trennung in eine populationsbasierte Rekursion und deren Stichprobengegenstück. Auf Populationsebene wird gezeigt, dass der EM–PLS-Algorithmus unter einem latenten Faktormodell ein stabiles Verhalten aufweist, wobei das Signal in einem niedrigdimensionalen Unterraum liegt. In Abwesenheit von Projektionsrauschen rekonstruiert der durch das PLS-Verfahren erzeugte Krylov-Unterraum exakt den relevanten Signalraum. Daraus folgt, dass die kleinst-Quadrate-Lösung mit derjenigen Lösung übereinstimmt, die durch Minimierung der Zielfunktion über dem Krylov-Unterraum der Dimension K, erzeugt durch die Normalgleichungsgrößen, erhalten wird. Somit entspricht der populationsbasierte EM–PLS-Algorithmus genau dem populationsbasierten Gegenstück einer GEM-Implementierung für lineare gemischte Modelle. Daraus folgt insbesondere die Monotonie der Populations-Parameterupdates, welche die Konvergenz zum wahren Parameter unter geeigneten Regularitätsannahmen sicherstellt. Um die populationsbasierte Analyse mit dem Stichprobenalgorithmus zu verknüpfen, wird ein Ergebnis zur Nachverfolgung über einen endlichen Iterationshorizont gezeigt. Es wird bewiesen, dass für jede feste EM-Iteration t die stichprobenbasierten EM–PLS-Iterate in Wahrscheinlichkeit gegen ihre populationsbasierten Gegenstücke konvergieren, wenn die Anzahl unabhängiger Gruppen wächst. Dieses Resultat basiert auf einer Kombination aus punktweisen Gesetzen der großen Zahlen, Stetigkeitseigenschaften der Update-Abbildungen sowie Stabilität der Krylov-Unterräume gegenüber Störungen. Neben den theoretischen Ergebnissen wird eine umfangreiche Simulationsstudie durchgeführt, um die Leistungsfähigkeit des EM–PLS-Algorithmus im Vergleich zum klassischen EM-Algorithmus zu evaluieren. Die Experimente betrachten synthetische Designs mit latenter niedrig-rangiger Struktur und abklingenden Eigenwerten sowie unterschiedlichen Signal-Rausch-Verhältnissen. Die Ergebnisse zeigen, dass EM–PLS deutlich stabilere Schätzungen der Fixed Effects liefert, gemessen am L²-Fehler, während gleichzeitig eine mit dem unregularisierten EM-Algorithmus vergleichbare Vorhersagegüte erreicht wird. Insbesondere reduziert die durch den Krylov-Unterraum induzierte Regularisierung effektiv die Auswirkungen schlechter Konditionierung, ohne die Out-of-Sample-Vorhersageleistung zu verschlechtern. Gleichzeitig zeigt sich, dass die Konvergenzgeschwindigkeit von EM–PLS diejenige des klassischen EM-Algorithmus übertrifft. Der Einfluss der Anzahl der PLS-Komponenten sowie die Modellangemessenheit wird zudem anhand von Protein-Permeationsdaten untersucht, die vom Max-Planck-Institut für Multidisziplinäre Naturwissenschaften bereitgestellt wurden. Die Ergebnisse zeigen, dass die Vorhersageleistung bereits bei einer relativ kleinen Anzahl von PLS-Komponenten sättigt, was die Konzentration des Signals in einem niedrigdimensionalen latenten Raum widerspiegelt. Während der klassische EM-Algorithmus eine bessere Anpassung an die Trainingsdaten erreicht, zeigt er eine schlechtere Leistung auf Testdaten, was auf eine höhere Anfälligkeit für Overfitting im Vergleich zum EM–PLS-Ansatz hinweist. Insgesamt zeigt die Arbeit, dass die Kombination des EM-Algorithmus mit einer PLS-basierten Dimensionsreduktion einen rechnerisch effizienten und theoretisch fundierten Ansatz für lineare gemischte Modelle darstellt. Die vorgeschlagene Methode erreicht ein günstiges Gleichgewicht zwischen statistischer Stabilität und Vorhersagegenauigkeit und stellt damit ein vielversprechendes Werkzeug für Erweiterungen auf komplexere Daten mit wahrscheinlich nicht-linearem Zusammenhang dar.
Oleksandr Volotko (Thu,) studied this question.