NiagaraCQ

Kontinuierliche Abfragen sind persistente Abfragen, die es Benutzern ermöglichen, neue Ergebnisse zu erhalten, wenn sie verfügbar werden. Während kontinuierliche Abfragesysteme ein passives Web in eine aktive Umgebung verwandeln können, müssen sie in der Lage sein, Millionen von Abfragen zu unterstützen, aufgrund des Maßstabs des Internets. Kein bestehendes System hat dieses Maß an Skalierbarkeit erreicht. NiagaraCQ befasst sich mit diesem Problem, indem kontinuierliche Abfragen gruppiert werden, basierend auf der Beobachtung, dass viele Webabfragen ähnliche Strukturen teilen. Gruppierte Abfragen können die gemeinsame Berechnung teilen, fügen sich tendenziell in den Arbeitsspeicher ein und können die I/O-Kosten erheblich senken. Darüber hinaus kann die Gruppierung nach Selektionsprädikaten eine große Anzahl unnötiger Abfrageaufrufe eliminieren. Unsere Gruppierungstechnik unterscheidet sich in folgenden Punkten von früheren Ansätzen zur Gruppenoptimierung. Erstens verwenden wir eine inkrementelle Gruppenoptimierungsstrategie mit dynamischer Neugrundierung. Neue Abfragen werden bestehenden Abfragegruppen hinzugefügt, ohne dass bereits installierte Abfragen neu gruppiert werden müssen. Zweitens verwenden wir ein Abfrage-Trennschema, das minimale Änderungen an einer universellen Abfragemaschine erfordert. Drittens gruppiert NiagaraCQ sowohl änderungsbasierte als auch zeitgesteuerte Abfragen auf einheitliche Weise. Um sicherzustellen, dass NiagaraCQ skalierbar ist, haben wir auch andere Techniken eingesetzt, darunter die inkrementelle Auswertung kontinuierlicher Abfragen, die Verwendung von sowohl Pull- als auch Push-Modellen zur Erkennung heterogener Datenquellenänderungen und die Speicher-Caching. Dieses Papier präsentiert das Design des NiagaraCQ-Systems und gibt einige experimentelle Ergebnisse zur Leistung und Skalierbarkeit des Systems.