Abwägungen bei skalierbarem Datenrouting für Deduplication-Cluster

Da die Daten in Rechenzentren schnell wachsen, stehen Deduplication-Speichersysteme kontinuierlich vor Herausforderungen, die erforderlichen Durchsatzraten und Kapazitäten bereitzustellen, um Backup-Daten innerhalb der Backup- und Wiederherstellungszeiten zu bewegen. Ein Ansatz besteht darin, ein Cluster-Deduplication-Speichersystem mit mehreren Deduplication-Speichersystemknoten zu erstellen. Das Ziel ist es, skalierbaren Durchsatz und Kapazität mit extrem hochdurchsatzfähigen Knoten (z. B. 1,5 GB/s) zu erreichen, bei minimalem Verlust des Kompressionsverhältnisses. Das zentrale technische Problem besteht darin, Daten intelligent auf einer geeigneten Granularität zu routen. Wir präsentieren ein clusterbasiertes Deduplication-System, das mit hohem Durchsatz deduplizieren kann, deduplizierungsverhältnisse unterstützt, die mit einem einzelnen System vergleichbar sind, und eine geringe Variation in der Speicherauslastung einzelner Knoten aufrechterhält. In Experimenten mit Dutzenden von Knoten untersuchen wir Abwägungen zwischen zustandslosen Datenroutingansätzen mit niedrigen Overhead und zustandsbehafteten Ansätzen, die höheren Overhead aufweisen, jedoch Ungleichgewichte vermeiden, die die Effektivität der Deduplication für einige Datensätze in großen Clustern negativ beeinflussen können. Der zustandslose Ansatz wurde in einem kommerziellen System mit zwei Knoten implementiert, das 3 GB/s für den Mehrstrom-Deduplication-Durchsatz erreicht und derzeit auf 5,6 PB Speicher hochskaliert (unter der Annahme einer Gesamtkapazität von 20X Kompression).