Shark: SQL und umfassende Analytik in großem Maßstab

Shark ist ein neues Datenanalyse-System, das Abfrageverarbeitung mit komplexer Analytik auf großen Clustern kombiniert. Es nutzt eine neuartige verteilte Speicherabstraktion, um eine einheitliche Engine bereitzustellen, die SQL-Abfragen und anspruchsvolle Analysefunktionen (z. B. iterative Maschinelles Lernen) im großen Maßstab ausführen kann und sich effizient von Ausfällen während der Abfrage erholt. Dadurch kann Shark SQL-Abfragen bis zu 100x schneller ausführen als Apache Hive und Programme für maschinelles Lernen bis zu 100x schneller als Hadoop. Im Gegensatz zu früheren Systemen zeigt Shark, dass es möglich ist, diese Geschwindigkeitssteigerungen zu erreichen, während eine MapReduce-ähnliche Ausführungsengine beibehalten wird, ebenso wie die feingranularen Fehlertoleranzeigenschaften, die solche Engines bieten. Es erweitert eine solche Engine auf verschiedene Weise, einschließlich spaltenorientierter In-Memory-Speicherung und dynamischer Neuplanung während der Abfrage, um SQL effektiv auszuführen. Das Ergebnis ist ein System, das die Geschwindigkeitssteigerungen erreicht, die für MPP-analytische Datenbanken im Vergleich zu MapReduce berichtet werden, während es gleichzeitig Fehlertoleranzeigenschaften und komplexe Analysefähigkeiten bietet, die diesen fehlen.