Un guide "autostoppeur" pour une reconstruction des données rapide et efficace dans des centres de données codés par effacement

Les codes d’effacement tels que les codes de Reed-Solomon (RS) sont largement déployés dans les centres de données car ils offrent une fiabilité beaucoup plus élevée que les méthodes de réplication des données avec des surcoûts de stockage beaucoup plus bas. Cependant, ces codes nécessitent des ressources beaucoup plus élevées en ce qui concerne la bande passante réseau et l'IO disque lors de la reconstruction de données manquantes ou autrement indisponibles. Les solutions existantes à ce problème exigent soit un espace de stockage supplémentaire soit limitent sévèrement le choix des paramètres du système. Dans cet article, nous présentons "Hitchhiker", un nouveau système de stockage codé par effacement qui réduit à la fois le trafic réseau et l'IO disque d'environ 25% à 45% lors de la reconstruction de données manquantes ou autrement indisponibles, sans stockage supplémentaire, avec la même tolérance aux pannes, et une flexibilité arbitraire dans le choix des paramètres, par rapport aux systèmes basés sur RS. Hitchhiker 'se base' sur les codes RS et repose sur des techniques d'encodage et de décodage novatrices qui seront présentées dans cet article. Nous avons mis en œuvre Hitchhiker dans le système de fichiers distribué Hadoop (HDFS). En évaluant diverses mesures sur le cluster de data warehouse en production chez Facebook avec un trafic et une charge de travail en temps réel, lors de la reconstruction, nous observons une réduction de 36% du temps de calcul et une réduction de 32% du temps de lecture des données, en plus de la réduction de 35% du trafic réseau et de l'IO disque. Hitchhiker peut donc réduire la latence des lectures dégradées et effectuer une récupération plus rapide des machines défaillantes ou décommissionnées.