Visualización y Análisis basado en la Web de datos Petabyte: La Equidad como una Marea que Eleva Todos los Barcos

Los científicos generan petabytes de datos diariamente para ayudar a descubrir tendencias ambientales o comportamientos que son difíciles de predecir. Por ejemplo, comprender las simulaciones climáticas basadas en el promedio a largo plazo de la temperatura, la precipitación y otras variables ambientales es esencial para predecir y establecer las causas raíces de futuros escenarios indeseables y evaluar posibles estrategias de mitigación. Aunque los centros de supercomputación proporcionan una infraestructura poderosa para generar petabytes de salida de simulación, acceder y analizar estos conjuntos de datos de manera interactiva sigue siendo un desafío en múltiples frentes. Este documento presenta un enfoque para gestionar, visualizar y analizar petabytes de datos dentro de un navegador en equipos que van desde la supercomputadora de NASA de primer nivel hasta hardware común como una computadora portátil. Nuestra nueva capa de abstracción de tejido de datos permite consultas amigables de información científica mientras oculta las complejidades de tratar con sistemas de archivos o servicios en la nube. También optimizamos la utilización de la red mientras transmitimos desde repositorios de petascale a través de algoritmos de compresión progresiva de última generación. Basado en esta abstracción, proporcionamos paneles personalizables que pueden ser accesibles desde cualquier dispositivo con cualquier conexión a Internet, permitiendo un análisis visual interactivo de vastas cantidades de datos a una amplia gama de usuarios - desde los mejores científicos con acceso a entornos de computación de clase de liderazgo hasta estudiantes de pregrado de contextos desfavorecidos de instituciones que sirven a minorías. Nos enfocamos en el uso de conjuntos de datos climáticos de petascale de NASA como un ejemplo de un impacto social particular y, por lo tanto, un caso donde lograr equidad en la participación en la ciencia es crítico. Validamos nuestro enfoque mejorando la capacidad de los científicos climáticos para explorar visualmente sus datos a través de dos paneles completamente interactivos. Validamos aún más nuestro enfoque desplegando los paneles y materiales de capacitación simplificados en el aula de una institución que sirve a minorías. Estos paneles, liberados en forma simplificada al público en general, contribuyen significativamente a un impulso más amplio para democratizar el acceso y uso de datos climáticos.