Análisis de datos XFEL en tiempo real en SLAC y NERSC: Una prueba del análisis de datos experimentales nascent esca

Resumen Los experimentos de dispersión de rayos X utilizando láseres de electrones libres (XFELs) son una herramienta poderosa para determinar la estructura molecular y función de muestras desconocidas (como las proteínas virales del COVID-19). Los experimentos XFEL presentan un desafío para la computación de dos maneras: (i) debido al alto costo de operar XFELs, un tiempo de respuesta rápido desde la adquisición de datos hasta el análisis de datos es esencial para tomar decisiones informadas sobre los protocolos experimentales; (ii) las tasas de recolección de datos están creciendo exponencialmente, requiriendo nuevos algoritmos escalables. Aquí informamos sobre nuestra experiencia analizando datos de dos experimentos en la Fuente de Luz Coherente Linac (LCLS) durante septiembre de 2020. Los datos en bruto fueron analizados en el sistema Cori XC40 de NERSC, utilizando el paradigma de Superfacility: nuestro flujo de trabajo mueve automáticamente los datos en bruto entre LCLS y NERSC, donde son analizados usando el paquete de software CCTBX. Logramos un análisis de datos en tiempo real con un tiempo de respuesta desde la adquisición de datos hasta la reconstrucción molecular completa en tan solo 10 minutos, tiempo suficiente para que los operadores del experimento tomen decisiones informadas. Al alojar el análisis de datos en Cori, y al automatizar la interoperabilidad LCLS-NERSC, logramos una tasa de análisis de datos que iguala la tasa de adquisición de datos. Completar el análisis de datos en 10 minutos es un hito para los experimentos XFEL y un avance importante si queremos mantenernos al día con las tendencias de recolección de datos.