Los pipelines de análisis de datos han surgido como un enfoque bien establecido y eficiente para definir y ejecutar análisis de datos bioinformáticos y experimentos. Los lenguajes de scripting, como Python y R, con la posible ayuda de cuadernos, se utilizan ampliamente y son beneficiosos para construir pipelines a pequeña escala, realizar análisis finales y crear visualizaciones para usuarios individuales. Sin embargo, se reconoce cada vez más que son insuficientes para permitir el desarrollo de pipelines a gran escala, compartibles, mantenibles y reutilizables, capaces de procesar conjuntos de datos extensos y operar en clústeres de computación de alto rendimiento. Este capítulo primero proporciona una visión general de las características esenciales involucradas en la construcción de pipelines de datos a gran escala. Destaca las necesidades del usuario que deben considerarse al construir dichos pipelines. Luego explora las soluciones existentes disponibles para satisfacer estos requisitos. Posteriormente, se enfatizan fuertemente las ventajas de emplear sistemas de flujo de trabajo científicos para lograr modularidad, reproducibilidad y reutilizabilidad en los pipelines de análisis de datos bioinformáticos. Finalmente, se extrae una conclusión y se discuten los desafíos actuales.
Cohen-Boulakia et al. (Thu,) estudiaron esta cuestión.