鲁宾天文台的空间和时间遗产调查 DP0.2 处理 运动在 CC-IN2P3

维拉·C·鲁宾天文台目前在智利建设中，将于2025年开始进行为期10年的空间和时间遗产调查（LSST）。其8.4米的望远镜将在不到4个晚上内对南半球的天空进行观察，测量六个光学波段，并每晚重复生成约2000次曝光，相当于每晚约20 TiB的数据量。三个数据设施正在准备为年度数据发布的制作做贡献：美国数据设施将处理35%的原始数据，英国数据设施将处理25%的原始数据，而由CC-IN2P3运营的法国数据设施将本地处理剩余的40%的原始数据。在数据预览0.2（DP0.2）的背景下，数据发布生产管道已在DC-2模拟数据集上执行（由暗能量科学合作组织生成）。该数据集包含20000个模拟曝光，代表300平方度的鲁宾图像，典型深度为5年。DP0.2在临时数据设施（基于Google云）上运行，并且完整的实验在CC-IN2P3独立复制。在这个过程中，生成了3 PiB的数据和超过2亿个文件。在这次贡献中，我们将详细描述我们使用CC-IN2P3的计算和存储基础设施进行此处理运动所设置的系统。将讨论几个主题：工作流生成和执行、批作业提交、内存和I/O要求等。我们将重点关注在此次运动中出现的问题以及我们是如何解决这些问题的，并提出一些未来的展望。