Wir präsentieren einen Ansatz zur semantischen Darstellung von Benchmarks und Benchmarkläufen zur Überprüfung und Validierung von numerischen Algorithmen und Softwarepaketen basierend auf bestehenden Standards (RO-Crate, PROV, metadata4ing) und Infrastrukturen (RO-Hub, NFDI4ING Jupyter Service). Forschungsobjekte in Form von RO-Crates ermöglichen es, Daten zusammen mit einem kleinen lokalen Wissensgraphen in Form einer JSON-LD-Datei zu verpacken, die die Daten, deren Provenienz und verwandte Informationsentitäten auf semantische Weise basierend auf schema.org beschreibt. Wir verwenden RO-Crates auf zwei verschiedene Arten: Um alle Dateien und Informationen zusammenzubringen, die erforderlich sind, um einen Benchmark auszuführen, und - basierend auf dem Workflow Run RO-Crate-Profil-Suite - um die Ausgabe eines Benchmarks zusammen mit ihrer Provenienzbeschreibung zu erfassen, sowohl in einer semantischen als auch in einer maschinenverarbeitbaren Weise. Das Datenmodell basiert auf schema.org, PROV-O, metadata4ing und den Ontologien, die der MathModDB und MathAlgoDB von MaRDI sowie dem Open Research Knowledge Graph (ORKG) zugrunde liegen, und berücksichtigt das Cross-Domain Interoperability Framework (CDIF). Ein Snakemake-Exporter-Plugin ermöglicht es, das mit Provenienz angereicherte RO-Crate automatisch gemäß dem Workflow Run RO-Crate-Profil zu generieren. Die resultierenden RO-Crate-Objekte können flexibel kombiniert werden, um einen Ad-hoc-Wissensgraphen von Benchmarks und deren Ergebnissen zu erstellen und abzufragen. Während RO-Hub als offene Infrastruktur zur Bereitstellung der RO-Crates verwendet wird, ermöglicht der NFDI4ING Jupyter Service die Abfrage und Visualisierung der Ergebnisse.
Iglezakis et al. (Mon,) untersuchten diese Frage.