Stand der Technik: Reproduzierbarkeit in der Künstlichen Intelligenz

Hintergrund: Forschungsergebnisse in der Künstlichen Intelligenz (KI) werden kritisiert, weil sie nicht reproduzierbar sind. Ziel: Den Stand der Reproduzierbarkeit empirischer KI-Forschung mithilfe von sechs Reproduzierbarkeitsmetriken zu quantifizieren, die drei verschiedene Grade der Reproduzierbarkeit messen. Hypothesen: 1) KI-Forschung ist nicht ausreichend dokumentiert, um die berichteten Ergebnisse zu reproduzieren. 2) Die Dokumentationspraktiken haben sich im Laufe der Zeit verbessert. Methode: Die Literatur wird überprüft, und eine Reihe von Variablen, die dokumentiert werden sollten, um die Reproduzierbarkeit zu ermöglichen, werden in drei Faktoren gruppiert: Experiment, Daten und Methode. Die Metriken beschreiben, wie gut die Faktoren für ein Papier dokumentiert sind. Insgesamt wurden 400 Forschungsarbeiten aus der Konferenzreihe IJCAI und AAAI unter Verwendung der Metriken untersucht. Ergebnisse: Keine der Arbeiten dokumentiert alle Variablen. Die Metriken zeigen, dass zwischen 20% und 30% der Variablen für jeden Faktor dokumentiert sind. Eine der Metriken zeigt einen statistisch signifikanten Anstieg im Laufe der Zeit, während die anderen keine Veränderung zeigen. Interpretation: Die Reproduzierbarkeitswerte nehmen mit gestiegenen Dokumentationsanforderungen ab. Eine Verbesserung über die Zeit wurde festgestellt. Schlussfolgerung: Beide Hypothesen werden unterstützt.