Checkliste zur Reproduzierbarkeit und Datenspeicherung für systematische Übersichtsarbeiten, unterstützt durch aktives Lernen

In der Screening-Phase einer systematischen Übersicht reduziert die Priorisierung des Screenings durch aktives Lernen effektiv die Arbeitslast. Die PRISMA-Richtlinien sind jedoch nicht ausreichend, um die Screening-Phase reproduzierbar zu berichten. Das Textscreening mit aktivem Lernen ist ein iterativer Prozess, aber die Entscheidungsfindung zur Kennzeichnung und das Training des Modells für aktives Lernen können zeitlich unabhängig voneinander erfolgen. Daher ist es nicht trivial, die Daten aus beiden Ereignissen so zu speichern, dass man weiterhin weiß, welche Iteration des Modells für jede Kennzeichnungsentscheidung verwendet wurde. Außerdem werden während des Screening-Prozesses viele Iterationen des aktiven Lernmodells trainiert, was eine enorme Menge an Daten erzeugt (denken Sie an viele Gigabytes oder sogar Terabytes an Daten), und Maschinenlernmodelle werden kontinuierlich größer. Zusammen kann dies zu einer unerwünschten Menge an Daten führen, wenn man naiv alle Daten speichert, die bei jeder Iteration der aktiven Lernpipeline erzeugt wurden. Dieser Artikel klärt die Schritte in einem durch aktives Lernen unterstützten Screening-Prozess und welche Daten in jedem Schritt erzeugt werden. Wir zeigen, wie diese Daten hinsichtlich der Größe effizient gespeichert werden können. Besonders bemerkenswert ist, dass die durch das Modell erzeugten Daten der Punkt sind, an dem wir ein Gleichgewicht zwischen Reproduzierbarkeit und Speichergröße finden müssen. Schließlich haben wir die RDAL-Checkliste (Reproduzierbarkeit und Datenspeicherung für systematische Übersichten, unterstützt durch aktives Lernen – Checkliste) erstellt, die Nutzern und Entwicklern von aktiven Lernsoftware hilft, ihren Screening-Prozess reproduzierbar zu machen.