Key points are not available for this paper at this time.
Während systematische Literaturübersichten häufig in der Softwaretechnik-Forschung durchgeführt werden, kann es schwierig sein, sie auf eine rigorose und reproduzierbare Weise durchzuführen. Dieses Papier schlägt einige neue Methoden zur Bewertung und Validierung systematischer Literaturübersichten vor. Unser Ansatz besteht aus mehreren Schritten, wie z. B.: eine Reihe relevanter wissenschaftlicher Arbeiten zur Analyse auszuwählen, eine Liste von Fragen und Kriterien zur Bewertung jeder Literaturübersicht zu entwickeln und zu bestimmen, welche Arten von Funktionalität und Leistung bewertet werden sollten. Wir haben unsere Methode getestet, indem wir mehrere Experten die Literaturübersichten basierend auf unseren Fragen und Kriterien bewerten ließen. Wir haben die Ähnlichkeit der Bewertungen zwischen den einzelnen Experten gemessen, um die Zuverlässigkeit der Bewertungen festzustellen. Der durchschnittliche Ähnlichkeitsindex zwischen den Experten lag zwischen 0,58 und 0,83, was auf ein vernünftiges Maß an Übereinstimmung in ihren Beurteilungen hinweist. Dies zeigt, dass unsere Bewertungsmethode relativ konsistente Ergebnisse liefern kann, selbst wenn unterschiedliche Experten beteiligt sind. Das relativ hohe Maß an Übereinstimmung ist bemerkenswert, da jeder Experte seine Perspektiven und Meinungen in die Analyse der Literaturübersichten einbringt. Durch die Bereitstellung konkreter Fragen, Kriterien und Bewertungsmethoden wollten wir die Experten zu einheitlicheren Bewertungen führen. Zusammenfassend haben wir einen neuen Ansatz zur Bewertung und Validierung systematischer Literaturübersichten in der Softwaretechnik entwickelt und getestet. Indem wir die Zuverlässigkeit durch Interrater-Vereinbarung bewerteten, zeigten wir, dass konsistente und reproduzierbare Ergebnisse mit unserem Bewertungsrahmen und unserer Methodik möglich sind. Unsere Methoden könnten Forschern helfen, mehr Einblick darin zu gewinnen, was eine effektive und hochwertige Literaturübersicht ausmacht.
Asyrofi et al. (Tue,) haben diese Frage untersucht.