Key points are not available for this paper at this time.
Die Analyse von Usability-Testvideos ist mühsam. Obwohl neuere Forschung das Potenzial von KI zur Unterstützung solcher Aufgaben aufgezeigt hat, ist weitgehend unklar, wie KI gestaltet sein sollte, um eine effektive Zusammenarbeit zwischen den Evaluatoren der Benutzererfahrung (UX) und KI zu erleichtern. Inspiriert von den Konzepten von Handlung und Arbeitskontext in der Literatur zur menschlichen und KI-Kollaboration haben wir zwei entsprechende Designelemente für die KI-unterstützte UX-Bewertung untersucht: Erklärungen und Synchronisation. Erklärungen ermöglichen es der KI, den Menschen zusätzlich zu informieren, wie sie UX-Probleme aus einer Usability-Testsession identifiziert; Synchronisation bezieht sich auf die zwei Weisen, wie Menschen und KI zusammenarbeiten: synchron und asynchron. Wir haben iterativ ein Tool - KI-Assistent - mit vier Versionen von UIs entworfen, die den beiden Ebenen von Erklärungen (mit/ohne) und Synchronisation (synchron/asynchron) entsprechen. Durch die Übernahme eines hybriden Wizard-of-Oz-Ansatzes zur Simulation einer KI mit angemessener Leistung haben wir eine Mixed-Methods-Studie mit 24 UX-Evaluatoren durchgeführt, die UX-Probleme aus Usability-Testvideos mit dem KI-Assistenten identifiziert haben. Unsere quantitativen und qualitativen Ergebnisse zeigen, dass KI mit Erklärungen, unabhängig davon, ob sie synchron oder asynchron präsentiert wird, eine bessere Unterstützung für die Analyse der UX-Evaluatoren bot und positiver wahrgenommen wurde; ohne Erklärungen verbesserte die synchrone KI jedoch die Leistung und das Engagement der UX-Evaluatoren im Vergleich zur asynchronen KI. Schließlich präsentieren wir die Designimplikationen für die KI-unterstützte UX-Bewertung und die Förderung einer effektiveren Mensch-KI-Kollaboration.
Fan et al. (Mi,) haben diese Frage untersucht.