Die Dialoge von Nicht-Spieler Charakteren, auch bekannt als NPCs, wurden für lange Zeit von menschlicher Hand verfasst, welche Aufwand und Resourcen beanspruchen, die man anderweitig verwenden könnte. Durch die Weiterentwicklung von neuen Technologien, wie zum Beispiel neuronale Netzwerke, wie Large Language Models (LLM), haben wir die Möglichkeit bekommen solche Dialoge stattdessen generieren zu lassen. Zusätzlich hat man den Vorteil, dass solche Konversationen individuell auf die Eingabe von User:innen reagieren können, welches die Interaktionsmöglichkeiten mit dem Spiel verbessern kann. Diese Masterarbeit zielt darauf hin, ein solches System, unter Anwendung eines LLM und dessen Fähigkeit Charakterdialoge, in einem Textadventure zu analysieren. Mithilfe von Retrieval-Augmented Generation (RAG), welches eine Methode ist um relevantes Wissen zu holen das als Kontext für die Generierung verwendet wird, entwickelten wir ein Spiel, bei dem Spieler:innen Fortschritte machen, indem sie sich mit den Charakter:innen unterhalten und bestimmte Lösungssätze verwenden die ihnen den Weg zum nächsten Charakter:in weisen. Um festzustellen ob die Eingabe der Spieler:innen korrekt war, verglichen wir die Ähnlichkeit mit vordefinierten Lösungssätzen mithilfe von einem kleinen sentence-transformer Modell welches wir ebenfalls in RAG verwendet haben. Das Spielerfeedback wurde mithilfe von eines Fragebogens festgehalten in welchem Spieler:innen die Verhaltensweise der Charakter:innen bewerten und kommentieren konnten. Zusammenfassend war die Bewertung in allen Kategorien, wie die Verwendung von korrektem Englisch, Kohärenz, Neuartigkeit, Bedeutsamkeit und weiteren Kategorien, sehr positiv. Jedoch fanden wir in den Spielaufzeichnungen, dass Charakterantworten oft auf erfundenen Informationen beruhten. Dies passierte, wenn Spieler:innen fragen stellten bei dem RAG kein relevantes Wissen finden konnte. Außerdem war die Anwendung von RAG nicht immer zuverlässig, da manchmal Eingaben nicht als korrekte Lösungssätze gesehen wurden, obwohl das der Fall war. Des Weiteren, konstruierten wir eine Umfrage bei dem wir Teilnehmer:innen zu ihrer Präferenz und zu ihrer Fähigkeit, zwischen von Menschen geschriebenen Dialogen und LLM generierten Dialogen zu unterscheiden, befragten. Wir fanden keine signifikante Präferenz zwischen von Menschenhand geschriebenen Konversationen und generierten Konversationen, ausgenommen wenn der Text stottern beinhaltete, wo das menschengeschriebene deutlich besser war und als natürlicher wahrgenommen wurde. Außerdem konnten wir anhand der Daten feststellen, dass die Präferenz der Teilnehmer:innen stark davon beeinflusst wurde, je nachdem ob sie glaubten, dass ein Mensch der Autor war oder nicht. Dies war unabhängig davon ob der Autor tatsächlich ein Mensch war oder auch nicht.
Kang Da Ji (Wed,) studied this question.