Können unsichere LLM-Anmerkungen für sichere Schlussfolgerungen verwendet werden?

Große Sprachmodelle (LLMs) haben in einer Vielzahl von Aufgaben eine hohe Übereinstimmung mit menschlichen Bewertern gezeigt und damit das Potenzial demonstriert, die Herausforderungen der menschlichen Datensammlung zu erleichtern. In der computergestützten Sozialwissenschaft (CSS) nutzen Forscher zunehmend LLM-Anmerkungen, um langsame und teure menschliche Anmerkungen zu ergänzen. Dennoch bleiben die Richtlinien zur Sammlung und Nutzung von LLM-Anmerkungen, ohne die Gültigkeit nachfolgender Schlussfolgerungen zu gefährden, begrenzt. Wir führen die Confidence-Driven Inference ein: eine Methode, die LLM-Anmerkungen und LLM-Vertrauensindikatoren kombiniert, um strategisch auszuwählen, welche menschlichen Anmerkungen gesammelt werden sollten, mit dem Ziel, genaue statistische Schätzungen und nachweislich gültige Konfidenzintervalle zu erzeugen, während die benötigte Anzahl menschlicher Anmerkungen reduziert wird. Unser Ansatz enthält Sicherheitsvorkehrungen gegen LLM-Anmerkungen minderer Qualität und stellt sicher, dass die Schlussfolgerungen sowohl gültig als auch nicht weniger genau sind als bei ausschließlicher Reliance auf menschliche Anmerkungen. Wir demonstrieren die Effektivität der Confidence-Driven Inference gegenüber Baselines in statistischen Schätzaufgaben in drei CSS-Einstellungen – Text-Höflichkeit, Haltung und Vorurteil – und reduzieren die benötigte Anzahl menschlicher Anmerkungen um über 25 % in jedem Fall. Obwohl wir CSS-Einstellungen zur Demonstration verwenden, kann die Confidence-Driven Inference zur Schätzung der meisten standardisierten Größen in einer breiten Palette von NLP-Problemen eingesetzt werden.