Key points are not available for this paper at this time.
تحليل المحتوى هو أداة قيمة لتحليل الخطاب السياسي، لكن الت annotation من قبل البشر مكلف ويستغرق وقتًا طويلًا. ChatGPT هو أداة ذات قيمة محتملة لأتمتة تحليل المحتوى لمناقشات السياسات، مما يحل محل المحللين البشريين إلى حد كبير. نقوم بتقييم قدرة ChatGPT على تصنيف الوثائق باستخدام أوصاف الحجج، من خلال مقارنة أدائه مع المحللين البشرين لمناقشتين سياسيتين: مناقشة الدخل الأساسي الشامل على تويتر الهولندي (2014-2016) ومناقشة إصلاحات المعاشات في الصحف الألمانية (1993-2001). نستخدم أحدث واجهة برمجة تطبيقات (GPT-4 Turbo) وإصدار واجهة المستخدم (GPT-4) ونقوم بتقييم عدة مقاييس أداء (الدقة، الوضوح والاستدعاء). يتمتع ChatGPT بموثوقية ودقة عالية في تصنيف الحجج المحددة مسبقًا عبر مجموعات البيانات. ومع ذلك، تكون الدقة والاستدعاء أقل بكثير، وتختلف بشكل كبير بين الحجج. تظل هذه النتائج صحيحة لكلا مجموعتي البيانات، على الرغم من اختلافات اللغة ونوع الوسائط. علاوة على ذلك، قد تساعد طريقة القطع المقترحة في هذه الورقة الباحثين في التنقل بين الكشف والضوضاء. بشكل عام، لا نوصي (حتى الآن) بتطبيق ChatGPT بشكل أعمى لتصنيف الحجج في مناقشات السياسات. ينبغي على من يهتمون بتبني هذه الأداة التحقق يدويًا من تصنيفات الروبوتات قبل استخدامها في تحليلات إضافية. على الأقل في الوقت الحالي، لا يزال المحللون البشريون هنا.
درس غيلينس وآخرون (الأربعاء) هذا السؤال.