談話戦略の注釈におけるLLMの性能評価

概要 手動注釈は、コーパス言語学における複雑な実用的および談話レベルの特徴、特に発話行為の機能的要素を特定するために不可欠です。品詞や意味のタグ付けは高精度で自動化できますが、談話戦略の注釈はその文脈に依存する特性と一貫した語彙の実現が欠如しているため、依然として難しい課題です。これらの制限は、機能から形式へのアプローチのスケーラビリティを妨げ、実用的研究や教育のための豊富に注釈されたコーパスの開発を制約します。この研究では、特にChatGPT-4という大規模言語モデル（LLM）が、英語における拒否戦略の機能的注釈をサポートできるかどうかを調査しました。日本の大学の英語学習者による書かれた談話完成課題のコーパスを、信頼性、人間評価者間の一致、正確性、一般化可能性の観点から分析しました。結果は、LLMが実用的な注釈プロセスを大いに支援し、スケーラビリティと正確性を高める可能性があることを示唆しています。