FinTruthQA: 財務情報開示の質を評価するためのベンチマークデータセット

正確で透明性のある財務情報の開示は、会計および金融の分野において極めて重要であり、市場の効率性と投資家の信頼を確保します。多くの情報開示プラットフォームの中で、中国の株式市場の投資家インタラクティブプラットフォームは、上場企業がオンラインの質疑応答（Q&A）形式を通じて投資家に関心のある情報を開示する新しいインタラクティブな方法を提供します。しかし、上場企業が質問に対して限られたまたは実質的な情報を提供しないことは一般的であり、大量のQ&Aペアにおける財務情報開示の質を自動的に評価することは困難です。本論文では、財務Q&Aデータにおける情報開示の自動品質評価のための高度な自然言語処理（NLP）技術を評価できるベンチマークFinTruthQAを構築しました。FinTruthQAは、6,000の実世界の財務Q&Aエントリを含み、各Q&Aは会計の4つの概念的次元に基づいて手動で注釈されています。私たちは、統計的機械学習モデル、事前学習された言語モデルとその微調整バージョン、大規模言語モデルGPT-4を含むさまざまなNLP技術をFinTruthQAでベンチマークしました。実験の結果、既存のNLPモデルは実際の質問の特定と質問の関連性タスクに対して強い予測能力を持っていますが、回答の関連性と回答の可読性タスクに対しては最適ではありません。このベンチマークを確立することにより、私たちは情報開示の自動評価のための堅牢な基盤を提供し、財務報告の透明性と質を大幅に向上させます。FinTruthQAは、監査人、規制当局、財務アナリストがリアルタイムの監視やデータ駆動の意思決定に利用でき、研究者が会計および金融に関する高度な研究を行うためにも使用でき、最終的には金融市場における信頼と効率を高めることに寄与します。