IEPile: 大規模スキーマベースの情報抽出コーパスの発掘

大規模言語モデル（LLM）は様々な分野で顕著な潜在能力を示していますが、情報抽出（IE）においては重要なパフォーマンスギャップを示します。高品質な指示データは、LLMの特定の能力を向上させるための重要な鍵であることに留意してください。一方、現在のIEデータセットは規模が小さく、断片的で、標準化されたスキーマが欠けています。この目的のために、私たちは約0.32Bトークンを含む包括的なバイリンガル（英語と中国語）のIE指示コーパスであるIEPileを紹介します。IEPileは、33の既存のIEデータセットを収集およびクリーンアップすることによって構築し、大規模なコーパスを発掘するためにスキーマベースの指示生成を導入しました。LLaMAとBaichuanにおける実験結果は、IEPileを使用することでLLMのIEに対するパフォーマンス、特にゼロショット一般化を向上させることができることを示しています。私たちはリソースと事前トレーニングモデルをオープンソース化し、NLPコミュニティに貴重なサポートを提供することを期待しています。