エビデンスグレード知識グラフのランキング品質に対する専門家評価プロトコル

Key Points

• 本研究の目的は、異なるレベルのエビデンスに基づいて知識グラフのエッジランキングの品質を評価するプロトコルを確立することです。
• エッジランキング品質の評価次元を定義しました。
• Kendallのtau_bおよびKrippendorffのアルファを含む統計分析手法を利用しました。
• 20のエッジに対して3人の専門家によるパイロット評価を実施しました。
• Kendallのtau_bスコア0.58を達成し、専門家間の中程度の合意を示しました。
• Krippendorffのアルファ0.71を取得し、評価における強い信頼性を示唆しました。