公共調達は持続可能性を促進する重要な手段であるが、多様で異質な入札書類内に持続可能性基準がどの程度統合されているかを効果的に評価することは依然として課題である。本論文では、ドイツ語で書かれたスイスの公共調達文書における持続可能性基準を自動的に特定するための自然言語処理(NLP)パイプラインを提示する。持続可能性の評価のために、公式の持続可能調達基準(SPC)の4つのカタログを作成した:3つはドメイン別(輸送、食料、家具)、1つはドメイン非依存である。各入札公告(CFT)文書は文単位に分割され、事前学習済みの文トランスフォーマーで符号化された。次に、各文とすべてのSPCとの間でコサイン類似度スコアを計算し、一般カタログおよびドメイン別カタログの両方から該当すれば上位の一致を保存した。類似度スコアは大多数の文に対して一般に高かったが、初期の手動検査では0.98以上のスコアのみが意味のある整合を示す傾向があった。この閾値を検証するため、二人の専門家が独立してこの閾値以上のランダムに抽出した100の文-基準ペアをレビューした。検証行程の拡張性を探るため、三つの異なる大規模言語モデル(LLM)にも同じサンプルの評価を促し、多数決に基づいて各ペアを正しいまたは誤った一致として分類した。評価結果から、0.98の類似度閾値はノイズを減らし関連する持続可能性基準の特定に役立つと示唆される。LLMを用いた検証は人間の注釈の代替として拡張可能性を持つが、モデル間で性能のばらつきがある。Gemini 2.0はFleiss’ Kappa(𝜅=0.754)で専門家の判断と実質的な一致を示したが、他のモデルは弱い整合性を示した。
Rolshovenら(Sat,)はこの課題を研究した。
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: