凸包解析による大規模言語モデルにおける不確実性の定量化

不確実性の定量化アプローチは、大規模言語モデル（LLMs）において特に重要であり、信頼できる出力を必要とする高リスクのアプリケーションにおいて特に重要です。しかし、確率モデルやアンサンブル技術などの従来の不確実性定量化手法は、LLMによって生成された出力の複雑で高次元の性質に適用する際に課題に直面します。本研究は、凸包解析を用いた不確実性の定量化に関する新しい幾何学的アプローチを提案します。提案された手法は、応答の埋め込みの空間的特性を利用して、モデル出力の分散と変動を測定します。プロンプトは「簡単」、「中間」、および「混乱」の3つのタイプに分類され、異なる温度設定で異なるLLMを使用して複数の応答を生成します。応答はBERTモデルを介して高次元の埋め込みに変換され、その後主成分分析（PCA）、Isomap、並びに多次元スケーリング（MDS）を用いて二次元空間に投影されます。密度ベースのノイズを伴う空間クラスタリング（DBSCAN）アルゴリズムを利用して埋め込みをクラスタリングし、選択された各クラスタの凸包を計算します。実験結果は、LLMにおけるモデルの不確実性がプロンプトの複雑さ、モデル、及び温度設定に依存することを示しています。