강화된 합동 예측 방법을 통한 대규모 언어 모델 유효성

우리는 대규모 언어 모델(LLM)의 출력에 대한 유효성 보장을 얻기 위한 새로운 합동 추론 방법을 개발합니다. 이전의 합동 언어 모델링 작업은 높은 확률 보장으로 올바름을 만족하는 텍스트의 하위 집합을 식별합니다. 이러한 방법은 LLM의 원래 응답에서 주장을 필터링하는 방식으로 작동하며, 주장에 대해 평가된 점수 함수가 분할 합동 예측을 통해 조정된 임계값을 초과하지 못할 경우 적용됩니다. 이 분야의 기존 방법은 두 가지 결함이 있습니다. 첫째, 명시된 보장은 조건부로 유효하지 않습니다. 필터링 단계의 신뢰성은 응답의 주제에 따라 달라질 수 있습니다. 둘째, 점수 함수가 불완전하기 때문에 필터링 단계에서 많은 가치 있고 정확한 주장이 제거될 수 있습니다. 우리는 두 가지 새로운 합동 방법을 통해 이 두 가지 문제를 해결합니다. 첫째, 우리는 Gibbs et al. (2023)의 조건부 합동 절차를 일반화하여 출력의 유용성을 유지해야 할 때 약한 보장을 적응적으로 발행합니다. 둘째, 우리는 조건부 합동 절차를 통해서의 미분을 위한 새로운 알고리즘을 통해 점수 함수의 품질을 체계적으로 개선하는 방법을 보여줍니다. 우리는 합성 데이터셋과 실제 데이터셋 모두에서 우리 접근 방식의 효능을 입증합니다.