Inferência Conformal Não Supervisionada: Bootstrapping e Alinhamento para Controlar a Incerteza de LLM

A implementação de LLMs de caixa-preta requer a gestão da incerteza na ausência de probabilidade a nível de token ou rótulos verdadeiros. Propomos a introdução de uma estrutura de inferência conformal não supervisionada para geração, que integra: modelos generativos, incorporando: (i) um escore atípico compatível com LLM derivado da matriz Gram de embeddings de resposta, (ii) UCP combinado com uma variante de bootstrapping (BB-UCP) que agrega resíduos para refinar a precisão do quantil enquanto mantém cobertura finita e independente de distribuição, e (iii) alinhamento conformal, que calibra um único parâmetro de rigidez τ para que um predicado do usuário (por exemplo, aumento da factualidade) se mantenha em lotes não vistos com probabilidade 1-α. Em diferentes conjuntos de dados de referência, nossas portas alcançam cobertura próxima ao nominal e fornecem limiares mais apertados e estáveis do que o UCP dividido, enquanto reduzem consistentemente a gravidade da ilusão, superando detectores leves por resposta com demandas computacionais semelhantes. O resultado é uma porta sem rótulo, compatível com API, para filtragem em tempo de teste que transforma sinais geométricos em decisões calibradas e alinhadas a objetivos.