Conheça Seus Limites: Uma Pesquisa sobre Abstinência em Modelos de Linguagem Grande

Resumo A abstinência, a recusa de modelos de linguagem grande (LLMs) em fornecer uma resposta, é cada vez mais reconhecida por seu potencial de mitigar alucinações e aumentar a segurança em sistemas LLM. Nesta pesquisa, apresentamos uma estrutura para examinar a abstinência sob três perspectivas: a consulta, o modelo e os valores humanos. Organizamos a literatura sobre métodos de abstinência, benchmarks e métricas de avaliação usando essa estrutura e discutimos méritos e limitações de trabalhos anteriores. Além disso, identificamos e motivamos áreas para futuras pesquisas, como se a abstinência pode ser alcançada como uma meta-capacidade que transcende tarefas ou domínios específicos, e oportunidades para otimizar as habilidades de abstinência em contextos específicos. Ao fazer isso, nosso objetivo é ampliar o escopo e o impacto das metodologias de abstinência em sistemas de IA.