Más allá de la utilidad y la inocuidad: Elicitar comportamientos diversos de modelos de lenguaje grandes con aprendizaje de persona en contexto

Los Modelos de Lenguaje Grandes (LLMs) se entrenan en enormes corpus de texto, que están codificados con diversos rasgos de personalidad. Esto plantea un objetivo interesante de elicitar un rasgo de personalidad deseado del LLM y sondear sus preferencias de comportamiento. En consecuencia, formalizamos la tarea de elicitar la persona, con el objetivo de personalizar los comportamientos de los LLM para alinearlos con una persona objetivo. Presentamos el Aprendizaje de Persona en Contexto (PICLe), un nuevo marco de elicitud de persona fundamentado en la inferencia bayesiana. En el núcleo, PICLe introduce un nuevo criterio de selección de ejemplos de ICL basado en la razón de verosimilitud, que está diseñado para guiar óptimamente al modelo en la elicitud de una persona objetivo específica. Demostramos la efectividad de PICLe a través de comparaciones extensas contra métodos base en tres LLM contemporáneos. El código está disponible en https://github.com/deeplearning-wisc/picle.