Asegurar la seguridad es un requisito fundamental para los modelos de lenguaje grandes (LLMs). Lograr un equilibrio adecuado entre mejorar la utilidad de las salidas del modelo y mitigar su potencial de daño es un desafío complejo y persistente. Los enfoques contemporáneos formalizan frecuentemente este problema dentro del marco de Procesos de Decisión de Markov con Restricciones (CMDPs) y emplean técnicas de optimización CMDP establecidas. Sin embargo, estos métodos presentan dos limitaciones notables. Primero, su dependencia de funciones de recompensa y costo hace que el rendimiento sea altamente sensible al mecanismo de puntuación subyacente, que debe capturar el significado semántico en lugar de ser activado por palabras clave superficiales. En segundo lugar, el entrenamiento basado en CMDP implica ajustar una variable dual, un proceso que es tanto computacionalmente costoso como no proporciona ninguna garantía de seguridad probada para una variable dual fija que puede ser explotable a través de jailbreaks adversariales. Para superar estas limitaciones, introducimos Certifiable Safe-RLHF (CS-RLHF) que introduce un modelo de costos entrenado en un corpus a gran escala para asignar puntuaciones de seguridad fundamentadas semánticamente. En contraste con el enfoque basado en lagrangiana, CS-RLHF adopta una formulación basada en penalización rectificada. Este diseño se basa en la teoría de funciones de penalización exactas en optimización restringida, donde la satisfacción de la restricción se impone directamente a través de un término de penalización elegido adecuadamente. Con una penalización adecuadamente escalada, la viabilidad de las restricciones de seguridad puede ser garantizada en el optimizador, eliminando la necesidad de actualizaciones de variables duales. La evaluación empírica demuestra que CS-RLHF supera las respuestas de los modelos de LLM de última generación, siendo al menos 5 veces más eficiente frente a solicitudes nominales y de jailbreak.
Pandit et al. (Fri,) estudiaron esta cuestión.