Hacia la comprensión del des sesgo independiente de la tarea a través de las lentes de sesgo intrínseco y olvido

Si bien el des sesgo independiente de la tarea proporciona una notable generalización y reduce la dependencia de los datos posteriores, su impacto en la capacidad de modelado del lenguaje y el riesgo de reaprender sesgos sociales a partir de datos específicos de tareas posteriores siguen siendo los dos desafíos más significativos al des sesgar Modelos de Lenguaje Preentrenados (PLMs). El impacto en la capacidad de modelado del lenguaje puede mitigarse dado un corpus de des sesgo de alta calidad y con un contexto largo, pero persiste una deficiencia en la comprensión de las especificidades del reaprendizaje de sesgos. A través de un análisis empírico, determinamos que la efectividad del des sesgo independiente de la tarea depende del nivel de sesgo cuantitativo tanto de los datos específicos de la tarea utilizados para aplicaciones posteriores como del modelo des sesgado. Mostramos empíricamente que el límite inferior del nivel de sesgo del modelo ajustado a la tarea posterior puede aproximarse al nivel de sesgo del modelo des sesgado, en la mayoría de los casos prácticos. Para obtener una comprensión más profunda sobre cómo cambian los parámetros de los PLMs durante el ajuste fino debido al problema del olvido de los PLMs, proponemos un nuevo marco que puede Propagar el Des sesgo Socialmente Justo al Ajuste Fino Posterior, ProSocialTuning. Nuestro marco propuesto puede llevar al modelo ajustado a acercarse al límite inferior de sesgo durante el ajuste fino posterior, indicando que la ineficacia del des sesgo puede aliviarse superando el problema del olvido mediante la regularización de cabezales de atención des sesgados con éxito, basando en los niveles de sesgo de los PLMs desde las etapas de preentrenamiento y des sesgo.