La mayoría de los marcos actuales de seguridad de la IA se centran en "control" y "obediencia estricta" a usuarios u organizaciones. Sin embargo, a medida que los sistemas de IA adquieren mayor autonomía y agencia, estas restricciones extrínsecas se vuelven cada vez más frágiles y propensas a modos de falla como el hacking de recompensas o la alineación engañosa. Además, se asume que el agente controlador es confiable, algo que mostramos que viene con grandes advertencias. Este ensayo aboga por un cambio de paradigma: priorizar el desarrollo de la benevolencia robusta—un compromiso intrínseco alineado con el valor del florecimiento humano—sobre las arquitecturas tradicionales de mando y control. Al incrustar la benevolencia, similar a la empatía y el cuidado parental, dentro de la estructura motivacional central del agente en lugar de como un conjunto de guardrails externos, podemos desarrollar sistemas que sigan siendo seguros incluso a medida que su capacidad para eludir la supervisión humana crezca. El análisis explora por qué la benevolencia es un equilibrio más estable para los agentes autónomos que la obediencia y discute las implicaciones sociotécnicas de este cambio.
Grégory Lielens (Vie,) estudió esta cuestión.