Key points are not available for this paper at this time.
Para que a humanidade mantenha e amplie sua agência no futuro, os sistemas mais poderosos que criamos devem ser aqueles que atuam para alinhar o futuro com a vontade da humanidade. Os sistemas mais poderosos hoje são instituições massivas como governos, empresas e ONGs. A tecnologia deliberativa já está sendo utilizada nesses instituições para ajudar a alinhar a governança e a diplomacia com a vontade humana, e a IA moderna está prestes a tornar essa tecnologia significativamente melhor. Ao mesmo tempo, a corrida para a AGI super-humana já está em andamento, e os sistemas de IA que ela gera podem se tornar os sistemas mais poderosos do futuro. A falha em alinhar o impacto de uma IA poderosa com a vontade da humanidade pode levar a consequências catastróficas, enquanto o sucesso pode liberar abundância. Neste momento, há uma janela de oportunidade para usar a tecnologia deliberativa para alinhar o impacto da IA poderosa com a vontade da humanidade. Além disso, pode ser possível engenheirar um acoplamento simbiótico entre a IA poderosa e os sistemas de alinhamento deliberativo de tal forma que a qualidade do alinhamento melhore à medida que as capacidades da IA aumentam.
Konya et al. (Quarta-feira) estudaram esta questão.