기초 모델의 기회와 위험

AI는 폭넓은 데이터를 대규모로 기반으로 훈련되고 다양한 하위 작업에 적응할 수 있는 모델(예: BERT, DALL-E, GPT-3)의 등장으로 패러다임 전환을 겪고 있습니다. 이러한 모델을 기초 모델이라고 부르며, 그들의 critically central 하지만 불완전한 특성을 강조합니다. 이 보고서는 기초 모델의 기회와 위험에 대해 철저히 설명하며, 그들의 능력(예: 언어, 비전, 로봇공학, 추론, 인간 상호작용)과 기술 원칙(예: 모델 아키텍처, 훈련 절차, 데이터, 시스템, 보안, 평가, 이론)에서 응용(예: 법률, 의료, 교육) 및 사회적 영향(예: 불평등, 오용, 경제 및 환경에 미치는 영향, 법적 및 윤리적 고려사항)에 이르기까지 포괄적으로 다룹니다. 기초 모델은 표준 딥러닝 및 전이 학습을 기반으로 하더라도, 그 규모는 새로운 emergent 기능을 결과로 가져오고, 다양한 작업에서의 효과성은 동질화를 장려합니다. 동질화는 강력한 지렛대를 제공하지만 주의가 필요하며, 기초 모델의 결함은 모든 하위 모델에 상속됩니다. 기초 모델의 광범위한 배포가 임박했음에도 불구하고, 우리는 현재 이러한 모델이 어떻게 작동하는지, 언제 실패하는지, 발생 특성으로 인해 무엇을 할 수 있는지에 대한 명확한 이해가 부족합니다. 이러한 질문에 대응하기 위해, 우리는 기초 모델에 대한 많은 중요한 연구가 그들의 근본적으로 사회기술적 특성에 상응하는 깊은 학제 간 협력을 요구할 것이라고 믿습니다.