다국어 취약성 수리에서 대형 언어 모델의 평가

사전 훈련된 언어 모델을 기반으로 하는 다양한 딥 러닝 접근 방식이 소프트웨어 취약성을 자동으로 수리하기 위해 제안되었습니다. 그러나 이러한 접근 방식은 특정 프로그래밍 언어(C/C++)에 제한되어 있습니다. 대형 언어 모델(LLM)의 최근 발전은 언어에 구애받지 않는 능력과 강력한 의미 이해를 제공하여 다국어 취약성 제한을 극복할 수 있는 가능성을 보여줍니다. 일부 연구가 LLM의 수리 성능을 탐색하기 시작했지만, 그 효과는 만족스럽지 않습니다. 이러한 한계를 해결하기 위해, 우리는 7개 프로그래밍 언어 전반에 걸쳐 자동화된 취약성 수리 접근 방식과 최첨단 LLM의 성능을 조사하기 위한 대규모 실증 연구를 수행했습니다. 결과는 몇 번의 샘플 프롬프트로 조정된 GPT-4o가 선도적인 접근 방식인 VulMaster에 대해 경쟁력 있는 성능을 보임을 보여줍니다. 또한, LLM 기반 접근 방식은 독특한 취약성을 수리하는 데에서 더 우수한 성능을 보이며, 가장 위험한 취약성을 수리할 가능성이 더 높습니다. 지침에 따라 조정된 GPT-4o는 이전에 보지 못한 언어에서의 취약성에 대한 강력한 일반화를 나타내며, 기존 접근 방식을 초월하는 성과를 거둡니다. 분석 결과, Go는 모든 모델 유형 중 가장 높은 효과성을 지속적으로 달성하는 반면, C/C++는 최악의 성과를 보입니다. 결과를 바탕으로, 우리는 다국어 취약성 수리에 대한 LLM의 가능성과 LLM이 실패한 사례에 대한 이유를 논의합니다. 본 연구는 다국어에 걸친 수리 접근 방식과 LLM을 첫 번째로 살펴보며, LLM을 다국어 취약성 수리에 채택하는 유망한 미래를 강조합니다.