더 이상 손가락 하나 댈 필요가 없을까? ChatGPT를 이용한 코드 생성 품질 평가

대형 언어 모델(LLM)은 다양한 자연어 처리(NLP) 작업에서 인상적인 능력을 보여주었습니다. 또한, LLM은 특히 코드 생성 분야에서 소프트웨어 엔지니어링 작업을 지원하는 데 매우 가치가 있습니다. 자동 코드 생성은 주어진 사양이나 요구 사항에 따라 소스 코드나 실행 가능한 코드를 자동으로 생성하는 과정으로, 개발자의 생산성을 향상시킵니다. 본 연구에서는 ChatGPT를 이용한 코드 생성 품질에 대한 체계적인 실증 평가를 수행합니다. 우리는 5개의 언어(C, C++, Java, Python, JavaScript)와 54개의 코드 시나리오를 포함한 18개의 CWEs를 활용하여 728개의 알고리즘 문제를 활용합니다. 평가에는 ChatGPT가 생성한 코드 스니펫에 대한 포괄적인 분석이 포함되며, 세 가지 중요한 측면인 정확성, 복잡성 및 보안에 중점을 둡니다. 또한 코드 생성을 용이하게 하는 다중 회차 수정 과정에서 ChatGPT의 대화 능력을 구체적으로 조사합니다. 생성된 코드를 깊이 파고들고 실험 결과를 검토함으로써, 본 연구는 코드 생성 작업에서 ChatGPT의 성능에 대한 귀중한 통찰을 제공합니다. 전반적으로 우리의 발견은 ChatGPT 기반 코드 생성에서 발생하는 잠재적 문제와 한계를 밝혀내고 AI 및 LLM 기반 코드 생성 기술 향상의 기초를 마련합니다.