Key points are not available for this paper at this time.
대형 언어 모델(LLM)은 다양한 자연어 처리(NLP) 작업에서 인상적인 능력을 보여주었습니다. 또한, LLM은 특히 코드 생성 분야에서 소프트웨어 엔지니어링 작업을 지원하는 데 매우 가치가 있습니다. 자동 코드 생성은 주어진 사양이나 요구 사항에 따라 소스 코드나 실행 가능한 코드를 자동으로 생성하는 과정으로, 개발자의 생산성을 향상시킵니다. 본 연구에서는 ChatGPT를 이용한 코드 생성 품질에 대한 체계적인 실증 평가를 수행합니다. 우리는 5개의 언어(C, C++, Java, Python, JavaScript)와 54개의 코드 시나리오를 포함한 18개의 CWEs를 활용하여 728개의 알고리즘 문제를 활용합니다. 평가에는 ChatGPT가 생성한 코드 스니펫에 대한 포괄적인 분석이 포함되며, 세 가지 중요한 측면인 정확성, 복잡성 및 보안에 중점을 둡니다. 또한 코드 생성을 용이하게 하는 다중 회차 수정 과정에서 ChatGPT의 대화 능력을 구체적으로 조사합니다. 생성된 코드를 깊이 파고들고 실험 결과를 검토함으로써, 본 연구는 코드 생성 작업에서 ChatGPT의 성능에 대한 귀중한 통찰을 제공합니다. 전반적으로 우리의 발견은 ChatGPT 기반 코드 생성에서 발생하는 잠재적 문제와 한계를 밝혀내고 AI 및 LLM 기반 코드 생성 기술 향상의 기초를 마련합니다.
Liu et al. (수요일)이 이 질문을 연구했습니다.