CodeRAG-Bench: 검색이 코드 생성을 향상시킬 수 있을까?

언어 모델(LM)이 코드 생성을 remarkably 유능하게 수행할 수 있는 것으로 입증되었지만, 많은 프로그램은 LM이 그들의 매개변수 지식만으로 생성하기에 도전적입니다. 라이브러리 문서와 같은 외부 컨텍스트를 제공하는 것은 정확하고 기능적인 코드를 생성하는 데 도움을 줄 수 있습니다. 다양한 텍스트 중심 작업에서 검색 증강 생성(RAG)의 성공에도 불구하고, 코드 생성 개선을 위한 잠재력은 여전히 충분히 탐구되지 않았습니다. 본 연구에서는 검색이 코드 생성 모델에 어떤 시나리오에서 도움이 될 수 있는지, 그리고 어떤 도전 과제가 남아 있는지를 질문하며 체계적이고 대규모 분석을 수행합니다. 우리는 기본 프로그래밍, 오픈 도메인 및 저장소 수준 문제를 포함한 세 가지 범주의 코드 생성 작업을 포괄하는 종합적인 평가 벤치마크인 CodeRAG-Bench를 처음으로 Curate 합니다. 우리는 모델이 컨텍스트를 검색할 수 있도록 경쟁 솔루션, 온라인 튜토리얼, 라이브러리 문서, StackOverflow 게시물 및 GitHub 저장소의 다섯 가지 출처에서 문서를 집계합니다. 우리는 여러 출처에서 검색된 컨텍스트를 제공하여 CodeRAG-Bench에서 최고의 성능을 발휘하는 모델을 조사합니다. 다양한 설정에서 고품질 컨텍스트를 검색하여 최종 코드 생성에서 주목할 만한 이득이 발생하지만, 우리의 분석은 개선의 여지가 있음을 나타냅니다. 현재의 검색기들은 특히 제한된 어휘 오버랩으로 유용한 컨텍스트를 가져오는 데 여전히 어려움을 겪고 있으며, 생성기들은 제한된 컨텍스트 길이나 추가 컨텍스트를 통합할 수 있는 능력이 부족해 개선되지 않습니다. 우리는 CodeRAG-Bench가 고급 코드 중심 RAG 방법의 추가 개발을 촉진하는 효과적인 테스트베드가 되기를 바랍니다.