대형 언어 모델을 위한 메모리 효율적인 미세 조정에 관한 조사

초록 대형 언어 모델(LLM)의 미세 조정은 인간의 의도에 맞추기 위한 중요한 과정이지만, 이 과정은 여전히 메모리를 많이 소모하고 있으며, 작업과 모델 구조에 따라 다릅니다. 이러한 크고 변동하는 메모리 비용은 제한된 하드웨어에서 LLM의 확장 및 배포를 복잡하게 만듭니다. 하지만 기존의 메모리 효율성에 대한 조사들은 종종 표면적이거나 범위가 너무 좁고, 특정 하위 분야에 집중하는 경향이 있습니다. 이 격차를 해결하기 위해, 이 조사는 LLM에 맞춘 메모리 효율적인 미세 조정(MEFT)에 대한 첫 번째 체계적인 검토를 제공합니다. 연구 환경에 따라 기존 접근 방식을 분류한 후(즉, 모델 자체 및 시스템) 특정 최적화 대상에 따라 모델 기반 접근 방식을 추가로 분류합니다. 우리는 또한 MEFT 방법을 평가하기 위한 평가 전략에 대해 논의하고 경험적 분석을 제공합니다. 현재 방법을 기반으로 한 도전 과제와 미래 방향을 강조함으로써, 이 조사는 MEFT 방법 개발을 위한 실용적인 가이드 역할을 목표로 합니다.