언어 모델 미세 조정을 위한 분산 감소 제로차 방법

언어 모델(LM)의 미세 조정은 다양한 다운스트림 작업에서 성공을 보여주었습니다. 그러나 LM이 확대됨에 따라, 역전파를 위한 메모리 요구사항이 엄청나게 증가합니다. 제로차(ZO) 최적화 방법은 메모리 효율적인 순방향 패스를 활용하여 그래디언트를 추정할 수 있습니다. 최근 MeZO, ZO-SGD의 적응형 버전이 적절한 작업 프롬프트와 결합될 때 제로샷 학습 및 맥락 학습을 일관되게 능가하는 것으로 나타났습니다. 이 작업에서는 ZO 방법과 분산 감소 기법을 결합하여 추론 기반 LM 미세 조정을 위한 안정성과 수렴성을 향상시킵니다. 우리는 메모리 효율적인 제로차 확률적 분산 감소 그래디언트(MeZO-SVRG)를 소개하고, 작업별 프롬프트에 대한 의존성을 없애면서 여러 LM 미세 조정 작업에서 그 효능을 입증합니다. 우리는 벤치마크 GLUE 작업에서 여러 마스크 및 자회귀 LM에 대해 평가하였으며, MeZO-SVRG는 전체 및 부분 매개변수 미세 조정 설정에서 최대 20%의 테스트 정확도 향상으로 MeZO를 능가합니다. MeZO-SVRG는 종종 MeZO의 주요 테스트 정확도를 초과하므로 GPU 시간에서 2의 감소를 통해 계산 시간을 단축합니다. MeZO-SVRG는 1차 SGD에 비해 요구되는 메모리 발자국을 상당히 줄이며, 즉 자회귀 모델에서 2만큼 줄어듭니다. 우리의 실험은 MeZO-SVRG의 메모리 절약이 더 큰 배치 크기에 비례하여 점진적으로 개선됨을 강조합니다.