트랜스포머 기반 언어 모델의 계산 및 메모리 오버헤드는 시퀀스 길이에 따라 제곱적으로 증가합니다. 이러한 제곱비용은 LLM이 긴 시퀀스를 처리하는 데 어려움을 초래합니다. 본 연구에서는 짧은 문맥 트랜스포머 기반 LLM의 문맥 길이를 확장하기 위한 방법인 ~ (테스트 시간에 확장)를 소개합니다. 이 방법은 일정한 메모리 요구 사항과 선형 계산 오버헤드를 가집니다. ETT는 입력 문맥을 겹치는 작은 하위 시퀀스로 나누어 모델의 매개변수를 효율적으로 미세 조정하여 테스트 시간에 문맥 길이를 확장할 수 있게 합니다. 우리는 LongBench에서 GPT-Large와 Phi-2의 문맥 길이를 1k에서 32k 토큰까지 32배까지 확장하여 ETT를 평가합니다. 이로 인해 모델의 정확도가 최대 30% 향상됩니다. 또한, LLM의 가중치에 문맥을 효과적이고 효율적으로 저장하는 방법을 연구합니다. 상세한 절제 연구를 통해 테스트 시간에 미세 조정하는 데 가장 유익한 트랜스포머 모듈을 조사합니다. 흥미롭게도, FFNs의 두 번째 레이어를 미세 조정하는 것이 전체 미세 조정보다 더 효과적이며, 이는 모델의 정확도를 추가로 향상시키는 결과를 가져옵니다.
Zahirnia et al. (화요일,) 이 질문을 연구했습니다.