선형 비용 추론을 위한 교차 아키텍처 전이 학습 변환기

최근 선형 비용 추론(LCI)을 갖도록 자기 주의 블록의 디자인을 변경함으로써 변환기 언어 모델의 효율성을 개선하기 위해 여러 아키텍처가 제안되었습니다. 이 분야에서 주목할 만한 접근 방식은 상태-공간 기계(SSMs) 아키텍처로, 자기 주의 변환기와 동등한 성능을 언어 모델링 작업에서 보여주었습니다. 하지만 이러한 아키텍처의 변화는 처음부터 가중치를 전량 재훈련해야 하므로 새로운 아키텍처를 사용하고자 하는 연구자와 실무자에게 막대한 비용이 발생합니다. 보다 전통적인 선형 주의 작업에서는 스왑 및 미세 조정 프레임워크를 사용하여 전체 주의를 선형 주의로 근사화할 것을 제안했습니다. 이러한 접근 방식에 착안하여, 우리는 LCI와 자기 주의 기반 변환기 간의 공유 구성 요소의 가중치를 미리 학습된 모델 파라미터에서 새로운 아키텍처로 직접 전이하는 교차 아키텍처 전이 학습(XATL)을 제안합니다. 우리는 방법의 효능을 다양한 크기와 대안 주의 아키텍처에서 실험했으며, 이는 최대 2.5배의 훈련 시간을 단축시켜 주며 동일한 컴퓨팅 예산 내에서 LM 벤치마크에서 최대 2.6% 더 강력한 모델로 더 나은 최소값에 수렴함을 보여주었습니다.