훈련 없는 슬라이딩 윈도우 컨텍스트의 지수 확장과 캐스케이딩 KV 캐시

변환기 내의 컨텍스트 윈도우는 현재 작업에 대한 능동적 메모리 형태를 제공하며, 이는 이전 컨텍스트 토큰에 크게 의존하는 소수의 샷 학습 및 조건부 생성에 유용할 수 있습니다. 그러나 컨텍스트 길이가 증가함에 따라 계산 비용이 제곱적으로 증가합니다. 최근 연구에서는 몇 개의 초기 토큰을 고정 크기의 슬라이딩 윈도우와 함께 저장하면 변환 기반 대형 언어 모델(LLM)에서 선형 복잡도로 안정적인 스트리밍 생성을 이끌어낸다는 것을 보여주었습니다. 그러나 이들은 고정 윈도우를 최적으로 활용하지 않고, 윈도우의 끝에 도달하면 키-값(KV) 캐시에서 모든 토큰을 무조건적으로 추방하여 토큰이 잊혀지고 이후 예측에 영향을 미치지 못하게 합니다. 이러한 제한을 극복하기 위해, 우리는 이전 버퍼에서 추방된 상대적으로 더 중요한 토큰의 일부를 조건부로 수용하는 별도의 캐스케이딩 서브 캐시 버퍼를 유지하여 전체 캐시 크기가 같은 긴 슬라이딩 윈도우 컨텍스트를 저장하는 새로운 메커니즘을 제안합니다. 우리의 방법은 고정되고 정적 슬라이딩 윈도우 접근 방식보다 더 먼 과거의 토큰을 저장할 수 있는 동적 KV 캐시를 만들어냅니다. 우리의 실험은 동일한 고정 캐시 크기를 기준으로 LLM을 사용하여 긴 컨텍스트 생성(LongBench)에서 5.6%, 스트리밍 당혹감(PG19)에서 1.2%, 언어 이해(MMLU STEM)에서 0.6%의 개선을 보여줍니다. 또한, 캐싱 작업 당 1.33ms에서 0.54ms로 KV 캐시 지연 시간을 개선하는 효율적인 구현을 제공하며, 이는 이전 작업에 비해 59%의 속도 향상입니다.