문맥 내 학습을 위한 시연 선택 및 압축 통합

문맥 내 학습(ICL)은 대규모 언어 모델(LLM)이 다양한 시나리오에서 놀라운 emergent 기능을 발휘할 수 있도록 합니다. 불행히도, 시연을 도입하면 프롬프트 길이가 급격히 증가하여 하드웨어에 부담을 줍니다. 또한, 무작위 시연은 일반적으로 ICL에서 제한된 개선을 가져오며, 접근 가능한 후보들 중에서 시연 선택이 필요합니다. 이전 연구들은 시연 압축 또는 선택을 독립적으로 수행하기 위해 추가 모듈을 도입했습니다. 본 논문에서는 시연 선택과 압축, 최종 응답 생성을 단일 동결 LLM을 통해 통합하는 ICL 프레임워크인 UniICL을 제안합니다. 구체적으로, UniICL은 실제 시연과 추론 텍스트 입력을 각각 짧은 가상의 토큰으로 투영합니다. 그런 다음, 가상 토큰을 활용하여 잠재 공간 내 후보 시연과 추론 입력 간의 의미적 유사성을 측정하여 적합한 시연을 선택합니다. 마지막으로, 선택된 가상 시연과 함께 추론 텍스트 입력이 동일한 동결 LLM에 공급되어 응답 생성이 이루어집니다. 특히, UniICL은 투영 층에서 유래한 1700만 개의 훈련 가능한 매개변수만 포함하는 매개변수 효율적인 프레임워크입니다. 우리는 생성 및 이해 작업 모두에 대한 도메인 내외 데이터셋에서 실험과 분석을 수행하며, 풍부한 시연 후보와 제한된 시연 후보가 있는 ICL 시나리오를 포함합니다. 결과는 UniICL이 12개의 압축, 시연 선택 및 응답 생성을 효과적으로 통합하여 IMDb에서 4샷에서 64샷 ICL로 기준 기반을 효율적으로 확장한다는 것을 보여줍니다.