EasySteer: 고성능 및 확장 가능한 LLM 조정을 위한 통합 프레임워크

대형 언어 모델(LLM) 조정은 숨겨진 상태의 표적 조작을 통해 추론 시간에 모델 행동을 제어하는 유망한 패러다임으로 등장하였으며, 비싼 재훈련에 대한 가벼운 대안을 제공합니다. 그러나 기존의 조정 프레임워크는 연구 진행과 실제 배치를 방해하는 핵심적인 제한 사항인 계산 비효율성, 제한된 확장성 및 제한된 기능으로 고통받고 있습니다. 우리는 EasySteer를 발표합니다. 이는 vLLM 위에 구축된 고성능, 확장 가능한 LLM 조정을 위한 통합 프레임워크입니다. 우리의 시스템은 분석 기반 및 학습 기반 방법을 위한 플러그형 인터페이스를 갖춘 모듈식 아키텍처, 세분화된 매개변수 제어, 8개의 응용 분야를 위한 사전 계산된 조정 벡터, 인터랙티브 데모 시스템을 특징으로 합니다. vLLM의 최적화된 추론 엔진과의 깊은 통합을 통해 EasySteer는 기존 프레임워크보다 5.5배에서 11.4배의 속도 향상을 달성합니다. 광범위한 실험을 통해 과도한 사고 완화, 환각 감소 및 기타 주요 응용 프로그램에서의 효과성을 입증합니다. EasySteer는 조정을 연구 기술에서 배포 가능하고 제어할 수 있는 언어 모델을 위한 생산 준비 인프라로 변환합니다.