토큰 속도는 분산 대형 언어 모델 서비스를 위한 자동 스케일링 시스템인 TokenScale에 의해 도입된 개념으로, 인스턴스가 현재 자원 아래에서 초당 해제할 수 있는 최대 토큰 수로 정의됩니다. 이 논문은 프리필 및 디코드 단계에서 별도로 측정된 이 메트릭과 그 오프라인 추정 절차를 다음과 같은 하드웨어에 적용합니다: JAX 기반 TPU 소프트웨어 스택을 통해 Gemma 2B 모델을 서비스하는 단일 Google TPU v5e 칩. 서비스 구성은 이 시리즈의 처음 두 부분에서 수립된 최적화된 것으로, 토큰 선택 수정, 배치 크기 조정 및 주의 커널 블록 크기 조정을 통해 이 칩의 처리량을 12.7배 증가시켰습니다. 세 가지 결과가 보고됩니다. 첫째, 이 칩에 대한 아홉 개 버킷 속도 표입니다: 프리필 속도는 초당 약 38,000개의 입력 토큰으로, 입력 길이에 따라 거의 일정하며, 디코드 속도는 짧은 입력에 대해 약 8,300개의 출력 토큰에서 문맥 한계에 가까운 입력에 대해 2,900개로 변화하며, 입력 길이에 거의 전적으로 지배받고 출력 길이에 거의 영향을 받지 않습니다. 둘째, 재조정된 주의 커널하에서 전체 표의 통제된 반복: 짧은 입력 버킷에서 디코드 속도를 최대 84% 증가시키는 동일한 변경이 긴 입력 버킷에서는 24% 손실되며, 커널 조정의 영역 경계를 1,024에서 7,168 입력 토큰 사이에 위치시키고, 이전 부분에서 질적으로 주장된 영역 의존성을 측정된 부호 변화로 확인합니다. 셋째, 메트릭 자체의 결과: 디코드 속도는 하드웨어와 모델 쌍의 상수가 아니며, 자동 스케일링 시스템이 한 번 프로파일링할 때 가정하는 것처럼, 하드웨어, 모델, 커널 구성의 세 가지 조합의 특성입니다. 프로파일링 후에 배포된 커널 변경은 테이블을 동시에 양방향으로 이동시킵니다. 작업된 함대 크기 예시에서 커널 선택이 고정 트래픽 믹스에 필요한 칩 수를 변경하는 것을 보여줍니다. 측정 시리즈의 파트 3; 파트 1 및 2는 DOI 10.5281/zenodo.21212010에서 이용 가능합니다.
Rubens de Almeida Zimbres (Mon,)가 이 질문을 연구했습니다.