초록 비전 트랜스포머(ViT) 모델을 실제 의료 환경, 예를 들어 병원이나 진단 센터에서 사용하는 것은 종종 어려운 일입니다. 의사들의 작업용 컴퓨터는 대개 강력한 그래픽 프로세서(GPU)가 없고, 컴퓨팅 자원이 제한적입니다. 이 연구는 예측 성능의 큰 손실 없이 계산 비용을 줄이는 것을 목표로 한 모델 추론을 위한 완전한 실용적 파이프라인을 조사합니다. 제안된 접근 방식은 여러 최적화 기법을 결합합니다. 첫째, 지식 증류(KD)를 사용하여 소형 학생 모델이 더 크고 정확한 교사 모델의 행동을 모방하도록 학습합니다. 둘째, 훈련을 안정화하고 일반화를 향상시키기 위해 모델 가중치의 지수 이동 평균(EMA)을 결정합니다. 셋째, 모델 크기를 줄이고 추론을 가속화하기 위해 후 훈련 INT8 양자화(PTQ)를 탐구합니다. 또한, 양자화 효과를 미세 조정 동안 일부 반영하는 단순화된 양자화 인식 훈련 변형(QAT-lite)을 고려합니다. 피부 병변의 피부경 이미지를 포함하는 ISIC 데이터셋에 대해 실험을 수행합니다. 모델 성능은 정확도, 매크로 평균 F1 점수, ROC 곡선 아래 면적(ROC-AUC)을 포함한 표준 분류 지표를 사용하여 평가됩니다. CPU 성능도 추론 지연 시간, 처리량, 메모리 소비, 최종 모델 크기를 포함하여 분석됩니다. 결과는 후 훈련 INT8 양자화가 FP32 기준선에 근접한 성능을 유지하면서 메모리와 연산 요건을 상당히 줄인다는 것을 보여줍니다. 반면, QAT-lite는 PTQ에 비해 일관되게 재현 가능한 개선을 제공하지 않습니다.
Nigmatullin et al. (금요일)이 이 문제를 연구했습니다.