엣지 AI 기기에서 딥러닝 모델을 효율적으로 추론하는 것은 매우 중요합니다. 고정 소수점 산술을 사용하는 저비트 양자화(예: 3비트 및 4비트)는 효율성을 향상시키고, 아날로그 비휘발성 메모리와 같은 저전력 메모리 기술은 추가적인 이득을 가능하게 합니다. 그러나 이러한 방법들은 비트 결함 및 디바이스 간 변동성을 포함한 비이상적인 하드웨어 동작을 일으킵니다. 우리는 고정, 학습 가능한 스텝 크기 및 학습 가능한 비균일 양자화를 지원하는 정규화 기반 양자화 인지 훈련(QAT) 프레임워크를 제안하며, CIFAR-10 및 ImageNet에서 경쟁력 있는 결과를 달성합니다. 본 방법은 스파이킹 신경망(SNN)에도 확장되어 CIFAR10-DVS 및 N-Caltech 101의 4비트 네트워크에서 뛰어난 성능을 보여줍니다. 양자화를 넘어, 본 프레임워크는 결함 및 변동성 인지 미세 조정을 가능하게 하여, 고정된 가중치 비트(고착 결함)와 디바이스 저항 변동성을 완화합니다. 기존의 결함 인지 학습과 비교하여, 본 접근법은 최대 20% 비트 결함률 및 40% 디바이스 간 변동성에서 성능 회복을 현저히 개선합니다. 우리의 결과는 저전력 비이상적 하드웨어에서 효율성과 신뢰성을 향상시키는 양자화 및 견고성 인지 학습을 위한 일반화 가능한 프레임워크를 확립합니다.
Biswas 등(Mon,)이 이 문제를 연구했습니다.