맘바: 선택적 상태 공간을 활용한 선형 시간 시퀀스 모델링

기초 모델은 현재 딥 러닝의 대부분의 흥미로운 애플리케이션을 지원하며, 거의 보편적으로 트랜스포머 아키텍처와 그 핵심 주의 모듈을 기반으로 합니다. 선형 주의, 게이티드 컨볼루션 및 순환 모델, 구조화된 상태 공간 모델(SSM)과 같은 많은 하위 제곱 시간 아키텍처가 긴 시퀀스에서 트랜스포머의 계산 비효율성을 해결하기 위해 개발되었지만, 언어와 같은 중요한 양식에서 주의 모델만큼 잘 수행되지 않았습니다. 이러한 모델의 주요 약점은 내용 기반 추론을 수행할 수 없다는 점을 발견하고 몇 가지 개선점을 제시합니다. 첫째, SSM 매개 변수를 입력 함수로 설정하면 이산 양식에서의 약점을 보완하여 모델이 현재 토큰에 따라 시퀀스 길이 차원에 따라 선택적으로 정보를 전파하거나 잊을 수 있도록 합니다. 둘째, 이 변경은 효율적인 컨볼루션 사용을 방지하지만, 우리는 순환 모드에서 하드웨어 인식 병렬 알고리즘을 설계합니다. 우리는 이러한 선택적 SSM을 주의나 MLP 블록 없이 단순화된 엔드 투 엔드 신경망 아키텍처(맘바)에 통합합니다. 맘바는 빠른 추론(트랜스포머보다 5배 높은 처리량)과 시퀀스 길이에 대한 선형 확장을 즐기며, 실제 데이터에서 백만 길이 시퀀스까지 성능이 향상됩니다. 일반 시퀀스 모델 백본으로서, 맘바는 언어, 오디오, 유전체학과 같은 여러 양식에서 최첨단 성능을 달성합니다. 언어 모델링에서 우리의 맘바-3B 모델은 동일한 크기의 트랜스포머보다 뛰어난 성능을 보여주며, 사전 훈련 및 다운스트림 평가 모두에서 그 크기의 두 배인 트랜스포머와 동등한 성능을 보입니다.