Seed-ASR: LLM 기반 음성 인식을 통한 다양한 음성 및 상황 이해

현대의 자동 음성 인식(ASR) 모델은 다양한 도메인, 언어, 억양 등에서 나오는 다양한 음성 신호를 특정 상황적 정보를 고려하여 정확하게 전사해야 합니다. 기존의 엔드투엔드 모델에 추가 언어 모델을 결합한 방식은 데이터 일치 시나리오에서는 잘 작동하지만 점차 한계에 다다르고 있습니다. 본 연구에서는 Seed-ASR이라는 대형 언어 모델(LLM) 기반 음성 인식 모델을 소개합니다. Seed-ASR은 음성 조건 부여 LLM(AcLLM) 프레임워크를 기반으로 개발되었으며, 연속 음성 표현과 상황 정보를 함께 LLM에 입력하여 LLM의 능력을 활용합니다. 단계별 대규모 학습과 LLM의 상황 인식 능력 유도를 통해, Seed-ASR은 다중 도메인, 억양/방언 및 언어를 포함한 종합 평가 세트에서 엔드투엔드 모델 대비 유의미한 성능 향상을 보여줍니다. 또한, Seed-ASR은 추가 언어 모델 없이도 다양한 시나리오에서 특정 요구를 지원하도록 배포할 수 있습니다. 최근 공개된 대형 ASR 모델과 비교 시, Seed-ASR은 중국어 및 영어 공개 테스트 세트에서 단어(중국어는 문자) 오류율을 10%-40% 감소시켜 강력한 성능을 입증합니다.