희소 온라인 주제 모델

주제 모델은 텍스트 문서와 웹 뉴스 기사에서부터 이미지, 비디오, 심지어 생물학적 데이터에 이르기까지 복잡한 데이터 집합에서 잠재적 의미 구조를 발견하는 데 큰 가능성을 보여주었습니다. 대량의 데이터 컬렉션과 동적 텍스트 스트림을 처리하기 위해, 최근 온라인 잠재 디리클레 할당(OLDA)과 같은 확률적 온라인 주제 모델이 개발되었습니다. 그러나 정규화 제약으로 인해 OLDA는 발견된 표현의 희소성을 제어하는 데 비효율적일 수 있으며, 이는 특히 주제의 총 수가 많을 때 해석 가능한 의미 패턴을 학습하는 데 바람직한 특성입니다. 반대로, 희소 주제 코딩(STC)은 희소성을 유도하는 정규화를 사용하여 효과적으로 희소한 잠재 패턴을 발견하기 위한 비확률적 주제 모델로 성공적으로 도입되었습니다. 하지만 불행히도 STC는 배치 학습 절차로 인해 매우 큰 데이터 세트에 확장하거나 온라인 텍스트 스트림을 처리할 수 없습니다. 이 논문에서는 희소성을 유도하는 정규화를 부과하여 잠재적인 의미 패턴의 희소성을 직접 제어하고 온라인 알고리즘을 통해 주제 사전을 학습하는 희소 온라인 주제 모델을 제시합니다. 온라인 알고리즘은 효율적이며 수렴이 보장됩니다. 대규모 위키피디아 데이터 세트와 중규모 20Newsgroups 데이터 세트에서 희소 온라인 주제 모델 및 그 축소 및 감독 확장의 광범위한 실증 결과는 매력적인 성능을 입증합니다.