텍스트 마이닝 사례 연구: 월드컵 트윗에서 트위터 데이터 해석

클러스터 분석은 데이터에서 숨겨진 패턴을 추출하는 데이터 분석의 한 분야입니다. 클러스터 분석의 한 응용은 텍스트 마이닝으로, 문서 간의 유사성을 찾기 위해 대량의 텍스트를 분석하는 것입니다. 우리는 월드컵이 시작되기 전 트위터에서 추출한 약 30,000개의 트윗을 사용했습니다. 실제 세계의 텍스트 데이터에서 일반적인 문제는 언어적 잡음이 존재하는 것입니다. 우리의 경우 그것은 주요 주제와 관련이 없는 별도의 트윗입니다. 이 문제를 해결하기 위해 우리는 DBSCAN 알고리즘과 합의 행렬을 결합한 알고리즘을 만들었습니다. 이렇게 해서 우리는 주요 주제와 관련된 트윗만 남게 됩니다. 그런 다음 클러스터 분석을 사용하여 트윗이 설명하는 주제를 찾았습니다. 우리는 일반적으로 사용되는 클러스터링 알고리즘인 k-평균(k-means)과 비부정 행렬 분해(NMF)를 사용하여 트윗을 클러스터링하고 결과를 비교했습니다. 두 알고리즘은 유사한 결과를 제공했지만 NMF는 더 빠르고 더 쉽게 해석할 수 있는 결과를 제공하는 것으로 입증되었습니다. 우리는 Gephi와 Wordle이라는 두 가지 시각화 도구를 사용하여 결과를 탐색했습니다.