다국어 우르두 텍스트를 위한 규칙 기반 형태소 분석 방법

우르두는 파키스탄의 국어이며, 2억 이상의 사람들이 구술 및 서면 의사소통에 사용합니다. 전 세계에는 방대한 양의 비구조화된 우르두 텍스트 데이터가 존재하며, 데이터 마이닝 기법을 적용하여 유용한 정보를 얻을 수 있습니다. 그러나 우르두 언어를 기반으로 혁신적인 시스템을 개발하기 위한 처리 능력이 심각하게 부족합니다. 이 논문에서는 우르두 내접 형태소 분석의 도전 과제를 다룰 수 있는 우르두 언어에 대한 규칙 기반 형태소 분석 방법을 제시합니다. 제안된 형태소 분석 방법은 접두사, 내접어 및 접미사를 제거하여 우르두 단어의 어간을 생성합니다. 이 제안된 우르두 형태소 분석 기법에서는 저자들이 우르두 내접 단어의 두 가지 새로운 클래스와 새로운 최소 단어 길이 규칙을 소개했습니다. 제안된 우르두 내접 단어 클래스에 속하는 우르두 단어의 어간을 생성하기 위해 내접어 제거 규칙이 개발되었습니다. 제안된 우르두 형태소 분석 기법은 차용된 단어와 복합어의 어간을 생성하는 데에도 유능합니다. 제안된 접근법은 우르두 헤드라인 뉴스 데이터 세트에서 평가됩니다. 이 제안된 접근법은 기존의 최첨단 기법(A 라이트 웨이트 우르두 형태소 분석기)과 비교되어 제안된 방법의 효과성을 입증합니다. 제안된 방법은 90%에서 95%의 정확성을 제공하며, 우르두 형태소 분석 기법과 비교할 때 상당한 개선을 보여줍니다.