Melhorando o stemming para recuperação de informação em árabe

O árabe, uma língua altamente flexionada, requer um bom stemming para uma recuperação de informação eficaz, no entanto, nenhuma abordagem padrão para stemming foi desenvolvida. Nós desenvolvemos vários stemmers leves baseados em heurísticas e um stemmer estatístico baseado em coocorrência para recuperação em árabe. Comparamos a eficácia da recuperação dos nossos stemmers e de um analisador morfológico nos dados do TREC-2001. O melhor stemmer leve foi mais eficaz para recuperação em múltiplas línguas do que um stemmer morfológico que tentava encontrar a raiz de cada palavra. Um processo de reparticionamento consistindo na remoção de vogais seguido de agrupamento usando análise de coocorrência produziu classes de stem que foram melhores do que nenhuma aplicação de stemming ou stemming muito leve, mas ainda inferiores ao bom stemming leve ou análise morfológica.