Radicalização e lematização na agrupamento de documentos textuais em finlandês

Radicalização e lematização foram comparadas no agrupamento de documentos textuais em finlandês. Como o finlandês é uma língua altamente flexional e aglutinante, hipotetizamos que a lematização, que envolve a separação das palavras compostas, seria uma abordagem de normalização mais apropriada do que a radicalização direta. A relevância dos documentos foi avaliada com uma escala de avaliação de relevância de quatro pontos, que foi colapsada em uma escala binária ao considerar todos os documentos relevantes e apenas os documentos altamente relevantes. Experimentos com quatro métodos de agrupamento hierárquico apoiaram a hipótese. A escala de relevância rigorosa mostrou que a lematização permitiu que os métodos de ligação única e completa recuperassem especialmente os documentos altamente relevantes melhor do que a radicalização. Em comparação com a radicalização, a lematização junto com os métodos de ligação média e Ward produziu maior precisão. Concluímos que a lematização é um melhor método de normalização de palavras do que a radicalização, quando documentos textuais em finlandês são agrupados para recuperação de informações.