汉语句子的词汇识别

汉语句子由一串没有空格的字符组成，以标记单词。然而，句子解析和理解的基本单位是单词。因此，处理汉语句子的第一步是识别单词。识别单词的难点包括（1）复杂词的识别，如指示词-计量词、重叠词、派生词等；（2）专有名词的识别；（3）解决模糊的分割。在本文中，我们提出了上述困难的可能解决方案。我们采用一种匹配算法，结合6种不同的启发式规则来解决歧义，并实现了99.77%的成功率。统计数据显示，最大匹配算法是最有效的启发式方法。