用于文档检索的自动短语标引非句法方法的有效性

通过使用复杂描述符（例如短语），除了自动构建的文档内容表示中通常使用的简单描述符（词或词干）之外，可能可以提高自动标引系统的质量。本研究旨在开发有效的方法来识别自然语言文本中的短语，并据此构建高质量的短语描述符。一种方法（一种简单的非句法短语标引程序）的有效性已在五个实验文档集上进行了测试。对结果进行了分析，以找出该程序的不足之处，并确定需要关于文本结构的哪些类型的信息，以构建能良好指示文档内容的短语描述符。得出了两个主要结论：(1) 在检索实验中，非句法短语构建程序并未始终如一地显著提高检索效果。因此，这种短语标引不太可能成为在实际运行环境中提升自动文档标引和检索系统性能的重要方法。(2) 非句法方法的许多缺点可以通过在短语构建过程中纳入句法信息来克服。然而，可能需要一个通用的句法分析工具，因为如果只能识别有限的句法模式，许多有用的短语来源就无法被利用。应进一步研究将自动句法分析纳入用于文档检索的内容分析的方法。© 1989 John Wiley & Sons, Inc.