自然语言处理中的词嵌入和语义空间

在过去二十年中，自然语言处理（NLP）领域面临的一个关键障碍和突破是开发文本表示技术，以解决所谓的维度诅咒。这是一个普遍困扰NLP的问题，因为学习的特征集的大小通常与所涉及语言的规模成正比，通常需要数十万术语。因此，过去二十年中，NLP的研究和开发主要集中在找到和优化解决此问题的方案，以有效地进行特征选择。本文探讨了这些各种技术的发展，利用了一系列基于20世纪中叶提出的语言理论的统计方法，即分布假设，该假设表明在类似上下文中出现的词通常具有相似的意义。在这篇综述论文中，我们从数学和数据结构的角度回顾了一些最受欢迎的技术的发展，从潜在语义分析到向量空间模型，以及它们更现代的变体，通常被称为词嵌入。在对Word2Vec、GloVe、ELMo和BERT等算法的审查中，我们更普遍地探讨了语义空间的概念，超越了NLP的适用性。