MEMEN：用于机器理解的记忆网络多层嵌入

机器理解（MC）风格的问答是自然语言处理中的一个代表性问题。以前的方法很少花时间在编码层的改进上，特别是词汇的语法信息和命名实体的嵌入，这对于编码质量至关重要。此外，现有的注意力方法将每个查询词表示为一个向量，或使用一个单一的向量表示整个查询句子，这两种方法都无法处理查询句子中关键词的适当权重。本文介绍了一种新颖的神经网络架构，称为记忆网络多层嵌入（MEMEN），用于机器阅读任务。在编码层中，我们采用经典的跳字模型来处理词汇的语法和语义信息，以训练一种新的嵌入层。我们还提出了一种查询与段落之间全方位匹配的记忆网络，以捕捉更多重要信息。实验表明，我们的模型在斯坦福问答数据集（SQuAD）中在精确度和效率方面具有竞争力，并在TriviaQA数据集上达到了最先进的结果。