Pesagem de Transduções de Estados Finitos com Contexto Neural

Como aplicar o aprendizado profundo a tarefas como reinflexão morfológica, que editam estocasticamente uma string para obter outra? Uma abordagem recente para tais tarefas de sequência para sequência é comprimir a string de entrada em um vetor que é então usado para gerar a string de saída, utilizando redes neurais recorrentes. Em contraste, propomos manter a arquitetura tradicional, que usa um transdutor de estado finito para avaliar todas as possíveis strings de saída, mas aumentar a função de pontuação com a ajuda de redes recorrentes. Uma pilha de LSTMs bidirecionais lê a string de entrada da esquerda para a direita e da direita para a esquerda, a fim de resumir o contexto de entrada no qual um arco de transdutor é aplicado. Combinamos essas características aprendidas com o transdutor para definir uma distribuição de probabilidade sobre strings de saída alinhadas, na forma de um autômato de estados finitos ponderado. Isso reduz a engenharia manual de características, permite que características aprendidas examinem contextos ilimitados na string de entrada e ainda possibilita inferência exata através de programação dinâmica. Ilustramos nosso método nas tarefas de reinflexão morfológica e lematização.