Key points are not available for this paper at this time.
Tem havido uma metodologia de longa data para avaliar trabalhos em reconhecimento de fala (SR), mas até recentemente não existia uma metodologia de comunidade ampla para pesquisadores de linguagem natural (NL) ou pesquisadores de compreensão de fala (SU) para avaliar os sistemas que desenvolveram. Recentemente, um progresso considerável foi feito por vários grupos envolvidos no programa de Sistemas de Linguagem Falada (SLS) da DARPA para concordar sobre uma metodologia para avaliação comparativa de sistemas SLS, e essa metodologia está sendo utilizada na prática pela primeira vez. Este artigo dá uma visão geral do processo que foi seguido na criação de um mecanismo de avaliação significativo, descreve o mecanismo atual e apresenta algumas direções para desenvolvimentos futuros.
Bates et al. (Mon,) estudaram esta questão.