Uma Análise da Perda de Entropia Cruzada Softmax para Aprendizagem de Classificação com Relevância Binária

Um dos desafios da aprendizagem de classificação para recuperação de informação é que as métricas de classificação não são suaves e, portanto, não podem ser otimizadas diretamente com métodos de otimização por descida do gradiente. Essa lacuna gerou um grande corpo de pesquisa que reformula o problema para se encaixar em estruturas existentes de aprendizado de máquina ou define uma função de perda substituta, adequada para classificação. Uma dessas perdas é a de ListNet, que mede a entropia cruzada entre uma distribuição sobre documentos obtidas a partir de pontuações e outra de rótulos de verdadeiros. Essa perda foi projetada para capturar as probabilidades de permutação e, assim, é considerada apenas vagamente relacionada às métricas de classificação. Neste trabalho, no entanto, mostramos que a declaração acima não é inteiramente precisa. De fato, estabelecemos uma conexão analítica entre a perda de ListNet e duas métricas de classificação populares em um cenário de aprendizagem de classificação com rótulos de relevância binária. Em particular, mostramos que a perda limita a Média Recíproca de Ranking e o Ganho Cumulativo Descontado Normalizado. Nossa análise lança luz sobre o comportamento do ListNet e explica seu desempenho superior em dados rotulados binariamente em comparação a dados com relevância graduada.