Aproximação Um-vs-Cada para Softmax para Estimativa Escalável de Probabilidades

A representação softmax de probabilidades para variáveis categóricas desempenha um papel proeminente no aprendizado de máquina moderno, com inúmeras aplicações em áreas como classificação em larga escala, modelagem de linguagem neural e sistemas de recomendação. No entanto, a estimativa softmax é muito cara para inferência em grande escala devido ao alto custo associado ao cálculo da constante de normalização. Aqui, introduzimos uma aproximação eficiente para probabilidades softmax, que assume a forma de um limite inferior rigoroso sobre a probabilidade exata. Este limite é expresso como um produto sobre probabilidades par a par e leva a uma estimativa escalável baseada em otimização estocástica. Isso nos permite realizar estimativas estocásticas duplas por meio de subsampling tanto de instâncias de treinamento quanto de rótulos de classe. Mostramos que o novo limite possui propriedades teóricas interessantes e demonstramos seu uso em problemas de classificação.