Máquinas de Aprendizado Extremas Multilayer Baseadas em Kernel para Aprendizado de Representação

Recentemente, a máquina de aprendizado extremo multilayer (ML-ELM) foi aplicada a autoencoders empilhados (SAE) para aprendizado de representação. Em contraste com o SAE tradicional, o tempo de treinamento do ML-ELM é reduzido significativamente de horas para segundos com alta precisão. No entanto, o ML-ELM sofre de várias desvantagens: 1) ajuste manual no número de nós ocultos em cada camada é um fator incerto para o tempo de treinamento e generalização; 2) a projeção aleatória de pesos de entrada e viés em cada camada do ML-ELM leva a uma generalização subótima do modelo; 3) a solução pseudoinversa para pesos de saída em cada camada resulta em um erro de reconstrução relativamente grande; e 4) o armazenamento e o tempo de execução para matrizes de transformação em aprendizado de representação são proporcionais ao número de camadas ocultas. Inspirado pelo aprendizado de kernel, uma versão kernel do ML-ELM é desenvolvida, a saber, ELM kernel multilayer (ML-KELM), cujas contribuições são: 1) eliminação do ajuste manual no número de nós ocultos em cada camada; 2) sem mecanismo de projeção aleatória de modo a obter uma generalização ótima do modelo; 3) solução inversa exata para pesos de saída é garantida sob matriz de kernel invertível, resultando em menor erro de reconstrução; e 4) todas as matrizes de transformação são unificadas em apenas duas matrizes, de modo que o armazenamento pode ser reduzido e pode encurtar o tempo de execução do modelo. Conjuntos de dados de referência de diferentes tamanhos foram empregados para a avaliação do ML-KELM. Resultados experimentais verificaram as contribuições do ML-KELM proposto. A melhoria na precisão sobre conjuntos de dados de referência é de até 7%.