Floresta profunda

Os modelos atuais de aprendizado profundo são principalmente construídos sobre redes neurais, ou seja, múltiplas camadas de módulos não-lineares diferenciáveis parametrizados que podem ser treinados por retropropagação. Neste artigo, exploramos a possibilidade de construir modelos profundos baseados em módulos não diferenciáveis, como árvores de decisão. Após uma discussão sobre o mistério por trás das redes neurais profundas, particularmente contrastando-as com redes neurais rasas e técnicas tradicionais de aprendizado de máquina, como árvores de decisão e máquinas de boosting, conjecturamos que o sucesso das redes neurais profundas deve muito a três características, ou seja, processamento camada por camada, transformação de características dentro do modelo e complexidade de modelo suficiente. Por um lado, nossa conjectura pode oferecer inspiração para a compreensão teórica do aprendizado profundo; por outro lado, para verificar a conjectura, propomos uma abordagem que gera uma floresta profunda com essas características. Esta é uma abordagem de conjunto de árvores de decisão, com menos hiperparâmetros do que as redes neurais profundas, e sua complexidade de modelo pode ser determinada automaticamente de forma dependente dos dados. Experimentos mostram que seu desempenho é bastante robusto em relação às configurações de hiperparâmetros, de modo que, na maioria dos casos, mesmo com dados diferentes de diferentes domínios, é capaz de alcançar um desempenho excelente usando a mesma configuração padrão. Este estudo abre as portas para o aprendizado profundo baseado em módulos não diferenciáveis sem ajuste baseado em gradiente, e exibe a possibilidade de construir modelos profundos sem retropropagação.