Uma Pesquisa: Viagem no Tempo no Espaço de Aprendizado Profundo: Uma Introdução aos Modelos de Aprendizado Profundo e Como Os Modelos de Aprendizado Profundo Evoluíram das Ideias Iniciais

Este relatório mostrará a história da evolução do aprendizado profundo. Ele traçará desde a crença inicial no modelamento conexionista do cérebro e retornará para olhar sua realização inicial: redes neurais. Com o histórico de redes neurais, apresentaremos gradualmente como a rede neural convolucional, como representante dos modelos discriminativos profundos, se desenvolveu a partir das redes neurais, junto com muitas técnicas práticas que podem ajudar na otimização das redes neurais. Por outro lado, também vamos voltar para ver a história de evolução dos modelos generativos profundos, para entender como os pesquisadores equilibram o poder de representação e a complexidade computacional para alcançar a Máquina de Boltzmann Restrita e, finalmente, atingir as Redes de Crença Profunda. Além disso, também analisaremos a história de desenvolvimento da modelagem de dados de séries temporais com redes neurais. Começaremos com Redes Neurais com Atraso de Tempo e avançaremos para o modelo atualmente famoso chamado Rede Neural Recorrente e sua extensão Memória de Longo Prazo e Curto Prazo. Também abordaremos brevemente como construir redes neurais recorrentes profundas. Finalmente, concluiremos este relatório com algumas perguntas interessantes e abertas sobre redes neurais profundas.