Key points are not available for this paper at this time.
Esta revisão é em memória de um dos criadores da teoria do gargalo de informação, Prof. Naftali Tishby, que faleceu aos 68 anos em agosto de 2021. O gargalo de informação (IB), uma nova abordagem teórica da informação para análise de padrões e aprendizado de representação, ganhou ampla popularidade desde seu surgimento em 1999. Ele fornece um equilíbrio elegante entre compressão de dados e preservação de informação, melhorando sua capacidade de previsão ou representação de acordo. Esta revisão resume tanto o progresso teórico quanto as aplicações práticas do IB nos últimos 20 anos, onde sua teoria básica, otimização, modelos extensivos e algoritmos orientados a tarefas são explorados sistematicamente. Os métodos IB existentes são divididos em duas partes: IB tradicional e IB profundo, onde o primeiro contém os IBs otimizados por técnicas tradicionais de análise de aprendizado de máquina sem envolver redes neurais, e o último inclui os IBs que envolvem a interpretação, otimização e melhoria de trabalhos com redes neurais profundas (DNNs). Especificamente, com base na taxonomia de técnicas, os IBs tradicionais são classificados em três categorias: Básico, Informativo e Propagador; Enquanto os IBs profundos, com base na taxonomia de definições de problemas, contêm Debate: Entendendo DNNs com IB, Otimizando DNNs Usando IB e métodos IB baseados em DNN. Além disso, algumas questões potenciais merecedoras de pesquisa futura são discutidas. Esta revisão tenta traçar um quadro mais completo do IB, do qual os estudos subsequentes podem se beneficiar.
Hu et al. (Qui,) estudaram esta questão.