Estimativa da entropia diferencial de Shannon: Uma revisão comparativa extensa

Neste trabalho de pesquisa, um total de 45 estimadores diferentes da entropia diferencial de Shannon foi revisado. Os estimadores foram principalmente baseados em três classes, a saber: espaçamentos de tamanho de janela, estimativa de densidade por kernel (KDE) e estimativa de k-vizinhos mais próximos (kNN). Um total de 16, 5 e 6 estimadores foram selecionados de cada uma das classes, respectivamente, para comparação. O desempenho dos 27 estimadores selecionados, em termos de seus valores de viés e erros quadráticos médios (RMSEs), bem como seus comportamentos assintóticos, foi comparado por meio de extensas simulações de Monte Carlo. As comparações empíricas foram realizadas em tamanhos de amostra diferentes de 10, 50 e 100 e diferentes dimensões variáveis de 1, 2, 3 e 5, para três grupos de distribuições contínuas de acordo com sua simetria e suporte. Os resultados mostraram que os estimadores baseados em espaçamentos geralmente tiveram um desempenho melhor do que os estimadores das outras duas classes em nível univariado, mas sofreram com a não existência em nível multivariado. Os estimadores baseados em kNN foram geralmente inferiores aos estimadores das outras duas classes consideradas, mas mostraram uma vantagem de existência para todas as dimensões. Além disso, uma nova classe de tamanho de janela ótimo foi obtida e conjuntos de estimadores foram recomendados para diferentes grupos de distribuições em diferentes dimensões variáveis. Por fim, os viéses assintóticos, variâncias e distribuições dos 'melhores estimadores' foram considerados.