다차원 샘플 데이터로부터 정보 이론적 양의 정확한 추정

연속 데이터의 실제 응용에서 정보 이론적 양을 사용하는 것은 종종 확률 밀도 함수가 높은 차원에서 추정되어야 한다는 사실 때문에 방해받습니다. 이는 신뢰할 수 없거나 계산적으로 불가능해질 수 있습니다. 이러한 유용한 양을 보다 접근 가능하게 만들기 위해, 히스토그램을 사용한 빈 빈도와 k-최근접 이웃(k-NN)과 같은 대체 접근법이 제안되었습니다. 그러나 이러한 방법의 적용 가능성에 대한 체계적인 비교가 부족했습니다. 우리는 신중하게 설계된 합성 테스트 케이스에서 커널 밀도 기반 추정(KDE)와 이 두 가지 대안을 비교하여 이 격차를 메우고자 합니다. 구체적으로, 샘플 데이터에서 정보 이론적 양인 엔트로피, 쿨백–라이블러 발산 및 상호 정보를 추정하고자 합니다. 참조로서 결과는 닫힌 형태의 해나 수치적 적분과 비교됩니다. 우리는 하나에서 열까지 다양한 형태의 분포로부터 샘플을 생성합니다. 우리는 샘플 크기, 분포 특성 및 선택된 하이퍼파라미터의 함수로서 추정기의 성능을 평가합니다. 또한 요구되는 계산 시간 및 특정 구현 과제를 비교합니다. 특히, 충분한 데이터가 있는 경우 k-NN 추정이 알고리즘 구현, 계산 효율성 및 추정 정확성 측면에서 다른 방법보다 우수한 경향이 있습니다. 이 연구는 정보 이론적 양에 대한 다양한 추정 방법의 강점과 한계에 대한 귀중한 통찰력을 제공합니다. 또한 적절한 추정 기술을 선택할 때 데이터의 특성과 목표 정보 이론적 양을 고려하는 것이 중요하다는 점을 강조합니다. 이러한 발견은 과학자와 실무자가 특정 응용 및 이용 가능한 데이터를 고려할 때 가장 적합한 방법을 선택하는 데 도움을 줄 것입니다. 우리는 비교된 추정 방법을 사용할 준비가 된 오픈 소스 Python 3 툴박스에 수집하여, 연구자와 실무자가 다양한 분야의 데이터와 모델에서 정보를 평가하기 위해 정보 이론적 양의 사용을 촉진할 수 있기를 희망합니다.