Agrupamiento con Divergencias de Bregman

Se utiliza una amplia variedad de funciones de distorsión para el agrupamiento, p. ej., la distancia euclidiana al cuadrado, la distancia de Mahalanobis y la entropía relativa. En este documento, proponemos y analizamos algoritmos de agrupamiento paramétricos duros y suaves basados en una gran clase de funciones de distorsión conocidas como divergencias de Bregman. Los algoritmos propuestos unifican los enfoques de agrupamiento paramétricos basados en centroides, como el kmeans clásico y el agrupamiento basado en teoría de la información, que surgen por elecciones especiales de la divergencia de Bregman. Los algoritmos mantienen la simplicidad y escalabilidad del algoritmo kmeans clásico, a la vez que generalizan la idea básica a una clase muy grande de funciones de pérdida de agrupamiento. Hay dos contribuciones principales en este documento. Primero, planteamos el problema del agrupamiento duro en términos de minimizar la pérdida en la información de Bregman, una cantidad motivada por la teoría de tasa-distorsión, y presentamos un algoritmo para minimizar esta pérdida. En segundo lugar, mostramos una biyección explícita entre las divergencias de Bregman y las familias exponenciales. La biyección permite el desarrollo de una interpretación alternativa de un esquema EM eficiente para aprender modelos que involucran mezclas de distribuciones exponenciales. Esto conduce a un algoritmo de agrupamiento suave simple para todas las divergencias de Bregman.