Modelos Equivariantes de Aprendizaje mediante el Descubrimiento de Simetrías con Aumentaciones Aprendibles

Recientemente, ha surgido una tendencia que favorece alejarse del diseño de arquitecturas equivariantes restringidas para datos en dominios geométricos y en su lugar (1) modificar el protocolo de entrenamiento, por ejemplo, con una pérdida específica y aumentaciones de datos (equivarianza suave), o (2) ignorar la equivarianza e inferirla solo implícitamente. Sin embargo, ambas opciones tienen limitaciones, por ejemplo, la equivarianza suave aún requiere conocimiento a priori sobre las simetrías subyacentes, mientras que aprender implícitamente la equivarianza a partir de datos carece de interpretabilidad. Para abordar estas limitaciones, proponemos SEMoLA, un enfoque de extremo a extremo que conjuntamente (1) descubre simetrías desconocidas a priori en los datos a través de aumentaciones de datos aprendibles, y las utiliza para (2) codificar la respectiva equivarianza aproximada en modelos arbitrarios no restringidos. Por lo tanto, permite aprender modelos equivariantes que no necesitan conocimiento previo sobre simetrías, ofrecen interpretabilidad y mantienen robustez ante cambios en la distribución. Empíricamente, demostramos la capacidad de SEMoLA para descubrir robustamente simetrías relevantes mientras logra un alto rendimiento predictivo a través de varios conjuntos de datos, abarcando múltiples modalidades de datos y grupos de simetría subyacentes.