Hacia la Ciencia de la Seguridad y la Privacidad en el Aprendizaje Automático

Los avances en el aprendizaje automático (AA) en los últimos años han permitido una asombrosa variedad de aplicaciones, como la analítica de datos, sistemas autónomos y diagnósticos de seguridad. El AA es ahora omnipresente—nuevos sistemas y modelos están siendo implementados en todos los dominios imaginables, lo que lleva a un despliegue rápido y generalizado de inferencia y toma de decisiones basadas en software. Existe un reconocimiento creciente de que el AA expone nuevas vulnerabilidades en los sistemas de software, sin embargo, la comprensión de la comunidad técnica sobre la naturaleza y el alcance de estas vulnerabilidades sigue siendo limitada. Sistematizamos hallazgos recientes sobre la seguridad y privacidad del AA, centrándonos en los ataques identificados en estos sistemas y en las defensas diseñadas hasta la fecha. Articulamos un modelo de amenaza integral para el AA y categorizamos ataques y defensas dentro de un marco adversarial. Se identifican conocimientos clave resultantes de trabajos tanto en la comunidad de AA como en la de seguridad, y la efectividad de los enfoques se relaciona con elementos estructurales de los algoritmos de AA y los datos utilizados para entrenarlos. Concluimos explorando formalmente la relación opuesta entre la precisión del modelo y la resistencia a la manipulación adversarial. A través de estas exploraciones, mostramos que existen tensiones (posiblemente inevitables) entre la complejidad del modelo, la precisión y la resistencia que deben ser calibradas para los entornos en los que serán utilizados.