Uma Perspectiva de Inclinação de Limite sobre o Fenômeno de Exemplos Adversariais

Redes neurais profundas mostraram sofrer de uma fraqueza surpreendente: as suas saídas de classificação podem ser alteradas por pequenas perturbações não aleatórias de seus inputs. Esse fenômeno de exemplos adversariais foi explicado como resultado das redes profundas sendo "demais lineares" (Goodfellow et al., 2014). Mostramos aqui que a explicação linear dos exemplos adversariais apresenta várias limitações: o argumento formal não é convincente, classificadores lineares nem sempre sofrem com o fenômeno e, quando o fazem, seus exemplos adversariais são diferentes daqueles que afetam as redes profundas. Propomos uma nova perspectiva sobre o fenômeno. Afirmamos que exemplos adversariais existem quando a fronteira de classificação está próxima da subvariedade dos dados amostrados e apresentamos uma análise matemática dessa nova perspectiva no caso linear. Definimos a noção de força adversarial e mostramos que pode ser reduzida ao ângulo de desvio entre o classificador considerado e o classificador centróide mais próximo. Em seguida, mostramos que a força adversarial pode ser aumentada arbitrariamente independente do desempenho de classificação devido a um mecanismo que chamamos de inclinação de limite. Este resultado nos leva a definir uma nova taxonomia de exemplos adversariais. Finalmente, mostramos que a força adversarial observada na prática depende diretamente do nível de regularização utilizado e os exemplos adversariais mais fortes, sintoma de sobreajuste, podem ser evitados utilizando um nível adequado de regularização.