Robustez dos classificadores: do ruído adversarial ao ruído aleatório

Vários trabalhos recentes mostraram que classificadores de ponta são vulneráveis a perturbações de pior caso (ou seja, adversariais) dos pontos de dados. Por outro lado, foi empiricamente observado que esses mesmos classificadores são relativamente robustos ao ruído aleatório. Neste artigo, propomos estudar um regime de ruído semi-aleatório que generaliza tanto os regimes de ruído aleatório quanto de pior caso. Propomos a primeira análise quantitativa da robustez de classificadores não lineares nesse regime de ruído geral. Estabelecemos limites teóricos precisos sobre a robustez dos classificadores nesse regime geral, que dependem da curvatura da fronteira de decisão do classificador. Nossos limites confirmam e quantificam as observações empíricas de que classificadores que satisfazem restrições de curvatura são robustos ao ruído aleatório. Além disso, quantificamos a robustez dos classificadores em termos da dimensão do subespaço no regime de ruído semi-aleatório e mostramos que nossos limites interpolam notavelmente entre os regimes de pior caso e ruído aleatório. Realizamos experimentos e mostramos que os limites derivados fornecem estimativas muito precisas quando aplicados a várias redes neurais profundas de ponta e conjuntos de dados. Este resultado sugere limites sobre a curvatura das fronteiras de decisão dos classificadores que apoiamos experimentalmente e, de forma mais geral, oferece importantes insights sobre a geometria de problemas de classificação de alta dimensão.