Adversarial Beispiele, Unsicherheit und Übertragungstest-Robustheit in hybriden tiefen Netzwerken mit Gaußschen Prozessen

Tiefe neuronale Netzwerke (DNNs) besitzen eine hervorragende Repräsentationskraft und sind auf vielen Aufgaben state of the art-Klassifikatoren. Sie erfassen jedoch oft ihre eigenen Unsicherheiten nicht gut, was sie in der realen Welt weniger robust macht, da sie übertrieben extrapolieren und Domain-Shift nicht bemerken. Gaußsche Prozesse (GPs) mit RBF-Kernen hingegen haben besser kalibrierte Unsicherheiten und extrapolieren nicht übertrieben weit von den Daten in ihrem Trainingssatz. Allerdings haben GPs eine schwache Repräsentationskraft und schneiden in komplexen Domänen nicht so gut ab wie DNNs. In diesem Papier zeigen wir, dass hybride tiefe Netzwerke mit GPs, die GPDNNs genannt werden (GPs über DNNs und end-to-end trainiert), die vorteilhaften Eigenschaften sowohl von GPs als auch von DNNs übernehmen und viel robuster gegenüber adversarialen Beispielen sind. Beim Extrapolieren zu adversarialen Beispielen und Testen in Domain-Shift-Einstellungen geben GPDNNs häufig hohe Entropie-Klassenwahrscheinlichkeiten aus, die im Wesentlichen "weiß nicht" entsprechen. GPDNNs sind daher vielversprechend als tiefe Architekturen, die wissen, wenn sie es nicht wissen.