Eine umfassende Umfrage zur neuronalen Architektursuche: Herausforderungen und Lösungen

Das tiefe Lernen hat in vielen Bereichen durch seine leistungsstarken automatischen Repräsentationsfähigkeiten Durchbrüche und erhebliche Fortschritte erzielt. Es wurde bewiesen, dass das Design der neuronalen Architektur entscheidend für die Merkmalsrepräsentation von Daten und die endgültige Leistung ist. Allerdings hängt das Design der neuronalen Architektur stark vom Vorwissen und der Erfahrung der Forscher ab. Aufgrund der Einschränkungen des menschlichen Wissens ist es schwierig für Menschen, aus ihrem ursprünglichen Denkparadigma auszubrechen und ein optimales Modell zu entwerfen. Daher wäre eine intuitive Idee, den menschlichen Eingriff so weit wie möglich zu reduzieren und den Algorithmus die neuronale Architektur automatisch entwerfen zu lassen. Die neuronale Architektursuche (NAS) ist genau ein solcher revolutionärer Algorithmus, und die damit verbundenen Forschungsarbeiten sind kompliziert und umfangreich. Daher ist eine umfassende und systematische Umfrage zur NAS unerlässlich. Bisherige ähnliche Umfragen haben begonnen, bestehende Arbeiten hauptsächlich auf der Grundlage der Schlüsselelemente der NAS zu klassifizieren: Suchraum, Suchstrategie und Bewertungsstrategie. Während diese Klassifizierungsmethode intuitiver ist, fällt es den Lesern schwer, die Herausforderungen und die bedeutenden Arbeiten, die damit verbunden sind, zu verstehen. Daher bieten wir in dieser Umfrage eine neue Perspektive: Wir beginnen mit einem Überblick über die Eigenschaften der frühesten NAS-Algorithmen, fassen die Probleme in diesen frühen NAS-Algorithmen zusammen und bieten dann Lösungen für nachfolgende verwandte Forschungsarbeiten. Darüber hinaus führen wir eine detaillierte und umfassende Analyse, einen Vergleich und eine Zusammenfassung dieser Arbeiten durch. Schließlich bieten wir einige mögliche zukünftige Forschungsrichtungen an.