Neurochirurg

Die Berechnung für die heutigen intelligenten persönlichen Assistenten wie Apple Siri, Google Now und Microsoft Cortana erfolgt in der Cloud. Dieser rein cloudbasierte Ansatz erfordert eine erhebliche Menge an Daten, die über das drahtlose Netzwerk in die Cloud gesendet werden, und setzt das Rechenzentrum unter erheblichen Druck. Mit der zunehmenden Leistungsfähigkeit und Energieeffizienz der Rechenressourcen in mobilen Geräten stellt sich jedoch die Frage, ob diese rein cloudbasierte Verarbeitung wünschenswert ist und welche Auswirkungen es hat, wenn ein Teil oder die gesamte Berechnung auf mobile Geräte am Rand verlagert wird. In diesem Papier untersuchen wir den Status quo des cloudbasierten Ansatzes und analysieren Strategien zur Berechnungsaufteilung, die sowohl die Zyklen in der Cloud als auch auf dem mobilen Gerät effektiv nutzen, um niedrige Latenz, geringen Energieverbrauch und hohe Durchsatzraten im Rechenzentrum für diese Klasse intelligenter Anwendungen zu erreichen. Unsere Studie verwendet 8 intelligente Anwendungen aus den Bereichen Computer Vision, Sprache und natürliche Sprache, die alle moderne Deep Neural Networks (DNNs) als zentrale Methode des maschinellen Lernens einsetzen. Wir stellen fest, dass angesichts der Eigenschaften von DNN-Algorithmen eine fein abgestimmte, schichtbasierte Berechnungsaufteilungsstrategie, die auf den Daten- und Berechnungsvariationen jeder Schicht innerhalb eines DNN basiert, signifikante Vorteile hinsichtlich Latenz und Energie im Vergleich zum Status quo bietet. Mit diesem Wissen entwickeln wir Neurosurgeon, einen leichtgewichtigen Scheduler, der die DNN-Berechnung zwischen mobilen Geräten und Rechenzentren auf der granulären Ebene von neuronalen Netzwerk-Schichten automatisch aufteilt. Neurosurgeon benötigt kein Profiling pro Anwendung. Er passt sich verschiedenen DNN-Architekturen, Hardwareplattformen, drahtlosen Netzwerken und Serverlastniveaus an und partitioniert die Berechnung intelligent für die beste Latenz oder den besten mobilen Energieverbrauch. Wir bewerten Neurosurgeon auf einer modernen mobilen Entwicklungsplattform und zeigen, dass er die End-to-End-Latenz im Durchschnitt um das 3,1-Fache und bis zu 40,7-Fache verbessert, den Energieverbrauch von mobilen Geräten im Durchschnitt um 59,5 % und bis zu 94,7 % reduziert und den Durchsatz des Rechenzentrums im Durchschnitt um das 1,5-Fache und bis zu 6,7-Fache verbessert.