Richtung multimodales Deep Learning zur Aktivitätenerkennung auf mobilen Geräten

Aktuelle Smartphones und Smartwatches sind mit einer Vielzahl von Sensoren ausgestattet, von Licht- und Inertialsensoren bis hin zu Funkschnittstellen, die es Anwendungen ermöglichen, ihre Umgebung zu erfassen. Anstatt Sensoren unabhängig zu nutzen, erleichtert die Kombination ihrer Sensorkapazitäten das Entstehen interessanterer und komplexerer Anwendungen (z. B. Benutzeraktivitätserkennung). Doch Unterschiede zwischen Sensoren, die von der Abtastrate bis zum Datenmodell (ereignisgesteuert oder kontinuierliche Abtastung) reichen, machen die Integration von Sensordatenströmen herausfordernd. Hier untersuchen wir die Möglichkeit, Deep Learning zu verwenden, um diese Integration von Sensordaten aus mehreren Sensoren durchzuführen. Die Intuition ist, dass neuronale Netze nicht-intuitive Merkmale weitgehend aus korrelierenden Merkmalen zwischen den Sensoren identifizieren können, was zu einer genaueren Schätzung führen kann. Erste Ergebnisse mit einer Variante einer eingeschränkten Boltzmann-Maschine (RBM) zeigen eine bessere Leistung mit diesem neuen Ansatz im Vergleich zu klassischen Lösungen.