Im2Calories : Vers un journal alimentaire mobile automatisé

Nous présentons un système capable de reconnaître le contenu de votre repas à partir d'une seule image, puis de prédire ses contenus nutritionnels, tels que les calories. La version la plus simple suppose que l'utilisateur mange dans un restaurant dont nous connaissons le menu. Dans ce cas, nous pouvons collecter des images hors ligne pour entraîner un classificateur multi-label. Au moment de l'exécution, nous appliquons le classificateur (s'exécutant sur votre téléphone) pour prédire quels aliments sont présents dans votre repas, et nous consultons les faits nutritionnels correspondants. Nous appliquons cette méthode à un nouvel ensemble de données d'images provenant de 23 restaurants différents, en utilisant un classificateur basé sur CNN, surpassant significativement les travaux précédents. Le cadre plus difficile fonctionne en dehors des restaurants. Dans ce cas, nous devons estimer la taille des aliments, ainsi que leurs étiquettes. Cela nécessite de résoudre la segmentation et l'estimation de la profondeur / du volume à partir d'une seule image. Nous présentons des approches basées sur CNN à ces problèmes, avec des résultats préliminaires prometteurs.