Im2Calories: 자동화된 모바일 비전 음식 일지로 나아가기

우리는 단일 이미지에서 식사의 내용을 인식하고, 칼로리와 같은 영양 성분을 예측할 수 있는 시스템을 제안합니다. 가장 간단한 버전은 사용자가 메뉴를 알고 있는 레스토랑에서 식사하고 있다고 가정합니다. 이 경우, 우리는 오프라인에서 이미지를 수집하여 다중 레이블 분류기를 학습할 수 있습니다. 실행 시간에, 우리는 분류기를 적용하여(사용자의 전화에서 실행됨) 식사에 있는 음식을 예측하고, 해당 영양 사실을 조회합니다. 우리는 CNN 기반 분류기를 사용하여 23개 서로 다른 레스토랑의 새로운 이미지 데이터 세트에 이 방법을 적용하며, 이전 연구를 상당히 능가합니다. 더 도전적인 설정은 레스토랑 외부에서 작동합니다. 이 경우, 우리는 음식의 크기와 라벨을 추정해야 합니다. 이는 단일 이미지에서 세그멘테이션 및 깊이/부피 추정을 해결해야 합니다. 우리는 이러한 문제에 대해 CNN 기반 접근법을 제시하며, 유망한 초기 결과를 보여줍니다.