DeepEthogram, 원시 픽셀로부터 감독 행동 분류를 위한 기계 학습 파이프라인

동물 행동 비디오는 신경 기능, 유전자 변이 및 약리학적 치료를 연구하기 위해 연구자가 정의한 관심 행동을 정량화하는 데 사용됩니다. 관심 행동은 종종 수작업으로 점수화되며, 이는 시간이 많이 소요되고, 몇 가지 행동에만 제한되며, 연구자들 간에 가변적입니다. 우리는 DeepEthogram을 만들었습니다: 원시 비디오 픽셀을 각 비디오 프레임에 존재하는 관심 행동의 에소그램으로 변환하는 감독 기계 학습을 사용하는 소프트웨어입니다. DeepEthogram은 일반 목적에 맞게 설계되었으며, 종, 행동 및 비디오 녹화 하드웨어에 걸쳐 적용 가능합니다. 이 소프트웨어는 합성곱 신경망을 사용하여 운동을 계산하고, 운동 및 이미지에서 특징을 추출하며, 특징을 행동으로 분류합니다. 행동은 마우스와 파리의 비디오에서 단일 프레임에 대해 90% 이상의 정확도로 분류되며, 이는 전문가 수준의 인간 성능에 해당합니다. DeepEthogram은 희귀 행동을 정확하게 예측하고, 적은 훈련 데이터를 요구하며, 피실험자 간에 일반화됩니다. 그래픽 인터페이스는 최종 사용자의 프로그래밍 없이 처음부터 끝까지 분석할 수 있게 합니다. DeepEthogram의 신속하고 자동화된, 재현 가능한 연구자가 정의한 관심 행동의 라벨링은 감독 하 행동 분석을 가속화하고 향상시킬 수 있습니다. 코드는 다음에서 확인할 수 있습니다: https://github.com/jbohnslav/deepethogram.