источник: cdn1.chrdk.ru
источник: raw.githubusercontent.com
источник: cdn1.chrdk.ru
источник: cdn1.chrdk.ru
В результате им удалось разработать алгоритм для обработки движений мух, обходящийся без датчиков, которые было бы очень непросто закрепить на каждой мушиной лапке, голове и крыльях. Для работы их программы, LEAP (LEAP Estimates Animal Pose), нужно взять десять первых кадров видеозаписи и поставить для нейросети маркеры на концах движущихся частей тела животного, используя графический интерфейс, причем для дрозофилы потребовалось всего 32 метки. Десяти кадров достаточно, чтобы нейросеть «поняла», как муха движется, и отслеживала ее движения на видео какой угодно длины с точностью 74% в пределах 2,5 пиксела. Если для обучения использовать 100 кадров, точность составит 95%.
Разработчики проверили LEAP на других животных — мышах и жирафе, кроме того, они использовали видеозаписи мух со сложным для распознания фоном (сеткой позади мух), и каждый раз программа справлялась с задачей. Для обработки видео с жирафом авторы расставили метки на 30 кадрах, и весь процесс занял меньше часа.
По словам авторов работы, программа позволяет обойтись без датчиков, множества камер и многочасовой покадровой обработки видео, а чтобы ей пользоваться, не обязательно иметь навыки программирования. С помощью разработки можно будет изучать поведение животных в разных ситуациях и в разном состоянии — например, для анализа поведения животных с генетическими мутациями или после воздействия препаратов во время экспериментов.
Авторы выложили код и утилиты в свободный доступ.
