Немецкие разработчики научили гуманоидного робота-помощника TIAGo искать путь к холодильнику, открывать его и приносить пиво. Пользователь запрашивает марку пива, робот находит его по этикетке. Зрительным центром человекоподобной машины стал модульный суперкомпьютер NVIDIA Jetson TX2.
Осенью прошлого года компания NVIDIA запустила Jetson Developer Challenge — конкурс для инженеров, которым предлагается использовать набор для разработки с модульным суперкомпьютером NVIDIA Jetson TX2 для улучшения своих проектов. Среди призов — денежное вознаграждение, видеокарта NVIDIA TITAN Xp, обучающие курсы и поездка на компьютерную конференцию GTC 2018, которая состоится в Кремниевой долине в марте этого года.
Группа инженеров из Университета Кобленц-Ландау использовала Jetson TX2 в качестве системы зрения робота TIAGo компании PAL Robotics. Суперкомпьютер помог роботу эффективно выстроить маршрут до холодильника, найти ручку для того, чтобы его открыть, выбрать пиво запрошенной марки. Алгоритмы семантической сегментации выделяют объекты (продукты в холодильнике) на общем фоне и классифицирует их по форме, выделяя нужные (пивные бутылки и банки). Для обучения хватило 60 изображений бутылок на 20 различных фонах.
Робот TIAGo правильно выбирает пиво, приносит и подает пользователю. При этом робот закрывает холодильник, несмотря на то, что у него всего одна рука, уже занятая банкой пива. Проект подробно описан на сайте ChallengeRocket.
