Две проекта, созданные в Лаборатории интеллектуальной космической робототехники и виртуальной/дополненной реальности Космического Центра Сколтеха под руководством профессора Дмитрия Тетерюкова, были отобраны для участия в престижной международной конференции ACM Siggraph Asia 2020, посвященной компьютерной графике и интерактивным технологиям, проходившей онлайн с 4 по 13 декабря.
Всего для участия в секции «Возникающие технологии» было отобрано 20 проектов со всего мира.
Первый проект из Сколтеха – ZoomTouch – система взаимодействия робота и человека, которая позволяет оператору или группе людей управлять роботизированной рукой через приложение для видео звонков из любой точки мира с помощью распознавания жестов рук на основе глубокого обучения нейронных сетей. Для управления роботом нужен только обычный ноутбук с камерой и установленным приложением для Zoom.
«С недавнего времени видеоконференции вошли в нашу повседневную жизнь. Но могут ли они использоваться не только для общения между людьми, но и для взаимодействия человека с роботами? Мы показали, что роботами можно управлять с помощью обычной камеры через программу Zoom. На нашем видео видно, как роботизированная рука манипулирует образцами в лаборатории, что особенно актуально, если идет работа с вирусами или другими опасными для человека компонентами. Человек может сидеть в офисе и управлять роботом со своего компьютера. Отличительная особенность системы – это возможность совместной работы нескольких пользователей над созданием дизайна, например, архитектурной модели, макетной модели в натуральную величину или 3D-печатной модели автомобиля с использованием роя роботов. Пользователи в буквальном смысле переносятся из цифрового мира в мир реальный!», – рассказывает профессор Дмитрий Тетерюков.
В команду разработчиков вошли студенты и аспиранты Сколтеха – Илья Захаркин, Арман Цатурян, Мигель Альтамирано Кабрера и Джонатан Тирадо.
Второй проект – MaskBot – система для проецирования на лицо разных изображений в реальном времени, распознающая движения головы.
«MaskBot – это первый робот с возможностью проецирования изображений в режиме реального времени. MaskBot с помощью алгоритма компьютерного зрения (CV) обнаруживает лицо пользователя и проецирует на него изображения различных элементов, например, макияжа, очков, украшений, маски и т.д. Данная технология позволяет автоматизировать процесс получения датасетов состязательных изображений, которые будут использованы системой на основе глубоких нейронных сетей (DNN) для идентификации лиц. Со стороны процесс выглядит как древнее искусство заклинания змей: робот плавно следует за движениями головы пользователя, не отрывая взгляда от его лица – зрелище поистине завораживающее! В перспективе MaskBot можно будет использовать для создания инсталляций и трехмерных арт-объектов, подсветку которых будет обеспечивать рой роботов, оснащенных камерами и проекторами. Кроме того, MaskBot способен имитировать текстуру и цвет различных объектов, а эта информация представляет ценность для обучения алгоритмов компьютерного зрения, ориентированных на Индустрию 4.0», – отмечает профессор Тетерюков.
Команда разработчиков – студенты и аспиранты Сколтеха: Мигель Альтамирано Кабрера, Игорь Усачев, Хуан Эредиа, Джонатан Тирадо и Алексей Федосеев.
В ходе конференции были проведены онлайн-демонстрации обоих проектов, получившие высокую оценку участников и гостей мероприятия. Наиболее яркое впечатление на аудиторию произвела демонстрация проекта ZoomTouch. Робот разместили в лаборатории Сколтеха, а его создатели – Илья Захаркин и Арман Цатурян, находясь в разных местах, поочередно управляли его работой с помощью жестов в режиме реального времени через Zoom.
Ссылки на статьи с описанием технологий:
ZoomTouch https://arxiv.org/abs/2011.03845
MaskBot https://arxiv.org/abs/2011.03844
Контакты:
Skoltech Communications
+7 (495) 280 14 81
