Учёные Сколтеха разработали эффективный — и весьма эффектный! — метод развёртывания роя спасательных и исследовательских дронов. Используя шлем виртуальной реальности и тактильный интерфейс, оператор имитирует серию выстрелов из лука, направляя каждый дрон в заданную точку. Для предотвращения столкновений дронов используется глубокое обучение с подкреплением. Результаты исследования были представлены на XXI Международном симпозиуме IEEE по смешанной и дополненной реальности.
Расстановка дронов «стрелой». Источник: Павел Одинёв/Сколтех
«Стив Джобс перевернул представление о том, как человек может интуитивно взаимодействовать с цифровым миром, предложив использовать сенсорные экраны и жесты. Цель наших исследований — преодолеть ещё более сложный вызов: каким образом пользователь без опыта управления дроном сможет в считанные секунды развернуть целый рой!», — говорит руководитель исследования и Лаборатории интеллектуальной космической робототехники Сколтеха доцент Дмитрий Тетерюков.
«Сегодня существует не так много интерфейсов для развёртывания роя дронов, — рассказывает первый автор исследования, выпускница магистратуры Сколтеха Екатерина Доржиева. — Управлять одним дроном удобно при помощи джойстика, а для управления целым роем требуется либо несколько операторов, либо очень сложное программное обеспечение, позволяющее автоматически учитывать множество разных данных. Мы предлагаем альтернативное решение этой задачи».
Группа исследователей из Центра системного проектирования предложила использовать для решения задачи тактильный интерфейс, придуманный аспирантом Сколтеха Мигелем Альтамирано. Эту систему вдохновил, в свою очередь, более ранний интерфейс LinkTouch, созданный Тетерюковым в Японии.
Оператор роя дронов использует (видео) VR-шлем, перчатки с маркерами и тактильный дисплей. Вокруг «лучника» располагается система захвата движения в составе нескольких IR-камер — они регистрируют положение перчаток и дронов. Благодаря тактильному дисплею оператор чувствует, как при изменении расстояния между перчатками меняется натяжение виртуальной тетивы, и использует эту обратную связь, чтобы задать расстояние до точки, где должен оказаться дрон. При этом VR-шлем в режиме реального времени визуализирует баллистическую траекторию дрона. Когда оператор разжимает кулак, это действие регистрирует камера, и дрон направляется по заданной траектории.
Как только дрон достигает цели, он переводится на традиционный способ управления и переходит к выполнению своей миссии. Это может быть спасательная операция, обнаружение лесных пожаров, мониторинг состояния природных ресурсов, загрязнения окружающей среды, определение индекса роста (NDVI) сельскохозяйственных культур, геологоразведка, осмотр или техническое обслуживание объектов инфраструктуры.
«Преимущество использования баллистической траектории по образцу полёта стрелы заключается в том, что для человека такая траектория представляется вполне естественной, что позволяет быстро развернуть группировку дронов, не допуская их столкновения с препятствиями. Для человека это вполне естественная задача, — отмечает Доржиева. — Задавать координаты полёта дронов можно и с помощью программного обеспечения, но тогда дронам пришлось бы самостоятельно выстраивать траекторию для обхода препятствий, а это значит, что на каждый дрон нужно устанавливать камеру».
Благодаря использованию в новом методе глубокого обучения с подкреплением, дроны способны предвидеть столкновения с другими дронами и соответствующим образом перестраивать свою траекторию.
А использование виртуальной реальности подразумевает, что оператору вовсе не обязательно находиться в непосредственной близости от места развёртывания роя. Любые суровые условия, к которым можно приспособить дронов — холод, пожары, радиоактивное заражение, труднодоступная местность — не касаются оператора. Если в них может работать дрон, дальше VR-шлем позволит имитировать присутствие оператора непосредственно на месте действия и выводить дроны в заданную точку.
Кроме того, виртуальная реальность в сочетании со стрельбой из лука открывает перспективы для применения разработки в индустрии развлечений и видеоигр.
Контакты:
Skoltech Communications
+7 (495) 280 14 81
