Танго с покемонами

Аспирант Лаборатории Робототехники Сколтеха Артём Павлов и студент магистратуры Марко Симич опубликовали статью о знакомстве с девелопер-китом Google Tango и разработкой для него приложения управления роботом. О том, чем будет полезная эта технология и как она преобразит PoсkemonGo мы поговорили с авторами статьи, которая выйдет в сентябре на популярном портале Хабрхабр.

Аспирант Артём Павлов

Аспирант Артём Павлов

О проекте Tango известно уже давно, но на всякий случай напомним, что он представляет собой платформу компьютерного зрения и локализации для использования в мобильных устройствах. Используя данные с двух камер – с широкоугольным и обычным объективами, датчика глубины, представляющего собой миниатюрную версию Kinect, акселерометров, гироскопов и барометра, Google Tango способен воспринимать окружающее трёхмерное пространство и отслеживать своё положение в нём. Революционность технологии, прежде всего в том, что инженерам ATAP (Advanced Technology and Projects) удалось уместить всё это оборудование в мобильном устройстве и разработать дружелюбное к разработчику высокоуровневое SDK. Оно берёт на себя основную тяжёлую работу по обработке данных с сенсоров и проведению необходимых преобразований, позволяя разработчику работать с удобными абстракциями.

В статье, которая выходит на Хабрхабр Артём и Марко описали свой опыт работы с дев-китом Google Tango. Мы попросили их рассказать об этом опыте и их впечатлениях от технологии.

Артём Павлов: К сожалению, у нас было очень мало времени на ознакомление с Google Tango – всего лишь неделя. И поэтому основной нашей идеей стало сделать что-то простое, но в то же время необычное, круто выглядящее и изящное. Мы решили, используя Tango, создать приложение дистанционного управления роботом с использованием виртуальной реальности и описать свой опыт в публикации.

10577836_10205456432833012_928865908_o

студент магистратуры Сколтеха Марко Симич

Что нового и необычного в этой задаче, ведь подобные приложения уже существуют?
Артём Павлов: Есть множество различных подходов к управлению роботами, в том числе и с использованием дополненной реальности (AR). Обычно, при использовании дополненной реальности виртуальные объекты «добавляются» в реальный, физический мир. В нашем случае – путь обратный, мы хотели, если можно так выразиться, добавить реального в виртуальное. Для настоящей AR недостаточно добавить виртуального оверлея, необходима обратная связь от виртуального к реальному. Примерно в таком же ключе следовала работа по добавлению виртуальных интерфейсов для физических объектов, сделанная студентами из MIT в 2013 году. Мы же, заполучив в руки Tango, решили сделать виртуальный интерфейс для вполне реального мобильного робота.
Марко Симич: Как уже сказал Артём, устройство оказалось в наших руках всего на несколько дней и у нас довольно скромный опыт работы такой новой концепцией как Tango. Это очень компактное устройство, размером с обычный смартфон, но набор датчиков и комплекс из двух камер, одна из которых широкоугольная, позволяет вычислять глубину, ориентацию в пространстве, расстояние от устройства до объекта. В результате вы получаете такие интересные возможности как отслеживание положения в пространстве и возможность создания 3D-моделей объектов. Этот опыт мы и описали в статье на Хабрахабр.

Чем он может быть интересен Google?
Артём: Думаю, что, прежде всего, будет определённый PR-эффект. У Google будет еще одна возможность показать, что технология и устройство применим не только для игр, но для реальных приложений тоже. В современном мире мы все чаще и чаще взаимодействуем с разнообразными роботами и эта тенденция продолжит нарастать. Оно будет результативнее, если мы сможем создать интуитивно понятные интерфейсы с использованием технологии дополненной реальности для управления роботами, для получения обратной связи. Например, мы сможем получить информацию от робота о его маршруте, поэтому он не окажется сюрпризом для людей, когда внезапно появится из-за угла.
Марко: Если говорить непосредственно о Tаngo, то пока эти устройства недоступны для рядового пользователя и предназначены лишь для исследовательских групп, экспериментирующих с технологией, но уже в этом году появится первый коммерческий образец и технология начнёт распространятся очень быстро.

PockemonGo выйдет на новый уровень?
Артём: Это, безусловно, верно. В случае с игрой «Покемон Гоу!», у нас довольно типичный случай использования дополненной реальности. Но она достаточно условна, потому что, например, подходя к стене вы увидите покемона «внутри» стены.
Марко: Сейчас PockemonGo не даёт представления о реальной среде. Программа просто накладывает изображение покемона на изображении с камеры. Она не «знает», что именно вы видите на картинке. В случае с Tango вы можете точно позиционировать покемона или какой-то иной объект на столе, на переднем плане, на полу. Он больше не будет висеть в воздухе. Программа станет еще более реалистичной.

Это будет выглядеть как голограмма?
Марко: Нет, не совсем так. Как ее иллюзия.
Артём: По крайней мере очень близко к этому, т.к. имея точную локализацию, и отслеживая положение устройства в пространстве вы сможете перестраивать картинку таким образом, что пользователю будет казаться что 3D-объект находится прямо перед ним. Возможности технологии очень широкие. Вы сможете не только позиционировать модели в реальном пространстве, но и заставить виртуальные объекты взаимодействовать с ним. Например, если мы продолжим говорить о PockemonGo, то «карманные монстры» смогут перемещаться по поверхностям – ходить, прыгать по столам, веткам или иным физическим объектам. Это будет иной, совершенно новый уровень интерактивности, и в этом смысле устройство Google является уникальным. Он будет заново задавать планку, определять стандарт мобильного устройства.

Кроме игровых приложений или использования в качестве пульта дистанционного управления роботом, какие еще наиболее очевидные и полезные применения этой технологии?
Артём: Она может использоваться для трехмерного сканирования. Такая опция уже есть в устройстве Tango. Пускай это не самый точный сканер, но он работает и его вполне можно использовать, например, для того чтобы оценить поместится ли новый диван в вашу комнату и как он будет выглядеть в ней, предварительно отсняв его в магазине.

Может ли Tango играть роль 3D-сканера человеческого тела?
Марко: Пока у технологии есть некоторые ограничения, но по мере развития, почему бы и нет? Но сейчас Tango больше подходит для статических условий.

Довольны ли вы созданным приложением, публикацией и откликом на нее?
Артём: Пока что статья не выложена в открытый доступ, но реакция проф. Тетерюкова и коллег, которые ознакомились с ней, положительная. Думаю, что мы проделали хорошую работу, особенно учитывая то малое количество времени, которым располагали. Что до программы управления роботом, то, опять же, у нас было маловато времени и её можно улучшить, но в будущем мы планируем продолжить это направление исследований.

Tweet about this on Twitter0Share on Facebook0Pin on Pinterest0Share on Tumblr0Share on VK