Сколтех — новый технологический университет, созданный в 2011 году в Москве командой российских и зарубежных профессоров с мировым именем. Здесь преподают действующие ученые, студентам дана свобода в выборе дисциплин, обучение включает работу над собственным исследовательским проектом, стажировку в индустрии, предпринимательскую подготовку и постоянное нахождение в международной среде.

Коррекция изображения взгляда собеседников во время видеоконференции или видеочата методом машинного обучения.

Ключевые слова:

Коррекция взгляда, машинное обучение, предиктор, дерево решений.

Применение:

Видеоконференции, видеочаты и другие средства удаленной видеокоммуникации.

Проблематика:

Проблема коррекции взгляда собеседников в процессе проведения видеоконференций и видеочатов привлекала исследователей и инженеров в течение долгого времени. Проблема представляет собой, в общем случае, невозможность собеседников установить прямой визуальный контакт друг с другом. Данный недостаток возникает ввиду несоответствия расположений камеры одного собеседника и экрана, на который выводится изображение, получаемое им с камеры другого собеседника, и наоборот.

Технология:

Мы рассмотрели данную проблему и представляем решение, основанное на методе машинного обучения. В отличие от большого количества различных решений, представленных ранее, наш подход не требует дополнительного оборудования вдобавок к имеющемуся у собеседника коммуникационному устройству со встроенным экраном и камерой. Будучи основанным на эффективном методе машинного обучения с помощью предикторов, таких как деревья решений, система работает очень быстро (выполняется в реальном времени на одном процессорном ядре современного ноутбука).

Преимущества:

  • Высокий реализм
  • Низкая ресурсоемкость
  • Отсутствие потребности в дополнительных аппаратных средствах

Разработчики:

  • Даниил Кононенко,
  • Виктор Лемпицкий, к.ф.-м.н.

Интеллектуальная собственность:

  • Патентная заявка RU 20141503007

Публикации:

  1. Daniil Kononenko, Victor Lempitsky / Learning To Look Up: Realtime Monocular Gaze Correction Using Machine Learning / IEEE Computer Vision and Pattern Recognition (CVPR), Boston MA, 2015

Назад к списку технологий >>>

Если Вас заинтересовала данная технология, пожалуйста, обратитесь к сотрудникам ОТЗ для обсуждения перспектив лицензирования или научной кооперации.