Ярослав Ганин, аспирант Сколтеха из группы компьютерного зрения, совместно со своим руководителем, Виктором Лемпицким, предложили новый подход к обучению нейронных сетей в условиях недостаточного количества размеченных данных. Работа, описывающая данный метод, была представлена на Международной Конференции по Машинному Обучению (ICML).
Как правило, для обучения модели, показывающей отличные результаты в той или иной задаче (например, классификации изображений), необходим колоссальный объем заранее размеченных данных. Например, для того, чтобы глубокая нейронная сеть могла надежно отличать кошку от собаки, необходимо несколько сотен картинок кошек и собак с указанием того, где изображено то или иное животное. К сожалению, действительно интересные задачи оказываются несколько сложнее, а потому и сложность сбора такого рода данных в достаточном количестве разнится от “очень сложно” до “невозможно”. Однако, модели, уже обученные на данных, которые можно собрать сравнительно легко, можно попробовать использовать и для задач со схожими входными данными. Этот подход называется адаптацией к домену (domain adaptation).
Методы адаптации к домену по сути сводятся к калибровке параметров модели и применяются в тех случаях, когда входные данные имеют схожую природу происхождения с теми, на которых изначально была обучена модель, но все же несколько различаются (другими словами, принадлежат разным доменам). Так, например, можно обучить нейронную сеть распознавать объекты, используя размеченные картинки из интернета, а затем адаптировать ее к домену изображений, полученных с веб-камеры:
Пример взят из базы собранной исследователями из Института Беркли (США)
Важно отметить, что одним из ключевых желательных свойств такого подхода является отсутствие необходимости в наличии размеченных данных для целевого домена.
Суть метода, предложенного авторами и названного адаптацией к домену путем обратного распространения ошибки, заключается в добавлении лишь нескольких слоев в существующую архитектуру глубокой нейронной сети, позволяющих классифицировать принадлежность картинки тому или иному домену:
Подпись к картинке: Схема архитектуры сети (иллюстрация из статьи)
Получившаяся усложненная архитектура затем обучается широко известным методом обратного распространения ошибки (backpropagation). Преимущества такого подхода заключаются в его универсальности, легкости реализации, отсутствии необходимости в наличии размеченных данных, а также в том, что в результате обучения модели вырабатываются признаки, высокоинформативные для исходного домена и инвариантные по отношению к переходу между исходным и целевым доменом.
Метод, предложенный авторами, был с живым интересом воспринят научным сообществом. Несмотря на его свежесть, профессора MIT уже рассказывают о нем студентам в рамках курса по компьютерному зрению. В настоящий момент расширенная версия статьи в работе над которой принимает участие аспирантка Сколтеха Евшения Устинова, готовится к публикации в международном научном журнале “Journal of Machine Learning Research”.
http://jmlr.org/proceedings/papers/v37/ganin15.html
Контакты для СМИ – Александр Золотарев, 8 916 686 7334, , http://www.skoltech.ru
* Сколковский институт науки и технологий (Сколтех) – негосударственное научно-образовательное учреждение в Сколково (Россия, Московская область). Созданный в 2011 году при участии Массачусетского технологического института (МТИ), институт готовит новые поколения исследователей и предпринимателей, развивает научные знания и содействует технологическим инновациям с целью решения важнейших проблем, стоящих перед Россией и миром в новом тысячелетии. Сколтех строит свою работу, опираясь на опыт лучших российских и международных образовательных и исследовательских институтов. При этом особый акцент делается на преподавание навыков предпринимательской и инновационной деятельности.
Контакты:
Skoltech Communications
+7 (495) 280 14 81
