Ученые из группы Байесовских методов (Руководитель – профессор Дмитрий Ветров) приняли участие в NIPS (Conference on Neural Information Processing Systems), Монревль, Канада. На конференции исследователи представили статью, описывающую разработанный ими подход, который позволяет уменьшить объем памяти необходимой для хранения нейронных сетей без потери качества работы этих сетей –метод тензонирования нейронных сетей.
Big data (Большие данные), этим словосочетанием можно описать происходящее в науке, да и во всем мире в последние годы. Интенсивно возрастает объём данных в разных областях. Рост объемов данных, доступных для анализа опережает темпы увеличения вычислительных мощностей, поэтому классические методы анализа данных оказывается неэффективными. Анализ случайных подвыборок данных проблему не решает, так как приводит к значительному падению качества. Использовать всю имеющуюся информацию могут современные глубинные нейронные сети, которые можно обучать с помощью масштабируемых методов оптимизации. . Сейчас нейронные сети используются, например, для распознавания речи, текста, классификации изображений и другого машинного обучения. Нейронные сети прекрасно справляются с анализом данных, но они занимают чрезвычайно много места и оперативной памяти компьютера. Поэтому возможности для увеличения числа нейронов в нейронных сетях упираются в эти параметры.
Решить эту проблему можно с помощью алгебры тензоров (многомерных массивов). Число элементов в тензоре растет по экспоненте от его размерности. С использованием современного математического аппарата тензоры можно переводить в более компактный формат с минимальными потерями информации. Тензонирование нейронной сети можно сравнить с архивированием файла. Работа ученых из группы Дмитрия Ветрова позволяет уменьшить размер памяти, требующейся для хранения полносвязных слоев нейронной сети (в современных нейронных сетях они составляют свыше 99% от общего объема памяти, занимаемой нейронной сетью) до 700 тысяч раз. Интересно, что данная технология позволяет не только хранить нейронные сети в таком архивированном виде, но и обучать их.
Описываемый в статье метод открывает большие возможности для использования нейронных сетей, например, в мобильных устройствах. То есть можно будет хранить нейронные сети в мобильном телефоне без необходимости передачи информации на сервер, как это происходит сейчас. Это позволит решать задачи распознавания речи и анализа изображений прямо на мобильном устройстве, что важно в условиях неустойчивой или медленной мобильной связи. Есть и другое применение созданной технологии. «В настоящее время в мире происходит глубинная революция, связанная с повсеместным внедрением т.н. глубинные нейронных сетей, возможности которых на ряде когнитивных задач (например, понимание изображений) уже превышают возможности человеческого интеллекта. Эксперименты показывают, что чем глубже и шире нейронные сети, тем более высокое качество они показывают. К сожалению, существуют технологические ограничения на глубину и ширину нейронных сетей. Алгоритмы тензоризации позволяют в значительной степени снять ограничение на ширину сетей, что позволит обучать нейронные сети с миллиардами и триллионами нейронов, а не сотнями тысяч, как это делается сейчас» – говорит Дмитрий Ветров.
Ссылка на статью: http://arxiv.org/abs/1509.06569
* NIPS - это крупнейший мировой форум по когнитивным исследованиям, искусственному интеллекту и машинному обучению, имеющий ранг А* по международному рейтингу CORE Рейтинг CORE, делит известные международные научные конференции на 4 категории: А* (ведущие), А (отличные), В (хорошие), С (неплохие). NIPS проводится с 1987. Работы, поданные на конференцию проходят жесткий конкурентный отбор.
* Сколковский институт науки и технологий (Сколтех) – негосударственное научно-образовательное учреждение в Сколково (Россия, Московская область). Созданный в 2011 году при участии Массачусетского технологического института (МТИ), институт готовит новые поколения исследователей и предпринимателей, развивает научные знания и содействует технологическим инновациям с целью решения важнейших проблем, стоящих перед Россией и миром в новом тысячелетии. Сколтех строит свою работу, опираясь на опыт лучших российских и международных образовательных и исследовательских институтов. При этом особый акцент делается на преподавание навыков предпринимательской и инновационной деятельности.
Контакты:
Skoltech Communications
+7 (495) 280 14 81
