Сколтех — новый технологический университет, созданный в 2011 году в Москве командой российских и зарубежных профессоров с мировым именем. Здесь преподают действующие ученые, студентам дана свобода в выборе дисциплин, обучение включает работу над собственным исследовательским проектом, стажировку в индустрии, предпринимательскую подготовку и постоянное нахождение в международной среде.

Павел Осиненко: «Диалог между регуляторами и специалистами пока слаб»

Как можно формализовать понятие доверия и могут ли люди в принципе доверять системам искусственного интеллекта? В преддверии конференции Trustworthy AI в Сколтехе мы поговорили со старшим преподавателем Сколтеха Павлом Осиненко о том, что такое доверие с точки зрения технических специалистов и нужны ли сегодня стандарты в области искусственного интеллекта.

kopiya-tim_3611

Расскажите, что такое концепция Trustworthy AI, искусственный интеллект, которому можно доверять. Почему мы вообще говорим о доверии? 

Я считаю, что «искуственный интеллект» – это термин, который на данный момент не слишком информативен и зачастую вносит путаницу в дискурс. В научных публикациях же всегда требуются конкретизация и четкие формулировки. Например, мы можем формально определить такие понятия, как алгоритм, система, математическая модель. С искусственным интеллектом же ситуация сложнее и здесь зачастую размывается грань между философией, этикой и наукой. Я не специалист в первых двух областях и поэтому не буду делать голословных высказываний в этом направлении. 

Что касается сложных систем, основанных на машинном обучении, то здесь под trustworthiness, вообще говоря, понимаются четкие формализуемые свойства систем, такие как устойчивость, надежность (она же робастность), сходимость, безопасность, состязательная робастность – то, что известно как adversarial robustness, и такие вещи специфические свойства, как, например, приватность данных, она же differential privacy.

Расскажите об этих свойствах подробнее.

Устойчивость – это свойство системы находиться в состоянии, которое имеет некие рамки, что называется у нас технически – без «взрывного» поведения (от англ. «blow up» или «explosion»). Что может подразумеваться под последним? Например, взрыв реактора, врезавшийся в стену автомобиль, упавший самолет и так далее. 

Безопасность обычно рассматривается в смысле неких ограничений. Допустим, беспилотный автомобиль должен придерживаться правил дорожного движения, не должен выезжать за дорожное полотно. Способность оставаться в рамках таких ограничений обычно и подразумевается под безопасностью.

Надежность, она же робастность, – это некое мета-свойство, которое описывает сохранение некоего другого, базового свойства, такого, например, как та же самая устойчивость, при наличии каких-то неопределенностей и возмущений в системе. Система, допустим, может быть устойчива, но малейшая неопределенность, малейшая флуктуация какого-то параметра делает ее сразу же неустойчивой. И напротив, если она робастно устойчива, тогда она будет выдерживать некие ограниченные в каких-то рамках возмущения параметров.

Состязательная робастность – это устойчивость по отношению к состязательным атакам, adversarial attacks. Самый банальный пример здесь – когда какое-то минимальное искажение визуальной информации приводит к тяжелой мисклассификации: автомобиль может пешехода принять за столб или, скажем, за муху на лобовом стекле. И это не будет классифицировано как некая опасность, которую надо объехать, только потому, что изображение самую малость зашумлено. 

Дифференциальная приватность, она же «differential privacy» – это свойство, которое заключается в том, что система может обеспечивать некий уровень защиты личных данных пользователя. Например, если в базе данных два человека, возраст одного из которых мы знаем, а другого — нет, то делая запрос «средний возраст», мы сразу узнаем возраст второго. Если база данных достаточно велика, такое разоблачение затруднительно. К тому же сами запросы рандомизируются. Дифференциальная приватность формализуется вероятностно с помощью несложных формул.

Еще можно добавить такую вещь, как fault tolerance, или устойчивость к сбоям – это означает возможность сохранять нормальное функционирование, в том числе, устойчивое, выполняющее ограничения и так далее, при наличии сбоя в датчиках, сбоя в актуаторах, то есть управляющих устройствах, и так далее. 

Вопрос, который часто возникает в связи с доверием к подобным системам, – искажения (biases), которые система может выдавать в своих результатах. С чем связана эта проблема?

Здесь сразу зашито несколько вопросов. Вопрос первый – данные. Датасет выбирает пользователь, если вы сделаете неадекватную выборку, у вас будет неадекватный результат (в плане модели). Если же система оптимизирует некую целевую функцию, то «искажение» (субъективно) может наблюдаться в оптимумах, т.е. оптимальных аргументах данной функции. Это, скажем, подбор потенциальных сотрудников, исходя из некоего прогноза их производительности и неких формальных критериев, характеризующих профиль кандидатов. Чтобы устранить это «искажение», надо настроить целевую функцию. 

Правильно ли я понимаю, что сама по себе технология, скажем, машинного обучения, не позволяет решить проблему, если искажение существует в виде какого-то структурного неравенства в обществе? Нужно вмешательство человека в какой-то момент.

Машинное обучение — это инструмент, гипер-параметры которого, в том числе параметры целевой функции, задает пользователь. Системы, основанные на алгоритмах машинного обучения – это тоже инструмент. И более того, принципиально от какой-то системы управления оборотами в стиральной машине он не отличается – отличается только сложностью.

Что имеют в виду специалисты, когда говорят, что системы, основанные на технологиях искусственного интеллекта, – это черный ящик?

Во-первых, это несколько вульгарный термин, и надо смотреть на контекст. Есть формальное понятие: есть так называемые white-box модели, есть black-box модели. Считается, что white-box модели – это модели, которые составлены на основе законов физики, химии и так далее, это некие конкретные формулы, отражающие физические взаимосвязи в объекте.

Black-box модели относятся к ситуации, когда мы не знаем, какими законами описывается данный объект или процесс. Но мы возьмем некую абстрактную структуру, ту же нейронную сеть, и будем просто давать некие входные воздействия этому объекту и измерять выход – и таким образом построим black-box модель. То есть получим модель, которая абстрактна, она не имеет какой-то прямой связи с законами физики.

Также «черные ящики» можно понимать в смысле алгоритмов, например, управления или поддержки принятия решений. Есть алгоритмы, которые вообще, в принципе не используют никакую модель, для них важны только вход и выход. Например, простейшая система управления смотрит лишь на ошибку, скажем, в числе оборотов некоего устройства, умножает на какой-то коэффициент, и, таким образом, приводит число оборотов к целевому значению.

Могут ли люди вообще доверять решениям таких black-box систем?

Здесь мы возвращаемся к самому первому вопросу. Если мы доверие понимаем как набор формальных свойств, то здесь, конечно, мы касаемся очень тонких вопросов теории системы, теории управления. Это сложный технический вопрос.

К примеру, устойчивость линейных систем исследована всесторонне. Мы можем говорить об устойчивости линейных систем при воздействии на них линейных управляющих устройств, даже при условии, что мы не знаем вообще параметры системы, мы только знаем, что она линейная. И здесь тоже возникает вопрос: а в этом случае мы считаем, что мы имеем дело с черным ящиком, или не совсем? Мы не знаем никаких параметров, но мы знаем, что, по крайней мере, этот черный ящик линейный, он линейно реагирует на воздействия.

В общем, конечно, известно, и это высказывание часто встречается в литературе по обучению с подкреплением, что общий алгоритм обучения с подкреплением для объектов неизвестной структуры и неизвестных параметров не обладает и не может обладать никакими гарантиями. Вот если мы ничего не знаем, мы ничего гарантировать не можем. В этом логика проста 

Там, где мы уже что-то знаем или что-то предполагаем, мы говорим: если это и это условие удовлетворено, тогда мы можем доказать это и это – устойчивость ли, безопасность ли. То есть что-то мы должны предположить, мы не можем сказать: это просто черный ящик, который как-то преобразовывает вход в выход. Не существует волшебства.

Если говорить о технических вызовах в плоскости доверия, а не философских, где здесь самые интересные на сегодня вопросы?

Состязательная робастность и дифференциальная приватность – это относительно новые понятия. Это некие свойства, которые можно рассматривать как подтипы надежности и устойчивости, но они имеют некую специфику. Может быть, этих свойств в будущем будет еще больше, учитывающих специфику конкретной системы, конкретной проблемы.

Несмотря на то, что это классические дисциплины, они очень активно развиваются на сегодняшний день, в особенности устойчивость алгоритмов обучения с подкреплением. Обучение с подкреплением – это на данный момент авангард машинного обучения. Это непосредственно алгоритмы, на которых в будущем, скорее всего, будут работать беспилотные автомобили, роботы и так далее. И здесь существует целый ряд подходов. Эти подходы, конечно, скорее, частичные: пока это такие попытки создать некий унифицированный концепт обучения с подкреплением – как мы это называем, «с гарантией». Но это очень активная область. 

Что кажется вам наиболее важной проблемой в этом контексте, заслуживающей упоминания?

Я не знаю, к сожалению, каково оптимальное решение проблемы, которая, как мне кажется, существует – есть некое расхождение между людьми, которые занимаются законами, регуляторикой, и непосредственно специалистами. Этот диалог, по крайней мере, у нас, мне кажется, недостаточно активен. Судя по многочисленным заседаниям различных рабочих групп, создается впечатление, что люди, которые занимаются в том числе законотворчеством, имеют зачастую сравнительно слабое представление о технической стороне вопроса.

Я лично прихожу к выводу, что стандартизация искусственного интеллекта, за которую сейчас взялся Росстандарт и Международная Организация по Стандартизации, на данный момент преждевременна. Она не особо конструктивна, имеет зачастую запутывающий эффект и мало помогает технической стороне сообщества, специалистам. Если я специалист и беру некий ГОСТ в руки, я ожидаю от него более-менее четких инструкций, например, какую трубу выбрать для газа такого-то давления. А со стандартами в области искусственного интеллекта ситуация иная. В лучшем случае мы видим некий обзор технологий и общие определения. 

Мне кажется, сейчас надо работать над технической стороной, над этими формальными свойствами доверительности, которые я описал. В том числе надо формализовывать, конечно, какие-то этические аспекты. А философствовать сейчас по поводу искусственного интеллекта и пытаться его определить… я лично на это не желаю тратить время.

Контакты:
Skoltech Communications
+7 (495) 280 14 81

Share on VK