Учёные Сколтеха и их коллеги из компании — производителя бионических протезов «Моторика» и совместного Центра кибернетической медицины и нейропротезирования компании «Моторика» и ФМБА разработали систему оценки уровня комфорта у пользователей протезов рук на основе отслеживания движения глаз. Система контролирует частоту, с которой пациент с ампутированной конечностью смотрит на свой протез и объекты вокруг, а также отслеживает другие характеристики его взгляда. На основе этих данных система рассчитывает объективные показатели, по которым учёные и производители протезов могут оценить, воспринимает ли пациент протез как часть своего тела или испытывает дополнительную умственную нагрузку при использовании протеза. В рамках исследования были получены предварительные результаты четвёртого этапа исследований по очувствлению протезов. На данном этапе пользователи протезов участвовали в исследовании в течение четырёх месяцев. Этот период включал длительную послеоперационную реабилитацию и месячный период адаптации к инвазивным нейропротезам. Статья по результатам исследования доступна в репозитории OSF Preprints.
В рамках исследований учёным удалось реализовать сенсорную обратную связь в бионических протезах. Благодаря электростимуляции пациент может ощущать предметы, с которыми взаимодействует, не глядя на сами предметы и положение своего протеза. Для усовершенствования протезов разработчикам и производителям протезов требуются более эффективные методы объективной оценки удобства использования и принятия устройств как продолжение своего тела у людей с ампутированными конечностями, а не только ограничиваться анкетами. Именно эта задача была решена в исследовании учёных Сколтеха и их коллег.
«Иногда оценка испытуемыми своих ощущений сильно зависит от настроения и нацеленности на результат. Однако, находясь дома с установленными на очках камерами, они используют протез с меньшей уверенностью, чем в условиях лаборатории. Наш подход позволяет получить дополнительные объективные косвенные показатели комфорта и умственной нагрузки для пациента с возможностью сбора этих данных вне лаборатории», — отметил первый автор исследования, аспирант Сколтеха Михаил Кнышенко.
Новая портативная система включает в себя очки с двумя камерами для отслеживания движения глаз и дополнительной камерой фиксации окружающей обстановки. Полученные видео и данные со встроенных в протез сенсоров обрабатываются через специальное программное обеспечение. Для распознавания наиболее важных объектов на видеозаписях с камер используются алгоритмы компьютерного зрения. К таким объектам относятся протез, перемещаемый предмет и та область, куда он должен быть помещён.
Результаты исследования были достигнуты в рамках эксперимента, где испытуемый, стоя за столом, многократно захватывал предмет протезом руки, поднимал его и устанавливал в освещенную целевую область на столе. В половине заданий испытуемый получал сенсорную обратную связь от протеза в виде электростимуляции через вживлённый в руку электрод. Стимуляция вызывала у испытуемого ощущения в фантомной конечности во время удержания и перемещения предметов. Эксперименты продолжались в течение нескольких недель. В результате исследователям удалось записать 250 часов видео. Затем эти данные были обработаны при помощи алгоритма компьютерного зрения для отслеживания интересующих объектов.
Сенсорная обратная связь от протеза к испытуемому была настроена под конкретного пользователя протеза. Использовались результаты подготовительных экспериментальных сеансов, в ходе которых был определён возможный диапазон стимуляции. Следует отметить, что в ходе подготовительных сеансов проводился поиск подходящих параметров электростимуляции на основе ответов испытуемого о характере ощущений, которые он испытывал под её воздействием. Это позволило исследователям определить, какие виды стимуляции вызывают те или иные субъективные ощущения и в какой части фантомной руки эти ощущения возникают.
«Мы разрабатываем методы инвазивной стимуляции и протезирования уже пять лет. Наша цель — постоянно повышать автономность и мобильность этих устройств, обеспечивая при этом безопасность и удобство для пользователя. В данном исследовании мы впервые позволили испытуемому свободно передвигаться и взаимодействовать с реальными объектами. Имея в нашей двунаправленной системе такую дополнительную свободу манёвра, мы поставили перед собой цель объективно оценить взаимодействие пользователя с протезом в динамике», — рассказывает научный координатор проекта, научный сотрудник Центра нейробиологии и нейрореабилитации имени Владимира Зельмана Сколтеха Гурген Согоян.
«Такие инновационные, наукоёмкие проекты можно реализовать только благодаря взаимодействию крупных индустриальных партнёров и лидеров науки ФЦМН ФМБА и Сколтеха. Это поможет людям вернуть часть утраченных ими функций и избавиться от фантомных болей. Задача проекта — вывести продукт на рынок», — поделился руководитель департамента нейротехнологий «Моторики» Юрий Матвиенко.
По словам авторов, новая портативная система может использоваться исследователями и производителями протезов для сбора важных данных, которые смогут дополнить традиционные самоотчёты и помочь в разработке бионических протезов.
