ИСТОРИЯ МЕДИЦИНЫ

Искусственный интеллект прочитал и показал мысли российских ученых

Российские специалисты научили нейросеть в реальном времени воссоздавать изображения, которые человек видит в данный момент. Разработка поможет при создании устройств реабилитации пациентов, в том числе после инсульта, сообщила пресс-служба МФТИ. Статья с описанием работы опубликована на портале BioRxiv.

Ученым очень важно понимать, как мозг обрабатывает информацию - в частности, для того, чтобы в дальнейшем создавать и совершенствовать методы лечения нарушений работы головного мозга, помогать при реабилитации после инсульта и создавать устройства, которыми человек может управлять лишь при помощи мозга.

При этом ключевая задача состоит в том, чтобы изучить активность мозга, которая возникает, когда он воспринимает визуальную информацию. Современные разработки в этой области используют функциональную магнитно-резонансную томографию (фМРТ) или анализ сигнала, получаемого непосредственно с нейронов. Особенности этих методов ограничивают их применение в клинической практике и повседневной жизни.

Чтобы преодолеть эти ограничения, ученые из Московского физико-технического института (МФТИ) и компании "Нейроботикс" создали интерфейс "мозг - компьютер", который использует для тех же целей нейросети и электроэнцефалографию (ЭЭГ). С помощью этого метода ученые получают с поверхности головы следовы сигналы от работы нервных клеток, которые могут многое рассказать о работе головного мозга.

"Раньше считалось, что исследовать процессы в мозге по ЭЭГ - это все равно, что пытаться узнать устройство двигателя паровоза по его дыму, - отмечает один из авторов работы Григорий Рашков. - Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс "мозг - компьютер". Это очень обнадеживает. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации".

Суть опыта

Эксперимент состоял из двух частей. В первой исследователи произвольно выбрали пять разных категорий роликов с YouTube: "абстракции", "водопады", "лица людей", "скорость" (видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли) и "движущиеся механизмы", так называемые машины Голдберга. Все эти видео ученые показывали испытуемым, записывая при этом ЭЭГ с поверхности их голов.

Ученые доказали, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Во второй части эксперимента авторы обучили две специально созданные нейросети по сигналу ЭЭГ воссоздавать кадры, которые похожи на те, которые видели люди в тот момент, когда записывалась энцефалограмма.

Для проверки испытуемым - в том числе одному из соавторов работы - показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее нейросетям на обработку. Те хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев  можно было определить категорию видео.

Работа проводилась в рамках проекта “Ассистивные технологии” НейроНет НТИ. Он был начат в 2017 году и направлен на разработку комплекса устройств для реабилитации больных после инсульта и нейротравм головы. Проект включает разработку комплекса устройств - это нейрогарнитура NeuroPlay, нейротренажер и другие. Одна из целей работы - увеличить точность нейроуправления (то есть управления устройствами при помощи одного лишь головного мозга) не только пациентами, но и здоровыми людьми.

По материалам сайта ТАСС