Когда человек смотрит на горящий светодиод, в его мозге происходит электрическая активность. Это устойчивый визуально вызванный потенциал (УВВП): мозг человека в затылочной области, отвечающей за зрительные ассоциации, генерирует электрические сигналы, которые можно снять с помощью электроэнцефалограммы. Регистрируемые волны уникальны для каждого человека и зависят от его психофизиологического состояния: это в эксперименте доказали ученые Института проблем управления им. В.А. Трапезникова РАН. На основе оригинальных нейросетей они создали классификационные модели, которые по мозговой активности определяют личность человека и психофизиологическое состояние. Фактически это фундамент для систем биометрической безопасности на новых принципах.

О практическом применении знаний о мозге в разрезе разработок ученых ИПУ РАН упоминалось в статье портала «Полет силой мысли: добро пожаловать в нейропилоты». В ней описан эксперимент, в котором оператор управляет коптером, стимулируя альфа- и бета-ритмы головного мозга, проще говоря, сосредоточиваясь на задаче и расслабляясь. Тогда же в беседе автор разработки Данияр Александрович Вольф рассказал об исследованиях-спутниках: собирая информацию о работе мозга, ученый сформулировал гипотезу о том, что волны, регистрируемые датчиками, уникальны для каждого человека. А значит, их можно использовать как биометрические маркеры для идентификации человека — своего рода «отпечатки мозга» в виде отображения его активности.

Полученные результаты ― итог совместной работы двух научных групп. Данные о реакции головного мозга на визуальную стимуляцию получены в лаборатории медицинской кибернетики Воронежского государственного университета. Сотрудники ИПУ им. В.А. Трапезникова РАН при финансовой поддержке Российского научного фонда провели исследования на основе этих данных, подтверждающие гипотезу об уникальности регистрируемых волн, и обучили нейросети их классифицировать.

Коротко о результатах

При формировании УВВП мозг создает уникальные для каждого человека волны, которые можно зарегистрировать с помощью электроэнцефалограммы и использовать как индивидуальные идентификационные характеристики и его состояние. Это экспериментально доказал Д.А. Вольф. В перспективе исследование поможет развивать методы распознавания человека по признакам, которые невозможно (по крайней мере, пока) подделать.

Д.А. Вольф: «Два года назад я выдвинул гипотезу: можно ли по сигналу мозга выяснить, с какой зоны он снят? Да, можно. Недавно мою статью опубликовали в журнале Springer. Потом встал вопрос: отличаются ли эти сигналы у разных людей и можно ли их использовать как биометрические маркеры? Основные признаки биометрии известны ― это отпечатки пальцев, распознавание радужки или сетчатки глаза. Мы подтвердили возможность идентификации человека по частотной динамике волн головного мозга, то есть появилась возможность определить, кому именно принадлежали те или иные мысли. Обмануть сканер радужки глаза или отпечатков пальцев сегодня возможно, но подделать образ мышления гораздо сложнее. Это позволит ограничивать человека для работы на конкретном устройстве и при различных состояниях».

Для самой идентификации людей и анализа полученных сигналов электроэнцефалограммы были использованы искусственные нейронные сети AlexNet и Mobile Net 2, обученные с помощью частотно-временных характеристик. Созданные классификационные модели способны определить человека с точностью до 70%. В работе автор подчеркивает, что 70-процентную вероятность идентификации возможно увеличить за счет дополнительной настройки архитектуры нейронной сети с добавлением различных математических блоков. Однако в рамках поставленной задачи важно было не добиться абсолютной точности, но показать, что данные ЭЭГ действительно уникальны, а нейросети способны их различить.

Суть эксперимента

Эксперимент проводили в 2023 г. Участие приняли 30 человек от 17 до 23 лет ― и мужчины, и женщины. Обязательно с нормальным зрением, без неврологических и психиатрических заболеваний и не употреблявшие наркотики ― это важно для чистоты эксперимента.

Во время фотостимуляции на определенных частотах записывались данные электроэнцефалограммы участников в отведениях О1, О2, ОZ, Р3, Р4 и PZ. Полученные данные сгруппировали по частотам фотостимуляции и по группам отведений для каждого участника. Ученые использовали динамику изменения частоты во временном масштабе как признаки для обучения нейросетей и последующей классификации. С помощью кратковременного преобразования Фурье были получены наборы спектрограмм для каждого участника эксперимента, которые и анализировались с помощью нейросетей.

Если проще: данные ЭЭГ каждого испытуемого представили в виде изображений частотного спектра (спектрограмм), различия в которых и искали искусственные нейронные сети.

Д.А. Вольф: «Для поиска различий мы использовали архитектуры искусственных нейронных сетей AlexNet и MobileNet 2. Во-первых, они эффективно работают с изображениями. Во-вторых, мы намеренно использовали популярные и доступные архитектуры нейросетей, чтобы эксперимент могли повторить другие ученые и подтвердить гипотезу. В научной работе я полностью описал шаги исследования, указал, какие именно нейросети использовал и где их взял».

В процессе обучения нейросетей выяснилось, что AlexNet обучается быстрее, чем MobileNet: 300 эпох против 600. Впрочем, на итоговый результат это не влияет, и в результате нейронные сети показывают практически одинаковую точность распознавания человека и его психоэмоционального состояния по ЭЭГ.

Области применения

В феврале этого года Илон Маск рассказал, что первый пациент с вживленным чипом Neuralink полностью выздоровел и учится пользоваться новыми возможностями — например, передвигать курсор компьютерной мыши, просто думая об этом. Создание возможности управлять устройствами без физического взаимодействия ― одна из приоритетных задач науки. И перспективные области применения интерфейсов «мозг ― компьютер» огромны: от повышения комфорта в быту и развлечений до частичного восстановления утраченных органов и протезирования. Это возможность развития когнитивных функций, например концентрации и внимания, реабилитация после инсультов, управление экзоскелетами или инвалидными креслами.

Д.А. Вольф обращает внимание, что, кроме управления системами и устройствами с помощью нейроинтерфейсов, важно научить компьютер идентифицировать людей по сигналам мозговой активности, а также определять их состояние. Это позволит ограничить в действиях человека, находящегося в состоянии аффекта, а также не допустить другого человека к некоторым функциям.

Д.А. Вольф: «Развитие технологий позволяет исследовать новые биометрические параметры, которые могут быть надежнее с точки зрения подмены пользователей и действий злоумышленников. Применение средств идентификации выходит далеко за рамки привычных систем безопасности десятилетней давности. Сегодня технологии биометрического распознавания человека активно внедряются и продолжают усиливаться в системах умного города, предотвращении правонарушений и раскрытии преступлений, медицинских манипуляциях, многофакторных системах предоставления доступа к закрытым данным и помещениям и т.д.

Системы определения личности по мозговой активности могут быть важны для отраслей, заинтересованных в нетрадиционных методах идентификации. Например, это финансовая безопасность. Или их можно использовать вместо ключей зажигания в автомобилях ― система сможет самостоятельно узнать владельца».

Новый способ, позволяющий определять конкретного человека, одновременно открывает возможности более широкой классификации: мужчина ― женщина, старик ― ребенок, трезвый ― пьяный. Но каждое исследование требует отдельного сбора материалов и анализа данных. Такие задачи бинарной классификации ― возможное будущее продолжение исследований. Но и на нынешнем этапе развития методы российских ученых в области интерпретации и классификации сигналов мозговой активности с использованием нейросетей ― одни из передовых в мире.

Д.А. Вольф: «Рано или поздно Neuralink Илона Маска или их австралийский конкурент Synchron придут к тому же самому ― идентификации человека по мозговой активности. И громко заявят об этом всему миру. Поэтому так важно, что сегодня мы рассказываем о своих исследованиях».