Первый центр ассистивных технологий и дополненного интеллекта: c людьми и для людей
Разрабатываем 3Н-технологии — нейродиагностики, нейроадаптации, нейрореабилитациии — и инструменты, позволяющие снизить число нейрогенных и психических заболеваний или облегчить их последствия
Проект в цифрах
-
9+
Проектов
-
9+
Подразделений НИУ ВШЭ
-
14+
Партнеров
-
76+
Участников
Магнитоэнцефалография нового поколения на основе магнитометров с оптической накачкой (МОН МЭГ)
Цель
Разработка аппаратных и программных компонент технологии магнитоэнцефалографии на основе сенсоров с оптической накачкой (МОН МЭГ)
Задачи
• Сборка прототипа сенсора ненулевого поля в соответствии с однолучевой схемой, разработанной в сотрудничестве лабораторией квантовой магнитометрии ФТИ
им. А.Ф. Иоффе
• Сборка блока оптической накачки на территории Нейро-гаража в помещении по адресу Старая Басманная, 21, оборудованном магнитоэкранирующей камерой
• Разработка системы колец Гельмгольца со статическим возбуждением и оборудование магнитоэкранирующей камеры системой таких колец
• Разработка ПО для управления прототипом сенсора и регистрации измеряемых сигналов
• Демонстрация работоспособности сенсора в установке при регистрации переменного магнитного поля на частоте 10 Гц напряженностью 10 пТ с.к.о., генерируемого тестовой катушкой
• Разработка системы колец Гельмгольца с динамическим адаптивным возбуждением вкупе с необходимым программным обеспечением и оборудование магнитоэкранирующей камеры такой системой
• Демонстрация работоспособности сенсора в установке при регистрации альфа-ритма человека
• Разработка парадигмы предъявления зрительных стимулов и программных скриптов для обработки регистрируемых измерений активности мозга
• Демонстрация работоспособности разработанного сенсора в составе МОН МЭГ для регистрации вызванных зрительных потенциалов
Результаты
• Создание экспериментальной установки на основе прототипа отечественного сверхвысокочувствительного магнитометра, способного функционировать в магнитном поле Земли
Координатор проекта
Осадчий Алексей Евгеньевич, директор Центра биоэлектрических интерфейсов Института когнитивных нейронаук
Нейрокогнитивные технологии оптимизации городских пространств
Цель
Исследование восприятия жилой среды с помощью когнитивных методов и прояснение связи характеристик городской среды с состоянием когнитивных функций, что позволит объективно оценить влияние среды на человека и создать подход к объективной оценке качества (картирования) жилой среды в контексте ее влияния на когнитивное благополучие
Задачи
• Исследовать восприятия жилой среды с разной степенью озеленения и протекторной функции
• Предложить обоснованный набор параметров среды, влияющих на когнитивные функций населения
• Проанализировать когнитивные функции населения (в первую очередь школьников) используя доступные источники данных
• Выявить (протекторные) особенности среды, связанные (или не связанные) с различиями в функциональном уровне когнитивных функций населения
• Предложить подход и алгоритм к созданию метрики уровня протекторного (когнитивного) потенциала жилой среды
• Предложить подход и алгоритм к картированию уровня протекторного (когнитивного) потенциала городской среды в РФ
Результаты
• Разработана новая экспериментальная парадигма и создана база эмпирических ЭЭГ данных восприятия городских пространств
• Проведено измерение сходства активности мозга у группы людей при восприятии разных типов городской среды
Координатор проекта
Ключарёв Василий Андреевич, ведущий научный сотрудник Международной лаборатории социальной нейробиологии Института когнитивных нейронаук
Нейроинтерфейсы и цифровые инструменты для коррекции речевых расстройств
Цель
Создание нейронаучно и лингвистически информированных и клинически востребованных интерфейсов и цифровых инструментов для коррекции речевых расстройств
Задачи
• Разработать цифровой инструмент (планшетное приложение, ПО) для коррекции речевых расстройств (на лексическом уровне — подбора слов) после нейрогенных заболеваний (инсульт, травма мозга, деменция, постковидная энцефалопатия)
• Разработать лингвистический протокол для коррекции аномии (называние объектов) — для применения в системе нейроинтерфейса
• Разработать лингвистические протоколы для пассивного картирования речи во время краниотомий в сознании для предотвращения речевых нарушений у людей, перенесших нейрохирургическую операцию
Результаты
• Цифровой инструмент (планшетное приложение, ПО) для коррекции речевых расстройств (на лексическом уровне — подбора слов) после нейрогенных заболеваний (инсульт, травма мозга, деменция, постковидная энцефалопатия)
• Лингвистический протокол для коррекции аномии (называние объектов) — для применения в системе нейроинтерфейса
• Лингвистические протоколы для пассивного картирования речи во время краниотомий в сознании — для предотвращения речевых расстройств у нейрохирургических пациентов
Координатор проекта
Драгой Ольга Викторовна, главный научный сотрудник Центра языка и мозга
Технологии неинвазивной стимуляции головного мозга для восстановления и улучшения речевой функции: разработка и апробация протоколов стимуляции
Цель
Исследование влияния различных типов неинвазивной стимуляции головного мозга на речевое функционирование в нормотипичной популяции и применение полученных результатов в разработке реабилитационных программ для восстановления речи после инсульта
Задачи
• Исследовать потенциал применения транскраниальной магнитной стимуляции (ТМС), транскраниальной стимуляции постоянным током (ТСПоТ) и транскраниальной стимуляции переменным током (ТСПеТ) для модуляции речевой функции в группе неврологически здоровых испытуемых
• Исследовать влияние ТМС изолированно и в сочетании с речевой терапией на восстановление речи после инсульта
• Выявить факторы, которые влияют на успешность применения трех типов неинвазивной стимуляции мозга в группе нормотипичных носителей русского языка и в группе людей с афазией
Результаты
• Протокол применения ТМС в сочетании с речевой терапией доработан и апробирован в группе людей, перенесших инсульт и имеющих речевые нарушения; подготовлены рекомендации по его внедрению в клиническую рутину
• Разработан и апробирован протокол применения ТСПоТ в сочетании с интенсивной речевой терапией для людей с аграмматизмом
• Проведены исследования влияния ТСПеТ на различные аспекты речевой функции в группе нормотипичных носителей русского языка
Координатор проекта
Буйволова Ольга Витальевна, научный сотрудник Центра языка и мозга
Поймай бота: семантические пространства дополненного ума
Цель
Создание эффективной системы обнаружения текстов, написанных ботами, в широком классе ботов для различных языков
Задачи
• Сбор и обработка первичной языковой информации в как можно более широком кругу языков. При этом мы ориентируемся на корпусы национальных литератур, в случае отсутствия таковых (для малых языков) на Википедию. Здесь предполагаем сотрудничество со студенческим клубом «Палата национальностей НИУ ВШЭ» а также со студентами НИУ ВШЭ, являющимися носителями различных языков (языки Африки, Азии, латинской Америки), принадлежащим различным языковым семьям
• Обработка указанной языковой информации с целью получения векторных представления всех слов в языке для тех языков, где такого рода словари отсутствуют
• Проверка статистических гипотез, позволяющих отличить тексты, сгенерированные ботами, от текстов, написанных людьми. С этой целью предполагается использовать алгоритмы из теории кластеризации, теории сложных систем и анализа формальных понятий
• Создание прототипа комплекса программ, позволяющих отличать тексты ботов от текстов людей в широком круге ботов (LSTM, GPT-2, mGPT и др.) для русского и английского языков
• Тестирование прототипа комплекса программ на различных языках и ботах
• Расширение набора языков, с которыми осуществляется работа прототипа
• Расширение полученных технологий на смежные задачи вычислительной когнитологии: задачу оценки качества перевода, задачу выделения стилей
Результаты
• Прототип программы классификации текстов по происхождению, работающий для русского и английского языков
Координатор проекта
Громов Василий Александрович, профессор департамента анализа данных и искусственного интеллекта факультета компьютерных наук
Создание когнитивно мотивированных ИИ технологий противодействия недостоверной и поляризующей информации
Цель
Разработка методов противодействия поляризующему онлайн-контенту, в том числе на основе ИИ
Задачи
• Проанализировать ЭЭГ данные в состоянии покоя и самоотчетные данные об уровне тревожности участников с целью выявления корреляций между поведенческими и нейрофизиологическими данными
• Разработать интерфейс для широкого круга экспериментов по восприятию текстов
• Выдвинуть гипотезы относительно связи между эмоциями, возникающими при чтении поляризующего контента в сфере межэтнических отношений, и намерениями участвовать в создании ответного поляризующего контента и о влиянии применения методик совладания с такими эмоциями на такие намерения
• Апробировать дизайн исследования, проверяющего такие гипотезы, на пилотной выборке участников с записью ЭЭГ в состоянии покоя и применением различных методик эмоциональной регуляции
• Разработать нейросетевой алгоритм автоматического распознавания ряда типов отношений, выражаемых в этнорелевантных пользовательских текстах, включая их негативный полюс
Результаты
• Разработана русскоязычная шкала генерализованной тревожности, валидированная на поведенческом и нейрофизиолгическом уровне
• Разработан обученный нейросетевой алгоритм классификации пользовательских текстов на классы отношения к этническим группам по шкале «низший-высший»
• Разработано программное обеспечение с пользовательским интерфейсом для проведения компьютерно-опосредованных экспериментов по восприятию текстовой информации и дезинформации
Координатор проекта
Кольцова Елена Юрьевна, заведующий лабораторией социальной и когнитивной информатики НИУ ВШЭ в Санкт-Петербурге
Прогнозирование и модуляция экономического поведения с использованием технологий мультимодального нейрокартирования
Цель
Выявление мозговых механизмов принятия решений потребителем в различных контекстах. Разработка нейроинформированных подходов к прогнозированию и модуляции экономического поведения с использованием технологий мультимодального нейрокартирования
Задачи
• Изучение мозговых механизмов индивидуальных и групповых предпочтений продуктов, содержащих сахар
• Изучение механизмов эффективного влияния на готовность платить (WTP) за продукты питания с разным содержанием сахара
• Разработка инструментальных подходов к анализу готовности платить за продукты с разным содержанием сахара: ISC and MVPA подходы к анализу мозговых откликов в ответ на прослушивание экспертных сообщений о пользе или вреде сахаросодержащих продуктов
Результаты
• Исследованы мозговые механизмы индивидуальных и групповых предпочтений продуктов, содержащих сахар
• Исследованы механизмы эффективного влияния на готовность платить (WTP) за продукты питания с разным содержанием сахара
• Разработаны инструментальные подходы к анализу готовности к продуктам с разным содержанием сахара: ISC and MVPA подходы к анализу мозговых откликов в ответ на прослушивание экспертных сообщений о пользе или вреде сахаросодержащих продуктов
Координатор проекта
Шестакова Анна Николаевна, директор Института когнитивных нейронаук
ИИ-система диагностики слуха
Цель
Разработка системы диагностики слуха и синтаксического восприятия речи на основе нейроморфных вычислительных моделей. Клинический протокол речевой терапии с нейростимуляцией — для реабилитации речи у пациентов после инсульта
Задачи
• Разработка новой парадигмы регистрации электрофизиологической активности слуховой коры человека во время тестов на восприятие речевых стимулов. Создание экспериментальный установки для высокосинхронизированной записи электрической активности слуховой коры и аудио потока речевых стимулов. Разработка методов выделения ритмической активности
• Проведение пилотного эксперимента с 2-3 здоровыми испытуемыми
• Сопоставление результатов пилотного эксперимента с редуцированной нейроморфной моделью декодирования речевых сигналов, которое осуществляется посредством кроссчастного взаимодействия макроскопических ритмов мозга в тета- и гамма- диапазонах. Предварительная проверка гипотезы об иерархической обработке речевых стимулов посредством кроссчастотного взаимодействия макроскопических ритмов мозга
Результат
• Созданы экспериментальная установка для высокосинхронизированной записи электрической активности слуховой коры и аудио потока речевых стимулов и новая парадигма регистрации электрофизиологической активности слуховой коры человека во время тестов на восприятие речевых стимулов
• Проведен поиск корреляции ритмической активности в разных частотных диапазонах с синтаксической ритмикой речи (слоги, фонемы)
Координаторы проекта
Гуткин Борис Самуэль, ведущий научный сотрудник Центра нейроэкономики и когнитивных исследований
Захаров Денис Геннадьевич, ведущий научный сотрудник Центра нейроэкономики и когнитивных исследований Института когнитивных нейронаук
Осадчий Алексей Евгеньевич, директор Центра биоэлектрических интерфейсов Института когнитивных нейронаук
Изучение нейробиологических и психологических основ научения и интеллекта, мультилингвизма и когнитивного резерва
Цель
Выявление фундаментальных закономерностей влияния двуязычного опыта на общие когнитивные процессы внимания и когнитивного контроля и нейрокогнитивный резерв.
Разработка эффективных стратегий и технологий когнитивного и речевого научения в их связи с би- и мультилингвизмом
Задачи
• Анализ актуальных исследований в области влияния билингвизма на когнитивный резерв
• Анализ актуальных исследований в области когнитивных стратегий запоминания иноязычных лексических единиц и распознавания грамматических конструкций
• Разработка парадигм исследований с использованием методов нейрокартирования и окулографии
• Апробация стимульного материала для эмпирических исследований
Результаты
• Подготовлен теоретический обзор, посвященный проблеме влияния двуязычного опыта на когнитивные процессы внимания и когнитивного контроля и/или нейрокогнитивный резерв
• Разработаны парадигмы исследований с использованием методов нейрокартирования и окулографии
• Проведена апробация стимульного материала
Координатор проекта
Штыров Юрий Юрьевич, ведущий научный сотрудник Центра нейроэкономики и когнитивных исследований Института когнитивных нейронаук
Мячиков Андрей Викторович, ведущий научный сотрудник Центра нейроэкономики и когнитивных исследований
Изучение механизмов распределения внимания при обучении чтению нотного письма
Цель
Изучение процесса формирования навыка чтения нотного письма в зависимости от индивидуального музыкального опыта
Задачи
• Определить, на какие элементы нотного письма опираются в первую очередь учащиеся музыкальных школ в зависимости от продолжительности их обучения
• Изучить время реакции и точность выполнения заданий, связанных с восприятием нотного письма, в зависимости от продолжительности музыкального обучения и уровня развития музыкального слуха (способности различать близкие частоты)
• Разработать и валидировать методику для оценки и тренировки навыков чтения нотного письма
Результаты
• Разработана и валидирована методика для оценки и тренировки навыков чтения нотного письма
• На основании эмпирических данных описан процесс нормального обучения нотной грамоте, определены его ключевые этапы
Координатор проекта
Куликова Софья Петровна, старший научный сотрудник Центра когнитивных нейронаук НИУ ВШЭ в Перми
Цифровые инструменты для оценки психических расстройств
Задачи
• Собрать данные выполнения задания «вербальная беглость» (аудиозаписи) и психиатрических опросников у 50 участников с расстройствами шизофренического спектра, 50 участников с депрессией и 150 участников из группы нормы разных возрастных групп
• Создать базу данных с результатами и подобрать наилучший метод автоматической обработки для выявления наличия расстройств
• Разработать цифровой инструмент (мобильное приложение, ПО) для автоматической диагностики расстройств мышления по выполнению задания «вербальная беглость»
Результаты
• Создана база результатов выполнения задания «вербальная беглость» пациентами с психиатрическими расстройствами и нейротипичными индивидуумами различных возрастных групп
• Создан сайт для сбора и анализа задания «вербальная беглость»
• Разработано мобильное приложение для сбора и анализа выполнения задания «вербальная беглость»
Координатор проекта
Худякова Мария Викторовна, директор Центра языка и мозга факультета гуманитарных наук НИУ ВШЭ в Нижнем Новгороде
Шаги развития
Шаг 1
- Создание нейроэкономической модели дезадаптивного поведения потребителя
- Прототип нейропротеза кисти
- Разработка математических моделей, описывающих связи фазы ритмической активности мозга с процессами парцелляции речевого потока
- Создание прототипа технологии пассивного интраоперационного картирования речевой функции картирования
Шаг 2
- Создание прототипа магнитоэнцефалографа нового поколения на основе магнитометров с оптической накачкой (МОН-МЭГ)
- Разработка нейропротезов нового поколения с использованием интерфейсов мозг-компьютер, мягких нейроимплантов и распределенной пространственно-временной модуляции
- Разработка инструментов поддержки общего и билингвального языкового научения для систем образования
- Создание банка нейрофизиологических данных с внешними медицинскими партнерами
Семинары проекта
-
26 сентября | 16:00–18:00
Руководитель проекта
Соколов Игорь Владимирович
Административный руководитель проекта
Лидеры проекта
Научный сотрудник Центра языка и мозга
Ведущий научный сотрудник Центра нейроэкономики и когнитивных исследований
Заместитель руководителя Департамента анализа данных и искусственного интеллекта Факультета компьютерных наук
Главный научный сотрудник Центра языка и мозга
Ведущий научный сотрудник Центра нейроэкономики и когнитивных исследований Института когнитивных нейронаук
Ведущий научный сотрудник Международной лаборатории социальной нейробиологии Института когнитивных нейронаук
Заведующий лабораторией социальной и когнитивной информатики Санкт-Петербургская школа социальных наук и востоковедения НИУ ВШЭ в Санкт-Петербурге
Старший научный сотрудник Центра когнитивных нейронаук НИУ ВШЭ в Перми
Профессор Школы лингвистики Факультета гуманитарных наук
Ведущий научный сотрудник Центра нейроэкономикии когнитивных исследований Института когнитивных нейронаук
Ведущий научный сотрудник Центра нейроэкономики и когнитивных исследований
Директор Центра биоэлектрических интерфейсов Института когнитивных нейронаук
Декан Факультета биологии и биотехнологии
Директор Центра языка и мозга факультета гуманитарных наук НИУ ВШЭ в Нижнем Новгороде
Заместитель директора по научной деятельности НИУ ВШЭ в Санкт-Петербурге
Руководитель Департамента психологии Факультета социальных наук
И.о. директора Института когнитивных нейронаук
Ведущий научный сотрудник Центра нейроэкономики и когнитивных исследований Института когнитивных наук