Иллюзия правды: кто верит дипфейкам и как это объясняет наука
С развитием технологий машинного обучения в медиа-пространстве всё чаще встречаются дипфейки — видео и аудиозаписи, созданные с помощью алгоритмов искусственного интеллекта. Эта технология позволяет генерировать материалы с подменой лица или голоса, формируя ложное представление о словах или действиях героя, по которому сделан дипфейк. Цель дипфейковых материалов может быть разной: от развлечения до намеренного введения в заблуждение и манипуляции общественным мнением. Но действительно ли дипфейки могут быть настолько убедительны и сколько людей на самом деле доверяют им?
На этот вопрос ответила группа учёных под руководством аспиранта и стажера-исследователя НИУ ВШЭ Элианы Монаховой в рамках стратегического проекта «Успех и самостоятельность человека в меняющемся мире». Исследователи предоставили новые результаты о восприятии аудио-дипфейков на нейрофизиологическом уровне. Они изучили реакцию участников эксперимента на поддельные аудиозаписи на основе электрических сигналов, производимых мозгом в процессе восприятия информации.
В ходе эксперимента 60 участников прослушали аудио-дипфейки о вакцинации от коронавируса COVID-19 в России. Им предложили ознакомиться с комментариями известных личностей: сторонника вакцинации (врача) и его оппонента (актрисы). В экспериментальных материалах высказывания спикеров заменили на противоположные — сторонник прививок стал выступать против них, а его оппонент, напротив, поддерживать вакцинацию. Исследователи учитывали внутренние установки участников эксперимента по вопросу вакцинации от ковида, их уровень аналитического мышления, стремление к новым знаниям и склонность к конформизму. Представленные факторы помогли понять, какие индивидуальные характеристики могут формировать доверие к дипфейк-материалам. Учёные также оценили восприятие дипфейк-материалов на нейрофизиологическом уровне, задействуя технологию ЭЭГ — метод измерения электрической активности мозга с помощью датчиков (электродов), размещенных на коже головы.
Пока участники слушали дипфейки, учёные фиксировали реакцию на слова в аудиозаписях, которые не соответствовали публичной позиции обоих личностей. Такое расхождение с ожиданиями участников, а также несоответствие их внутренним установкам, предполагало специфическое отклонение мозговой амплитуды, известное как N400. Такая реакция проявляется при семантическом рассогласовании, а также при несоответствии ожиданиям, представлениям и моральным нормам человека.
В результате анализа ЭЭГ-данных учёные обнаружили некоторые различия в реакции мозга участников в зависимости от типа спикера и экспериментальной группы. Например, в группе противников вакцинации отклонение амплитуды участников было более негативным при расхождении слов дипфейка врача с его реальной позицией. Тем не менее, это не было связано с внутренними установками участников данной группы — контрольные слова врача, соответствующие его позиции, не вызвали столь негативного отклонения амплитуды, как ожидалось.
В будущем исследовательская группа планирует использовать метод многофакторного дисперсионного анализа (ANOVA) для обработки данных о доверии к материалам и результатов поведенческих опросников: теста на когнитивную рефлексию, шкалу потребности в познании и шкалу конформизма. Это поможет учёным лучше понять, как индивидуальные характеристики участников влияют на формирование доверия к дипфейк-материалам.