Ученые впервые добились перевода мозговых сигналов в осмысленный текст

Японские исследователи разработали метод, который способен преобразовывать активность мозга человека в осмысленный текст - даже когда человек не говорит и не думает словами. Вместо того чтобы расшифровывать речь, система "читает" невербальные представления, возникающие в мозге до того, как мысли оформляются в слова.

Как передает Day.Az, работа опубликована в журнале Science Advances.

Ученые под руководством Томоясу Хорикавы показали, что мозг содержит достаточно информации для создания текстового описания происходящего - даже если человек просто смотрит или вспоминает видео без звука. Используя функциональную МРТ и языковые модели, исследователи смогли генерировать подписи к роликам, которые точно отражали как реальные события на экране, так и субъективные воспоминания участников.

По словам Хорикавы, идея возникла из давнего вопроса нейронауки - можно ли "услышать" внутреннее содержание сознания без опоры на язык.

"Меня давно интересует, как мозг создает и представляет наш субъективный опыт - воображение, сновидения, воспоминания. Технологии декодирования мозговой активности помогают приблизиться к этим вопросам", - отметил он.

Разработанная методика получила название mind captioning ("мысленное подписи"). Она состоит из двух этапов: сначала мозговая активность переводится в набор семантических признаков с помощью нейросетевой модели, а затем эти признаки преобразуются в осмысленные предложения.

В эксперименте участвовали шесть взрослых добровольцев. Им показывали тысячи коротких беззвучных видеороликов с изображениями предметов, людей и действий, после чего просили мысленно воспроизвести увиденное. В это время сканер фиксировал активность мозга. На основе полученных данных компьютер обучался соотносить сигналы мозга с семантическими структурами текста, а затем формировал собственные описания.

Результаты впечатлили: по данным анализа, алгоритм смог с вероятностью около 50% определить, какой именно ролик видел участник - при том, что случайное угадывание давало бы лишь 1%. Сгенерированные описания совпадали с человеческими подписями не только по смыслу, но и по структуре: алгоритм улавливал отношения между объектами и действиями, а не просто перечислял слова.

Особенно важно, что текст можно было создавать даже по сигналам из областей мозга, не связанных с речью. Это доказывает: смысловая информация распределена по многим зонам - в том числе отвечающим за восприятие и память.

"Наш метод показывает, что мозг хранит структурированные представления опыта еще до того, как они становятся словами. Мы не читаем мысли - мы интерпретируем содержание, которое мозг уже закодировал", - пояснил Хорикава.

Исследование открывает перспективы для создания систем коммуникации для людей, утративших возможность говорить или писать, а также для изучения воображения, сновидений и эмоций.