е MinD-Video

Продукт
Разработчики: Национальный университет Сингапура
Дата премьеры системы: май 2023 г.
Отрасли: Фармацевтика, медицина, здравоохранение

2023: Создание технологии

19 мая 2023 года исследователи из Национального университета Сингапура и Китайского университета Гонконга сообщили о разработке технологии, которая позволяет генерировать видеоматериалы на основе информации об активности мозга. Проект получил название MinD-Video.

В основу разработки положено программное обеспечение Stable Diffusion с алгоритмами искусственного интеллекта. Этот софт предназначен для формирования изображений по текстовым описаниям. Учёные совместили возможности Stable Diffusion с функциональной магнитно-резонансной томографией (фМРТ). В результате, удалось создать новую систему для «чтения мыслей».

Исследователи сообщили о разработке технологии, которая позволяет генерировать видеоматериалы на основе информации об активности мозга

Авторы проекта демонстрировали добровольцам видеоролики с различными жизненными ситуациями, например, с животными или автомобилем, движущимся в лесистой местности. Затем при помощи модели MinD-Video формировался синтезированный видеоряд, основанный на сигналах мозга испытуемых. Оказалось, что различия между оригинальным и реконструированным роликами незначительны. В частности, ИИ-система корректно воспроизводила сюжет, цветовую палитру и другие параметры. В целом, точность оказалась на уровне 85%.

В ходе исследования специалисты выяснили, что кодировщик фМРТ работает по иерархическому принципу, переходя от структурной информации к более абстрактным и визуальным элементам. Причём система способна развиваться с течением времени, улавливая более детальную информацию. Это даёт возможность генерировать видеоролики, качество которых повышается по мере обучения. В перспективе модель MinD-Video может найти применение в разных областях. На её основе, в частности, могут создаваться передовые интерфейсы «мозг — компьютер» или специализированные приложения, помогающие людям с ограниченными возможностями наладить связь с внешним миром.[1]

Примечания



СМ. ТАКЖЕ (1)