+

В Meta (Facebook) разработали модель искусственного интеллекта, которая может декодировать речь на основе неинвазивных записей активности мозга.На основе трех секунд мозговой активности модель может декодировать соответствующие сегменты речи с точностью до 73% от верхнего предела из словарного запаса в 793 слова, т.е. большую часть слов, которые люди обычно используют в повседневной жизни.

В качестве модели используют wav2vec2, в качестве данных ЭЭГ и МЭГ (более 150 часов записей 169 здоровых добровольцев, слушавших аудиокниги и изолированные предложения на английском и голландском языках).

Результаты исследования показывают, что self-supervised AI может успешно декодировать воспринимаемую речь на основе неинвазивных записей активности мозга, несмотря на шум и изменчивость, присущие этим данным.