Ученым удалось преобразовать сигналы в мозге в четкую речь

px.here

Ученые-инженеры из Колумбии создали систему, которая способна переводить мысли в понятную, узнаваемую речь. Анализируя мозговую деятельность, технология может реконструировать слова, которые можно слышать с беспрецедентной четкостью.

Инновационная технология, которая использует синтезаторы речи и искусственный интеллект, может привести к новым способам взаимодействия компьютера с мозгом. По мнению ученых, это первый шаг, сделанный на пути помощи людям, не способным говорить, например, страдающим от амиотрофического латерального склероза или выздоравливающим после инсульта.

Результаты научной работы, возглавляемой доктором Нима Месгарани из Института нейробиологии и поведения им. Мортимера Б. Цукермана при Колумбийском университете, были опубликованы в Scientific Reports.

Десятилетия исследований показали, что, когда люди говорят или даже о чем-то думают, в их мозгу возникает характерная активность. Определенная (но узнаваемая) схема сигналов также возникает, когда мы слушаем, как кто-то говорит, или воображаем, что слушаем. Эксперты, пытаясь записать и расшифровать эти сигналы, считают, что в будущем мысли не должны оставаться скрытыми внутри мозга. Вместо этого, при желании, они могут быть переведены в устную речь.

Однако совершить этот прорыв оказалось непросто. Ранние попытки доктора Месгарани расшифровать сигналы мозга были сосредоточены на простых компьютерных моделях, которые анализировали спектрограммы, являющиеся визуальным представлением звуковых частот.

Но из-за того, что этот подход не дал ничего похожего на понятную речь, команда ученых решила использовать вокодер, компьютерный алгоритм, который может синтезировать речь после обучения.

«Это та же технология, которая используется Amazon Echo и Apple Siri для устного ответа на наши вопросы», - пояснил исследователь.

Во время работы ученые попросили пациентов, страдающих эпилепсией, уже перенесших операцию на головном мозге, выслушать предложения разных людей, в то время как они фиксировали их мозговую активность.

Затем исследователи попросили тех же пациентов прослушать записи с воспроизведением цифр от 0 до 9. В ходе этого эксперимента были получены сигналы мозга, которые затем можно было бы пропустить через вокодер. Звук, производимый вокодером в ответ на эти сигналы, анализировался и очищался с помощью нейронных сетей, вроде искусственного интеллекта, который имитирует структуру нейронов в биологическом мозге.

Конечным результатом был роботизированный голос, повторяющий последовательность чисел. Чтобы проверить точность записи, доктор Месгарани и его команда поручили людям прослушать запись и сообщить, что они услышали.

«Мы обнаружили, что люди могут понимать и повторять звуки примерно в 75% случаев, что значительно превосходит любые предыдущие результаты», - сказал Месгарани. Улучшение разборчивости было особенно очевидным при сравнении новых записей с более ранними попытками, основанными на спектрограмме.

Теперь ученый и его команда планируют протестировать более сложные слова и предложения и выполнить те же тесты для сигналов мозга, возникающих, когда человек говорит или думает.

«Так, если человек думает, например, “Мне нужен стакан воды”, наша система может воспринимать сигналы мозга, генерируемые этой мыслью, и превращать их в синтезированную словесную речь», - пояснил Месгарани. «Это изменило бы правила игры. Любой, кто потерял способность говорить из-за травмы или болезни, смог бы получить новый шанс слиться с окружающим миром», - заключил он.

Ученым удалось преобразовать сигналы в мозге в четкую речь

Картина дня

Наши публикации