Исследователи в режиме реального времени декодировали нейронную активность парализованного испытуемого, чтобы управлять его персонализированным виртуальным аватаром, позволяя ему общаться с помощью речи и жестов. Источник изображения: Калифорнийский университет в Сан-Франциско, США
14 числа в журнале «Nature Neuroscience» были опубликованы новейшие результаты нейробиологического исследования: одно вживлённое в мозг устройство способно одновременно декодировать речь и жесты парализованных пациентов. Американская исследовательская группа в режиме реального времени декодировала нейронную активность одного парализованного испытуемого, чтобы управлять его персонализированным виртуальным аватаром, позволяя ему общаться с помощью речи и жестов. Результаты этого исследования продвигают развитие интерфейсов мозг—компьютер и могут помочь парализованным пациентам общаться более естественным образом.
Естественное общение людей часто сочетает речь с жестами, например взмахи рукой, кивки или другие движения верхней части тела. Инсульт и нейродегенеративные заболевания, такие как боковой амиотрофический склероз, могут одновременно нарушать речь и двигательные способности тела, ослабляя социальное взаимодействие пациентов.
Интерфейсы мозг—компьютер предназначены для преобразования мозговой активности в команды управления внешними устройствами, тем самым восстанавливая утраченные функции. Технология интерфейсов мозг—компьютер накапливалась более десяти лет. Ранние направления в основном использовали электроды на поверхности коры или микроэлектроды, вводимые в кору, для регистрации нейронной активности в моторных областях, связанных с произношением, а затем с помощью машинного обучения преобразовывали желаемые звуки, слова и предложения в текст или синтезированную речь; двигательное направление долгое время было сосредоточено на областях руки и кисти для управления курсором, роботизированной рукой или захватом. Однако речь и движения верхних конечностей/головы и лица частично перекрываются в сенсомоторной коре, и декодеры, обученные отдельно «только говорить» или «только двигаться», при параллельной работе могут создавать взаимные помехи. Предыдущие исследования также в большинстве своём были сосредоточены отдельно на речи или движениях.
На этот раз команда Калифорнийского университета в Сан-Франциско использовала вживлённое над сенсомоторной корой устройство для регистрации нейронной активности 3 участников с параличом голосового аппарата и конечностей. Сначала они доказали, что одно вживлённое устройство может собирать сигналы, связанные с различными типами движений, включая движения верхних конечностей и движения рта и лица, связанные с речью, такие как пожимание плечами, взмахи сжатым кулаком или кивки; затем команда использовала у двух из этих участников параллельные декодеры речи и жестов для управления полнотелым виртуальным аватаром, при этом участников просили пытаться выполнять определённые жесты, отвечать на диалоговые подсказки или одновременно выполнять и то, и другое.
В диалоговых задачах система точно декодировала речь и жесты двух участников: у одного из них в трёх блоках диалоговых задач медианная точность декодирования речи и жестов достигла 100%.
Команда обнаружила, что одновременное использование данных речи и жестов для обучения системы может повысить производительность и уменьшить количество ошибок. Они отметили, что до внедрения этой технологии в применение необходимо включить больше участников и протестировать её с использованием более крупных наборов слов и жестов.