100kitov.ru

Интересные факты — события, биографии людей, психология
0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Как перевести мысли в слова, теперь для этого есть специальное устройство!

В России создано устройство, позволяющее набирать текст силой мысли

Во втором квартале текущего года в серийное производство запустят российское устройство «Нейрочат», с помощью которого парализованные люди смогут набирать текст силой мысли.

«Нейрочат»-лауреат и вопрос цены

Устройство состоит из фиксирующейся на голове нейрогарнитуры «ГарАнт-ЭЭГ» и программы «Эргостим». Гарнитура оборудована беспроводным интерфейсом, а программа регистрирует, обрабатывает нейрофизиологические процессы пользователя и модифицирует их в команды для ПК или гаджета.

Процесс происходит следующим образом: на экране ПК появляется алфавит, пользователь сосредотачивается на необходимой ему букве, которая затем выбирается программой. Алгоритм повторяется, пока не получится слово, а при необходимости – целое предложение.

Пользователь получает возможность общаться не только с медработниками и родными, но и выходить в сеть.

На крупнейшей выставке CES Asia, проходившей в 2018 году в Шанхае, «Нейрочат» признали лучшим проектом в категории «здравоохранение». В марте 2019 года устройство планируется представить на конференции по нейротехнологиям European Neuro Convention, которая состоится в Англии.

Уже выпущено «несколько сотен аппаратов», которые проходят тестирование в отечественных реабилитационных центрах. Стоимость «Нейрочата» пока не называется.

По словам директора НТИ «НейроНет» Александра Семенова, в дальнейшем, устройство может применяться не только в медицинских целях, но и занять свою нишу в развлекательной индустрии и даже в промышленном производстве.

Конкуренты и предшественники

По статистике ВОЗ, в мире примерно миллиард человек с ограниченными возможностями. Развитие современных технологий улучшает качество их жизни.

В 2016 году Американская компания LC Technologies презентовала устройство, позволяющее управлять ПК посредством глаз. Гаджет с прикрепленной специальной видеокамерой размещается перед пользователем. Глаза освещаются светодиодами, спектр которых практически идентичен инфракрасному.

Затем камера вычисляет точное расстояние между центром зрачка и светодиодной точкой на роговице. Это мизерное расстояние изменяется при движении глаза, что фиксируется камерой. После обработки данных программа распознает, куда конкретно смотрит человек.

По такому принципу функционирует и устройство, разработанное техасской компанией Origin Instruments: отражающая поверхность прикрепляется на голове, а камера отслеживает движения точки на ней. Так человек управляет курсором на экране ПК или гаджета. Для того, чтобы выделить необходимую информацию, надо лишь удерживать голову в одном положении на несколько секунд или воспользоваться переключателем, закрепленным в ротовой полости, сделав «вдох-выдох».

Есть конкуренты у «Нейротренда» и в России. Специалистами Института электронных управляющих машин (ИНЭУМ) разработан «Окулографический интерфейс» который фиксирует движения глаз. Прибор может определить объект, на который обращен взор пользователя, и после анализа данных дает прогноз о его предполагаемых действиях в отношении предмета. Кроме того, в ИНЭУМ разработан «мозг-компьютер» который применяется при реабилитации людей с моторными нарушениями и протезированными конечностями.

Читайте так же:
Интересные факты о картофеле: описываем детально

Ученые научились преображать мысли в речь через мозговой имплант

Мозговой имплант

По словам специалистов из Калифорнийского университета в Сан-Франциско, их работа поможет людям, потерявшим возможность разговаривать из-за болезни.

Эксперты считают, что итоги исследования выглядят убедительно и дают надежду на восстановление у таких людей речи.

Результаты исследования были опубликованы в журнале Nature.

В чем суть?

Технология по считыванию мыслей работает в два этапа.

Сначала в мозг вживляется электрод, который фиксирует электрические сигналы, управляющие движением губ, языка, гортани и челюсти.

Затем с помощью мощного процессора синтезируются звуки, которые возникают при таких движениях речевого тракта.

Почему именно так?

На первый взгляд кажется, что было бы проще считывать с мозга электрические сигналы, отвечающие за формирование каждого слова. Но предыдущие попытки делать это не оправдали ожиданий.

В нынешнем исследовании упор был сделан на движениях рта и издаваемых им звуках, благодаря чему ученым впервые удалось достичь успеха.

"Эта научная работа впервые продемонстрировала, что мы можем генерировать целые речевые предложения на основе мозговой деятельности человека", — говорит участник исследования Эдвард Чанг.

"Это головокружительное доказательство того, что с помощью уже практических технологий мы способны создать устройство, которое сможет помочь людям, утратившим способность говорить", — утверждает ученый.

Насколько это эффективно?

Технология пока далека от совершенства.

Если послушать эту синтезированную таким образом английскую речь, становится ясно, что она еще далека от совершенства. На аудиозаписи говорится "The proof you are seeking is not available in books".

Listen to speech decoded from brain activity

В ходе эксперимента, в котором были использованы синтезированные голоса пяти человек, слушателям удавалось разобрать около 70% произнесенного, если им давали список всех употребленных слов.

Кому это может помочь?

К утрате речи (афазии) могут привести многие заболевания, например:

  • заболевание двигательных нейронов
  • травмы мозга
  • рак гортани
  • некоторые виды инсульта
  • нейродегенеративные заболевания, например, болезнь Паркинсона и рассеянный склероз

Ученые утверждают, что им под силу вернуть человеку речь в случае некоторых из этих заболеваний.

Однако для успеха здесь необходимо, чтобы участки мозга, отвечающие за управление губами, языком, гортанью и челюстью, корректно функционировали. Поэтому пациентам, перенесшим определенные виды инсульта, эта разработка не поможет.

Читайте так же:
Из чего состоят вещества?

"Это не панацея для всех людей, не способных общаться", — говорит Чанг.

В будущем, вероятно, используя подобное устройство, появится возможность помочь людям, которые никогда не говорили, в том числе некоторым детям с церебральным параличом.

Пять технологий, которые могут прочитать ваши мысли, и примеры их использования

Люди, которых называют «овощами», то есть находящиеся в устойчивом вегетативном состоянии, не могут пошевельнуть и пальцем — даже глазами. Они также считались полностью бессознательными, пока Эдриан Оуэн, в настоящее время работающий в Западном университете в Лондоне, Канада, не исследовал мозги людей в вегетативном состоянии с помощью сканера фМРТ и не попросил их представить игру в теннис. Его команда первой продемонстрировала, что некоторые из этих людей все еще «там», их сознание и ум не повреждены.

Команды Оуэна и другие ныне работают над созданием портативного устройства для чтения мыслей, которое помогло бы таким людям общаться. Машины МРТ заполняют целую комнату, поэтому портативные устройства используют ЭЭГ-электроды на поверхности черепа, надеваемые как шапочка. Последнее устройство Оуэна использует вибрирующие подушечки на каждой руке, и человеку в очевидно вегетативном состоянии предлагается обратить внимание либо на левую, либо на правую подушечку, ответив «нет» или «да» на вопрос.

Стремление развивать технологии для чтения мыслей имеет более широкое применение, чем эта конкретная клиническая установка, и в последние годы были разработаны методы, позволяющие определить, что человек слышит, что читает или о чем думает, в некоторой степени. New Scientist предлагает пройтись по этому списку.

Расшифровка смысла

В 2012 году Жоао Коррейа из Маастрихтского университета в Нидерландах и его коллеги нашли интересный способ выяснить, есть ли активность в мозге, связанный со значением слова. Они использовали двуязычных добровольцев и записывали их активность мозга на сканере фМРТ, пока те слушали названия четырех животных — быка, лошади, акулы и утки — на английском языке. Удалось определить характерные паттерны работы мозга для каждого животного. Те же паттерны воспроизводились, когда добровольцы слышали названия тех же животных на голландском языке. Следовательно, концепции смысла названных слов мозг воспроизводил. Однажды мы научимся расшифровывать целые предложения в реальном времени, говорит Коррейа.

Подслушивание внутреннего голоса

Чтобы к тебе прислушались, говорить нужно тише. Паттерны активности мозга сегодня могут рассказать, что говорит ваш тихий внутренний голос. Определенные нейроны вашего мозга активируются в ответ на различные свойства звука, например, частоту. В 2014 году группа под руководством Брайана Пэсли из Калифорнийского университета в Беркли разработала алгоритм, который может декодировать паттерны нейронной активности и определять, на какие звуки реагирует мозг. Они попросили семь человек, имевших мозговые имплантаты для лечения эпилепсии, громко зачитать текст из «Геттисбергского адреса», записывая в это время активность их мозгов, и использовали алгоритм, определяющий, какие паттерны активности мозга каким словам соответствуют. Затем ученые попросили людей тихо зачитать текст самим себе и смогли, при помощи алгоритма, определить, какие слова читают люди. Пройдет еще некоторое время, прежде чем вся эта технология уместится в одном устройстве, но ученые надеются, что она однажды позволит общаться людям, которые не могут делать этого физически.

Читайте так же:
Как делают клавиши для пультов д/у

Желания и свободная воля

Вкусный кофе? Просто подумайте об этом, и робот сделает его для вас. Таким может быть одно из последствий развития мозгового имплантата, который может расшифровывать желания. В 2015 году Ричард Андерсен из Калифорнийского технологического института и его команда имплантировали пару крошечных электродов двум людям в заднюю теменную кору. Они записывали активности сотен отдельных нейронов, и компьютер ее переводил. Для Эрика Сорто он переводил его желания в движения роботизированной конечностью. У второго человека удалось распознать желания, когда тот пытался разрешить дилемму заключенного.

Учитель музыки

Будь вы музыкантом или студентом, вы хотя бы раз задумывались о том, что должен быть более простой способ обучения. Возможно, это сбудется. В 2016 году Бесте Юксель и Роберт Джейкоб из Университета Тафтса в Массачусетсе разработали BACh — Brain Automated Chorales — который помогает людям учиться, измеряя то, насколько сильна активность их мозга. На лбу человека размещаются датчики, измеряющие уровни кислорода в префронтальной коре, и следующий предмет предлагается к изучению лишь тогда, когда уровни падают, показывая, что вы готовы к получению новой информации. Исследователи протестировали свое устройство на учениках-пианистах, которые обучались быстрее и точнее, используя BACh.

Печать силой мысли

В феврале этого года Джейми Хендерсон, нейрохирург Медицинского центра Стэнфордского университета, и его коллеги сообщили, что трое человек с параличом научились печатать, используя только свои мысли и мозговой имплантат. Силиконовый мешочек, усеянный сотнями электрических датчиков, был имплантирован в первичную двигательную кору — часть мозга, управляющую движением. Затем люди думали о перемещении различных частей своего тела, и компьютер переводил эти мысли в движения курсора на экране. В течение дня участники научились правильно управлять курсором и печатать до восьми слов в минуту.

Читайте так же:
Почему нельзя спать ногами к двери? Причины, фото и видео

Ученые смогли перевести мысли в устную речь

Инженеры из Колумбийского университета создали систему, способную переводить мысли в понятную, узнаваемую речь. Контролируя чью-то мозговую деятельность, технология способна облекать ее в слова. Этот метод способен привести к новым способам взаимодействия компьютера с мозгом и помочь людям, которые не могут говорить — например, больным амиотрофическим латеральным склерозом или пережившим инсульт. О разработке ученые рассказали в журнале Scientific Reports.

«Наши голоса помогают нам связываться с друзьями, семьей и окружающим миром, поэтому потеря голоса из-за травмы или болезни так разрушительна, — говорит Нима Месгарани, ведущий автор исследования. — С текущими результатами у нас есть потенциальный способ вернуть эту возможность. Мы показали, что мысли людей можно расшифровать и сделать понятными слушателю».

Как показали многолетние исследования, когда люди говорят или даже представляют, как говорят, в их мозге возникают определенные шаблоны активности. Иные, но также узнаваемые шаблоны появляются, когда люди слушают или представляют, как слушают. Наблюдая за этими шаблонами активности, многие ученые предполагали, что их можно перевести в устную речь.

Однако на практике это оказалось непросто. Ранние попытки доктора Месгарани расшифровать сигналы мозга сводились к простым компьютерным моделям, которые анализировали спектрограммы, являвшиеся визуальным представлением звуковых частот. Однако это не дало ничего, похожего на понятную речь.

Тогда команда Месгарани использовала вокодер — компьютерный алгоритм, способный синтезировать речь.

«Это та же технология, которую использует «умная» колонка Amazon Echo и голосовой помощник от Apple Siri для устных ответов н наши вопросы», — поясняет Месгарани. Сами ученые называют свою разработку реконструкцией слухового стимула.

Чтобы научить вокодер интерпретировать мозговую деятельность, Месгарани объединился с нейрохирургом Динешем Мехта, специализирующемся на лечении пациентов с эпилепсией.

«Работая с доктором Мехта, мы попросили пациентов с эпилепсией, уже перенесших операцию на мозге, прослушать предложения разных людей, а сами в это время измерили шаблоны мозговой активности, — объясняет Месгарани. — Эти шаблоны нужны были для «тренировки» вокодера».

Участниками исследования стали пятеро пациентов, в мозге которых были установлены электроды, необходимые, чтобы «гасить» начинающийся эпилептический припадок. Это сделало возможным электрокортикографию — исследование коры мозга, заключающееся в регистрации ее бипотенциалов (взаимодействия электрических зарядов в тканях) с помощью электродов, размещенных прямо на ее поверхности.

Читайте так же:
Интересные факты о привычных продуктах

Затем исследователи попросили тех же пациентов прослушать, как называются цифры от 1 до 9, а сигналы их мозга тем временем были пропущены через вокодер. После их обработки с помощью нейронных сетей вокодер «заговорил». Для обработки на этот раз использовалось глубокое обучение нейросетей — метод, при котором нейросеть оказывается способна предсказывать результат на основе набора входных данных. Это позволило наложить больше ограничений на синтезируемую речь и добиться лучшего моделирования свойств речевого сигнала.

Результатом стал роботизированный голос, повторяющий последовательность чисел. Люди же должны были прослушать запись и сообщить, что они услышали.

«Мы обнаружили, что люди способны понять и повторить эти звуки в 75% случаев, что значительно превосходит любые предыдущие попытки,

— делится Месгарани. Улучшения были особенно заметны по сравнению с ранними экспериментами со спектрограммами. — Чувствительный вокодер и мощные нейронные сети создавали звуки, которые добровольцы распознавали с удивительной точностью».

По сравнению с методами анализа спектрограмм, улучшить разборчивость синтезируемой речи удалось на 65%. Кроме того, было установлено, что на качество речи напрямую влияло время обучения нейросети — чем оно было продолжительнее, тем лучше оказывался результат.

Доктор Месгарани и его команда планируют в будущем протестировать более сложные слова и предложения. В конечном счете они рассчитывают, что их систему можно будет использовать для имплантов наподобие тех, что ставятся в мозг людям с эпилепсией — только они будут не гасить приступы, а переводить мысли владельца в слова.

«Владелец будет думать: «Мне нужен стакан воды», наша система будет воспринимать сигналы мозга, генерируемые этой мыслью, и превращать их в синтезированную речь, — говорит Месгарани.

— Это изменит правила игры. Это может дать каждому, кто потерял способность говорить из-за травмы или болезни, новый шанс связаться с окружающим миром».

Ранее для восстановления речи и двигательной активности после инсульта специалисты МГУ и ФГБНУ «Научный центр неврологии» разработали экзоскелет, также управляемый «силой мысли».

Разработанные экзоскелеты применяются в случаях поражения головного мозга, когда требуется восстановить движения конечностей или имеются затруднения речи после инсульта. Технология направлена на то, чтобы вернуть человеку всю гамму движений. В первую очередь речь идет о руках, ногах, речедвигательном аппарате», — рассказал доктор психологических наук профессор психологического факультета МГУ Юрий Зинченко.

голоса
Рейтинг статьи
Ссылка на основную публикацию