Ученые автоматизировали процесс чтения по губам

Ученые автоматизировали процесс чтения по губам

Сотрудники одного из канадских университетов разработали нейронную сеть, способную распознавать сказанные человеком слова по движению его губ. На основе предложенной технологии в будущем могут создаваться программы для слабослышащих людей и автоматические переводчики живой речи.

На подготовительном этапе исследователи написали компьютерную программу, которая сопоставляла артикуляцию людей на видео с текстовой расшифровкой сказанных слов. Искусственный интеллект разбивал ролики на маленькие фрагменты с произношением отдельных звуков и слогов. Так было переработано 140 тысяч часов исходного видео, на базе которого удалось создать самую большую из существующих ныне медиатек с аудиовизуальной информацией о фонемах английского языка. Составленная база содержит видеофрагменты с четкой артикуляцией более 127 тысяч слов.

Процесс распознавания речи по движению губ осуществляется нейронной сетью в обратном порядке. Интеллектуальная система захватывает изображение с артикуляцией говорящего человека и ищет подходящий визуальный образ в составленной базе данных. Из отдельных слогов складываются слова, которые могут быть озвучены синтезирующей человеческую речь программой.

Во время тестирования системы на 37-минутном видео искусственный интеллект распознал речь говорящего человека с точностью 59%. Предыдущее программное обеспечение, которое основывалось на вычленении отдельных букв, а не слогов, позволяло правильно расшифровывать по губам всего 23% произносимого текста.

Помимо очевидного использования разработанной технологии в приложениях для слабослышащих или немых людей, система может применяться для восстановления речевых фрагментов по кадрам исторических хроник и для восполнения речи собеседника в видеочате из-за низкого уровня связи. Еще одной сферой приложения данного искусственного интеллекта может стать дистанционное распознавание речи в системах наблюдения, применяемых для поддержания безопасности в общественных местах.

В апреле 2018 года компания Google представила компьютерную программу, позволяющую на расстоянии идентифицировать говорящего человека и распознавать его речь. Нейронная сеть позволяет вычленить отдельные реплики при наличии посторонних шумов, восстанавливая фрагменты фраз по артикуляции говорящего человека.


Гость, оставишь комментарий?
Имя:*
E-Mail:


 
Свежее новое
  • Четверть населения Финляндии, будет обучена работе с роботами и нейросетями.
  • Финляндии предстоит расти и расти, перед тем, как она сможет выйти на мировой рынок с технологиями искусственного интеллекта и все же, это не мешает
  • Как искусственный интеллект передает информацию от людей, потерявших способность говорить?
  • Несколько групп ученых смогли преобразовать команды головного мозга в речь с помощью компьютера-синтезатора. Для того, чтобы это сделать, они
  • К 2025 году, роботы строители, могут составить 10 процентов рабочей силы Японии.
  • Япония является одной из стран, в которой автоматизация процесса строительства, происходит очень медленно. Роботы на практике показывают лишь то, что
  • Интуитивный Алгоритм Технологической Сингулярности на основе Сильного Искусственного Интеллекта «Smart-MES»
  • Технологическая Сингулярность означает такое быстрое развитие прогресса, связанное с созданием сообщества Сильных Искусственных Интеллектов, когда
  • Видеокамеры научились различать телефоны в руках автомобилистов
  • Совсем недавно, в Москве, Сергей Собянин сделал официальное заявление, что с 2019 года в Москве заработают камеры, которые будут отслеживать опасных
Последние комментарии
Каким был первый робот в мире? Происхождение слова "Робот"
Восхищения нет предела делу ваших рук и идей. Хочется склонить голову перед вашим трудом, хотя твердо придерживаюсь Библии (не поклоняться идолам)
Как работает Любовь? Квантовая связь нейронной активности Людей
Я думаю, когда начнется квантовое взаимодействие мржду человеком и ИИ это и будет началом конца.
Как работает Любовь? Квантовая связь нейронной активности Людей
Как вы считаете, возможно ли образование квантовых взаимодействий между человеком и ИИ? 
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
А почему бы сразу СИИ не запустить в другую галактику, может там нет коррупции, воровства, плебейства и прочей муры, которая не только мешает
Искусственный Интеллект. Концепция развития и внедрения Искусственного Интеллекта (Искусственной Аналитики)
Согласен. проблема ИИ не в наборе задач. Главная проблема - познание процесса мышления как феномена физиологии головного мозга человека.
Мы в социальных сетях
Статистика
0  
Всего статей 1545
1  
Всего комментариев 76
0  
Пользователей 69