Ученые автоматизировали процесс чтения по губам

Ученые автоматизировали процесс чтения по губам

Сотрудники одного из канадских университетов разработали нейронную сеть, способную распознавать сказанные человеком слова по движению его губ. На основе предложенной технологии в будущем могут создаваться программы для слабослышащих людей и автоматические переводчики живой речи.

На подготовительном этапе исследователи написали компьютерную программу, которая сопоставляла артикуляцию людей на видео с текстовой расшифровкой сказанных слов. Искусственный интеллект разбивал ролики на маленькие фрагменты с произношением отдельных звуков и слогов. Так было переработано 140 тысяч часов исходного видео, на базе которого удалось создать самую большую из существующих ныне медиатек с аудиовизуальной информацией о фонемах английского языка. Составленная база содержит видеофрагменты с четкой артикуляцией более 127 тысяч слов.

Процесс распознавания речи по движению губ осуществляется нейронной сетью в обратном порядке. Интеллектуальная система захватывает изображение с артикуляцией говорящего человека и ищет подходящий визуальный образ в составленной базе данных. Из отдельных слогов складываются слова, которые могут быть озвучены синтезирующей человеческую речь программой.

Во время тестирования системы на 37-минутном видео искусственный интеллект распознал речь говорящего человека с точностью 59%. Предыдущее программное обеспечение, которое основывалось на вычленении отдельных букв, а не слогов, позволяло правильно расшифровывать по губам всего 23% произносимого текста.

Помимо очевидного использования разработанной технологии в приложениях для слабослышащих или немых людей, система может применяться для восстановления речевых фрагментов по кадрам исторических хроник и для восполнения речи собеседника в видеочате из-за низкого уровня связи. Еще одной сферой приложения данного искусственного интеллекта может стать дистанционное распознавание речи в системах наблюдения, применяемых для поддержания безопасности в общественных местах.

В апреле 2018 года компания Google представила компьютерную программу, позволяющую на расстоянии идентифицировать говорящего человека и распознавать его речь. Нейронная сеть позволяет вычленить отдельные реплики при наличии посторонних шумов, восстанавливая фрагменты фраз по артикуляции говорящего человека.


Гость, оставишь комментарий?
Имя:*
E-Mail:


 
Свежее новое
  • В Москве пройдет один из крупнейших хакатонов в мире в сфере искусственного интеллекта
  • PicsArt, ведущая творческая платформа для создания контента и визуализации историй в социальных сетях с более чем 100 миллионами активных
  • Сильный Искусственный Интеллект «Smart-MES» меняет взгляды на Технологическую Сингулярность
  • Учёные полагают, что Технологическая Сингулярность наступит тогда, когда Сильный Искусственный Интеллект будет способен самостоятельно создавать себе
  • Навыки голосовых помощников от Amazon, Google, Microsoft и Яндекс
  • После лекции директора по маркетингу умного помощника Алисы, Даниилы Колесникова, меня посетило вдохновение и любопытство. Так как мы сами сейчас
  • Конкурс идей от лаборатории Касперского - Kaspersky Start Russia
  • Если ты инициативный лидер, у тебя есть знания в области IT и тебе хотелось бы возглавить собственный проект в лаборатории Касперского, то подай
  • Смарт-города, умный транспорт и инновации для ЖКХ: что обсуждали на конференции «Интернет вещей»
  • Интернет вещей для промышленности, транспорта, ЖКХ и торговли: в Москве обсудили развитие и внедрение технологии. Конференция «Интернет вещей»,
Последние комментарии
5 лучших приложений искусственного интеллекта для вашего телефона Android
какой это искусственный разум мне смешно не пудрите людям мозги ,голосовой поисковик- это интелект ха ха ну вы тут и загибаете фантастику
5 лучших приложений искусственного интеллекта для вашего телефона Android
Всё вышеперечисленное назвать интеллектом можно с большущей натяжкой. Так, программки-автоматы с почти хорошим распознаванием несложной речи.
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
У нас очень странный народ, если что не понимает, то обязательно надо сунуть в морду. Зачем? А не лучше ли поинтересоваться, почему именно так? У
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
Господин Чернов. Поясню. Любой инструмент, даже прозаическая кофемолка, проходят процедуру стендовых испытаний. Сертификат соответствия
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
     " И странная картина получается в коридорах власти ". Странная картина  получается, если полагать, что власть эта поставлена для решения задач
Мы в социальных сетях
Статистика
0  
Всего статей 1533
0  
Всего комментариев 65
0  
Пользователей 56