Искусственный интеллект распознает партии музыкальных инструментов на видео

Искусственный интеллект распознает партии музыкальных инструментов на видео

Группа ученых из Массачусетского технологического института разработала самообучающуюся компьютерную программу PixelPlayer, способную распознавать отдельные партии в музыкальном произведении. Нейронная сеть соотносит видеоизображение играющего оркестра с имеющейся аудиодорожкой и позволяет вычленять и редактировать звучание конкретных инструментов.

Интеллектуальная система основана на одновременном применении сразу нескольких современных технологий. На стадии анализа видеозаписи используются наработки в области компьютерного зрения и распознавания звуков. Искусственный интеллект по предложенному изображению определяет состав музыкального коллектива и соотносит отдельные партии с конкретными инструментами. Всего в своеобразной коллекции программы сейчас содержится информация о звучании 20 наиболее распространенных струнных, духовых и ударных инструментов. Для создания базы данных в нейросеть было загружено более 700 видеозаписей выступлений оркестров общей продолжительностью около 60 часов.

На финальном этапе при необходимости внести изменения в аудиодорожку PixelPlayer синтезирует звучание конкретного инструмента с характерными для него особенностями. Это позволит в будущем улучшать качество старых видеозаписей с выступлениями оркестров. Использование программы поможет звукорежиссерам не только восстанавливать оригинальное звучание инструментов по архивным кадрам, но и самостоятельно редактировать современные телевизионные концерты без необходимости собирать музыкантов для повторной записи. В дальнейшем платформа может использоваться для разработки систем, способных различать источники звуков в окружающей среде, что поможет роботам эффективнее ориентироваться в пространстве.

Ранее компания Google презентовала программу, позволяющую различать голоса конкретных людей в шумной толпе. Искусственный интеллект анализирует мимику и артикуляцию человека, вычленяя речь персоны из общего многоголосья. Сопоставление аудиовизуальной информации позволяет распознавать реплики и в ситуациях, когда рот человека на какое-то время прикрывается рукой или посторонним предметом.


Гость, оставишь комментарий?
Имя:*
E-Mail:


 
Свежее новое
  • В Москве пройдет один из крупнейших хакатонов в мире в сфере искусственного интеллекта
  • PicsArt, ведущая творческая платформа для создания контента и визуализации историй в социальных сетях с более чем 100 миллионами активных
  • Сильный Искусственный Интеллект «Smart-MES» меняет взгляды на Технологическую Сингулярность
  • Учёные полагают, что Технологическая Сингулярность наступит тогда, когда Сильный Искусственный Интеллект будет способен самостоятельно создавать себе
  • Навыки голосовых помощников от Amazon, Google, Microsoft и Яндекс
  • После лекции директора по маркетингу умного помощника Алисы, Даниилы Колесникова, меня посетило вдохновение и любопытство. Так как мы сами сейчас
  • Конкурс идей от лаборатории Касперского - Kaspersky Start Russia
  • Если ты инициативный лидер, у тебя есть знания в области IT и тебе хотелось бы возглавить собственный проект в лаборатории Касперского, то подай
  • Смарт-города, умный транспорт и инновации для ЖКХ: что обсуждали на конференции «Интернет вещей»
  • Интернет вещей для промышленности, транспорта, ЖКХ и торговли: в Москве обсудили развитие и внедрение технологии. Конференция «Интернет вещей»,
Последние комментарии
5 лучших приложений искусственного интеллекта для вашего телефона Android
какой это искусственный разум мне смешно не пудрите людям мозги ,голосовой поисковик- это интелект ха ха ну вы тут и загибаете фантастику
5 лучших приложений искусственного интеллекта для вашего телефона Android
Всё вышеперечисленное назвать интеллектом можно с большущей натяжкой. Так, программки-автоматы с почти хорошим распознаванием несложной речи.
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
У нас очень странный народ, если что не понимает, то обязательно надо сунуть в морду. Зачем? А не лучше ли поинтересоваться, почему именно так? У
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
Господин Чернов. Поясню. Любой инструмент, даже прозаическая кофемолка, проходят процедуру стендовых испытаний. Сертификат соответствия
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
     " И странная картина получается в коридорах власти ". Странная картина  получается, если полагать, что власть эта поставлена для решения задач
Мы в социальных сетях
Статистика
0  
Всего статей 1533
0  
Всего комментариев 65
0  
Пользователей 56