Искусственный интеллект распознает партии музыкальных инструментов на видео

Искусственный интеллект распознает партии музыкальных инструментов на видео

Группа ученых из Массачусетского технологического института разработала самообучающуюся компьютерную программу PixelPlayer, способную распознавать отдельные партии в музыкальном произведении. Нейронная сеть соотносит видеоизображение играющего оркестра с имеющейся аудиодорожкой и позволяет вычленять и редактировать звучание конкретных инструментов.

Интеллектуальная система основана на одновременном применении сразу нескольких современных технологий. На стадии анализа видеозаписи используются наработки в области компьютерного зрения и распознавания звуков. Искусственный интеллект по предложенному изображению определяет состав музыкального коллектива и соотносит отдельные партии с конкретными инструментами. Всего в своеобразной коллекции программы сейчас содержится информация о звучании 20 наиболее распространенных струнных, духовых и ударных инструментов. Для создания базы данных в нейросеть было загружено более 700 видеозаписей выступлений оркестров общей продолжительностью около 60 часов.

На финальном этапе при необходимости внести изменения в аудиодорожку PixelPlayer синтезирует звучание конкретного инструмента с характерными для него особенностями. Это позволит в будущем улучшать качество старых видеозаписей с выступлениями оркестров. Использование программы поможет звукорежиссерам не только восстанавливать оригинальное звучание инструментов по архивным кадрам, но и самостоятельно редактировать современные телевизионные концерты без необходимости собирать музыкантов для повторной записи. В дальнейшем платформа может использоваться для разработки систем, способных различать источники звуков в окружающей среде, что поможет роботам эффективнее ориентироваться в пространстве.

Ранее компания Google презентовала программу, позволяющую различать голоса конкретных людей в шумной толпе. Искусственный интеллект анализирует мимику и артикуляцию человека, вычленяя речь персоны из общего многоголосья. Сопоставление аудиовизуальной информации позволяет распознавать реплики и в ситуациях, когда рот человека на какое-то время прикрывается рукой или посторонним предметом.


Гость, оставишь комментарий?
Имя:*
E-Mail:


 
Свежее новое
  • Четверть населения Финляндии, будет обучена работе с роботами и нейросетями.
  • Финляндии предстоит расти и расти, перед тем, как она сможет выйти на мировой рынок с технологиями искусственного интеллекта и все же, это не мешает
  • Как искусственный интеллект передает информацию от людей, потерявших способность говорить?
  • Несколько групп ученых смогли преобразовать команды головного мозга в речь с помощью компьютера-синтезатора. Для того, чтобы это сделать, они
  • К 2025 году, роботы строители, могут составить 10 процентов рабочей силы Японии.
  • Япония является одной из стран, в которой автоматизация процесса строительства, происходит очень медленно. Роботы на практике показывают лишь то, что
  • Интуитивный Алгоритм Технологической Сингулярности на основе Сильного Искусственного Интеллекта «Smart-MES»
  • Технологическая Сингулярность означает такое быстрое развитие прогресса, связанное с созданием сообщества Сильных Искусственных Интеллектов, когда
  • Видеокамеры научились различать телефоны в руках автомобилистов
  • Совсем недавно, в Москве, Сергей Собянин сделал официальное заявление, что с 2019 года в Москве заработают камеры, которые будут отслеживать опасных
Последние комментарии
Каким был первый робот в мире? Происхождение слова "Робот"
Восхищения нет предела делу ваших рук и идей. Хочется склонить голову перед вашим трудом, хотя твердо придерживаюсь Библии (не поклоняться идолам)
Как работает Любовь? Квантовая связь нейронной активности Людей
Я думаю, когда начнется квантовое взаимодействие мржду человеком и ИИ это и будет началом конца.
Как работает Любовь? Квантовая связь нейронной активности Людей
Как вы считаете, возможно ли образование квантовых взаимодействий между человеком и ИИ? 
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
А почему бы сразу СИИ не запустить в другую галактику, может там нет коррупции, воровства, плебейства и прочей муры, которая не только мешает
Искусственный Интеллект. Концепция развития и внедрения Искусственного Интеллекта (Искусственной Аналитики)
Согласен. проблема ИИ не в наборе задач. Главная проблема - познание процесса мышления как феномена физиологии головного мозга человека.
Мы в социальных сетях
Статистика
0  
Всего статей 1545
0  
Всего комментариев 75
0  
Пользователей 69