Искусственный интеллект распознает партии музыкальных инструментов на видео


Искусственный интеллект распознает партии музыкальных инструментов на видео

Группа ученых из Массачусетского технологического института разработала самообучающуюся компьютерную программу PixelPlayer, способную распознавать отдельные партии в музыкальном произведении. Нейронная сеть соотносит видеоизображение играющего оркестра с имеющейся аудиодорожкой и позволяет вычленять и редактировать звучание конкретных инструментов.

Интеллектуальная система основана на одновременном применении сразу нескольких современных технологий. На стадии анализа видеозаписи используются наработки в области компьютерного зрения и распознавания звуков. Искусственный интеллект по предложенному изображению определяет состав музыкального коллектива и соотносит отдельные партии с конкретными инструментами. Всего в своеобразной коллекции программы сейчас содержится информация о звучании 20 наиболее распространенных струнных, духовых и ударных инструментов. Для создания базы данных в нейросеть было загружено более 700 видеозаписей выступлений оркестров общей продолжительностью около 60 часов.

На финальном этапе при необходимости внести изменения в аудиодорожку PixelPlayer синтезирует звучание конкретного инструмента с характерными для него особенностями. Это позволит в будущем улучшать качество старых видеозаписей с выступлениями оркестров. Использование программы поможет звукорежиссерам не только восстанавливать оригинальное звучание инструментов по архивным кадрам, но и самостоятельно редактировать современные телевизионные концерты без необходимости собирать музыкантов для повторной записи. В дальнейшем платформа может использоваться для разработки систем, способных различать источники звуков в окружающей среде, что поможет роботам эффективнее ориентироваться в пространстве.

Ранее компания Google презентовала программу, позволяющую различать голоса конкретных людей в шумной толпе. Искусственный интеллект анализирует мимику и артикуляцию человека, вычленяя речь персоны из общего многоголосья. Сопоставление аудиовизуальной информации позволяет распознавать реплики и в ситуациях, когда рот человека на какое-то время прикрывается рукой или посторонним предметом.


Гость, оставишь комментарий?
Имя:*
E-Mail:


Свежее новое
  • Как искусственный интеллект помогает в изучении иностранного языка ?
  • Технологии стали неотъемлемой частью нашей жизни. Они развиваются так быстро, что люди не успевают за ними. Мы не можем отрицать его силу или
  • Mail.Ru Group запустили чемпионат по искусственному интеллекту Mini AI Cup #3!
  • На конец лета выпало событие, которое наверняка заинтересует многих любителей поразмышлять о будущем разумных машин. Неделю назад, 30 августа,
  • Искусственный интеллект против команды профессиональных геймеров в DOTA 2. Кто победит?
  • Искусственный интеллект уже подтвердил, что может легко расправится со своими соперниками людьми, играя с ними в шахматы, Го или покер. Как он
  • Обработку разведданных с дронов США поручат искусственному интеллекту
  • Как известно, большинство частных компаний избегают использовать свой потенциал при разработке систем искусственного интеллекта для оборонных целей.
Последние комментарии
Теория и Практика Технологической Сингулярности и Искусственного Интеллекта
На сегодня развитие IT в США значительно опережает состояние в России, где нет своего компьютера, нет своей операционной системы, нет своей
Как работает Любовь? Квантовая связь нейронной активности Людей
про квантовые коммуникации прочитал - интересно. Спасибо. Про любовь - не увидел. Жалко.
Топ 10 компаний, занимающихся разработкой искусственного интеллекта
Спасибо, перечень интересный, но знакомый. Единая проблема всех ИИ-разработчиков - не понимание того, что сознание - это не статистика, а пойти по
Теория и Практика Технологической Сингулярности и Искусственного Интеллекта
Технологическая сингулярность по мнению Вернора Винджа будет развиваться следующим образом: 1. Компьютеры обретут сознание, и возникнет мощный ИИ; 2.
Теория и Практика Технологической Сингулярности и Искусственного Интеллекта
Может ли технологическая сингулярность, т.е. взрывное ускорение научно-технического прогресса, появиться только в России или необходимо, чтобы она
Мы в социальных сетях
Статистика
0  
Всего статей 1511
0  
Всего комментариев 48
0  
Пользователей 47