Искусственный интеллект научился преобразовывать музыкальные партии в аудиотреках

В США создали нейронную сеть, способную преобразовывать партии разных музыкальных инструментов внутри существующей аудиозаписи. Программа позволяет принципиально изменить звучание и жанр исходного трека. Разработкой занимались программисты Facebook из специального отдела FAIR (Facebook AI Research), в чьи задачи входит исследование возможностей искусственного интеллекта.

Компьютерная программа самостоятельно разбивает партитуру загруженного в память музыкального произведения на составляющие и в автоматическом режиме проигрывает отдельные части трека с использованием данных о звучании разных инструментов. Технология глубокого машинного обучения позволила разработать алгоритм, в основе которого лежит не распознавание нот, а воспроизведение музыки с применением семантической интерпретации. В случае с человеком такое воспроизведение мелодии называют игрой на слух.

Синтезированные треки сильно отличаются от оригинала. Программа позволяет переделать симфоническую музыку в фортепианную пьесу, придать классическому произведению электронное звучание или исполнить популярную мелодию в непривычном классическом стиле. Создатели нейросети утверждают, что качество исполнения переработанной записи сопоставимо с игрой профессиональных музыкантов. Разработчики предложили тестовой группе прослушать исходные и синтезированные треки и постараться определить, какие из них были созданы компьютером. Большинство слушателей не справились с этой задачей.

Многие современные музыкальные сервисы и приложения используют искусственный интеллект для распознавания музыки. Эти наработки применяются не для синтезирования новых мелодий, а для поиска соответствий музыкальных фрагментов полным произведениям, загруженным в медиатеку. Это позволяет определять название композиции и имя исполнителя по небольшому отрывку песни.

Обучение нейросетей работе со звуком позволяет специалистам находить решения, которые могут использоваться для передачи слуховых образов слабослышащим людям. Ранее американский профессор Брайан Пэсли объявил о возможности перевода человеческих мыслей в аудиовизуальные образы. В его изобретении искусственный интеллект анализирует импульсы в коре головного мозга человека и трансформирует их в реальные звуки.