Искусственный интеллект научился преобразовывать музыкальные партии в аудиотреках
В США создали нейронную сеть, способную преобразовывать партии разных музыкальных инструментов внутри существующей аудиозаписи. Программа позволяет принципиально изменить звучание и жанр исходного трека. Разработкой занимались программисты Facebook из специального отдела FAIR (Facebook AI Research), в чьи задачи входит исследование возможностей
искусственного интеллекта.
Компьютерная программа самостоятельно разбивает партитуру загруженного в память музыкального произведения на составляющие и в автоматическом режиме проигрывает отдельные части трека с использованием данных о звучании разных инструментов. Технология глубокого машинного обучения позволила разработать алгоритм, в основе которого лежит не распознавание нот, а воспроизведение музыки с применением семантической интерпретации. В случае с человеком такое воспроизведение мелодии называют игрой на слух.
Синтезированные треки сильно отличаются от оригинала. Программа позволяет переделать симфоническую музыку в фортепианную пьесу, придать классическому произведению электронное звучание или исполнить популярную мелодию в непривычном классическом стиле. Создатели нейросети утверждают, что качество исполнения переработанной записи сопоставимо с игрой профессиональных музыкантов. Разработчики предложили тестовой группе прослушать исходные и синтезированные треки и постараться определить, какие из них были созданы компьютером. Большинство слушателей не справились с этой задачей.
Многие современные музыкальные сервисы и приложения используют
искусственный интеллект для распознавания музыки. Эти наработки применяются не для синтезирования новых мелодий, а для поиска соответствий музыкальных фрагментов полным произведениям, загруженным в медиатеку. Это позволяет определять название композиции и имя исполнителя по небольшому отрывку песни.
Обучение нейросетей работе со звуком позволяет специалистам находить решения, которые могут использоваться для передачи слуховых образов слабослышащим людям. Ранее американский профессор Брайан Пэсли объявил о возможности перевода человеческих мыслей в аудиовизуальные образы. В его изобретении искусственный интеллект анализирует импульсы в коре головного мозга человека и трансформирует их в реальные звуки.