Исследователи из университета Торонто разработали систему AI, которая создает, а затем поет Рождественскую песню на основе анализа визуальных компонентов загруженного изображения.
Исследователи обучили нейронную сеть более 100 часов онлайн музыки. После прохождения подготовки, программа может принять музыкальную шкалу и мелодичный профиль и воспроизвести 120-ударов в минуту мелодию, добавляя аккорды и барабаны.
Следующим шагом было обучить программу караоке, коллекцией картин с подписями, чтобы узнать, как конкретные работы могут быть связаны с визуальными образами и объектами. После обучения программа может составить соответствующие тексты и петь их.
«Мы привыкли думать об ИИ в робототехнике и тому подобное. Теперь вопрос, что может ИИ сделать для нас?» — сказала Ракель Urtasun, профессор в области машинного обучения и компьютерного зрения в лаборатории компьютерных наук в Торонто. «Вы можете представить себе, что ИИ создает музыку, или узнает людей по фотографии и поет о них», — добавляет ее коллега, Саня Фидлер. «Речь о глубинном обучении (Deep LEarning)».
Neural Story Singing Christmas from Hang Chu on Vimeo.