Система, разработанная Disney связывает образы со звуками

Система, разработанная Disney связывает образы со звуками

Исследователи из Disney разработали систему, которая может распознавать различные объекты в видео и автоматически добавлять звуковые эффекты, например, когда машины едут по дороге.

С помощью глубинного обучения, исследователи обучили их модели распознавать звуковые образы, подавая ему набор видео, демонстрирующих объект и воспроизводя определенный звук.

«Видео с аудио-треками дают нам естественный способ получить соотношения между звуками и изображениями», сказал Жан-Шарль Базин, научный сотрудник Дисней. «Видео камерами, оснащенными микрофонами для синхронизации аудио и визуальной информации. В принципе, каждый видео кадр можно применять как пример для обучения».

Хотя загвоздка была в системе, чтобы определить, какой звук связан с объектом.

«Звуки, связанные с изображениями могут быть весьма двусмысленными», — сказал Маркус Гросс, вице-президент по исследованиям компании Disney. «Чтобы отфильтровать эти посторонние звуки, наша исследовательская группа сделала большой шаг в сторону множества новых приложений для компьютерного зрения.»

Ссылка на исследование: Suggesting Sounds for Images from Video Collections


искусственные нейронные сети искусственный интеллект
Если у вас есть статья, заметка или обзор, которыми вы хотите поделиться с аудиторией нашего сайта, присылайте информацию на: neuronus.com@yandex.ru.
Гость, оставишь комментарий?
Имя:*
E-Mail:


Последние комментарии
Почему космос не имеет начала и конца: комментарии учёных
Земля находится трёх слонах, которые стоят на черепахе
Судьба ледокола «Арктика» остается неопределенной после повреждения одного из двигателей
Народ теперь что бы накачать мышцы и убрать лишний жир можно без спорта и диет, просто надел и забыл. Опробовал лично и результат удивил уже через
Сообщение о покупке водородной яхты Билом Гейтсом оказалось ложным
Народ теперь что бы накачать мышцы и убрать лишний жир можно без спорта и диет, просто надел и забыл. Опробовал лично и результат удивил уже через
Для чего динозавру абдараинуру такой необычный хвост
Народ теперь что бы накачать мышцы и убрать лишний жир можно без спорта и диет, просто надел и забыл. Опробовал лично и результат удивил уже через
Получены самые детальные снимки поверхности Солнца
Народ теперь что бы накачать мышцы и убрать лишний жир можно без спорта и диет, просто надел и забыл. Опробовал лично и результат удивил уже через
Мы в социальных сетях
Статистика
0  
Всего статей 2562
0  
Всего комментариев 996
0  
Пользователей 191