Система, разработанная Disney связывает образы со звуками

Система, разработанная Disney связывает образы со звуками

Исследователи из Disney разработали систему, которая может распознавать различные объекты в видео и автоматически добавлять звуковые эффекты, например, когда машины едут по дороге.

С помощью глубинного обучения, исследователи обучили их модели распознавать звуковые образы, подавая ему набор видео, демонстрирующих объект и воспроизводя определенный звук.

«Видео с аудио-треками дают нам естественный способ получить соотношения между звуками и изображениями», сказал Жан-Шарль Базин, научный сотрудник Дисней. «Видео камерами, оснащенными микрофонами для синхронизации аудио и визуальной информации. В принципе, каждый видео кадр можно применять как пример для обучения».

Хотя загвоздка была в системе, чтобы определить, какой звук связан с объектом.

«Звуки, связанные с изображениями могут быть весьма двусмысленными», — сказал Маркус Гросс, вице-президент по исследованиям компании Disney. «Чтобы отфильтровать эти посторонние звуки, наша исследовательская группа сделала большой шаг в сторону множества новых приложений для компьютерного зрения.»

Ссылка на исследование: Suggesting Sounds for Images from Video Collections


искусственные нейронные сети искусственный интеллект
Гость, оставишь комментарий?
Имя:*
E-Mail:


Свежее новое
  • Какие загадки таит в себе долларовая купюра
  • Правый верхний угол долларовой банкноты содержит изображение маленького непонятного существа. При рассмотрении в лупу оно кажется подобным птице.
  • Чем уникальна Лента Мебиуса и в каких сфера ее применяют
  • Явление свету такой уникальной вещь как лента Мебиуса не могла не родить вокруг себя различных мистических разговоров. Одни из них говорят о поезде
  • Парадокс гусеницы на канате: как можно двигаться бесконечно
  • Представим себе ситуацию в который один конец каната привязан к какому-либо неподвижному объекту, например фонарный столб или забор.
  • Что произошло с тунгусским метеоритом более века назад: тайны и доказанные факты
  • Ни одно другое событие ХХ века не окружено таким количеством легенд как тайна Тунгусского инцидента 1908 года. Ученые выдвинули несколько
  • Глицин: эффективный катализатор умственной деятельности или плацебо?
  • Любому человеку, занимающемуся интеллектуальным трудом, знакома эта ситуация: днем мы пытаемся активировать мозг, а вечером «уговариваем» его
Последние комментарии
5 лучших приложений искусственного интеллекта для вашего телефона Android
ха....не отвечают.....а программа выдает заложенный в исходном коде в ответ на запрос. то же самое умеет калькулятор, только там нужно нажимать равно
5 лучших приложений искусственного интеллекта для вашего телефона Android
Я считаю,что искусственный интеллект ,когда нибудь будет,а пока это программы которые выполняют определенный алгоритм команд,интеллект-это
Нейронные сети Кохонена
Спасибо огромное за доступность представленного материала. Особенно ценным есть простой пример, на котором описана работа модели. Читала на многих
Демонстрация онлайн обучения нейронной сети
сказки переобучения НС и потери сигнала на таких нервонных сетях чудненькие распознованеи ближе к зеро :)
Что ждёт человечество с учётом дальнейшего развития «искусственного» интеллекта?
Совсем недавно завершилась серия логических игр Go 3 года канулив лету а ИИшак все играет в го а люди как обычно пашут до самой молодости :)
Мы в социальных сетях
Статистика
3  
Всего статей 1582
2  
Всего комментариев 96
0  
Пользователей 75