Алгоритм Левенберга-Марквардта

Алгоритм Левенберга-Марквардта

Алгоритм Левенберга-Марквардта предназначен для оптимизации параметров нелинейных регрессионных моделей. Предполагается, что в качестве критерия оптимизации используется среднеквадратичная ошибка модели на обучающей выборке. Алгоритм заключается в последовательном приближении заданных начальных значений параметров к искомому локальному оптимуму.

Задана обучающая выборка – множество пар свободной переменной (входы сети) и зависимой переменной Алгоритм Левенберга-Марквардта. Задана функциональная зависимость, представляющую собой регрессионную модель Алгоритм Левенберга-Марквардта, непрерывно дифференцируемую в области W·X. Параметр wявляется вектором весовых коэффициентов. Требуется найти такое значение вектора w, которое бы доставляло локальный минимум функции ошибки 

Перед началом работы алгоритма задается начальный вектор весовых коэффициентов w. 

  1. На каждом шаге итерации этот вектор заменяется на вектор
    Алгоритм Левенберга-Марквардта
    Для оценки приращения Алгоритм Левенберга-Марквардта используется линейное приближение функции  Алгоритм Левенберга-Марквардтагде J – якобиан функции f(w,xn) в точке w
    Матрицу наглядно можно представить в виде
    Алгоритм Левенберга-Марквардта
    Здесь вектор весовых коэффициентов Алгоритм Левенберга-Марквардта.
    Приращение Алгоритм Левенберга-Марквардта в точке w, доставляющее минимум EDравно нулю. Поэтому для нахождения последующего приращения Алгоритм Левенберга-Марквардта приравняем нулю вектор частных производных ED по w.
     Алгоритм Левенберга-Марквардтагде и 
    Преобразовывая и дифференцируя это выражение 

    Алгоритм Левенберга-Марквардта 
    получим Алгоритм Левенберга-Марквардта.
    Таким образом, чтобы найти значение Алгоритм Левенберга-Марквардта нужно решить систему линейных уравнений 
    Так как число обусловленности матрицы JTесть квадрат числа обусловленности матрицы J, то матрица JTможет оказаться существенно вырожденной. Поэтому Марквардтом введен параметр регуляризации
  2.  где I – единичная матрица. Этот параметр назначается на каждой итерации алгоритма. Если значение ошибки Eубывает быстро, малое значение  сводит этот алгоритм к алгоритму Гаусса-Ньютона.
  3. Алгоритм останавливается в том случае, если приращение  в последующей итерации меньше заданного значения, либо если вектор весовых коэффициентов доставляет ошибку ED, меньшую заданной величины, или если исчерпано число циклов обучения НС. Значение вектора w на последней итерации считается искомым.

Недостаток алгоритма – значительное уменьшение скорости аппроксимации при увеличении параметра .


искусственные нейронные сети
Гость, оставишь комментарий?
Имя:*
E-Mail:


 
Свежее новое
  • В Москве пройдет один из крупнейших хакатонов в мире в сфере искусственного интеллекта
  • PicsArt, ведущая творческая платформа для создания контента и визуализации историй в социальных сетях с более чем 100 миллионами активных
  • Сильный Искусственный Интеллект «Smart-MES» меняет взгляды на Технологическую Сингулярность
  • Учёные полагают, что Технологическая Сингулярность наступит тогда, когда Сильный Искусственный Интеллект будет способен самостоятельно создавать себе
  • Навыки голосовых помощников от Amazon, Google, Microsoft и Яндекс
  • После лекции директора по маркетингу умного помощника Алисы, Даниилы Колесникова, меня посетило вдохновение и любопытство. Так как мы сами сейчас
  • Конкурс идей от лаборатории Касперского - Kaspersky Start Russia
  • Если ты инициативный лидер, у тебя есть знания в области IT и тебе хотелось бы возглавить собственный проект в лаборатории Касперского, то подай
  • Смарт-города, умный транспорт и инновации для ЖКХ: что обсуждали на конференции «Интернет вещей»
  • Интернет вещей для промышленности, транспорта, ЖКХ и торговли: в Москве обсудили развитие и внедрение технологии. Конференция «Интернет вещей»,
Последние комментарии
5 лучших приложений искусственного интеллекта для вашего телефона Android
какой это искусственный разум мне смешно не пудрите людям мозги ,голосовой поисковик- это интелект ха ха ну вы тут и загибаете фантастику
5 лучших приложений искусственного интеллекта для вашего телефона Android
Всё вышеперечисленное назвать интеллектом можно с большущей натяжкой. Так, программки-автоматы с почти хорошим распознаванием несложной речи.
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
У нас очень странный народ, если что не понимает, то обязательно надо сунуть в морду. Зачем? А не лучше ли поинтересоваться, почему именно так? У
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
Господин Чернов. Поясню. Любой инструмент, даже прозаическая кофемолка, проходят процедуру стендовых испытаний. Сертификат соответствия
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
     " И странная картина получается в коридорах власти ". Странная картина  получается, если полагать, что власть эта поставлена для решения задач
Мы в социальных сетях
Статистика
0  
Всего статей 1533
0  
Всего комментариев 65
0  
Пользователей 56