Алгоритм Левенберга-Марквардта

Алгоритм Левенберга-Марквардта

Алгоритм Левенберга-Марквардта предназначен для оптимизации параметров нелинейных регрессионных моделей. Предполагается, что в качестве критерия оптимизации используется среднеквадратичная ошибка модели на обучающей выборке. Алгоритм заключается в последовательном приближении заданных начальных значений параметров к искомому локальному оптимуму.

Задана обучающая выборка – множество пар свободной переменной (входы сети) и зависимой переменной Алгоритм Левенберга-Марквардта. Задана функциональная зависимость, представляющую собой регрессионную модель Алгоритм Левенберга-Марквардта, непрерывно дифференцируемую в области W·X. Параметр wявляется вектором весовых коэффициентов. Требуется найти такое значение вектора w, которое бы доставляло локальный минимум функции ошибки 

Перед началом работы алгоритма задается начальный вектор весовых коэффициентов w. 

  1. На каждом шаге итерации этот вектор заменяется на вектор
    Алгоритм Левенберга-Марквардта
    Для оценки приращения Алгоритм Левенберга-Марквардта используется линейное приближение функции  Алгоритм Левенберга-Марквардтагде J – якобиан функции f(w,xn) в точке w
    Матрицу наглядно можно представить в виде
    Алгоритм Левенберга-Марквардта
    Здесь вектор весовых коэффициентов Алгоритм Левенберга-Марквардта.
    Приращение Алгоритм Левенберга-Марквардта в точке w, доставляющее минимум EDравно нулю. Поэтому для нахождения последующего приращения Алгоритм Левенберга-Марквардта приравняем нулю вектор частных производных ED по w.
     Алгоритм Левенберга-Марквардтагде и 
    Преобразовывая и дифференцируя это выражение 

    Алгоритм Левенберга-Марквардта 
    получим Алгоритм Левенберга-Марквардта.
    Таким образом, чтобы найти значение Алгоритм Левенберга-Марквардта нужно решить систему линейных уравнений 
    Так как число обусловленности матрицы JTесть квадрат числа обусловленности матрицы J, то матрица JTможет оказаться существенно вырожденной. Поэтому Марквардтом введен параметр регуляризации
  2.  где I – единичная матрица. Этот параметр назначается на каждой итерации алгоритма. Если значение ошибки Eубывает быстро, малое значение  сводит этот алгоритм к алгоритму Гаусса-Ньютона.
  3. Алгоритм останавливается в том случае, если приращение  в последующей итерации меньше заданного значения, либо если вектор весовых коэффициентов доставляет ошибку ED, меньшую заданной величины, или если исчерпано число циклов обучения НС. Значение вектора w на последней итерации считается искомым.

Недостаток алгоритма – значительное уменьшение скорости аппроксимации при увеличении параметра .


искусственные нейронные сети
Гость, оставишь комментарий?
Имя:*
E-Mail:


 
Свежее новое
  • Четверть населения Финляндии, будет обучена работе с роботами и нейросетями.
  • Финляндии предстоит расти и расти, перед тем, как она сможет выйти на мировой рынок с технологиями искусственного интеллекта и все же, это не мешает
  • Как искусственный интеллект передает информацию от людей, потерявших способность говорить?
  • Несколько групп ученых смогли преобразовать команды головного мозга в речь с помощью компьютера-синтезатора. Для того, чтобы это сделать, они
  • К 2025 году, роботы строители, могут составить 10 процентов рабочей силы Японии.
  • Япония является одной из стран, в которой автоматизация процесса строительства, происходит очень медленно. Роботы на практике показывают лишь то, что
  • Интуитивный Алгоритм Технологической Сингулярности на основе Сильного Искусственного Интеллекта «Smart-MES»
  • Технологическая Сингулярность означает такое быстрое развитие прогресса, связанное с созданием сообщества Сильных Искусственных Интеллектов, когда
  • Видеокамеры научились различать телефоны в руках автомобилистов
  • Совсем недавно, в Москве, Сергей Собянин сделал официальное заявление, что с 2019 года в Москве заработают камеры, которые будут отслеживать опасных
Последние комментарии
Каким был первый робот в мире? Происхождение слова "Робот"
Восхищения нет предела делу ваших рук и идей. Хочется склонить голову перед вашим трудом, хотя твердо придерживаюсь Библии (не поклоняться идолам)
Как работает Любовь? Квантовая связь нейронной активности Людей
Я думаю, когда начнется квантовое взаимодействие мржду человеком и ИИ это и будет началом конца.
Как работает Любовь? Квантовая связь нейронной активности Людей
Как вы считаете, возможно ли образование квантовых взаимодействий между человеком и ИИ? 
Сильный Искусственный Интеллект «Smart-MES» как основа Технологической Сингулярности России
А почему бы сразу СИИ не запустить в другую галактику, может там нет коррупции, воровства, плебейства и прочей муры, которая не только мешает
Искусственный Интеллект. Концепция развития и внедрения Искусственного Интеллекта (Искусственной Аналитики)
Согласен. проблема ИИ не в наборе задач. Главная проблема - познание процесса мышления как феномена физиологии головного мозга человека.
Мы в социальных сетях
Статистика
0  
Всего статей 1545
0  
Всего комментариев 75
0  
Пользователей 69