Перцептронные комплексы для нейросетевого моделирования при малых объёмах обучающих выборок

Искусственные нейронные сети в виде однослойных и многослойных перцептронов позволяют на основе экспериментальных данных создавать и использовать многомерные модели, описывающие зависимость множества выходных переменных от множества входных.

В любом многослойном перцептроне каждый элементарный нейрон имеет связь со всеми нейронами соседних слоев. Входные сигналы распространяются по перцептрону от входного слоя к выходному, подвергаясь преобразованиям в соответствии с весовыми коэффициентами синаптических связей и собственными настройками нейронов. От значений весовых коэффициентов зависит моделирующая способность перцептрона. Процесс его обучения сводится к подбору таких значения весовых коэффициентов, при которых обеспечивается наименьшее отклонение рассчитанных выходов перцептрона от соответствующих им выходов примеров обучающей выборки.

Один из факторов, влияющих на моделирующую способность перцептрона – соотношение объёма выборки и количества настраиваемых в процессе обучения весовых коэффициентов. Если это соотношение близко к единице, то перцептрон в основном просто запоминает обучающую выборку, а не извлекает из неё закономерности. Если же оно слишком большое, обученная сеть будет просто усреднять данные без учета деталей. В этой связи в большинстве случаев рекомендуется не выходить за пределы изменения указанного соотношения от 2 до 5 раз («правило 2–5»).

В ситуациях с длительными, сложными или дорогими опытами, зачастую возникает необходимость получения нейросетевой модели с большим количеством входных и выходных переменных при сравнительно небольшом объёме экспериментальной выборки. Большое количество входов и выходов обусловливает многонейронную структуру перцептрона и большое количество связей между слоями, что, в свою очередь, приводит к невозможности выполнения «правила 2–5». Решение аналогичной проблемы с полиномиальными регрессионными моделями было найдено в середине прошлого века благодаря применению метода группового учета аргументов.

По схожему принципу предполагается, что разбиение исходного множества входных и выходных переменных на несколько перцептронов, имеющих значительно более простую структуру, с последующим их объединением в многоуровневые перцептронные комплексы позволит эффективно применять эту нейросетевую архитектуру при небольших объёмах исходных данных.

На рисунке представлен пример структуры перцептронного комплекса. Он включает два однослойных перцептрона первого уровня и один – второго, результирующего. Переменными x1–x6 обозначены входы модели, x11–x23 – входы перцептронов первого уровня, y11–y23 – выходы перцептронов первого уровня, x31–x35 – входы перцептронов второго уровня, y31–y34 – выходы перцептронов второго уровня, y1–y5 – выходы модели.

структура перцептронного комплекса

Пример структуры перцептронного комплекса

При организации связей между входными и выходными переменными модели и перцептронов приняты следующие правила:

– любая входная переменная модели может подаваться на входы одного или нескольких простых перцептронов любого уровня;
– любая выходная переменная простого перцептрона может подаваться на один или несколько входов перцептронов следующих уровней или быть выходом модели.

Алгоритм работы с перцептронным комплексом включает три основные стадии:

– выбор структуры и настройка параметров;
– обучение;
– практическое использование.

Выбор структуры и настройка параметров перцептронного комплекса выполняются с учётом имеющегося количественного и качественного составов экспериментальных данных. Поскольку оценить работоспособность выбранных структуры и настроек можно только в результате обучения комплекса, первые две стадии могут выполняться в цикле несколько раз до достижения приемлемого качества обучения (уровня среднеквадратичной ошибки).

В ходе процесса обучения первоначально настраиваются весовые коэффициенты каждого перцептрона первого уровня методом Уидроу–Хоффа. При наличии неполной выборки экспериментальных данных для обучения определённого перцептрона используются только те примеры обучающей выборки, для которых имеется полный набор входных и выходных переменных. Следует заметить, что для моделирования на основе обычных многослойных перцептронов использование таких примеров было бы в принципе невозможно.

Далее с использованием уже обученных перцептронов первого уровня рассчитываются выходные значения обучающих примеров и с использованием их составляется обучающая выборка для результирующего перцептрона. Аналогичным образом, методом Уидроу-Хоффа проводится его обучение.

Практическое использование обученного комплекса осуществляется для обучающего, тестового или любого другого набора данных с учётом областей допустимых значений каждой переменной, соответствующих обучающей выборке.

Как пример уменьшения требований к объёму обучающей выборки благодаря использованию перцептронных комплексов можно рассмотреть нейросетевую модель, включающую 5 входных и 4 выходных переменных. Двухслойный перцептрон, реализующий данную модель, будет иметь полный набор входных и выходных переменных и, например, 5 нейронами в скрытом слое. Суммарно его структура содержит 54 синаптических коэффициента. Таким образом, при соблюдении «правила 2–5» объём обучающей выборки для него должен составлять более 100 полных примеров. Для сравнения используем нейросетевой комплекс из двух однослойных перцептронов на первом уровне (соответственно 2 и 3 входа и по 2 выхода) и одного – на результирующем (4 входа и 4 выхода). Данная структура содержит 34 весовых коэффициента, требующих менее 70 обучающих примеров, которые при этом могут иметь неполный состав входных и выходных переменных. Если же по одному выходу первого уровня такого перцептронного комплекса использовать непосредственно в качестве выходов модели, количества весовых коэффициентов и требуемых для обучения примеров сократятся соответственно до 20 и 40, т. е. примерно в 2,5 раза в сравнении с классической структурой двухслойного перцептрона.

Результаты тестирования перцептронных комплексов показали минимальное отличие от классических многослойных перцептронов по величинам ошибок расчёта, полученным по обучающей и тестовой выборкам.

В то же время, дополнительным преимуществом перцептронных комплексов в сравнении с обычными многослойными перцептронами является возможность использования неполных примеров или неоднородных обучающих выборок.

По материалам публикации:
Дударов С. П. Нейросетевое моделирование на основе перцептронных комплексов при малых объемах обучающих выборок/ С. П. Дударов, А. Н. Диев. – Математические методы в технике и технологиях – ММТТ-26: сб. трудов XXVI Междунар. науч. конф. Секции 6, 7, 8, 9. – Нижний Новгород: Нижегород. гос. техн. ун-т, 2013. – с. 114–116.


искусственные нейронные сети перцептрон
Если у вас есть статья, заметка или обзор, которыми вы хотите поделиться с аудиторией нашего сайта, присылайте информацию на: neuronus.com@yandex.ru.
Гость, оставишь комментарий?
Имя:*
E-Mail:


Свежее новое
  • NASA готовится начать поиск астероидов в околоземном пространстве
  • Космическое агентство США получило финансирование в рамках программы поиска потенциально опасных для нашей планеты космических объектов.
  • Древние инуиты ели много рыбы, но это не спасло их от атеросклероза
  • Инуиты, древние охотники Гренландии, жили в чистой природной среде, много двигались и питались «экологично». Тем не менее, у них был широко
  • Ракеты «Циркон» и «Кинжал» разгонят до скорости более 10 Махов
  • Российские разработчики занимаются усовершенствованием гиперзвуковых ракет «Циркон» и «Кинжал». Их скоростные характеристики будут улучшены до
  • Разум искусственный – утопия
  • Мышление – это процесс манипулирования информацией в формате трехмерного, полимодального образа. Оперировать подобной информацией может лишь головной
  • В Эфиопии найден древний город Аксумского царства
  • Аксумское царство, существовавшее в древности на территории современной Эфиопии и соседних государств, таит много загадок. Недавно археологам
Последние комментарии
Китайцы показали, какого цвета Луна на самом деле, и заподозрили американцев во лжи
Советую пересмотреть фильм"Козерог-1",и мультфильм"Незнайка на луне"!Оба именно про схему обмана NASA простых граждан!!Чем больше шумихи вокруг
Китайцы показали, какого цвета Луна на самом деле, и заподозрили американцев во лжи
Ты почти прав.Только на орбите могло их дерьмо болтаться,а не ракета!:) До сих пор ни единого грамма этого псевдо"лунного"грунта не было передано
Китайцы показали, какого цвета Луна на самом деле, и заподозрили американцев во лжи
В США было прогрессивное надувательство всего мира!!:)))Ради доказательства"широких возможностей капиталистического мира"!!:)))
Китайцы показали, какого цвета Луна на самом деле, и заподозрили американцев во лжи
Реокмендую пересмотреть ещё два фильма!"Козерог-1",и мультфилм"Незнайка на луне"!Оба прямо сняты по событиям мистификации полёта америкосов!!!:)
Китайцы показали, какого цвета Луна на самом деле, и заподозрили американцев во лжи
Невозможно дезертировать с объекта,на котором ты не был никогда!!:))))))))))))
Мы в социальных сетях
Статистика
1  
Всего статей 2279
0  
Всего комментариев 629
0  
Пользователей 165