Перцептронные комплексы для нейросетевого моделирования при малых объёмах обучающих выборок

Искусственные нейронные сети в виде однослойных и многослойных перцептронов позволяют на основе экспериментальных данных создавать и использовать многомерные модели, описывающие зависимость множества выходных переменных от множества входных.

В любом многослойном перцептроне каждый элементарный нейрон имеет связь со всеми нейронами соседних слоев. Входные сигналы распространяются по перцептрону от входного слоя к выходному, подвергаясь преобразованиям в соответствии с весовыми коэффициентами синаптических связей и собственными настройками нейронов. От значений весовых коэффициентов зависит моделирующая способность перцептрона. Процесс его обучения сводится к подбору таких значения весовых коэффициентов, при которых обеспечивается наименьшее отклонение рассчитанных выходов перцептрона от соответствующих им выходов примеров обучающей выборки.

Один из факторов, влияющих на моделирующую способность перцептрона – соотношение объёма выборки и количества настраиваемых в процессе обучения весовых коэффициентов. Если это соотношение близко к единице, то перцептрон в основном просто запоминает обучающую выборку, а не извлекает из неё закономерности. Если же оно слишком большое, обученная сеть будет просто усреднять данные без учета деталей. В этой связи в большинстве случаев рекомендуется не выходить за пределы изменения указанного соотношения от 2 до 5 раз («правило 2–5»).

В ситуациях с длительными, сложными или дорогими опытами, зачастую возникает необходимость получения нейросетевой модели с большим количеством входных и выходных переменных при сравнительно небольшом объёме экспериментальной выборки. Большое количество входов и выходов обусловливает многонейронную структуру перцептрона и большое количество связей между слоями, что, в свою очередь, приводит к невозможности выполнения «правила 2–5». Решение аналогичной проблемы с полиномиальными регрессионными моделями было найдено в середине прошлого века благодаря применению метода группового учета аргументов.

По схожему принципу предполагается, что разбиение исходного множества входных и выходных переменных на несколько перцептронов, имеющих значительно более простую структуру, с последующим их объединением в многоуровневые перцептронные комплексы позволит эффективно применять эту нейросетевую архитектуру при небольших объёмах исходных данных.

На рисунке представлен пример структуры перцептронного комплекса. Он включает два однослойных перцептрона первого уровня и один – второго, результирующего. Переменными x1–x6 обозначены входы модели, x11–x23 – входы перцептронов первого уровня, y11–y23 – выходы перцептронов первого уровня, x31–x35 – входы перцептронов второго уровня, y31–y34 – выходы перцептронов второго уровня, y1–y5 – выходы модели.

структура перцептронного комплекса

Пример структуры перцептронного комплекса

При организации связей между входными и выходными переменными модели и перцептронов приняты следующие правила:

– любая входная переменная модели может подаваться на входы одного или нескольких простых перцептронов любого уровня;
– любая выходная переменная простого перцептрона может подаваться на один или несколько входов перцептронов следующих уровней или быть выходом модели.

Алгоритм работы с перцептронным комплексом включает три основные стадии:

– выбор структуры и настройка параметров;
– обучение;
– практическое использование.

Выбор структуры и настройка параметров перцептронного комплекса выполняются с учётом имеющегося количественного и качественного составов экспериментальных данных. Поскольку оценить работоспособность выбранных структуры и настроек можно только в результате обучения комплекса, первые две стадии могут выполняться в цикле несколько раз до достижения приемлемого качества обучения (уровня среднеквадратичной ошибки).

В ходе процесса обучения первоначально настраиваются весовые коэффициенты каждого перцептрона первого уровня методом Уидроу–Хоффа. При наличии неполной выборки экспериментальных данных для обучения определённого перцептрона используются только те примеры обучающей выборки, для которых имеется полный набор входных и выходных переменных. Следует заметить, что для моделирования на основе обычных многослойных перцептронов использование таких примеров было бы в принципе невозможно.

Далее с использованием уже обученных перцептронов первого уровня рассчитываются выходные значения обучающих примеров и с использованием их составляется обучающая выборка для результирующего перцептрона. Аналогичным образом, методом Уидроу-Хоффа проводится его обучение.

Практическое использование обученного комплекса осуществляется для обучающего, тестового или любого другого набора данных с учётом областей допустимых значений каждой переменной, соответствующих обучающей выборке.

Как пример уменьшения требований к объёму обучающей выборки благодаря использованию перцептронных комплексов можно рассмотреть нейросетевую модель, включающую 5 входных и 4 выходных переменных. Двухслойный перцептрон, реализующий данную модель, будет иметь полный набор входных и выходных переменных и, например, 5 нейронами в скрытом слое. Суммарно его структура содержит 54 синаптических коэффициента. Таким образом, при соблюдении «правила 2–5» объём обучающей выборки для него должен составлять более 100 полных примеров. Для сравнения используем нейросетевой комплекс из двух однослойных перцептронов на первом уровне (соответственно 2 и 3 входа и по 2 выхода) и одного – на результирующем (4 входа и 4 выхода). Данная структура содержит 34 весовых коэффициента, требующих менее 70 обучающих примеров, которые при этом могут иметь неполный состав входных и выходных переменных. Если же по одному выходу первого уровня такого перцептронного комплекса использовать непосредственно в качестве выходов модели, количества весовых коэффициентов и требуемых для обучения примеров сократятся соответственно до 20 и 40, т. е. примерно в 2,5 раза в сравнении с классической структурой двухслойного перцептрона.

Результаты тестирования перцептронных комплексов показали минимальное отличие от классических многослойных перцептронов по величинам ошибок расчёта, полученным по обучающей и тестовой выборкам.

В то же время, дополнительным преимуществом перцептронных комплексов в сравнении с обычными многослойными перцептронами является возможность использования неполных примеров или неоднородных обучающих выборок.

По материалам публикации:
Дударов С. П. Нейросетевое моделирование на основе перцептронных комплексов при малых объемах обучающих выборок/ С. П. Дударов, А. Н. Диев. – Математические методы в технике и технологиях – ММТТ-26: сб. трудов XXVI Междунар. науч. конф. Секции 6, 7, 8, 9. – Нижний Новгород: Нижегород. гос. техн. ун-т, 2013. – с. 114–116.


искусственные нейронные сети перцептрон
Если у вас есть статья, заметка или обзор, которыми вы хотите поделиться с аудиторией нашего сайта, присылайте информацию на: neuronus.com@yandex.ru.
Гость, оставишь комментарий?
Имя:*
E-Mail:


Последние комментарии
Дрон-камикадзе и ракеты с искусственным интеллектом: как в России создали умные боеприпасы и планируют применять в деле
Современная микроэлектроника, включая микроконтроллеры и процессоры для современных ПК, является продуктом высокотехнологического производства и
Как работает Любовь? Квантовая связь нейронной активности Людей
ребят,вот вам смешно,а квантовая связь влюбленных то существует.и я не шучу. мой парень видел глюки и в этих глюках присутствовала я.(если что,в
Почему космос не имеет начала и конца: комментарии учёных
Земля находится трёх слонах, которые стоят на черепахе
Судьба ледокола «Арктика» остается неопределенной после повреждения одного из двигателей
Народ теперь что бы накачать мышцы и убрать лишний жир можно без спорта и диет, просто надел и забыл. Опробовал лично и результат удивил уже через
Сообщение о покупке водородной яхты Билом Гейтсом оказалось ложным
Народ теперь что бы накачать мышцы и убрать лишний жир можно без спорта и диет, просто надел и забыл. Опробовал лично и результат удивил уже через
Мы в социальных сетях
Статистика
0  
Всего статей 2562
0  
Всего комментариев 1031
0  
Пользователей 264