Нейронные сети адаптивного резонанса

Человеческий мозг непрерывно занимается обработкой информации, поступающей от органов чувств: звуки, запахи, изображения и т. д. Бо́льшая часть такой информации не представляет интереса или неважна и поэтому игнорируется. Однако та небольшая ее составляющая, что имеет ценность, должна быть не только обработана, но и сохранена в долговременной памяти. Важно понимать, что при этом не только новые образы должны запоминаться, но также должны идентифицироваться ранее встречавшиеся. В свою очередь, запоминание новых образов не должно влиять на образы, хранящиеся в памяти.

Приведенные особенности работы человеческого мозга отражены в теории адаптивного резонанса. Несмотря на существование в настоящее время сравнительно большого количества вариантов архитектур искусственных нейронных сетей адаптивного резонанса, основными остаются две:

– АРТ-1 (от англ. ART – AdaptiveResonanceTheory) – для кластеризации, хранения и идентификации образов в форме двоичных сигналов;

– АРТ-2 – для кластеризации, хранения и идентификации образов, представленных как в форме двоичных сигналов, так и в форме аналоговых сигналов, в том числе с использованием обоих типов сигналов в одной структуре.

В отличие от большинства существующих архитектур нейронных сетей АРТ-сети не предусматривают строгого деления жизненного цикла на стадии обучения и практического использования. Они продолжают обучаться на протяжении всего времени их практического использования, включая этап практической эксплуатации.

Структура любой АРТ-сети содержит единственный слой нейронов. Количество входных переменных равно количеству двоичных или вещественных признаков, характеризующих объект. Количество выходов непостоянно. В момент начала функционирования сети выходов нет вовсе. Постепенно их количество возрастает с каждым новым незнакомым входным образом, образующим, по сути, новый кластер. Таким образом, очевидно, что АРТ-сети – самоорганизующиеся.

Рассмотрим структуру и алгоритм работы нейронной сети АРТ-1 (рис. 1).

В отличие от большинства структур других нейронных сетей входы АРТ-1 связаны с выходами не одним, а парой синапсов: wij – синапсы кратковременной памяти; tij – синапсы долговременной памяти. Назначение кратковременной памяти – установление кластеров, к которым может быть отнесен входной образ. Назначение долговременной памяти – установление степени соответствия входного образа кластерам, определение нейрона-победителя или принятие решения о создании нового кластера.

Рис. 1. Структура нейронной сети АРТ-1

Поскольку АРТ-1 работает с бинарными входами (0 или 1), никакая дополнительная нормализация или масштабирование входных данных не требуются.

Алгоритм функционирования АРТ-1 включает 3 стадии жизненного цикла: инициализацию сети, распознавание образа, кластеризацию образа (сравнение). На стадии инициализации последовательно выполняются следующие этапы:

1.1. Устанавливается параметр сходства Rкр (0 < Rкр < 1), причем чем он больше, тем выше должно быть сходство образа и кластера для отнесения к последнему.

1.2. Для первого поданного на входы сети образа создается первый нейрон (кластер), значения синаптических связей которого устанавливаются согласно следующим соотношениям:

,                                     (1)

ti1 = xi,                                                (2)

где λ – положительная (> 1,0) константа, определяющая степень влияния нового входного образа на кратковременную память. Чаще всего λ принимается равной 2,0.

Стадия распознавания образа включает следующие этапы:

2.1. На входы сети подается новый входной образ. Для каждого нейрона рассчитывается значение его выхода с учетом коэффициентов кратковременной памяти:

.                                          (3)

2.2. Положительные выходы нейронов указывают на кластеры, имеющие качественное сходство с входным образом. Если же все выходы оказались нулевыми, входной образ не соответствует ни одному из кластеров, создается новый нейрон с синаптическими коэффициентами, рассчитываемыми по соотношениям (1) и (2), после чего алгоритм продолжает работу с п. 2.1.

Количественное сходство входного образа с кластерами определяется на стадии кластеризации образа (сравнения):

3.1. Рассчитывается количественная мера сходства входного образа с кластером, имеющим наибольшее значение выхода нейрона в п. 2.1:

.                                          (4)

3.2. Если выполняется условие Rj > Rкр, j-й нейрон считается нейроном-победителем, а входной образ – соответствующим j-му кластеру. В этом случае для нейрона выполняется пересчет весовых коэффициентов по соотношениям:

,                       (5)

,                                 (6)

где v – коэффициент скорости адаптации (0 < v < 1). Большее значение v соответствует быстрой адаптации, меньшее – медленной.

3.3. Если условие Rj > Rкр не выполняется, алгоритм повторяется с п. 3.1 для остальных кластеров, следующие в порядке убывания их выходных значений, рассчитанных в п. 2.1, до тех пор, пока не будет получен нейрон-победитель или не будут использованы все кластеры с положительным выходом нейрона.

3.4. Если нейрон-победитель не найден, создается новый кластер с синаптическими коэффициентами нейрона, рассчитанными по соотношениям (1) и (2), после чего алгоритм продолжает работу с п. 2.1.

Рассмотрим пример работы сети АРТ-1 на протяжении всего жизненного цикла. Последовательно подадим на ее входы 4 бинарных вектора, состоящих из 9 элементов, кодирующих различные образы. Графическая и цифровая интерпретации образов приведены на рис. 2.

Очевидно, что структура нейронной сети для кластеризации указанных образов будет включать 9 входов. Выберем следующие параметры настройки нейронной сети: Rкр = 0,7, λ = 2,0, v = 0,6. Проведем расчеты в соответствии с алгоритмом работы АРТ-1.

На стадии инициализации подаем на входы сети образ 1. Он формирует первый нейрон, весовые коэффициенты которого рассчитываются по соотношениям (1), (2): w11 = w31 = w51 = w71 = w91 = 0,33; w21 = w41 = w61 = w81 = 0,00; t11 = t31 = t51 = t71 = t91 = 1,00; t21 = t41 = t61 = t81 = 0,00.

Далее работа с каждым образом начинается со стадии распознавания образа. Подаем на входы сети образ 2. Выходное значение единственного существующего на данный момент нейрона, рассчитанное по соотношению (12.3), составит: y1 = 0,00. Таким образом, образ 2 оказался не соответствующим первому кластеру, и для него создается новый нейрон с весовыми коэффициентами, рассчитанными по соотношениям (12.1), (12.2): w12 = w32 = w52 = w72 = w92 = 0,00; w22 = w42 = w62 = w82 = 0,40; t12 = t32 = t52 = t72 = t92 = 0,00; t22 = t42 = t62 = t82 = 1,00.

Рис. 2. Набор входных образов для кластеризации с помощью сети АРТ-1

 

Подаем на входы нейронной сети образ 3. Выходные значения имеющихся двух нейронов равняются соответственно: y1 = 1,33, y2 = 0,00. Очевидно наличие возможного соответствия только образу, ранее сформировавшему первый кластер. Проверим сходство по критерию (4). В результате расчета R1 = 1,0, что больше заданного значения Rкр. Таким образом, соответствие образа 3 первому кластеру считаем установленным. В соответствии с алгоритмом стадии кластеризации образа далее по соотношениям (5) и (6) пересчитываются коэффициенты кратковременной и долговременной памяти первого нейрона. Их новые значения составят: w11 = w31 = w51 = w71 = 0,37; w91 = 0,13; w21 = w41 = w61 = w81 = 0,00; t11 = t31 = t51 = t71 = 1,00; t91 = 0,40; t21 = t41 = t61 = t81 = 0,00.

Подаем на входы нейронной сети образ 4. Выходные значения нейронов составят соответственно: y1 = 0,37, y2 = 1,60. Это говорит о том, что в разной степени возможно сходство с обоими образами, однако со вторым оно гораздо вероятнее. Следовательно, по соотношению (4) рассчитываем значение критерия: R2 = 0,8. Оно больше заданного критического значения, а значит образ 4 должен быть отнесен ко второму кластеру. По соотношениям (5) и (6) пересчитываются синаптические коэффициенты второго нейрона, в результате чего получим: w12 = w52 = w72 = w92 = 0,00; w32 = 0,20; w22 = w42 = w62 = w82 = 0,36; t12 = t52 = t72 = t92 = 0,00; t32 = 0,60; t22 = t42 = t62 = t82 = 1,00.

Жизненный цикл нейронной сети продолжается далее в соответствии с алгоритмами стадий распознавания и кластеризации образа. При наличии множества тестовых образов можно в любой момент оценить их сходство с существующими кластерами и выполнить кластерный анализ полученных групп.

В отличие от предыдущей разновидности архитектуры нейронная сеть АРТ-2 позволяет использовать как бинарные, так и аналоговые входные сигналы. Алгоритм ее функционирования включает две стадии жизненного цикла: инициализацию и кластеризацию (сравнение) образов.

Стадия инициализации состоит из следующих этапов:

1.1. Устанавливается параметр сходства Rкр, аналогичный по физическому смыслу и области допустимых значений такому же параметру архитектуры АРТ-1.

1.2. Для имеющейся выборки данных выполняется нормализация значений переменных в пределах [0, 1].

1.3. Производится нормирование элементов каждого входного вектора таким образом, чтобы сумма квадратов этих элементов равнялась 1:

.                                       (7)

1.4. Создается первый нейрон (кластер) с весовыми коэффициентами, численно равными нормированным входным значениям первого примера (образа):

.

Стадия кластеризации образа (сравнения) включает следующие этапы:

2.1. На входы нейронной сети подается очередной образ и определяется количественная мера его сходства с каждым из имеющихся кластеров:

.                                       (8)

2.2. Выбирается кластер с номером J с максимальным значением меры сходства: .

2.3. Если условие Rmax < Rкр выполняется, считается, что сходство входного образа ни с одним из кластеров не установлено. В этом случае создается новый нейрон (кластер) с весовыми коэффициентами, равными элементам соответствующего нормированного вектора .

2.4. Если условие Rmax >= Rкр не выполняется, считается, что установлено наибольшее сходство входного образа с кластером J. Тогда весовые коэффициенты соответствующего нейрона пересчитываются по соотношению:

.                               (9)

Далее алгоритм продолжает работу на стадии кластеризации с п. 2.1.

Рассмотрим практическое использование нейронной сети АРТ-2 на примере задачи кластеризации данных об успеваемости учебной группы студентов, решенной ранее с помощью нейронной сети Кохонена в табл. 2.

Примем критическое значение параметра сходства Rкр =0,8 и коэффициент скорости адаптации v = 0,5.

В соответствии с алгоритмом данные в строках обучающей выборки должны быть пронормированы по соотношению (7).

Поскольку в момент инициализации сеть не содержит нейронов, самый первый поданный на нее входной образ (пример 1) сформирует этот нейрон и передаст ему значения весовых коэффициентов, равные значениям элементов входного вектора: w11 = 0,489, w21 = 0,489,w31 = 0,082,w41 = 0,384,w51 = 0,341,w61 = 0,377,w71 = 0,331.

Подаем на входы пример 2 и по соотношению (8) определяем значение критерия сходства с единственным пока кластером. Получаем R1 = 0,693. Эта величина меньше критического, следовательно, сходство оказалось недостаточным для отнесения примера 2 к первому кластеру. Формируем на основе второго примера новый кластер со следующими весовыми коэффициентами: w12 = 0,821, w22 = 0,000,w32 = 0,137,w42 = 0,476,w52 = 0,286,w62 = 0,000,w72 = 0,000.

Подаем на входы пример 3 и определяем критерии сходства с обоими созданными ранее кластерами. Получаем R1 = 0,707, R2 = 0,344. Таким образом, для примера 3 также не удалось подобрать подходящий кластер, поэтому создаем для него новый с весовыми коэффициентами: w13 = 0,000, w23 = 0,000,w33 = 0,144,w43 = 0,501,w53 = 0,301,w63 = 0,606,w73 = 0,521.

Подаем на входы пример 4 и определяем критерии сходства со всеми имеющимися кластерами. Получаем R1 = 0,931, R2 = 0,646, R3 = 0,726. Так как R1 > Rкр, данный пример должен быть отнесен к первому кластеру, для которого по соотношению (9) пересчитываем весовые коэффициенты. Получаются следующие их новые значения: w11 = 0,451, w21 = 0,451,w31 = 0,247,w41 = 0,351,w51 = 0,344,w61 = 0,343,w71 = 0,372.

Аналогично выполняется кластеризация для всех остальных примеров обучающей выборки. Результирующие значения весовых коэффициентов представлены в таблице.

 

Итоговые значения весовых коэффициентов нейронной сети АРТ-2

№ кластера j

Весовые коэффициенты wij

w1j

w2j

w3j

w4j

w5j

w6j

w7j

1

0,298

0,478

0,375

0,325

0,349

0,379

0,303

2

0,788

0,000

0,011

0,322

0,170

0,052

0,406

3

0,000

0,000

0,144

0,501

0,301

0,606

0,521

 

В результате полного перебора всех примеров обучающей выборки в нейронной сети самоорганизуются 3 кластера, различающиеся количественным и качественным составами студентов. Первый кластер включает хорошо и отлично успевающих студентов и студентов, не имеющих академических задолженностей (примеры №№ 1, 4–7, 11, 12, 14, 16–19). Второй кластер – неуспевающих студентов с низкими баллами, имеющих академические задолженности и не получающих стипендию (примеры №№ 2, 8–10, 13, 15, 20). Третий кластер содержит единственный пример (№ 3), который сеть АРТ-2 не смогла отнести ни к одному из двух больших кластеров.

Как видно из полученных результатов, сеть не разделяет по отдельным группам студентов, имеющих разный пол. И по другим входным признакам границы более размытые. Отчасти это связано с величиной выбранного критического значения параметра сходства. Но не меньшее влияние оказывает и использование нормирования данных внутри каждого примера.

Следует заметить, что возможно провести настройку нейронной сети путем многократной подачи примеров обучающей выборки на входы с уменьшающимся от эпохи к эпохе коэффициентом скорости адаптации. В этом случае целесообразно каждый раз использовать новую случайную последовательность примеров.