Автоассоциативная память


Автоассоциативная память

Человеческая нервная система получает и обрабатывает огромное количество сигналов, поступающих из окружающего пространства. Если эти сигналы могут быть осмыслены человеком и им могут быть сопоставлены соответствующие образы, принято говорить о работе ассоциативной памяти.

Получаемые сигналы имеют различное происхождение и различную форму. Часть их свидетельствует о явлениях или событиях, непосредственно влияющих на жизнедеятельность людей. В таких случаях они, как правило, представляют собой информационный массив, который необходимо правильно интерпретировать, очистив от шума. Таким образом, по сути, решается задача распознавания образа, закодированного массивом, имеющего те же размерность, размеры и физический смысл переменных. Соответствующую категорию ассоциативной памяти называют автоассоциативной, и речь о ней пойдет в данной главе.

Значительная часть информации, получаемой человеком в виде сигналов из окружающей среды, не несет для него какого-либо смысла, оставаясь информационным фоном, и, соответственно, человек не придает ей какого-либо значения. Однако возможно совпадение по времени получения этой и более ценной, жизненно необходимой информации. Так, определенные запахи или музыкальный мотив могут напомнить о событии в жизни человека или о другом человеке. То есть, один конкретный информационный образ, возможно, и зашумленный, непосредственно ассоциируется с другим образом. В этом случае говорят о гетероассоциативной памяти, которой посвящена следующая глава.

Типичный пример имитации автоассоциативной памяти в нейроинформатике – нейронная сеть Хопфилда. Структура данной сети содержит единственный слой нейронов. Количества входных и выходных переменных совпадают (M = K), а сами переменные должны соответствовать друг другу по физическому смыслу и представляют собой бинарные признаки образов, хранимых в памяти сети. Значения входов и выходов: +1 или –1. Сигналы выходных нейронов направляются по обратным связям ко всем остальным нейронам, поэтому данную сеть можно считать полносвязной. Общая структура нейронной сети Хопфилда изображена на рис. 1.

Рис. 1. Структура нейронной сети Хопфилда

Общая постановка задачи, решаемой с помощью нейронной сети Хопфилда, следующая. Известен набор из N эталонных образов, которые должны храниться в памяти сети и, при необходимости, правильно распознаваться ею. Каждый образ – это вектор, состоящий из M идеальных входных сигналов. После обучения сети Хопфилда она должна уметь из поданного на ее вход зашумленного вектора выделить (распознать) один из заложенных в нее эталонных образов или дать заключение, что входные данные не соответствуют ни одному из них.

Алгоритм жизненного цикла нейронной сети Хопфилда включает две стадии: обучения и практического использования.

На стадии обучения выполняется следующая последовательность действий:

1.1. Составляется матрица эталонных образов  размера NхM (табл. 1). Поскольку архитектура сети предусматривает использование лишь бинарных входов, никаких дополнительных нормализации и нормировки данных не требуется.

 

Таблица 1. Матрица эталонных образов нейронной сети Хопфилда


образа

№ входной бинарной переменной

1

2

i

M

1

x11

x12

x1i

x1M

2

x21

x22

x2i

x2M

k

xk1

xk2

xki

xkM

N

xN1

xN2

xNi

xNM

 

 

1.2. Рассчитываются элементы wji матрицы весовых коэффициентов :

                                 (1)

 

или в матричной форме записи:

- кроме диагональных элементов;
-для диагональных элементов.

Очевидно, что квадратная матрица  симметрична относительно нулевой главной диагонали.

На стадии практического использования:

2.1. На входы сети подается неизвестный, в общем случае, зашумленный вектор-столбец сигналов . Выходам нейронов присваиваются соответствующие значения элементов входного вектора:

.                                             (2)

2.2. Пересчитываются состояния нейронов для следующей (q+1) итерации:

                                      (3)

или в матричной форме:

.

2.3. Рассчитываются новые значения элементов выходного вектора:

                                       (4)

 

или в матричной форме:

.

где f(s) – активационная функция в виде повышающегося единичного скачка с бинарным множеством допустимых значений {–1; 1}:

                                 (5)

Порог активации T обычно принимается равным нулю.

2.4. Цикл повторяется с п. 2.2 до тех пор, пока все значения элементов выходного вектора не стабилизируются, т. е. пока не будет выполнено условие:

                                       (6)

либо пока выходные вектора не начнут чередоваться:

                                  (7)

2.5. После стабилизации выходов должен получиться вектор:

– соответствующий одному из эталонных образов – сеть проассоциировала и распознала его (условие (6));

– не соответствующий ни одному из эталонов – сеть не смогла распознать сигнал, что означает либо его сильную зашумленность, либо несоответствие ни одному из эталонных образов в памяти сети Хопфилда (условия (6) или (7)).

При использовании данной архитектуры для решения задачи распознавания образов следует иметь в виду, что это возможно только при соблюдении определенного соотношения между количеством бинарных признаков, характеризующих образы, и количеством самих запоминаемых образов. В первом приближении должно соблюдаться условие: N ≤ 0,15×M. В предельно строгом выражении:

.                                          (8)

Если среди запоминаемых образов нет сильно похожих друг на друга, достаточно воспользоваться первым условием. В противном случае схожие образы могут вызывать так называемые перекрестные ассоциации и необходимо учитывать второе ограничение.

Рассмотрим пример распознавания двух графических образов, представленных бинарными элементами в квадратной матрице (рис. 2). С учетом ограничения сети Хопфилда размер входного вектора для двух эталонных образов должен быть больше 13 элементов, а поскольку графический образ кодируется квадратной матрицей, минимально возможное число входов будет равно 16. Формат (количество и последовательность) выходов идентичен формату входов.

Значение элемента входного вектора, равное +1, соответствует наличию изображения в соответствующем участке. В противном случае элемент равен –1.

В соответствии с алгоритмом для данных образов составляется матрица эталонных образов (табл. 2), содержащая 2 строки эталонных векторов и 16 столбцов бинарных данных. Далее с использованием соотношения (1) определяются весовые коэффициенты нейронной сети Хопфилда (табл. 3).

 

Таблица 2. Матрица эталонных образов для настройки нейронной сети Хопфилда

№ образа

№ переменной

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

1

1

1

1

1

1

–1

–1

1

1

–1

–1

1

1

–1

–1

1

2

1

1

1

1

–1

1

1

–1

–1

1

1

–1

1

1

1

1

 

Таблица 3. Матрица весовых коэффициентов нейронной сети Хопфилда

№ строки

№ столбца

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

1

0

2

2

2

0

0

0

0

0

0

0

0

2

0

0

2

2

2

0

2

2

0

0

0

0

0

0

0

0

2

0

0

2

3

2

2

0

2

0

0

0

0

0

0

0

0

2

0

0

2

4

2

2

2

0

0

0

0

0

0

0

0

0

2

0

0

2

5

0

0

0

0

0

–2

–2

2

2

–2

–2

2

0

–2

–2

0

6

0

0

0

0

–2

0

2

–2

–2

2

2

–2

0

2

2

0

7

0

0

0

0

–2

2

0

–2

–2

2

2

–2

0

2

2

0

8

0

0

0

0

2

–2

–2

0

2

–2

–2

2

0

–2

–2

0

9

0

0

0

0

2

–2

–2

2

0

–2

–2

2

0

–2

–2

0

10

0

0

0

0

–2

2

2

–2

–2

0

2

–2

0

2

2

0

11

0

0

0

0

–2

2

2

–2

–2

2

0

–2

0

2

2

0

12

0

0

0

0

2

–2

–2

2

2

–2

–2

0

0

–2

–2

0

13

2

2

2

2

0

0

0

0

0

0

0

0

0

0

0

2

14

0

0

0

0

–2

2

2

–2

–2

2

2

–2

0

0

2

0

15

0

0

0

0

–2

2

2

–2

–2

2

2

–2

0

2

0

0

16

2

2

2

2

0

0

0

0

0

0

0

0

2

0

0

0

 

Рис. 2. Эталонные образы для обучения сети Хопфилда

 

На стадии практического использования попытаемся распознать зашумленные образы, представленные на рис. 3, обученной нейронной сетью.

Рис. 3. Зашумленные образы для распознавания сетью Хопфилда

 

Подаем на входы сети образ 3. По соотношениям (2)–(4) последовательно определяем начальные выходные значения и серии состояний нейронов, изменяющихся при синхронной активизации обратных связей, и соответствующих им новых выходных значений.

Процесс изменения сигналов в работающей сети Хопфилда при подаче образа 3 продемонстрирован в табл. 4.

Последний столбец табл. 4 идентичен первому эталонному образу, а значит распознавание следует признать выполненным успешно.

 

Таблица 4. Изменение сигналов в сети Хопфилда при подаче образа 3

№ входа или выхода i, j

xi

yj(0)

Итерация 1

Итерация 2

sj(1)

yj(1)

sj(2)

yj(2)

1

1

1

6

1

10

1

2

1

1

6

1

10

1

3

1

1

6

1

10

1

4

–1

–1

10

1

10

1

5

1

1

14

1

18

1

6

–1

–1

–14

–1

–18

–1

7

1

1

–18

–1

–18

–1

8

1

1

14

1

18

1

9

1

1

14

1

18

1

10

–1

–1

–14

–1

–18

–1

11

–1

–1

–14

–1

–18

–1

12

1

1

14

1

18

1

13

1

1

6

1

10

1

14

–1

–1

–14

–1

–18

–1

15

–1

–1

–14

–1

–18

–1

16

1

1

6

1

10

1

8

0

 

Таблица 5. Изменение сигналов в сети Хопфилда при подаче образа 4

№ входа или выхода i, j

xi

yj(0)

Итерация 1

Итерация 2

Итерация 3

sj(1)

yj(1)

sj(2)

yj(2)

sj(3)

yj(3)

1

1

1

10

1

10

1

10

1

2

1

1

10

1

10

1

10

1

3

1

1

10

1

10

1

10

1

4

1

1

10

1

10

1

10

1

5

–1

–1

2

1

–2

–1

2

1

6

–1

–1

2

1

–2

–1

2

1

7

–1

–1

2

1

–2

–1

2

1

8

–1

–1

2

1

–2

–1

2

1

9

–1

–1

2

1

–2

–1

2

1

10

–1

–1

2

1

–2

–1

2

1

11

–1

–1

2

1

–2

–1

2

1

12

–1

–1

2

1

–2

–1

2

1

13

1

1

10

1

10

1

10

1

14

–1

–1

2

1

–2

–1

2

1

15

1

1

–2

–1

2

1

–2

–1

16

1

1

10

1

10

1

10

1

40

40

40

0

0

0

 

Подаем теперь на входы образ 4 и выполняем все операции в соответствии с алгоритмом стадии практического использования нейронной сети Хопфилда. Процесс изменения сигналов в этом случае представлен в табл. 5.

Очевидно, что в данном случае сеть не может отнести зашумленный образ к какому-либо из эталонных, так как происходит постоянное чередование двух различных выходных векторов, причем не соответствующих ни одному из исходных эталонных образов. Это позволяет сделать вывод, что значит распознавание зашумленного образа 4 данной нейронной сетью Хопфилда невозможно.


Гость, оставишь комментарий?
Имя:*
E-Mail:


Свежее новое
  • Современные Парадоксы Технологической Сингулярности и Искусственного Интеллекта
  • Технологическая Сингулярность – это когда абсолютно всем очень хорошо, когда нет разделения на бедных и богатых, т.к. всей экономикой России ведает
  • Как искусственный интеллект помогает в изучении иностранного языка ?
  • Технологии стали неотъемлемой частью нашей жизни. Они развиваются так быстро, что люди не успевают за ними. Мы не можем отрицать его силу или
  • Mail.Ru Group запустили чемпионат по искусственному интеллекту Mini AI Cup #3!
  • На конец лета выпало событие, которое наверняка заинтересует многих любителей поразмышлять о будущем разумных машин. Неделю назад, 30 августа,
  • Искусственный интеллект против команды профессиональных геймеров в DOTA 2. Кто победит?
  • Искусственный интеллект уже подтвердил, что может легко расправится со своими соперниками людьми, играя с ними в шахматы, Го или покер. Как он
Последние комментарии
Что такое искусственный интеллект ?
Добрый вечер! 1979 год. Компьютер-автомобиль? Или компьютер контролирующий автомобиль?
Японские ученые создали робота, обыгрывающего человека в игру «камень-ножницы-бумага» в 100% случаев
И что с того что появится ..вернется в детские сады, школы, спортивные площадки и дворы .. раз нельзя никак выйграть. уж лучше с другим человеком
Теория и Практика Технологической Сингулярности и Искусственного Интеллекта
На сегодня развитие IT в США значительно опережает состояние в России, где нет своего компьютера, нет своей операционной системы, нет своей
Как работает Любовь? Квантовая связь нейронной активности Людей
про квантовые коммуникации прочитал - интересно. Спасибо. Про любовь - не увидел. Жалко.
Топ 10 компаний, занимающихся разработкой искусственного интеллекта
Спасибо, перечень интересный, но знакомый. Единая проблема всех ИИ-разработчиков - не понимание того, что сознание - это не статистика, а пойти по
Мы в социальных сетях
Статистика
0  
Всего статей 1512
1  
Всего комментариев 50
1  
Пользователей 49