Иерархическая временная память (краткий обзор)

Иерархическая временная (темпоральная) память (Hierarchical Temporal Memory) – это новое направление нейроинформатики, развивающее принципы, заложенные в архитектурах самообучающихся и самоорганизующихся искусственных нейронных сетей: Кохонена, на основе радиально-симметричных (радиально-базисных) функций, адаптивного резонанса. Иерархическая временная память использует аналогии со структурными и алгоритмическими свойствами коры головного мозга.

Иерархическая временная память функционирует с использованием входного потока сенсорных данных. Результат её работы главным образом определяется тем, что было ей продемонстрировано в процессе самообучения.

В архитектуре иерархической временной памяти используется очень сложная структура нейронов и организация связей между ними. Она включает такие элементы, как колонки, слои, регионы и иерархии регионов.

Сети иерархической временной памяти обучаются многократно на различных наборах входных данных, и принцип их работы основан на запоминании как множества входных векторов, так и их последовательностей. В отличие от других архитектур нейронных сетей, способ, с помощью которого входные данные сохраняются и воспроизводятся, основан на принципиально других методах и подходах. Иерархическая временная память неотъемлемо связана с параметром времени, а сама информация хранится в распределённом виде. Пользователь должен указать параметры иерархии и чему она будет обучаться, а нейронная сеть сама будет контролировать, где и как будет храниться информация.

Рассмотрим основные элементы и принципы построения иерархической временной памяти.

Основные элементы и принципы построения иерархической временной памяти

Нейронная сеть иерархической временной памяти состоит из регионов, организованных в иерархию. Регион – это базовый элемент, строительный блок, функциональная единица памяти. Регион функционирующей сети представляет собой один уровень или одну из составляющих уровня иерархии, когда таких регионов на уровне несколько. При взаимодействии между собой соседних уровней иерархии происходит обмен сигналами (данными) между нижними (дочерними) и верхними (родительскими) уровнями.

При наличии потоков данных более чем от одного массива сенсоров можно соединить несколько сетей иерархической временной памяти в единую структуру. В результате на самых верхних уровнях будет происходить обмен данными не только между уровнями отдельных сетей, но и между самими сетями.

В результате использования иерархической организации существенно сокращается время обучения нейронной сети и необходимые объёмы памяти, поскольку входные вектора, запомненные на каждом уровне иерархии, используются многократно в комбинациях на более высоких уровнях.

Рассмотрим пример обработки и запоминания визуальной информации. На самом нижнем уровне иерархии головной мозг хранит информацию о деталях изображения: точках, линиях, углах и простейших геометрических формах. На следующих уровнях они комбинируются, формируя данные о более сложных графических объектах и их свойствах: гладких кривых и ломаных линиях, текстурах и цветовых градиентах. Вектора переменных средних уровней далее комбинируются, образуя высокоуровневые объекты: лица, машины, дома. При этом, чтобы запомнить высокоуровневый объект, нет никакой необходимости заново изучать все его мелкие детали.

Таким образом, использование иерархии приводит к значительному сокращению времени обучения и лучшему обобщению входных данных. В то же время очевидно, что многие простые задачи могут быть решены с помощью только одного региона иерархической временной памяти.

Иерархическая память и физиология

Понятие региона иерархической временной памяти заимствовано из биологии. Кора головного мозга представляет собой тонкую ткань толщиной примерно 2 мм, состоящую из огромного количества нервных клеток. В нейрофизиологии выделяют различные зоны коры головного мозга, отличающиеся своим функциональным назначением и связями между собой. Несмотря на то, что все области коры головного мозга похожи своим внутренним строением, они значительно различаются размерами и местоположением в иерархии. Если взять срез коры, можно выделить шесть слоёв: пять слоёв нейронов и один без них. На каждом уровне нейронов коры головного мозга имеется своя структурная организация в виде колонок. Аналогично регионы иерархической временной памяти представляют собой слои связанных между собой клеток, похожие на многослойные перцептроны.

Хотя нейроны в коре мозга связаны между собой большим количеством связей, наличие подавляющих (ингибиторных) нейронов гарантирует, что в один и тот же момент времени будет активна только небольшая их часть. Таким образом, информация представляется в мозге небольшим количеством активных в определённый момент нейронов из всех имеющихся там. Соответственно, отдельная задача при организации нейронной сети иерархической временной памяти – своевременная активизация нужных регионов.

Для распознавания образов, интерпретации входных данных и принятия соответствующего решения наибольшую важность имеет фактор времени, а точнее не столько набор статических свойств, полученных сенсорами, сколько характер их изменения во времени. Так, например, если завязать глаза и положить на раскрытую ладонь человека яблоко, его практически невозможно будет отличить от лимона или резинового мячика. Однако, если в течение небольшого времени провести пальцами обследование поверхности объекта, мозг, фиксируя найденные её особенности и изменения на ней, с лёгкостью правильно идентифицирует его.

Чтобы обучить нейронную сеть иерархической временной памяти, нужно подать на её входы переменный во времени поток данных. Изменяющиеся во времени входные данные должны иметь одинаковое происхождение и, как следствие, одинаковый количественный и качественный состав входных переменных.

Алгоритмы обучения иерархической временной памяти

Основная задача алгоритмов обучения иерархической временной памяти – извлечение временных последовательностей из потока входных данных. Она осложняется тем, что сама последовательность может начинаться с произвольного промежуточного момента времени и в любой момент обрываться. Кроме того, возможно присутствие шума различного происхождения во входных данных.

Произвольный регион нейронной сети изучает и обобщает данные об объекте нахождением входных векторов и их связанных последовательностей во входящем потоке данных. Сам по себе регион не знает, что собой представляют эти данные, а работает на статистических принципах, высматривая часто повторяющиеся комбинации входных битов. Затем регион определяет, каким образом они образуют последовательности во времени.

В то же время один регион обладает невысокими способностями к самообучению. Он автоматически размещает в себе новую информацию в зависимости от фактически имеющегося для этого количества памяти. При уменьшении объёма доступной региону памяти запоминаемые вектора становятся проще за счёт снижения точности и/или количества входных сигналов. Возможна противоположная ситуация, когда при увеличении доступной памяти, расширении области допустимых значений отдельных сигналов или повышении требований к точности входные вектора усложняются.

Если запомненные входные вектора относительно просты, для распознавания достаточно сложных образов может потребоваться несколько уровней иерархии регионов.

Как и нейронные сети адаптивного резонанса, сети иерархической временной памяти обучаются на протяжении всего своего жизненного цикла, поэтому стадии распознавания и обучения функционируют синхронно. В то же время для отдельных задач стадия самообучения может быть отключена после настройки сети на имеющемся наборе входных образов. Также возможно отключение функции самообучения только у низших слоёв иерархии регионов. Если сеть уже выучила самые базовые статистические структуры из окружающего ее мира, основное обучение будет происходить только на верхних уровнях иерархии.

После изучения имевшихся наборов входных образов можно проводить распознавание новых входных данных на стадии регулярного функционирования. При получении очередного входного набора сеть сопоставляет его с выученными ранее.

Важно иметь в виду, что вследствие воздействия внешних возмущений различной природы исходные данные, в общем случае, точно не повторяются. Регион должен уметь соответствующим образом обрабатывать новые входные данные. Рассматриваемая архитектура предусматривает возможность выявления аналогии нового входного образа и одного из ранее запомненных только по некоторой его части, без необходимости полного расчёта евклидова расстояния, расстояния Хэмминга или применения любого другого способа оценки степени близости.

Поскольку каждый регион иерархической временной памяти хранит не только входные образы, но и их последовательности, регион может сформировать прогноз относительно наиболее вероятного следующего входа. Важно, что результат прогнозирования может учитывать очень большой предшествующий период, так как основная часть памяти отводится именно для хранения динамических изменений.

Теоретические и практические разработки в описанном направлении нейроинформатики ведутся американской компанией Grok, ранее известной как Numenta, специализирующейся на программных разработках, основанных на принципах искусственного интеллекта, для интеллектуального анализа данных в финансовом секторе, энергетике, информационных технологиях и других.