Доклады АН, информатика, т 390, №1, с.27-31, 2003УДК 681.3 Б.В.Крыжановский, академик А.Л.МикаэлянАссоциативная память, способная распознавать сильно скоррелированные образыРеферат Предложен простой алгоритм отображения распознаваемых бинарных образов в некие образы в пространстве иной размерности, при котором происходит декорреляция образов. Распознавание отображений происходит в нейронной сети, функционирование которой адекватно поведению системы Q-мерных спинов. Показано, что предложенный тип ассоциативной памяти, существенно превосходит известные нейросетевые модели по объему памяти и обладает способностью распознавать образы даже при исключительно больших искажениях и наличии корреляции. Проводится сравнение предложенной нейросетевой модели с биологическим прототипом.Известные нейронные сети обладают малым объемом памяти и не приспособлены для распознавания сильно скоррелированных образов. Так например, сеть Хопфилда [1] может хранить всего лишь бинарных ^ N-мерных образов, а при наличии корреляции между образами объем памяти (M) резко уменьшается. В то же время, человек способен достаточно легко выделять образ среди множества похожих даже при наличии больших искажений. В настоящей работе предлагается модель, которая более адекватна описывает возможности человеческой памяти, поскольку существенно превосходит известные нейросетевые модели по объему памяти и обладает способностью распознавать образы даже при исключительно больших искажениях и наличии корреляции. В основу этой модели мы закладываем известные [2] принципы восприятия зрительной информации: а). внешние воздействия попадают на фоторецепторы ретины, вызывая в ней отклики; б). эти отклики передаются в область ассоциации, построенную из блоков; если алгебраическая сумма поступающих на блок сигналов больше некоторого порога, то блок возбуждается и выдает сигнал. К настоящему времени нет устоявшегося мнения относительно того, какими сигналами, бинарными (0,1) или частотно-модулированными, следует описывать отклики ретины и блоков ассоциативной области. В предлагаемой модели мы, во-первых, постулируем бинарность сигналов, формируемых в ретине. Во-вторых, мы примем, что в блоках ассоциативной памяти формируются частотно-модулированные сигналы, которыми эти блоки и обмениваются. В принятых допущениях распознавание образа можно, условно, разбить на два этапа. На первом, бинарные импульсы от фоторецепторов поступают на блоки ассоциативной области и инициируют в них генерацию частотно-модулированных сигналов. Тем самым, внешнему образу (набору возбуждений фоторецепторов) ставится в соответствие внутренний образ (набор возбуждений блоков ассоциативной памяти). Далее будет показано, что в ходе этого процесса, который формально можно представить как отображение бинарного вектора из одного пространства в набор векторов (частотно-модулированных сигналов) в другом пространстве, происходит декорреляция образов. На втором этапе, происходит распознавание сформированного образа: блоки ассоциативной области обмениваются частотно-модулированными сигналами до тех пор, пока система не придет в стабильное состояние, соответствующее распознанному образу. Для описания работы ассоциативной области мы используем модель "параметрической" нейронной сети, способной обрабатывать информацию, закодированную в виде частотно-фазовой модуляции [3]. За основу такой сети принят обладающий кубической нелинейностью элемент, способный к преобразованию и генерации частот в процессах параметрического четырехволнового смешения, названный "параметрическим" нейроном [4]. Подчеркнем, что одним параметрическим "нейроном" мы будем моделировать работу целого блока ассоциативной области, т.е. группы сильно связанных биологических нейронов (так называемая корковая колонка), которая функционирует как единый ансамбль и способна к смешению частот и обработке частотно-модулированных сигналов [5-7]. Формализм предлагаемого описания состоит в следующем. Пусть имеется семейство ^ N-мерных бинарных векторов {Ym}, (m=1,2,…,M), которые предстоит распознавать даже при наличии существенных искажений. Необходимая для этого ассоциативная память организуется следующим образом: каждому (внешнему) образу Ym из пространства RN по описанному в п.1 алгоритму ставится в однозначное соответствие (внутренний) образ Xm в неком пространстве большей размерности; на семействе {Xm} строится описываемая в п.2 параметрическая нейросеть. Процесс распознавания производится в следующем порядке: распознаваемый бинарный вектор YRN отображается в образ X и отображение предъявляется для распознавания нейросети; при необходимости производится обратное отображение распознанного образа из в изначальное N-мерное пространство. 1. Алгоритм отображения, при котором происходит декорреляция внутренних образов, состоит в следующем. Пусть имеется некий ^ N-мерный бинарный вектор . Мысленно разделим его на n фрагментов, содержащих по k+1 элементов каждый. Отдельный фрагмент можно рассматривать как некое целое число , записанное в двоичном коде: первый элемент фрагмента определяет знак (0 - знак "минус", 1 - "плюс"), а остальные k элементов - величину q (параметр k будем называть параметром отображения). Этому фрагменту поставим в соответствие вектор , где - это q-й орт некоторого Q-мерного пространства (Q=2k). Тем самым, всему образу YRN в целом ставится в однозначное соответствие набор Q-мерных векторов, т.е. образ . Например, вектор Y=(01001001) можно разбить на два фрагмента по четыре элемента (0100) и (1001). Первому фрагменту (это "4" в двоичном коде) ставим в соответствие вектор в пространстве размерностью Q=8, а второму (это "+1" в двоичном коде) - вектор . Соответствующее отображение примет вид . Существенно, что описываемое отображение взаимно однозначно, т.е. распознав отображение X можно однозначно восстановить его бинарный прообраз Y. Еще более существенно то, что процедура отображения подавляет имеющиеся корреляции. Например, рассмотрим два бинарных вектора Y1=(10000001) и Y2=(10011001), у которых совпадают 75% компонент. Если к ним применить процедуру отображения с параметром k=1 (отображение в пространство Q=2), т.е. разбить каждый вектор на четыре фрагмента по два элемента, то получим два отображения и , скоррелированных на 50% (совпадают только две компоненты из четырех). Применив ту же процедуру с параметром отображения k=3 (отображение в пространство Q=8), получим два совершенно не коррелирующих отображения и соответственно. 2. Промоделируем работу ассоциативной области, полагая что ее блоки могут генерировать сигналы на ограниченном числе ^ Q дискретных частот. В [8] показано, что набору из Q частот можно поставить в соответствие Q ортогональных векторов-спинов и описание параметрической нейросети, оперирующей частотно-модулированными сигналами, свести к описанию системы Q-мерных спинов. Поэтому, дальнейшее описание мы проведем на языке спиновой модели, более привычном для нейронных сетей. Рассмотрим полносвязную нейронную сеть из нейронов (спинов), описываемых единичными векторами , где , - орт Q-мерного пространства, . Состояние сети как целого определяется набором таких векторов . Гамильтониан сети зададим в виде [9], аналогичном модели Хопфилда (1) где - вектор-столбец, - вектор-строка, а величина межсвязи между i-м и j-м нейронами - матрица, построенная по аналогии с обучающим правилом Хэбба [9] на эталонных образах , . С учетом (1) входной сигнал на i-й нейрон, т.е. локальное поле действующее на i-й спин со стороны сети, запишется в виде: , (2) Динамика физической системы определяется естественным образом: i-й спин под воздействием поля принимает положение, наиболее близкое к направлению этого поля, т.е. состояние -го нейрона в момент времени описывается выражением: , (3) где индексом max обозначена максимальная по модулю амплитуда в разложении (2). Динамика системы в целом состоит в последовательном измении состояний нейронов по правилу (3) и соответствует понижению энергии системы в процессе ее функционирования, т.е. алгоритм (3) сходится. 3. Определим, насколько эффективно такая нейросеть распознает искаженные образы. Пусть на вход системы подан искаженный m-й образ, т.е. начальные состояния нейронов сети заданы в виде , где - оператор мультипликативного шума, который с вероятностью a изменяет знак амплитуды вектора и с вероятностью оставляет его неизменным, оператор - с вероятностью b заменяет орт на любой иной из набора и с вероятностью оставляет его неизменным. Сеть правильно распознает эталонный образ , если выход i-го нейрона , определяемый выражением (3), будет . В противном случае произойдет ошибка распознавания, т.е. сеть вместо распознает иной образ. Для вероятности P этой ошибки, используя метод Чебышева-Чернова [10], детально описанный для данного рода задач в работах [4,8], получим: (4) Полученное неравенство устанавливает верхнюю границу для средней вероятности ошибки в рассматриваемой нами нейронной сети. Объем нейросетевой памяти, т.е максимальное число образов, которые может распознать такая сеть при заданных искажениях, определяется из (4) в виде: (5) Из (4) видно, что с ростом Q помехозащищенность рассматриваемой ассоциативной памяти резко возрастает. Одновременно резко возрастает и объем нейросетевой памяти, в раз больший чем в сети Хопфилда. Например, при ^ Q=32 сеть из 180 нейронов может распознавать 360 образов (M/N=2), у которых искажено 90% компонент (рис.1). При меньших искажениях (b0.7) эта же сеть распознает до 1800 образов (M/N=10), и т.д.. Для сравнения напомним, что в свое время демонстрацией распознающей способности сети Хопфилда считалось восстановление ею паттерна, зашумленного всего на 30% при очень малом объеме памяти M/N=0.1. 4. Опишем теперь работу нашей модели в целом, т.е. отображение внешних образов во внутренние и распознавание последних. Задав некоторое значение параметра деления k и применив описаное выше отображение к набору бинарных векторов , получим соответствующий набор внутренних образов , на основе которых построим параметрическую нейронную сеть с характеристиками: число нейронов сети - , число состояний параметрического нейрона - . Анализ проведем на примере "смещенных" образов (biased patterns), компоненты которых - случайные величины, принимающие значения 1 и 0 с вероятностями и соответственно, (). Пусть нам предстоит распознать искаженный m-й внешний образ , где случайная величина с вероятностью p изменяет значение бинарной переменной и с вероятностью оставляет ее неизменной. Отображением этого вектора в пространстве является искаженный m-й внутренний образ , который и предъявляется для распознавания параметрической нейросети. Выражая мультипликативные шумы a и b, покрывающие отображение, как функции параметра p и подставляя соответствующие выражения в (4) для вероятности ошибки распознавания искаженного отображения получим: (6) где , , При k=0 выражение (6) описывает функционирование модели Хопфилда. Анализ (6) для данного случая показывает, что даже в отсутствие корреляций () объем памяти не превышает относительно малого значения . А наличие даже небольшой корреляции ( ) уменьшает число распознаваемых образов до величины порядка , т.е. сеть практически перестает выполнять функции ассоциативной памяти.С ростом параметра отображения k картина резко меняется. Сеть начинает функционировать как параметрическая модель, т.е. резко повышается объем памяти и снижается влияние корреляции. В частности, при небольших корреляциях, когда , для объема памяти из (6) получаем оценочное выражение: При большей корреляции, когда , объем памяти несколько ниже: Однако и в том, и в другом случаях с ростом k имеет место экспоненциальный рост числа распознаваемых образов и рост надежности распознавания. На рис.2 показан рост числа распознаваемых бинарных образов с ростом k при искажениях от 10% до 50%. На рис.3 показано, как с ростом параметра отображения исчезает негативное влияние корреляции: при малых значениях k сеть не распознает ничего, однако при достижении некоторого критического значения параметра отображения k вероятность ошибки резко спадает (кривые построены для значений =0, 0.2, 0.5, 0.6 при M/N=2 и искажениях p=20% ). В заключение этого раздела отметим, что описанный алгоритм так же хорош и при иных типах корреляций, например, когда все образы содержат один и тот же фрагмент(ы). 5. Как видим, соответствующая биологическому прототипу параметрическая модель демонстрирует большой объем памяти и способность распознавать похожие образы. Основное допущение при моделировании состояло в том, что бинарные сигналы от фоторецепторов преобразуются в частотно-модулированные сигналы, которыми оперирует ассоциативная область. Очевидно, что процесс распознавания образов мозгом значительно сложнее рассмотренной модели. Однако, если она хоть как-то соответствует реальности, то можно утверждать, что размер биологической ассоциативной памяти и ее распознающая способность на порядки выше оценок, предлагаемых моделями, не учитывающими частотно-модулированный характер кодировки информации и не способных распознавать похожие образы. Действительно, нейронная колонка коры головного мозга (в нашей модели - это Q-мерный нейрон) содержит около 100 нейронов, соединенных возбуждающими и тормозящими связями, и может генерировать сигналы на частотах, число которых можно оценить как Q20÷40. Как следует из (5), при таком количестве частот сеть из таких колонок имеет огромный объем. Даже при весьма умеренном числе частот Q10 объем памяти ассоциативной области на два порядка превышает значения, характерные для сетей Хопфилда (см. рис.2). На основе (5) можно провести оценку удельной плотности ассоциативной памяти. Характерный линейный размер нейронной колонки порядка 350мкм. При скорости распространения сигналов по межсвязям ~ 1м/с возбуждение за время ~1.5мс (длительность нервных импульсов) охватывает пространство с линейными размерами ~1мм, на котором размещается порядка n~30÷50 колонок, вовлекая их в процесс одновременного возбуждения и коллективного анализа информации. Это означает, что участок коры головного мозга ~1мм3 способен запомнить бинарных 1000-мерных образов и в течение нескольких милисекунд распознавать один из них. Работа выполнена при поддержке РФФИ (проект №01-07-90308) и программы "Интеллектуальные компьютерные системы" (проект 2.45). Литература:1. Hopfield J.J. //Proc.Nat.Acad.Sci.USA. 1982. V.79. P.2554-2558.2. Rozenblatt F. //Psychological Review. 1958. V.65. P.368-408.3. Крыжановский Б.В., Микаэлян А.Л.// ДАН. 2002. Т. 383, №3, с.318-321.4. Kryzhanovsky B.V., Mikaelian A.L. et al.// Opt.Mem.&Neural Nets. 2001. V.10. P.211-218.5. Annios P.A., Beek B., Csermely T.J. and Harth E.M..// J.Theor.Biol.. 1970. V. 26. P.121-148.6. Farhat N.// SPIE’2000, San-Diego, 2000. P. 158-170,.7. Hoppensteadt F.C., Izhikevich E.M.//IEEE Trans.Neural Nets. 2000. V.11. P.734-738.8. Крыжановский Б.В., Литинский Л.Б.// Искусственный интеллект. 2002. Т.4. C.710-718.9. Hebb D.O. The Organization of Behavior. N.Y.: Wiley, 1949.10. Chernov N. //Ann. Math. Stat. 1952. V.23. P.493-507.