1. Нейроподобный элемент(нейрон).
На нейроподобный элемент поступает набор входныхсигналов x1, x2, ..., xM(или входнойвектор X), представляющий собой выходные сигналы других нейроподобных элементов.Каждый входной сигнал умножается на соответствующий вес связи w1, w2, ..., wM — аналог эффективностисинапса. Вес связи является скалярной величиной, положительной для возбуждающихи отрицательной для тормозящих связей. Взвешенные весами связей входные сигналыпоступают на блок суммации, соответствующий телу клетки, где осуществляется ихалгебраическая суммация и определяется уровень возбуждения нейроподобногоэлемента S:
Рис. 1.1.
(1.1)
Выходнойсигнал нейрона yопределяется путем пропускания уровня возбуждения Sчерезнелинейную функцию f:
(1.2)
где q — некоторое постоянноесмещение (аналог порога нейрона). Обычно используются простейшие нелинейныефункции: бинарная (рис. 1.2, а)
Рис. 1.2.
(1.3)
илисигмоидная (рис. 1.2, б)
(1.4)
Втакой модели нейрона пренебрегают многими известными характеристикамибиологического прототипа, которые некоторые исследователи считают критическими.Например, в ней не учитывают нелинейность пространственно-временной суммации,которая особенно проявляется для сигналов, приходящих по возбуждающим итормозящим синапсам, различного рода временные задержки, эффекты синхронизациии частотной модуляции, рефрактерность и т.п. Несмотря на это нейроподобныесети, построенные на основе таких простых нейроподобных элементов,демонстрируют ассоциативные свойств, напоминающие свойства биологическихсистем.
2. Нейроподобная сеть.
Нейроподобнаясеть представляет собой совокупность нейроподобных элементов, определеннымобразом соединенных друг с другом и с внешней средой. Входной вектор(координирующий входное воздействие или образ внешней среды) подается на сетьпутем активации входных нейроподобных элементов.Множество выходных сигналовнейронов сети y1, y2, ...,yNназываютвектором выходной активности, или паттерном активности нейронной сети. Весасвязей нейронов сети удобно представлять в виде матрицы W, где wij — вес связи между i- и j-мнейронами. В процессе функционирования (эволюции состояния) сети осуществляетсяпреобразование входного вектора в выходной, т.е. некоторая переработкаинформации, которую можно интерпретировать, например, как функцию гетеро- илиавтоассоциативной памяти. Конкретный вид выполняемого сетью преобразованияинформации обусловливается не только характеристиками нейроподобных элементов,но и особенностями ее архитектуры, т.е. той или иной топологией межнейронныхсвязей, выбором определенных подмножествнейроподобных элементов для ввода и вывода информации или отсутствиемконкуренции, направлением и способами управления и синхронизации информационныхпотоков между нейронами и т.д.
2.1. Моделинейронных сетей.
Рассматриваемыенами модели нейронных сетей объединены в три группы. В п. 2.1.1.рассматриваются сети персептронного типа, для которых характерно отсутствиеобратных связей между нейроподобными элементами, организованными в слои.Отличительной особенностью сетей, представленных в п. 2.1.2, являютсясимметричные (равные по величине и противоположные по направлению) связи междулюбыми двумя соединенными нейронами. В нейросетевых архитектурах, описанных вп. 2.1.3, между нейронами одного слоя имеются постоянные тормозящие связи(латеральное торможение).
2.1.1. Сети с прямыми связями.
Прямой персептрон. В середине 50-х годов былапредложена одна из первых моделей нейронных сетей, которая вызвала большойинтерес из-за своей способности обучаться распознаванию простых образов. Этамодель — персептрон — состоит из бинарных нейроподобных элементов и имеетпростую топологию, что позволило достаточно полно проанализировать ее работу исоздать многочисленные физические реализации.Типичный персептрон состоитиз трех основных компонент:
1. матрицы бинарных входов r1, r2, ..., rn (сенсорных нейронов или«сетчатки», куда подаются входные образы);
2. набора бинарныхнейроподобных элементов x1, x2,..., xm (или предикатов в наиболее общемслучае) с фиксированными связями к подмножествам сетчатки («детекторыпризнаков»);
3. бинарного нейроподобногоэлемента с модифицируемыми связями к этим предикатам («решающий элемент»).
На самом деле число решающих элементов выбираютравным количеству классов, на которое необходимо разбить предъявляемыеперсептрону образы.
Такимобразом, модель персептрона характеризуется наличием только прямых связей, одиниз слоев которых является модифицируемым. В постейшем случае, когда n = m иxi = ri, детекторы признаков могут рассматриваться каквходной слой. Тогда персептрон становится одним бинарным нейроподобнымэлементом. Это классическая модель М-входового нейрона, приведенная на рис.1.1, или простой персептрон Розенблатта. В общем случае каждый элемент xi может рассматриваться как булева функция, зависящая от некоторогоподмножества сетчатки. Тогда величина выходных сигналов этих обрабатывающихэлементов является значением функции xi, которое равно 0 или 1.
Устройствореагирует на входной вектор генерацией выходного сигнала yрешающего элемента по формуле (1.3). Таким образом, персептрон формируетгиперплоскость, которая делит многомерное пространство x1,x2, ..., xm на две части и определяет, в какой из них находитсявходной образ, выполняя таким образом, его классификацию. Возникает вопрос, какопределить значения весов, чтобы обеспечить решение персептроном конкретнойзадачи. Это достигается в процессе обучения.
Одиниз алгоритмов обучения приведен в параграфе 2.2.
Многослойныйперсептрон. Как отмечалось выше, простой персептрон с одним слоемобучаемых связей формирует границы областей решений в виде гиперплоскотей.Двухслойный персептрон может выполнять может выполнять операцию логического «И»над полупространствами, образованными гиперплоскостями первого слоя весов. Этопозволяет формировать любые, возможно неограниченные, выпуклые области впространстве входных сигналов. С помощью трехслойного персептрона, комбинируялогическими «ИЛИ» нужные выпуклые области, можно получить уже области решенийпроизвольной формы и сложности, в том числе невыпуклые и несвязные. То, чтомногослойные персептроны с достаточным множеством внутренних нейроподобныхэлементов и соответствующей матрицей связе в принципе способны осуществлятьлюбое отображение вход — выход, отмечали еще Минский и Пейперт, однако онисомневались в том, что можно открыть для них мощный аналог процедуры обученияпростого персептрона. В настоящее время в результате возрождения интереса кмногослойным сетям предложено несколько таких процедур. Часть из них приведенав параграфе 2.2.
2.1.2. Сети с симметричнымисвязями.
Ансамблевыенейронные сети. Минский и Пейперт отмечали, что недостатки простых персептронов можнопреодолеть как с помощью многослойных сетей (см. выше), так и введением в сетьобратных связей, допускающих циркуляцию сигналов по замкнутым контурам.Использовать свойства такого рода сетей для моделирования функций мозга еще в1949 г. предложил Хебб.
Согласновзглядам Хебба нервные клетки мозга соединены друг с другом большим количествомпрямых и обратных возбуждающих связей и образуют нейронную сеть. Каждый нейроносуществляет пространственно-временную суммацию приходящих к нему сигналов отвозбуждающих, определяя потенциал на своей мембране. Когда потенциал намембране превышает пороговое значение, нейрон возбуждается. Нейрон обладаетрефрактерностью и усталостью. Эффективность связей может изменяться в процессефункционирования сети, повышаясь между одновременно возбужденными нейронами.Это приводит к объединению нейронов в клеточные ансамбли — группы клеток,которые чаще всего возбуждались вместе, и к обособлению ансамблей друг отдруга. При возбуждении достаточной части ансамбля он возбуждается целиком.Различные ансамбли могут пересекаться: один и тот же нейрон может входить вразные ансамбли. Электрическая активность мозга обусловлена последовательнымвозбуждением отдельных ансамблей.
ИдеиХебба оказали большое воздействие на представления о работе мозга и послужилиосновой для создания нейронных моделей долговременной памяти. Действительно,ансамблевую нейронную сеть можно рассматривать как структуру, реализующуюфункции распределенной ассоциативной памяти. Формирование ансамблей в такойсети соответствует запоминанию образов (признаков, объектов, событий, понятий),закодированных паттерном активности нейронов, а сформированные ансамблиявляются их внутренним представлением. Процесс возбуждения всего ансамбля приактивации части его нейронов можно интерпретировать как извлечение запомненнойинформации по ее части — ключу памяти.
Модельпамяти на основе ансамблевой нейронной сети обладает некоторыми свойствами,присущими биологической памяти, таким, как ассоциативность, распределенность,параллельность, устойчивость к шуму и сбоям, надежность. Проводятся такжеструктурные аналоги между ансамблевыми моделями нейронных сетей и строениемкоры головного мозга. Имеются экспериментальные данные о синаптическойпластичности, постулированной Хеббом.
Модельансамблиевой сети состоит из большого количества нейронов, каждый из которыхобычно соединен со всеми другими элементами сети. Входной образ подается насеть путем активации нужных нейроподобных элементов. Обучение ансамблиевой сетиописано в параграфе .
СетьХопфилда. Хотя многочисленные результаты моделирования демонстрировалистабильность ансамблевых сетей с обратными связями и хеббовским правиломобучения (эволюцию сети к устойчивому состоянию), отсутствие математическогообоснавания такого поведения препятствовало их популярности.
В 1982 г. американскийбиофизик Джон Хопвилд опубликовал статью, где поведение модели полносвязнойсети бинарных нейроподобных элементов с симметричными связями (wij =wji).элементы функционировали в асинхронном режиме, т.е. каждый нейрон в случайныемоменты времени с некоторой средней частотой определял свое состояние справилом (1.3). Это позволило описать поведение сети ка релаксационный процесс,при котором минимизируется функция (гамильтониан) модели.
Машина Больцманапредставляет собойстохастический вариант сети Хопфилда. Бинарные нейроподобные элементы (блоки)трактуются здесь представители элементарных гипотез, а веса — как слабые парныевзаимоограничения между ними. Положительный вес связи указывает, что двегипотезы стремятся поддерживать друг друга, а отрицательный — на ихнесовместимость. Симметрия связей позволяет проанализировать поведение сети сиспользованием энергетической функции (гамильтониана). Энергию определенногопаттерна активности можно интерпретировать как степень нарушения ограничений,присутствующих в проблемной области, со стороны конкретной комбинации гипотезили как стоимостную функцию, которая должна быть минимизирована для решенияоптимизационной задачи. Существует возможность, однако, попадания сети влокальный мимнимум, что крайне не желательно для оптимизационных задач. Чтобысеть могла выбраться из локального энергетического минимума, в машине Больцманаприменяется вероятностное правило срабатывания блоков:
(2.1)
где pi — вероятность нахождения i-гоблока в единичном состоянии;
P(x) — сигмоиднаяфункция (рис. 1.2. б);
T — параметр, аналогичныйтемпературе. При T®0 это правило переходит вправило срабатывания детерминированных элементов (1.3), а при повышениитемпературы увеличивается вероятность перехода системы в состояние с большейэнергией.
Обучение машины Больцманаописано в параграфе 2.2.
2.1.3. Сети с латеральным торможением.
Картыпризнаков Кохонена. Обычно в качестве входных образов в моделях ассоциативнойпамяти используются некоторые внутренние представления сенсорной информации,прошедшей, как считается, необходимую предобработку. Один из нейросетевыхвариантов такой переработки предложен Кохоненом. Его алгоритм формирует одно-или двумерную карту «карту» признаков путем нелинейного «сплющивания»многомерного сигнального пространства. При этом предполагается, что такоеотображение должно сохранять топологические отношения, существующие междувходными сигналами.
Структуранейронной сети, в которой реализуется формирование карт признаков, приведена нарис. 2.1. Нейроны, имеющие сигмоидную характеристику, расположены в виде одно-и двумерного слоя слоя по аналогии со слоистым строением коры. На каждый нейронпоступают два вида связей: mij, которые интерпретируются каксвязи от сенсорных входов или из других областей, и wjk — латеральныесвязи от нейронов одного слоя, характер которых зависит от расстояния междунейронами. Функция взаимодействия нейронов одного слоя имеет вид «мексиканскойшляпы» (рис. 2.2.), что соответствует некоторым нейробиологическим данным.Близко расположенные нейроны возбуждают друг друга, с увеличением расстояниявозбуждение сменяется торможением, а затем опять появляются слабые возбуждающиесвязи, которые по-видимому, выполняют ассоциативные функции и в данной моделине используются.
Эффектналичия латеральных связей с радиусом действия порядка размеров сетипроявляется в следующем. Если на каждый нейрон подать (например, через связи отсенсорных входов mij) имеющий небольшой максимум случайный сигналSi, то в процессе релаксации сети осуществляетсяповышение его контрасности. В результате вокруг первоначального максимумаобразуется «пузырек» выходной активности нейронов (рис. 2.3.).
Рис. 2.3.
Входныесигналы полностью определяют процесс самоорганизации сети, т.е. в нейреализован алгоритм обучения без учителя. Латеральные связи wjkв модели считаютсяпостоянными, и все адаптивные эффекты происходят только в матрице входныхсвязей М. Подробнее процесс обучения рассмотрен в параграфе 2.2.
Теория адаптивного резонанса.Пожалуй, одна из самыхразвитых и продуманных с биологической точки зрения концепций нейросетевойобработки информации предложена в работах Гроссберга. Ее стержнем являетсямодель нейронной сети и алгоритмы теории адаптивного резонанса, которая быларазработана в начале 70-х годов и детализирована в 80-х.
Нейроннаясистема теории адаптивного резонанса способна обучаться распознаванию образовразличной степени сложности. Она относит входной образ к одному из классов взависимости от того, на какой образ из запомненных образов он больше всегопохож. Если входной образ не соответствует ни одному из запомненных, создаетсяновый класс путем его запоминания. Если найден образ, с определенным «допуском»соответствующий входному, то он модифицируется так, чтобы стать еще большепохожим на входной.
2.2. Обучениенейронной сети.
Одноиз важнейших свойств нейроподобной сети — способность к самоорганизации,самоадаптации с целью улучшения качества функционирования. Это достигаетсяобучением сети, алгоритм которого задается набором обучающих правил. Обучающиеправила определяют, каким образом изменяются связи в ответ на входное воздействие.Обучение основано на увеличении силы связи (веса синопса) между одновременноактивными нейронами. Таким образом, часто используемые связи усиливаются, чтообъясняет феномен обучения путем повторения и привыкания. Математически этоправило можно записать так:
(1.5)
где wij(t)и wij(t+1) — значение связи от i-го к j-мунейрону соответственно до и после его изменения, a — скорость обучения. Внастоящее время существует множество разнообразных обучающих правил (алгоритмовобучения). Некоторые из них приведены ниже.
2.2.1.«Backpropagation»(алгоритм обратногораспространения ошибки).
Этоталгоритм является обобщением одной из процедур обучения простого персептрона,известной как правило Уидроу — Хоффа (или дельта-правило), и требуетпредставления обучающей выборки. Выборка состоит из набора пар образов, междукоторыми надо установить соответствие, и может рассматриваться как обширноезадание векторной функции, область определения которой — набор входных образов,а множество значений — набор выходов.
Передначалом обучения связям присваиваются небольшие случайные значения. Каждаяитерация процедуры состоит из двух фаз. Во время первой фазы на сеть подаетсявходной вектор (образ) путем установки в нужное состояние входных элементов.Затем входные сигналы распространяются по сети, порождая некоторый выходнойвектор. Для работы алгоритма требуется, чтобы характеристика вход — выходнейроподобных элементов была неубывающей и имела ограниченную производную.Обычно для этого используют сигмоидную нелинейность вида (1.4).
Полученныйвыходной вектор сравнивается с требуемым. Если они совпадают, обучения непроисходит. В противном случае вычисляется разница между фактическими итребуемыми выходными значениями, которая передается последовательно отвыходного слоя к входному. На основании этой информации об ошибке производитсямодификация связей с обобщенным дельта-правилом.
2.2.2.Обучение без «воспитателя».
Обучениебез «воспитателя» возможно например в сетях адаптивного резонанса (параграф2.1.3.). Происходит сравнение входного образа с имеющимися в памяти сетишаблонами. Если нет подходящего шаблона, с которым можно было бы отождествитьисследуемый образ, то создается новый шаблон, содержащий в себе этот входнойобраз. В дальнейшем новый шаблон используется наравне с другими.
3.Нейрокомпьютеры.
Термин«нейрокомпьютер» употребляется для обозначения всего спектра работ в рамкахподхода к построению систем искусственного интеллекта, основанного намоделировании элементов, структур, взаимодействий и функций различных нервнойсистемы. Так как в настоящее время исследования в этой области ведутся восновном на уровне моделей нейронных сетей, то понимание термина«нейрокомпьютеры» сужают, ставя знак равенства между ним и нейронными сетями.
Взависимости от способа реализации моделей нейронных сетей выделяют 4 уровнянейрокомпьютеров.
Уровень 0. Теоретический.Работы, в которых в той или иной форме (математической,алгоритмической, словесной и т.д.) представлено описание моделей нейронныхсетей.
Уровень 1. Программный. Модели нейронных сетей, программно реализованные на обычныхпоследовательных компьютерах.
Уровень 2. Программно-аппаратный.Сопроцессоры для ускорения моделирования нейронныхсетей.
Уровень 3. Аппаратный.Физически реализованные модели нейронных сетей.
Специфичностьнейросетевых операций, а также сверхпараллельность структуры и функционированиямоделей нейронных сетей чрезвычайно замедляют их реализацию на обычныхпоследовательных компьютерах. Потребность в выполнении большого объемаисследовательских работ и быстром функционировании появившихся прикладныхсистем привели к появлению специализированных вычислительных устройств дляэффективного моделирования нейронных сетей — нейрокомпьютеров в узком смыслеслова. Такая трактовка, соответствующая уровням 2 и 3 по приведеннойклассификации, получила широкое распространение.
Заключение.
Рассмотренныенами нейроподобные сети могут выполнять большой круг задач.