Нейроподобные растущие сети новая технология обработки информации

Нейроподобные растущие сети – новаЯ технологиЯ обработки информации

Ященко В. А.

Институт математических машин и систем АН Украины, г. Киев, Украина

Введение.
История развития Computer science свидетельствует о неуклонно растущем уровне информационных технологий и интеллектуализации вычислительных систем.

Становление новой информационной технологии тесно связано с развитием искусственного интеллекта и обусловлено (по утверждению Г.Поспелова) тем, что в теории искусственного интеллекта были разработаны логико-лингвистические модели, позволяющие формализовать конкретные знания об объектах и протекающих в них процессах [1].

В.М.Глушков уделял большое внимание проблемам обработки информа­ции и разработки интеллектуальных систем. В своих работах он подчеркивал важность интеллектуализации процессоров с двух позиций. Он говорил: "Идея интеллектуализации процессоров, решая свою основную задачу - упрощение общения пользователя с ЭВМ, способствует в то же время и решению другой важнейшей задачи - увеличению производительности ЭВМ"[2]. Действительно, использование макроопераций в вычислительном процессе существенно повышает общее быстродействие ЭВМ. Так, ЭВМ "МИР-2" успешно конкурировала в скорости выполнения ряда аналитических преобразований с большими ЭВМ.

Национальный японский проект ЭВМ пятого поколения также следует расценивать как дальнейшее развитие идей интеллектуализации вычислительной техники.

Другим компьютерным течением, получившим развитие параллельно с развитием ЭВМ с традиционной архитектурой, являются нейрокомпьютеры. Все возрастающий интерес к нейроинтеллектуальным системам объясняется значительными трудностями, возникающими при классической реализации искусственного интеллекта, и успехами в области разработки нейрокомпьютеров и систем на их основе. В нейронных сетях, применяемых в нейрокомпьютерах, в отличие от традиционных ЭВМ, элементы имеют множество параллельных соединений, и информация распределяется по всей сети, осуществляя параллельные вычисления. Это позволяет решать задачи в реальном времени на высоком интеллектуальном уровне.

С целью поддержки фундаментальных исследований в этом направлении в Японии с 1993 года принята программа “Real world computing program”. Ее основная цель- создание адаптивной, эволюционирующей ЭВМ. Проект рассчитан на 10 лет. Основой разработки является нейротехнология, используемая для распознавания образов, обработки семантической информации, управления роботами, которые способны адаптироваться к окружающей обстановке.

Анализ современного состояния Computer science показывает, что в настоящее время вычленились составляющие, которые фактически превратились в отдельные научные направления, уже имеющие явно выраженные признаки отдельных научных дисциплин. Это нейрокомпьютерные дисциплины и дисциплины, изучающие классические формы ЭВМ.

В истории развития науки подобная дифференциация знаний не является специфичной только для Computer science. Дифференциация и обособление научных знаний в отдельные научные дисциплины является историческим фактом. Этот факт стал для Л. фон. Берталанфи исходной позицией в разработке общей теории систем. Главная цель этой теории определена Берталанфи как синтез научных знаний, выработанных отдельными научными дисциплинами, в единое целое - знания об окружающей человека действительности.

“Общая теория систем определяет совокупность общесистемных свойств реальных систем, в которой центральное положение занимает свойство иерархичности. Оно состоит в том, что каждая данная система является метасистемой по отношению к составляющим ее подсистемам и одновременно подсистемой системы более высокого ранга (уровня), выступающей по отношению к ней метасистемой. Из этого следует, что мир является системой, знания о которой должны быть сведены в целое путем установления связей и отношений между отдельными научными дисциплинами. Это означает, что знания, выработанные каждой научной дисциплиной, представляют собой части целого и должны быть подвергнуты операции синтеза путем выявления связей и отношений между частями. А связи и отношения могут быть выявлены только проведением междисциплинарных исследований” [3].

Таким образом, вычленение и обособление научных знаний в Computer science, следует считать объективным процессом, который должен завершиться синтезом этих знаний в единое целое. Этот синтез открывает возможность, благодаря междисциплинарным исследованиям, выработать знания о тех закономерностях, которые являются общими для дисциплин, образующих междисциплинарную область, так как познать эти закономерности, находясь в рамках каждой отдельной дисциплины нельзя.

Цель и задачи
.
Исходя из этого,была определенацель – разработать новую технологию обработки информации, основанную на синтезе знаний выработанных сложившимися в Computer science направлениями.

Для достижения поставленной цели необходимо решить следующие задачи:

- в результате синтеза знаний, заключенных в технологиях обработки информации в нейронных сетях, семантических сетях, растущих пирамидальных сетях и интеллектуальных системах, разработать новую нейроподобную структуру;

- описать топологию и логику функционирования этой структуры, сформулировать определения и разработать правила ее построения;

- разработать математический аппарат построения новой структуры;

- для повышения уровня интеллектуализации ЭВМ разработать модель представления знаний на базе новой структуры.

Из проведенных междисциплинарных исследований было установлено, в новую информационную структуру должны быть “погружены” функции, обеспечивающие “жизнеспособность” интеллектуальных систем.

К этим функциям относятся:

а) восприятие
– функция, обеспечивающая прием и трансформацию визуальной, текстовой, звуковой и др. видов информации во внутреннее представление системы, обработку визуальной информации и соотнесение ее с обработкой текстовой информации, а также порождение визуальных образов на основе внутреннихпредставлений хранимых в системе;

б)представление знаний и их обработка
–
функция, формирующая понятия, обеспечивающая накопление, обобщение, структурирование и классификацию знаний о внешнем мире (о проблемной области);

в)общение и обучение
– функция, преобразующая во внутренние образы различные текстовые, речевые, зрительные и др. сообщения. Система, обеспечивающая поддержку данной функции, должна воспринимать вопросы, адресуемые ей и синтезировать ответы и свои вопросы, обучаться решению проблем возникающих в процессе ее функционирования;

г) поведение
–
функция, вырабатывающая механизмы поведения системы с целью адекватного взаимодействия с окружающей средой.

С целью синтеза новой информационной технологии были проанализированы технологии обработки информации в семантических сетях, растущих пирамидальных сетях (РПС), разработанных и исследованных профессором В.П.Гладуном [4], и нейросетях. Ни одна из этих технологий полностью не удовлетворяет требованиям, предъявляемым к синтезируемой структуре (не содержит всей совокупности вышеперечисленных функций).

Однако анализ показал, что РПС содержат привлекательный механизм восприятия, структурирования, обобщения и классификации информации одновременно с перестройкой (ростом) самой структуры сети. Но в РПС отсутствует механизм определения весовых коэффициентов связей между вершинами сети и порогов возбуждения самих вершин. В результате РПС лишаются свойств пластичности сети и тем самым лишаются возможности обработки неточной информации, чем в совершенстве обладают нейронные сети.

Нейронные сети создавались как аналоги биологических нейронов, организованных в некотором соответствии с анатомией мозга. В связи с этим нейронные сети моделируют многие свойства, присущие мозгу. Так, они обучаются на примерах и извлекают существенные признаки из поступающей информации. Отклик сети после обучения может быть до некоторой степени нечувствителен к небольшим изменениям входных сигналов. Эта способность выделять образ сквозь искажения важна для распознавания образов в реальном мире. Она позволяет преодолеть требования строгой точности, предъявляемые обычным компьютером, и открывает путь к системе, которая может иметь дело с окружающим нас миром. В то же время, несмотря на многочисленные достоинства и успешные применения нейронных сетей, они имеют ряд недостатков, ограничивающих их возможности.

Нейроподобные растущие сети
.В результате синтеза знаний, выработанных различными направлениями Computer science, получены новые знания, имеющие отражение в новой структуре – нейроподобных растущих сетях
(н-РС),на основекоторых, сохраняя преимущества технологий обработки информации в нейронных сетях, РПС и интеллектуальных системах, осуществляется новая технология обработки информации. В теории нейроподобных сетей основными понятиями являются понятия структуры, раскрывающей схему связей и взаимодействия между элементами сети, а также понятие архитектуры.

Нейроподобные сети представляются следующими категориями:

топологическая (пространственная)
структура - это граф связей элементов сети; логическая
структура определяет принципы и правила установления связей, а также логику функционирования сети; физическая
структура - схема связей физических элементов сети (в случае аппаратной реализации нейроподобной сети); архитектура сети
определяется как принципы построения сети, выражающие единство физической и логической структур.

Класс н-РС состоит из однослойных, многослойных, многомерных однослойных и многомерных многослойных нейроподобных растущих сетей,
а также из однослойных, многослойных, многомерных однослойных и многомерных многослойных рецепторно-эффекторных нейроподобных растущих сетей
[5,6]. Топологическая структура нейроподобных растущих сетей представляется связным ориентированным графом. Логическая структура описывается правилами построения и функционирования сети.

Определение 1

. Нейроподобной растущей сетью называется совокупность определенным образом взаимосвязанных нейроподобных элементов, предназначенных для приема и преобразования информации, причем в процессе приема информации сеть увеличивается в размерах - растет.

Нейроподобные растущие сети (рис.1) формально задаются следующим образом: S = (R, A, D, M, P, N),

здесь R

-
конечное множество рецепторов, которые составляют порождающее множество сети;A
-
конечное множество нейроподобных элементов, соответствующих сочетаниям признаков, которые определяют условные и безусловные рефлексы, реакции, мотивации и т.п., а также слова, фразы, описания понятий, объектов, конъюнктивные связи объектов, и т.п; D

-
конечное множество дуг, связывающих рецепторы с нейроподобными элементами и нейроподобные элементы между собой; P

={P_i
},
здесь P_i

- порог возбуждения вершины a_i

, P_i
= f(m_i
)
і
P
(P
- минимально допустимый порог возбуждения) при условии, что множеству дуг D

, приходящих на вершину a_i

, соответствует множество весовых коэффициентов M

={m_i
},
причем m_i

может принимать как положительные, так и отрицательные значения; N

-
коэффициент связности сети.

В биологических средах информация об одном и том же объекте или классе объектов представляется в различных отображениях, например, в зрительном, вербальном, тактильном и др. В связи с этим при моделировании описаний внешнего мира необходимо иметь возможность отражать данные описания в различных взаимосвязанных структурах. Такой структурой являются многомерные нейроподобные растущие сети, описывающие объекты или классы объектов в различных информационных пространствах.

Определение 2

. Информационным пространством называется область нейроподобной растущей сети, состоящая из множества вершин и дуг, объединенных в единую информационную структуру.

Определение 3

. Множество взаимосвязанных ациклических графов, описывающих нейроподобные растущие сети в различных информационных пространствах, называются многомерными нейроподобными растущими сетями (мн-РС).

Формально мн-РС задается пятеркой: S = (R, A, D, P, M, N),

при этом R

Й

R_l
, R_r
, R_v
; A

Й

A_l
, A_r
, A_v
; D

Й

D_l
, D_r
, D_v
;

P

Й

P_l
, P_r
, P_v


, где R_l
, R_r
, R_v


- конечное подмножество рецепторов; A_l
, A_r
, A_v


- конечное подмножество нейроподобных элементов; D_l
, D_r
, D_v


- конечное подмножество дуг; P_l
, P_r
, P_v


- конечное подмножество порогов возбуждения нейроподобных элементов, принадлежащих различным информационным пространствам, например, лингвистическому, речевому или визуальному; M

- конечное множество весовых коэффициентов связей; N

- конечное множество переменных коэффициентов связности.

Базовым принципом физиологии высшей нервной деятельности является основной закон биологии - единство организма и среды. Этот закон предусматривает приспособительную изменчивость организма относительно среды.

В основе приспособительного поведения любого организма лежит способность к обучению, т.е. способность запоминать последствия своих действий. Можно сказать, что изучение разумного поведения - это в какой-то мере исследование способности приобретать знания о связях в окружающем мире. “Организм обучаетсяпутем построения сенсорно-моторных схем: он извлекает из своего опыта соотношения между информацией, воспринимаемой его сенсорными системами, и своими действиями (моторной активностью)” [7].

Таким образом, взаимодействие биологических объектов с окружающей средой осуществляется через акты движения. С целью обеспечения возможности моделирования процессов обучения и приобретения системой знаний нейроподобные растущие сети развиваются в рецепторно-эффекторные нейроподобные растущие сети (рэн-РС).

Определение 4.

Рецепторно-эффекторной растущей сетью называется двухсторонний ациклический граф, в котором минимальное число заходящих дуг на вновь образуемые вершины графа равно переменному коэффициенту n, где n всегда больше двух.

Определение 5.

Рецепторно-эффекторные растущие сети, в которых каждой дуге рецепторной зоны, приходящей на вершины этой зоны, соответствует определенный весовой коэффициент, а вершинам - определенный порог возбуждения, и каждой дуге эффекторной зоны, приходящей на вершины этой зоны соответствует определенный весовой коэффициент, а вершинам - определенный порог возбуждения, называются рецепторно-эффекторными нейроподобными растущими сетями.

Рецепторно-эффекторные нейроподобные растущие сети (рис.2) формально задаются следующим образом:

S=(R, A_r
, D_r
, P_r
, M_r
, N_r
, E, A_e
, D_e
, P_e
, M_e
, N_e
), R

={r_i
},
- конечное множество рецепторов, A_r


={a_i
},
- конечное множество нейроподобных элементов рецепторной зоны, D_r


={d_i
},
- конечное множество дуг рецепторной зоны, E

={e_i
},
- конечное множество эффекторов, A_e


={a_i
},
- конечное множество нейроподобных элементов эффекторной зоны, D_e


={d_i
},
- конечное множество дуг эффекторной зоны, P_r


={P_i
}, P_e

={P_i
},
где P_i

- порог возбуждения вершины a_ir

, a_ie
P_i
=f(m_i
)
при условии, что множеству дуг D_r


, D_e


, приходящих на вершину a_ir

, a_ie

, соответствует множество весовых коэффициентов M_r


={m_i
}, M_e

={m_i
},
причем m_i

может принимать как положительные, так и отрицательные значения. N_r


, N_e


- переменные коэффициенты связности рецепторной и эффекторной зон. В рэн-РС рецепторные поля R

, являются аналогом сенсорной и рецепторной областей биологических объектов, эффекторныеполя E

- аналог моторной области биологических объектов. Рецепторно-эффекторные нейроподобные растущие сети подразделяются на однослойные, многослойные и многомерные рецепторно-эффекторные нейроподобные растущие сети
.

Нейроподобные растущие сети являются динамической структурой, которая изменяется в зависимости от значения и времени поступления информации на рецепторы, а также предыдущего состояния сети. В ней информация об объектах представляется ансамблями возбужденных вершин и связями между ними. Запоминание описаний объектов и ситуаций сопровождается вводом в сеть новых вершин и дуг при переходе какой - либо группы рецепторов и нейроподобных элементов в состояние возбуждения. Процесс возбуждения волнообразно распространяется по сети. Переменный коэффициент связности позволяет управлять числом дуг, приходящих на вновь образуемые нейроподобные элементы, и числом нейроподобных элементов в сети, что является одной изотличительных чертой нового класса сетейот существующих нейронных сетей.

Основные отличия и сравнительные характеристики
нейроподобных растущих сетей и общепринятых нейронных сетей приведены в табл.1.

Табл. 1

Нейроподобные растущие сети	Нейронные сети
Нейроподобный элемент . Вычислительное устройство с памятью.	Нейронный элемент . Пороговый элемент
Определяется некоторая произвольная функция входов, например: формула Байеса P(H:E)=P(E:H) P(H)/(P(E:H) P(H)+ P(E:неH) P(неH))*	Определяется взвешенная сумма входов, обработанная не линейно
Связи и веса задаются и появляются ровно столько сколько необходимо.	Связи и веса определяются архитектурой сети. Количество связей избыточно. Требуются специальные методы отсеивания связей.
Коэффициент связности Позволяет управлять соотношением связь / нейроподобный элемент .	Коэффициент связности Отсутствует
Перестраиваемая структура . Нейроподобные элементы связаны между собой по смыслу	Фиксированная структура. Элементы связаны каждый с каждым
Возможность композиции и декомпозиции (дедукции-индукции). По набору признаков определяется объект по объекту набор признаков.	Возможность композиции и декомпозиции Отсутствует
Многоуровневая структура. Число уровней (слоев) произвольное, определяется по смыслу.	Используется обычно до 3-х уровней (слоев). Использование более 3-х слоев не осмысленно.
Скорость обучения от нескольких минут до секунд.	Скорость обучения от многих часов до секунд.
Появление ложных фантомов (ложных аттракторов) – отсутствует	Появление ложных фантомов (ложных аттракторов) – присутствует
Емкость сети 100%	Емкость сети 20-30%
Параллелизм вычислений по ветвям активности во всех слоях параллельно. Эффективность счета повышена (счет по активной части сети).	Параллелизм вычислени по слоям последовательно. Эффективность счета понижена (счет по всей сети ( по всей матрице связей)).

*) P(H) – априорная вероятность исхода в случае отсутствия дополнительных свидетельств

P(H:E) – вероятность осуществления некоторой гипотезы H при наличии определенных подтверждений свидетельств E.

P(E:H), P(E:неH) – соответственно, вероятности получения ответа Да если возможный исход верен или неверен.

Из самого названия нейроподобные растущие сети
видно, что сеть нейроподобная, т.е. обладает свойствами нейронных сетей, в то же время растущая, сохраняя свойства РПС, что позволяет избежать некоторых недостатков присущих нейронным сетям. И в то же время поддерживает функции присущие биологическим объектам и интеллектуальным системам.

Так, функция восприятие
, осуществляется рецепторным полем н-РС, а в многомерных н-РС рецепторными полями различных информационных пространств (визуального, текстового, звукового, тактильного и др.).

Представление знаний их обработка и обучение сети
, осуществляются в рецепторных зонах н-РС и в рецепторных и эффекторных зонах рецепторно-эффекторных н-РС в процессе восприятия информации и построения сети.

Общение и поведение
системы, обладающей новой информационной структурой, определяется наличием в рецепторно-эффекторных н-РС рецепторной и эффекторной зон. В рецепторной зоне осуществляется накопление условий возникающих во внешней среде, а в эффекторной зоне вырабатываются действия адекватные внешним условиям, осуществляя адекватное взаимодействие с окружающей средой. Рецепторно-эффекторные н-РС, содержащие рецепторные и эффекторные зоны, позволяют на соответствующие условия (восприятие информации) вырабатывать управляющие воздействия во внешний мир (формировать поведения системы).

Заключение.
В основе нейроподобных растущих сетей является синтез знаний выработанных классическими теориями - растущих пирамидальных сетей и нейронных сетей. Первые из них дают возможность образовывать смыслы, как объекты и связи между ними по мере построения самой сети, т.е. число объектов, как и связей между нимибудет такое именно, какое нужно, будучи ограниченным лишь объемом памяти машины. При этом каждый смысл (понятие) приобретает отдельную компоненту сети как вершину, связанную с другими вершинами. В общем это вполне соответствует структуре отражаемой в мозге, где каждое явное понятие представлено определенной структурой и имеет свой обозначающий символ. Если указанные компоненты являются нейроподобными элементами, а связи приобретают различный вес, то получим универсальную нейроподобную сеть со всеми ее необходимыми свойствами. Вместе с тем эта сеть практически свободна от ограничений на количество нейроподобных элементов в котором и нужно разместить соответствующую информацию, т.е. построить саму сеть, представляющую данную предметную область. Во вторых эта сеть приобретает повышенную семантическую ясность за счет образования не только связей между нейроподобными элементами, но и самих элементов как таковых, т.е. здесь имеет место не просто построение сети путем размещения смысловых структур в среде нейроподобных элементов, а, собственно, создание самой этой среды, как эквивалента среды памяти [6].

1. Поспелов Г.С. Искусственный интеллект – основка новой информационной технологии. М.: Наука, 1988. – 280 с.

2. Глушков В.М. Основы безбумажной информатики. М.: Наука, 1987. – 552с.

3. Брюхович Е.И. К вопросу об информатизации общества. Методология решения задачи научного предвидения для вывода из кризиса отечественной вычислительной техники // Математические машины и системы. - 1997.-№2.-С.122-132.

4. Гладун В.П. Процессы формирования новых знаний - София: СД "Педагог 6", - 1994. - 192с.

5. Ященко В.А. Рецепторно-эффекторные нейроподобные растущие сети эффективное средство моделирования интеллекта. I, II - // Кибернетика и сист. анализ № 4, 1995. С. 54 – 62, № 5, 1995. С. 94 - 102.

6. Рабинович З.Л., Ященко В.А. Подход к моделированию мыслительных процессов на основе нейроподобных растущих сетей // Кибернетика и сист. анализ № 5, 1996. С.3-20.

7. Линдсей П., Норман Д. Переработка информации у человека (Введение в психологию).\Под редакц. А.Р. Лурия. - М.: - 1974. - с.549.