/>Московский Автомобильно-ДорожныйИнститут
(Государственный ТехническийУниверситет)
Кафедра АСУ
Курсовая работа
по дисциплине: «Интеллектуальныесистемы»
Тема работы: «Общие принципы,характерные для нейросетей»
Москва 2000
СодержаниеВведениеНаиболее интересные нейросетевые архитектуры и ихприложенияОбщие принципы, характерные для нейросетейЛокальностьи параллелизм вычисленийПрограммирование:обучение, основанное на данныхУниверсальностьобучающих алгоритмовСферы применения нейросетей
Вывод
Список литературы
Введение
Традиционно нейронописывался в терминах, заимствованных из нейрофизиологии. Согласно этимпредставлениям нейрон имеет один выход sj и несколько входов (синапсов), накоторые поступают внешние воздействия хi (от рецепторов и от других нейронов).
Количество нейронов вмозге оценивается величиной 1010-1011. Типичные нейроныимеют тело клетки (сому), множество ветвящихся коротких отростков — дендритов иединственный длинный и тонкий отросток — аксон. На конце аксон такжеразветвляется и образует контакты с дендритами других нейронов — синапсы.
/>
Рисунок 1. Схемамежнейронного взаимодействия
Искусственные нейронныесети получили широкое распространение за последние 20 лет и позволили решатьсложные задачи обработки данных, часто значительно превосходя точность другихметодов статистики и искусственного интеллекта, либо являясь единственновозможным методом решения отдельных задач. Нейросеть воспроизводит структуру исвойства нервной системы живых организмов: нейронная сеть состоит из большогочисла простых вычислительных элементов (нейронов) и обладает более сложнымповедением по сравнению с возможностями каждого отдельного нейрона. Нейросетьполучает на входе набор входных сигналов и выдает соответствующий им ответ(выходные сигналы), являющийся решением задачи.
Искусственные нейронныесети применяются для задач классификации или кластеризации многомерных данных.Основная идея лежащая в основе нейронных сетей – это последовательноепреобразование сигнала. Основой нейронной сети является кибернетический нейрон.Кибернетический нейрон состоит из 3 логических блоков: входы, функцияпреобразования и выход. На каждую комбинацию конкретных значений входов функцияпреобразования нейрона вырабатывает определённый сигнал (выход) (обычноскаляр), и передает его на входы другим нейронам сети. Подавая на входынекоторым нейронам сигналы извне, и отметив выходы части нейронов, как выходысети в целом, мы получим систему, осуществляющую отображение.
Нейронные сетиразличаются функцией преобразования в нейронах, внутренней архитектурой связеймежду нейронами и методами настройки (обучения).
Основным плюсомнейросетей является возможность решения широкого класса задач алгоритмически неразрешимых или задач с нечёткими условиями. Доступность и возросшиевычислительные возможности современных компьютеров привели к широкомураспространению программ, использующих принципы нейросетевой обработки данных,но исполняемых на последовательных компьютерах./>
Наиболее интересные нейросетевыеархитектуры и их приложения
Модель Хопфильда сассоциативной памятью.
Многослойный персептрон,решающий обширный класс задач распознавания образов.
•Самоорганизующиеся картыКохенена, обладающие возможностью самостоятельно выявлять закономерности вданных а разбивать входные данные на кластеры.
•Рекурсивные сети Элмана,способные обрабатывать последовательности векторов.
•Вероятностные сети,аппроксимирующие Байесовские классификаторы с любой степенью точности./> Общие принципы, характерные длянейросетей
Согласнообщепринятым представлениям наиболее общими принципами, характерными длясовременных нейросетей являются: коннекционизм, нелинейность активационнойфункции, локальность и параллелизм вычислений, обучение вместопрограммирования, оптимальность обучающих алгоритмов.
/>1. Коннекционизм – это особое течение в философскойнауке, предметом которого являются вопросы познания. В рамках этого теченияпредпринимаются попытки объяснить интеллектуальные способности человека,используя искусственные нейронные сети. Составленные из большого числаструктурных единиц, аналогичных нейронам, с заданным для каждого элементавесом, определяющим силу связи с другими элементами, нейронные сетипредставляют собой упрощённые модели человеческого мозга. Такая весовая модельобладает эффектом синапсов, соединяющих каждый нейрон с остальными.Эксперименты с нейронными сетями подобного рода продемонстрировали ихспособность к обучению выполнения таких задач, как распознавание образов,чтение и определение простых грамматических структур. Философы начали проявлятьинтерес к коннекционизму, так как коннекционистский подход обещал обеспечитьальтернативу классической теории разума и широко распространённой в рамках этойтеории идеи, согласно которой механизмы работы разума имеют сходство собработкой символического языка цифровым компьютером. То, как именно и в какойстепени парадигма коннекционизма составляет альтернативу классическимпредставлениям о природе разума, является предметом жарких споров, ведущихся впоследние годы.
Принципконнекционизма означает, что каждый нейрон нейросети, как правило, связан совсеми нейронами предыдущего слоя обработки данных. Заметим, что наиболеепоследовательно этот принцип реализован в архитектуре многослойногоперсептрона.
/>
/>
Рисунок 2.Выделение областей сложной формы.
Отличительнойчертой нейросетей является глобальность связей. Базовые элементы искусственныхнейросетей — формальные нейроны — изначально нацелены на работу сширокополосной информацией. Каждый нейрон нейросети, как правило, связан совсеми нейронами предыдущего слоя обработки данных (см. Рисунок 1,иллюстрирующий наиболее широко распространенную в современных приложенияхархитектуру многослойного персептрона). В этом основное отличие формальныхнейронов от базовых элементов последовательных ЭВМ — логических вентилей,имеющих лишь два входа. В итоге, универсальные процессоры имеют сложнуюархитектуру, основанную на иерархии модулей, каждый из которых выполняет строгоопределенную функцию. Напротив, архитектура нейросетей проста и универсальна.Специализация связей возникает на этапе их обучения под влиянием конкретныхданных.
/>
Рисунок 3. Глобальность связей в искуственных нейросетях
Типичныйформальный нейрон производит простейшую операцию — взвешивает значения своихвходов со своими же локально хранимыми весами и производит над их суммойнелинейное преобразование:
/>
/>/>
Рисунок 4. Нейрон производит нелинейнуюоперацию над линейной комбинацией входов
/>Нелинейность выходнойфункции активации />принципиальна.Чтобы отразить суть биологических нейронных систем, определение искусственногонейрона дается следующим образом:
Он получаетвходные сигналы (исходные данные либо выходные сигналы других нейронов нейроннойсети) через несколько входных каналов. Каждый входной сигнал проходит черезсоединение, имеющее определенную интенсивность (или вес); этот вессоответствует синаптической активности биологического нейрона. С каждымнейроном связано определенное пороговое значение. Вычисляется взвешенная суммавходов, из нее вычитается пороговое значение и в результате получается величинаактивации нейрона (она также называется пост-синаптическим потенциалом нейрона- PSP).
Сигналактивации преобразуется с помощью функции активации (или передаточной функции)и в результате получается выходной сигнал нейрона.
Нелинейностьразрушает линейную суперпозицию и приводит к значительному расширениювозможностей нейросетей./>/> Локальностьи параллелизм вычислений
Массовыйпараллелизм нейро — вычислений, необходимый для эффективной обработки образов,обеспечивается локальностью обработки информации в нейросетях. Каждый нейронреагирует лишь на локальную информацию, поступающую к нему в данный момент отсвязанных с ним таких же нейронов, без апелляции к общему плану вычислений,обычной для универсальных ЭВМ. Таким образом, нейросетевые алгоритмы локальны, инейроны способны функционировать параллельно./>/> Программирование:обучение, основанное на данных
Искусственная нейросеть,как и естественная биологическая, может обучаться решению задач: она содержитвнутренние адаптивные параметры нейронов и своей структуры, и меняя их, можетменять свое поведение. Место программирования занимает обучение, тренировканейронной сети: для решения задачи не нужно программировать алгоритм — нужновзять универсальный нейросетевой инструмент, создать и обучить нейросеть.Нейронная сеть обучается решению задачи на некотором «учебнике» −наборе ситуаций, каждая из которых описывает значения входных сигналовнейросети и требуемый для этих входных сигналах ответ. «Учебник»задает набор эталонных ситуаций с известными решениями, а нейронная сеть приобучении сама находит зависимости между входными сигналами и ответами.Обученная нейросеть может обобщать (интерполировать и экстраполировать) полученныйнавык решения и выдавать прогноз для новых значений входных сигналов, ранее невключенных в «учебник». Нейронная сеть способна обучаться решениюзадач, для которых у человека не существует формализованных, быстрых илиработающих с приемлемой точностью алгоритмов решения. Структура нейросети можетбыть адаптирована к задаче: в нейросеть могут быть включены дополнительныенейроны, если исходная нейросеть не способна обеспечить решение задачи с нужнойточностью. Из нейросети могут быть исключены лишние нейроны и связи между ними,если исходная нейросеть избыточна для решения задачи. Нейросеть может самавыделить наиболее информативные для задачи входные сигналы, отброситьнеинформативные, шумовые сигналы и в итоге повысить надежность решения. Приэтом нейронная сеть не делает предварительного полного забывания ранеесформированных навыков, ускоряя таким образом свое дообучение после коррекцииразмеров.
Отсутствие глобальногоплана вычислений в нейросетях предполагает и особый характер ихпрограммирования. Оно также носит локальный характер: каждый нейрон изменяетсвои “подгоночные параметры” — синаптические веса — в соответствии споступающей к нему локальной информацией об эффективности работы всей сети какцелого. Режим распространения такой информации по сети и соответствующей ейадаптации нейронов носит характер обучения. Такой способ программированияпозволяет эффективно учесть специфику требуемого от сети способа обработкиданных, ибо алгоритм не задается заранее, а порождается самими данными — примерами,на которых сеть обучается. Именно таким образом в процессе самообучениябиологические нейросети выработали столь эффективные алгоритмы обработкисенсорной информации. Характерной особенностью нейросетей является ихспособность к обобщению, позволяющая обучать сеть на ничтожной доле всехвозможных ситуаций, с которыми ей, может быть, придется столкнуться в процессефункционирования. В этом их разительное отличие от обычных ЭВМ, программакоторых должна заранее предусматривать их поведение во всех возможных ситуациях.Эта же их способность позволяет кардинально удешевить процесс разработкиприложений./>/> Универсальностьобучающих алгоритмов
Привлекательнойчертой нейрокомпьютинга является единый принцип обучения нейросетей — минимизация эмпирической ошибки. Функция ошибки, оценивающая даннуюконфигурацию сети, задается извне — в зависимости от того, какую цельпреследует обучение. Но далее сеть начинает постепенно модифицировать своюконфигурацию — состояние всех своих синаптических весов — таким образом, чтобыминимизировать эту ошибку. В итоге, в процессе обучения сеть все лучшесправляется с возложенной на нее задачей.
Не вдаваясь вматематические тонкости, образно этот процесс можно представить себе как поискминимума функции ошибки E(w), зависящей от набора всех синаптическихвесов сети w (см. Рисунок 3).
/>
Рисунок 5. Обучение сети как задача оптимизации
Базовой идеейвсех алгоритмов обучения является учет локального градиента в пространствеконфигураций для выбора траектории быстрейшего спуска по функции ошибки.Функция ошибки, однако, может иметь множество локальных минимумов,представляющих суб-оптимальные решения./> Сферы применения нейросетей
/>
1.Экономика и бизнес: предсказание рынков, автоматический дилинг, оценка риска невозвратакредитов, предсказание банкротств, оценка стоимости недвижимости, выявлениепере- и недооцененных компаний, автоматическое рейтингование, оптимизацияпортфелей, оптимизация товарных и денежных потоков, автоматическое считываниечеков и форм, безопасность транзакций по пластиковым карточкам.
/>2. Медицина: обработка медицинских изображений,мониторинг состояния пациентов, диагностика, факторный анализ эффективностилечения, очистка показаний приборов от шумов.
/>3. Авионика: обучаемые автопилоты, распознаваниесигналов радаров, адаптивное пилотирование сильно поврежденного самолета.
/>4. Связь: сжатие видео-информации, быстроекодирование-декодирование, оптимизация сотовых сетей и схем маршрутизациипакетов.
/>5. Интернет: ассоциативный поиск информации,электронные секретари и агенты пользователя в сети, фильтрация информации вpush-системах, коллаборативная фильтрация, рубрикация новостных лент, адреснаяреклама, адресный маркетинг для электронной торговли.
/>6. Автоматизация производства: оптимизация режимовпроизводственного процесса, комплексная диагностика качества продукции(ультразвук, оптика, гамма-излучение, …), мониторинг и визуализация многомернойдиспетчерской информации, предупреждение аварийных ситуаций, робототехника.
/>7. Политические технологии: анализ и обобщение социологическихопросов, предсказание динамики рейтингов, выявление значимых факторов,объективная кластеризация электората, визуализация социальной динамикинаселения.
/>8. Безопасность и охранные системы: системы идентификации личности,распознавание голоса, лиц в толпе, распознавание автомобильных номеров, анализаэро-космических снимков, мониторинг информационных потоков, обнаружениеподделок.
/>9. Ввод и обработка информации: Обработка рукописных чеков,распознавание подписей, отпечатков пальцев и голоса. Ввод в компьютерфинансовых и налоговых документов.
/>10. Геологоразведка: анализ сейсмических данных,ассоциативные методики поиска полезных ископаемых, оценка ресурсовместорождений.
Существует несколькошироко распространенных коммерческих универсальных нейросетевых программныхпакетов (Statistica Neural Networks, NeuroShell, Matlab Neural Network Toolbox, NeuroSolutions, BrainMaker).Специализированных, некоммерческих или разработанных учеными-исследователямидля собственных нужд нейропрограмм гораздо больше.
Нейросети широкоиспользуются в настоящее время: нейросети — это не что иное, как новый инструментанализа данных. И лучше других им может воспользоваться именно специалист всвоей предметной области. Основные трудности на пути еще более широкогораспространения нейротехнологий — в неумении широкого круга профессионаловформулировать свои проблемы в терминах, допускающих простое нейросетевоерешение.
/>Вывод Возможностинейронных сетей
Основными интересными напрактике возможностями нейронных сетей являются такие:
— Существование быстрыхалгоритмов обучения: нейронная сеть даже при сотнях входных сигналов идесятках-сотнях тысяч эталонных ситуаций может быть быстро обучена на обычномкомпьютере. Поэтому нейронные сети имеют широкий круг применимости и позволяютрешать сложные задачи прогноза, классификации или диагностики.
— Возможность работы приналичии большого числа неинформативных, шумовых входных сигналов −предварительного их отсева делать не нужно, нейронная сеть сама определит ихмалопригодность для решения задачи и может их явно отбросить.
— Возможность работы соскоррелированными независимыми переменными, с разнотипной информацией −непрерывнозначной и дискретнозначной, количественной и качественной, что частодоставляет затруднение методам статистики
— Нейронная сетьодновременно может решать несколько задач на едином наборе входных сигналов −имея несколько выходов, прогнозировать значения нескольких показателей.
— Алгоритмы обучениянакладывают достаточно мало требований на структуру нейронной сети и свойства еенейронов. Поэтому при наличии экспертных знаний или в случае специальныхтребований можно целенаправленно выбирать вид и свойства нейронов и нейроннойсети, собирать структуру нейронной сети вручную, из отдельных элементов, изадавать для каждого из них нужные свойства.Преимущества нейронных сетей
Круг задач, для решениякоторых используются нейронные сети, во многом совпадает с задачами, решаемымитрадиционными статистическими методами. Поэтому укажем преимущества нейросетейперед несколькими классическими методами статистики.
По сравнению с линейнымиметодами статистики (линейная регрессия, авторегрессия, линейный дискриминант),нейронные сети позволяют эффективно строить нелинейные зависимости, более точноописывающие наборы данных. Из нелинейных методов классической статистикираспространен, пожалуй, только байесовский классификатор, строящий квадратичнуюразделяющую поверхность − нейронная сеть же может построить поверхностьболее высокого порядка. Высокая нелинейность разделяющей поверхности наивногобайесовского классификатора (он не использует ковариационные матрицы классов,как классический байес, а анализирует локальные плотности вероятности) требуетзначительного суммарного числа примеров для возможности оценивания вероятностейпри каждом сочетании интервалов значений переменных − нейронная сеть жеобучается на всей выборке данных, не фрагментируя её, что повышает адекватностьнастройки нейросети.
При построении нелинейныхмоделей (например, полиномиальных) в статистических программах обычно требуетсяручное введение-описание модели в символьном виде с точностью до значенийпараметров: при N=10 независимых переменных полином второй степени будетсодержать N*(N-1)/2=45 коэффициентов при попарных произведениях переменных, 10при самих переменных, 10 при квадратах значений переменных, т.е. 65 (66 сучетом неоднородного слагаемого) коэффициентов. При двадцати переменных ввыражение войдет уже 231 слагаемое. Вводить такие длинные формулы долго, великриск опечатки. Нейронная сеть же создается путем указания вида структуры, числаслоев и числа нейронов в каждом слое, что гораздо быстрее. А алгоритмыпостроения растущих нейросетей и вовсе не требуют первоначального заданияразмера нейронной сети. Альтернативой нейронной сети при построении сложныхнелинейных моделей является только метод группового учета аргументов.
Для сжатия и визуализацииданных в статистике разработан метод линейных главных компонент.Нейросети-автоассоциаторы позволяют эффективнее сжимать данные за счет построениянелинейных отображений и визуализировать данные в пространстве меньшего числанелинейных главных компонент.
По сравнению с методаминепараметрической статистики, нейронная сеть с радиальными базисными функциямипозволяет сокращать число ядер, оптимизировать координаты и размытость каждогоядра. Это позволяет при сохранении парадигмы локальной ядерной аппроксимацииускорять дальнейший процесс принятия решения.
При обучении нейроннойсети вместо критерия качества в виде наименьших квадратов можно использоватьробастные критерии, дополнительно вести оптимизацию и свойств нейронной сети(например, добавляя критерии регуляризации решения или оптимизации структурынейронной сети). Алгоритмы обучения нейронной сети при этом остаютсянеизменными.
Необходимость решенияпрямой и обратной задач обычно требует построения двух моделей. Прииспользовании же нейронных сетей можно обойтись одной сетью, обученной решатьпрямую задачу.
Список литературы
1. Курс лекций подисциплине «Интеллектуальные системы», лектор Фоминых И.Б.
2. Методическиеуказания Николаев А. Б., Фоминых И. Б. Нейросетевые методы анализа иобработки данных: Учеб. пособие по курсу " Интеллектуальные системы "/ МАДИ ГТУ
Интернет – ресурсы
1. http://www.neuropower.de/rus/books/index.html
2. http://www.madi.ru/study/kafedra/asu/metod/nero/1_1.shtml
3. http://neurolec.chat.ru/