На правах рукописиМакаренко Алексей АлександровичАЛГОРИТМЫ И ПРОГРАММНАЯ СИСТЕМА КЛАССИФИКАЦИИ ПОЛУТОНОВЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙСпециальность 05.13.18 – математическое моделирование, численные методы и комплексы программАВТОРЕФЕРАТ диссертации на соискание ученой степеникандидата технических наукТомск – 2007Работа выполнена в Томском государственном университете систем управления и радиоэлектроники.Научный руководитель: кандидат технических наук, с.н.с. Калайда Владимир ТимофеевичОфициальные оппоненты: доктор технических наук, профессор Шелупанов Александр Александровичкандидат физико-математических наук, доцент Новосельцев Виталий БорисовичВедущая организация: Институт вычислительного моделирования СО РАН, г. КрасноярскЗащита состоится 17 мая 2007 г. в 15 ч 00 мин на заседании диссерта-ционного совета Д.212.268.02 в Томском государственном университете систем управления и радиоэлектроники по адресу: 634034, г. Томск, ул. Белинского, 53.С диссертацией можно ознакомиться в библиотеке Томского государственного университета систем управления и радиоэлектроники по адресу: 634034, г. Томск, ул. Вершинина, 74.Автореферат разослан 17 апреля 2007 г.Ученый секретарьдиссертационного совета Д.212.268.02 Клименко А.Я.^ ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность исследований Многие направления науки, техники и производства в значительной степени ориентируются на развитие систем, в которых информация носит характер поля (изображения). При обработке такой информации возникает ряд сложных научных, технических и технологических проблем. Одной из самых сложных на сегодняшний момент из них являются обработка и распознавание изображений. О важности этой проблемы говорит тот факт, что исследования по распознаванию образов, анализу изображений и речи включены в перечень приоритетных направлений развития науки и техники и критических технологий федерального уровня.Распознавание изображений находит широкое применение в различных приложениях – это может быть контроль топологии печатных плат, текстуры ткани, робототехника (интеллектуальные системы). В информатике – контроль доступа к информации по идентификации личности (биометрическая идентификация). Спецприменение – доступ к объектам ограниченного доступа, оперативный поиск в картотеке изображений, дактилоскопия и др. Широко используются эти методы для классификации исторических источников на бумаге, а также в физике, химии, биологии и др. областях науки. Особую значимость задачи анализа и обработки изображений имеют в обеспечении обороноспособности страны – повышение надежности предотвращения несанкционированного доступа к образцам военной техники и объектам военного назначения. В настоящее время эта задача решается с помощью организационно-технических мероприятий, реализуемых специальными службами с привлечением значительного количества личного состава и материально-технических ресурсов, не обеспечивая при этом достаточного уровня надежности и оперативности. В последние годы актуальность решения проблемы возрастает в связи с осуществляемым сокращением Вооруженных сил и переходом их на контрактную систему комплектования, а также вследствие активизации деятельности террористических групп, способных, используя несанкционированный доступ к комплексам вооружения и военным объектам, нанести существенный ущерб безопасности страны, привести к гибели людей.В настоящее время все более широкое распространение получают биометрические системы идентификации человека. Традиционные системы идентификации требуют знания пароля, наличия ключа, идентификационной карточки либо иного идентифицирующего предмета, который можно забыть или потерять. В отличие от них биометрические системы основываются на уникальных биологических характеристиках человека, которые трудно подделать и которые однозначно определяют конкретного человека. К таким характеристикам относятся отпечатки пальцев, форма ладони, узор радужной оболочки, изображение сетчатки глаза. Лицо, голос и запах каждого человека также индивидуальны.Задача обнаружения лица (выделения сюжета) на изображении является «первым шагом», предобработкой в процессе решения задачи идентификации личности человека по изображению лица (например, узнавания лица, распознавания выражения лица). В настоящее время наиболее перспективными являются подходы с использованием искусственных нейронных сетей. Нейронные сети применяются для решения задач классификации или кластеризации многомерных данных. Основная идея, лежащая в основе нейронных сетей, – это последовательное преобразование сигнала параллельно работающими элементарными функциональными элементами.^ Объектом данного исследования являются системы обработки изображений, основанные на искусственных нейронных сетях.Предметом исследования являются алгоритмы выделения сюжетной части на групповом изображении, основанные на искусственных нейрон-ных сетях.Естественно, что конфигурация системы выделения сюжетной части изображения существенно определяется характером решаемых задач, однако в целом она должна удовлетворять некоторой совокупности требований, важнейшими из которых являются следующие.1. Система должна быть ориентирована на обработку изображений для конкретной предметной области.2. Система должна обеспечивать возможность обработки данных в реальном режиме времени.3. Система должна обладать инвариантностью к изменениям условий съемки (освещение, цветовой баланс камеры, искажение изображения, привносимые оптикой системы, качество изображения). Основная цель исследований – разработка методов и средств повышения эффективности выделения информативных частей группового изображения в системах видеонаблюдения и контроля доступа.^ Основные задачи диссертации:1. Анализ методов построения алгоритмов обработки изображений, основанных на использовании искусственных нейронных сетей.2. Разработка эффективной архитектуры нейронной сети для выделения информативной части на групповых изображениях.3. Разработка метода обучения используемой нейронной сети.4. Реализация и исследование работоспособности и эффективности программной системы выделения сюжетной части изображения, основанной на использовании искусственной нейронной сети. Методы исследования В диссертационной работе при решении поставленных задач использованы методы теории искусственных нейронных сетей, математического моделирования, теории вероятностей и математической статистики. Основные защищаемые положения: 1. Топология нейронной сети, обеспечивающая вероятность обнаружения образа лица на уровне 0,95.2. Алгоритм обучения нейронной сети, позволяющий обеспечить эффективную работу нейронной сети при изменении углов поворота до ±15, уровня освещения в ~ 3 раза и изменении масштаба изображения в ~ 2 раза. 3. Программная система, обеспечивающая обработку изображения с вероятностью обнаружения образа лица на уровне 0,95 при времени обработки не более 100 мс.^ Достоверность результатов диссертационной работы подтверждается экспериментальными данными, полученными при использовании программно-технических систем, созданных при непосредственном участии соискателя, имеющими как научную, так и практическую ценность. Достоверность результатов, выводов и положений диссертационной работы обеспечивается: – тщательной разработкой структуры нейронной сети и алгоритма ее обучения;– тщательной разработкой методики и алгоритмов выделения сюжетной части на групповом изображении;– качественным и количественным сопоставлением полученных результатов с имеющимися современными теоретическими и экспериментальными данными. Научная новизна 1. Предложена топология нейронной сети с добавленной сверточной плоскостью и модифицированной активационной функцией нейронов, обеспечивающая выделение сюжета на произвольном фоне с вероятностью 0,95. 2. Разработан алгоритм обучения, использующий процедуру самонастройки, обеспечивающий возможность выделения сюжетной части изображения при изменении углов наблюдения до ±15, уровня освещения в ~ 3 раза и изменении масштаба изображения в ~ 2 раза.3. Предложен алгоритм локализации сюжетной части изображения, основанный на двухэтапной схеме, повышающий вероятность правильного обнаружения и снижающий вероятность ложного обнаружения лиц. Практическая значимость Разработанная топология сверточной нейронной сети и алгоритм обучения послужили основой для создания программной системы выделе-ния сюжетной части на групповом изображении с произвольным фоном. Разработанные в диссертации методические, алгоритмические и информационные средства предназначаются для использования в системах безопасности, видеонаблюдения и видеоконтроля и имеют практическую значимость независимо от типов ЭВМ и операционных сред.Работа поддержана грантом РФФИ, проект № 06-08-00751. Апробация работы Основные научные результаты работы докладывались и обсуждались на следующих конференциях: Международная научная студенческая конференция «Студент и научно-технический прогресс», НГУ (г. Новосибирск, 2005); Всероссийская научно-техническая конференция студентов и молодых ученых «Научная сессия ТУСУР», ТУСУР (г. Томск, 2005, 2006); Всероссийская научная конференция студентов-физиков, АСФ (г. Екатеринбург, 2005, 2006, 2007); Всероссийская научно-практическая конференция «Научное творчество молодежи», Филиал КемГУ (г. Анжеро-Судженск, 2007); Всероссийская конференция «Актуальные проблемы авиации и космонавтики», СИБГАУ (г. Красноярск, 2006); Всероссийская научно-практическая конференция «Проблемы информационной безопасности государства, общества и личности», ТГУ (г. Томск, 2006); Международная научно-практическая конференция «Электронные средства и системы управления», ТУСУР (г. Томск, 2005); Всероссийская научно-практическая конференция «Информационные технологии и математическое моделирование» (г. Анжеро-Судженск, 2005). Результаты исследований докладывались на научных семинарах кафедры автоматизированных систем управления Томского государственного университета систем управления и радиоэлектроники.Основное содержание диссертации отражено в 14 научных работах, в том числе в трех научных статьях (1 в журнале из перечня ВАК), 11 докладах на конференциях различного уровня). Личный вклад В диссертации использованы только те результаты, в которых автору принадлежит определяющая роль. Опубликованные работы написаны в соавторстве с сотрудниками научной группы. В совместных работах диссертант принимал участие в непосредственной разработке алгоритмов, в теоретических расчетах и вычислительных экспериментах, в интерпретации результатов. Постановка задачи исследований осуществлялась научным руководителем к.т.н., с.н.с. Калайдой В.Т. Внедрение результатов Результаты работы внедрены в Институте оптики атмосферы СО РАН, Томском государственной университете, Томском политехническом университете, Томском государственном университете систем управления и радиоэлектроники. Структура и объем работы Диссертация изложена на 110 страницах, содержит 42 рисунка и 7 таблиц и состоит из введения, трех глав, заключения и списка используемой литературы из 84 наименований и работ соискателя.^ Основное содержание работы Во введении дана общая характеристика диссертации, представлено состояние исследуемого вопроса, сформулированы цели и задачи диссертации, выносимые на защиту положения, обоснована их актуальность, достоверность, новизна, научная и прикладная ценность.В первой главе проведено исследование существующих в настоящее время методов решения задачи выделения сюжетной части изображения. Анализируется эффективность различных подходов к решению поставленных задач, в том числе и для частного случая – выделения лица человека на групповых изображениях. Исходя из проведенного анализа, сформулирована постановка задачи диссертационного исследования. Обоснована целесообразность применения сверточных нейронных сетей для решения поставленной задачи.В п. 1.1 рассмотрены методы, основанные на выделении характеристик лица: фильтры для выделения перепадов интенсивности, масочные фильтры Лапласа, курсовые градиентные маски, корреляционная маска. Показано, что их основным недостатком является то, что для различных изображений необходимо подбирать индивидуальный фильтр. Этого недостатка в некотором роде лишены морфологические фильтры (эрозия, наращение, размыкание, замыкание). Но в этом случае необходимо выбирать последовательность применения того или иного оператора.В п. 1.2 рассмотрены методы, основанные на построении модели лица. Данные методы основываются на закономерностях и свойствах изобра-жения лица неявно, с применением методов математической статистики и машинного обучения. Методы этой категории опираются на инструментарий распознавания образов. К данной группе относятся методы главных компонент и опорных векторов, линейный дискриминантный анализ, скрытые марковские модели, искусственные нейронные сети. Достоинство данных методов заключается в том, что, используя все изображение целиком вместо вычисленных на его основе характеристик, из всей процедуры построения классификатора (включая выделение устойчивых признаков для распознавания) полностью исключается участие человека, что потенциально снижает вероятность ошибки построения неправильной модели изображения лица вследствие неверных решений и заблуждений разработчика. Особое внимание уделено подходам с использованием искусственных нейронных сетей. Нейронные сети широко применяются для решения задач классификации или кластеризации многомерных данных. Несмотря на существенные различия, отдельные типы нейронных сетей обладают несколькими общими чертами.Первая черта – основу каждой нейронной сети составляют относительно простые, в большинстве случаев – однотипные, элементы (ячейки), имитирующие работу нейронов мозга.Второй общей чертой, присущей нейронным сетям, является принцип параллельной обработки сигналов, который достигается путем объединения большого числа нейронов в так называемые слои и соединения определенным образом различных слоев, а также в некоторых конфигурациях нейронов одного слоя между собой, причем обработка взаимодействия всех нейронов ведется послойно.Нейронные сети успешно применяются для решения многих задач распознавания. Преимуществом использования нейросетей для решения задачи обнаружения лица является возможность получения классификатора, хорошо моделирующего сложную функцию распределения изображений лиц р(хface). Недостатком является необходимость в тщательной и кропотливой настройке нейронной сети для получения удовлетворительного результата классификации.Однако настройка нейронной сети для решения определенной задачи производится в процессе обучения на наборе тренировочных примеров. Таким образом, не требуется вручную определять параметры модели (выбирать ключевые признаки, учитывать их взаимоотношение и т.п.) – нейронная сеть извлекает параметры модели автоматически наилучшим образом в процессе обучения. Остается только построить тренировочную выборку. Нейронные сети обладают хорошей обобщающей способностью. Это значит, что опыт, полученный в процессе обучения на конечном наборе образов, нейронная сеть может успешно применять на все множество образов. Нейронные сети не требуют ни наложения каких-либо ограничений на тренировочную выборку, ни полагаются на то, что она обладает какими-либо априорными свойствами, в отличие, например, от статистических методов. Естественным образом архитектура нейронных сетей реализуется на параллельных вычислительных средствах. Это открывает широкие перспективы применения нейронных сетей в будущем. Нейронная сеть характеризуется нечетким и распределенным хранением информации, т.е. нет отдельного нейрона, отвечающего за какое-либо понятие или признак, и удаление или искажение работы этого нейрона не приведет к фатальным последствиям. Но несмотря на все достоинства, применение нейронных сетей к изображениям требует специальных усилий. Это связано в первую очередь со сложным характером изображений, особенно изображений трехмерных объектов реального мира, какими и являются лица людей.На основании анализа практического применения различных архитектур нейронных сетей в задачах выделения сюжетной части изображения сделан вывод о необходимости использования сверточных нейронных сетей (рис. 1). Рис. 1. Архитектура сверточной нейронной сетиВ основе сверточных нейронных сетей лежат следующие идеи:– локальные рецепторные поля (обеспечивают локальную двумерную связность нейронов);– общие веса (обеспечивают детектирование некоторых черт в любом месте изображения и уменьшают общее число весовых коэффициентов); – иерархическая организация с пространственными подвыборками. Сверточная нейронная сеть обеспечивает частичную устойчивость к изменениям масштаба, смещениям, поворотам, смене ракурса и прочим искажениям. Во второй главе подробно рассмотрен процесс конструирования нейронной сети. Описывается и обосновывается структура сверточной нейронной сети для отделения сюжетной части. Описывается и обосновывается алгоритм ее обучения.В п. 2.1 анализируются нейросетевые подходы к решению задачи выделения сюжетной части изображения. Из анализа следует, что применение классических нейросетевых архитектур (многослойный пересептрон, сети с радиально-базисной функцией и др.) в данной задаче является неэффективным, так как они не учитывают структурных свойств изображения. На основании данного анализа делается вывод о необходимости использования в данной задаче сверточных нейронных сетей.Сверточные нейронные сети обеспечивают частичную устойчивость к изменениям масштаба, смещениям, поворотам, смене ракурса и прочим искажениям. Топология нейронной сети, используемой в работе, изображена на рис. 2.Сверточная нейронная сеть является многослойной. Используются слои двух типов: сверточные и подвыборочные. Сверточные и подвыборочные слои чередуются друг с другом. В свою очередь, каждый из этих слоев состоит из набора плоскостей, причем нейроны одной плоскости имеют одинаковые веса (так называемые общие веса), ведущие ко всем локальным участкам предыдущего слоя (как в зрительной коре человека). Вход Слой N2С1 Слой N1S1С2S2 Рис. 2. Схема используемой нейронной сетиИзображение предыдущего слоя сканируется небольшим окном и пропускается сквозь набор весов, а результат отображается на соответствующий нейрон текущего слоя. Таким образом, набор плоскостей представляет собой карты характеристик и каждая плоскость находит «свои» участки изображения в любом месте предыдущего слоя.Исходя из особенностей задачи выделения сюжета, предлагается нейронная сеть, состоящая из шести слоев. Входными данными нейронной сети являются полутоновые изображения размером 32×36 пикселей, которые классифицируются как лицо или «нелицо».Так как задача, решаемая нейронной сетью, – классификация, то для ее решения достаточно одного выхода. Выходное значение нейронной сети находится в интервале [–1; 1], что соответственно означает отсутствие или присутствие лица на классифицируемом изображении.Входной слой размером 32×36 нейронов не несет какой-либо функциональной нагрузки и служит лишь для подачи входного образа в нейронную сеть. Следом за входным слоем находится сверточный слой С1. Каждый нейрон в плоскости сверточного слоя получает свои входы от некоторой области предыдущего слоя (локальное рецептивное поле).Процесс функционирования нейрона сверточного слоя задается выражениемгде – нейрон k-й плоскости сверточного слоя; bk – нейронное смещение k-й плоскости; K – размер рецептивной области нейрона; wk,s,t – элемент матрицы синаптических коэффициентов; x – выходы нейронов предыдущего слоя.Слой ^ С1 состоит из 5 сверточных плоскостей и выполняет свертывание входного изображения с помощью синаптической маски размером 55. Таким образом, слой С1 осуществляет 5 сверток входного изображения, размер плоскости сверточного слоя С1 – 28×32 нейрона. Нейроны в слое организованы в плоскости, в пределах которых все нейроны имеют один и тот же набор синаптических коэффициентов. Каждая плоскость слоя С1 имеет собственную синаптическую маску и нейронное смещение, рецептивные области нейронов пересекаются, нейроны извлекают одни и те же особенности входного изображения, независимо от их точного местоположения. Таким образом, слой С1 имеет всего лишь 130 настраиваемых параметров (синапсов). Следующий за слоем С1 подвыборочный слой S1 состоит из 5 карт характеристик и обеспечивает локальное усреднение и подвыборку. Этот слой также состоит из плоскостей; как правило, количество плоскостей такое же, как и в предыдущем слое. Рецепторная область каждого нейрона – 22 в соответствующей карте особенностей предыдущего слоя. Каждый нейрон вычисляет среднее его четырех входов, умножает на синаптический коэффициент, добавляет нейронное смещение и передает результат через активационную функцию. Процесс функционирования нейрона подвыборочного слоя задается следующим соотношением:Полученный результат подвыборки передается через активационную функцию. После операции подвыборки точное местоположение и специфические признаки каждой особенности изображения становятся менее важными, что дает нейронной сети довольно большую степень инвариантности. Смежные нейроны в подвыборочном слое имеют непересекающиеся рецептивные области. Каждая плоскость слоя S1 связана лишь с одной плоскостью слоя С1. Размер каждой плоскости слоя S1 – 14×16 нейронов, что вдвое меньше, чем размер плоскости предыдущего слоя. Каждая плоскость слоя S1 имеет единственный синаптический коэффициент и нейронное смещение, что дает в итоге 10 настраиваемых параметров.Сверточный слой ^ С2 состоит из 20 плоскостей, размер каждой 6×7 нейронов, слои S1 и С2 перекрестно связаны. Каждая из 5 плоскостей слоя S1 свернута 2 различными синаптическими масками 3×3, обеспечивая 10 плоскостей в C2, другие 10 плоскостей C2 получены суммированием результатов 2 свертываний на каждой возможной паре плоскостей слоя S1.Таблица 1^ Карта связей между слоем С2 и S1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 1 x x x x x x 2 x x x x x x 3 x x x x x x 4 x x x x x x 5 x x x x x x Таким образом, сети добавляется способность объединять различные виды характеристик, чтобы составлять новые, менее зависящие от искажений входного изображения.Размер плоскости слоя ^ С2 – 12×14 нейронов. Таким образом, данный слой имеет 290 синаптических коэффициентов. Слой S2 состоит из 20 плоскостей. Каждая плоскость слоя S2 имеет единственный синаптический коэффициент и нейронное смещение, что дает в итоге 40 настраиваемых параметров. Слои N1 и N2 содержат простые нейроны. Роль этих слоев состоит в обеспечении классификации после того, как выполнены извлечение особенностей и сокращение размерности входа. В слое ^ N1 находится 20 нейронов (по одному на каждую плоскость слоя S2), каждый нейрон полностью связан с каждым нейроном только одной плоскости слоя S2, он выполняет взвешенное суммирование своих 42 входов, добавляет нейронное смещение и пропускает результат через активационную функцию. Таким образом, данный слой содержит 860 синаптических коэффициентов.Единственный нейрон слоя ^ N2 полностью связан со всеми нейронами слоя N1. Роль этого нейрона – в вычислении окончательного результата классификации. Выход нейрона используется для классификации входного образа на лица и «нелица».В п. 2.2 предлагается алгоритм обучения и обосновывается методика ускорения сходимости обучения для используемой нейронной сети.Процесс функционирования нейронной сети зависит от величин синаптических связей, поэтому, задавшись определенной структурой нейронной сети, отвечающей какой-либо задаче, необходимо найти оптимальные значения всех переменных коэффициентов. Для обучения предложенной нейронной сети был использован алгоритм обратного распространения ошибки (back propagation).В основе алгоритма обратного распространения ошибки лежит методика, позволяющая быстро вычислять вектор частных производных (градиент) сложной функции многих переменных, если структура этой функции известна. В качестве такой функции в алгоритме рассматривается функция ошибки сети и учитывается тот факт, что структура функции ошибки сети полностью определяется архитектурой нейронной сети, которая считается известной. На основании анализа способов организации алгоритма обучения (стохастическое и пакетное обучение) показано, что для обучения нейронных сетей предпочтительно использовать стохастическое обучение, так как: – стохастическое обучение сходится обычно намного быстрее, чем пакетный метод обучения;– стохастическое обучение часто приводит к лучшим решениям;– затраты на одномерную оптимизацию шага не дают практической пользы, обучение по суммарному градиенту (с оптимизацией шага или без нее) всегда проигрывает стохастическому обучению.На основании анализа практических результатов делается вывод, что в качестве активационной функции необходимо использовать гиперболический тангенс. Это обусловлено следующими причинами:– симметричные активационные функции, типа гиперболического тангенса, обеспечивают более быструю сходимость, чем стандартная логистическая функция;– данная функция имеет простую и непрерывную первую производную. В задачах классификации целевые выходы типично являются бинарными (например, ± 1), т.е. целевые выходы устанавливаются по асимптотам активационной функции. Такой подход имеет несколько недостатков. Во-первых, результат обучения может быть нестабилен. Во-вторых, в случае если выходы насыщенные, сеть не дает уверенности в правильности классификации. Решение этих проблем состоит в том, чтобы заставить целевые выходы быть в пределах диапазона активационной функции. Установка целевых значений на грани максимума второй производной активационной функции – лучший способ использовать в своих интересах нелинейность, не насыщая активационную функцию. По этой причине в качестве активационной функции используется гиперболический тангенс y = 1,7159 tanh(2x/3). Она имеет максимальную вторую производную в точках ± 1, которые соответствуют используемым нами целевым значениям.Начальная инициализация синапсов нейронной сети имеет огромное влияние на количество итераций обучения. Синаптические коэффициенты должны быть выбраны случайно, но таким способом, чтобы активационная функция прежде всего активизировалась в своей линейной области. Для достижения данного эффекта необходимо согласование между нормализацией входных значений нейронной сети, выбором активационной функции и выбором начальных значений весовых коэффициентов. Таким образом, для выбранной активационной функции и выбранного метода нормализации входных данных в этой работе синаптические коэффициенты инициализировались следующим образом: значения весовых коэффициентов были выбраны случайным образом из нормального распределения с нулевым средним и стандартным отклонениемгде m – число связей, входящих в нейрон.Для ускорения сходимости процесса обучения в данной работе каждому синаптическому коэффициенту дана индивидуальная скорость обучения. Для автоматической подстройки скорости обучения на каждой итерации обучения использовался алгоритм подстройки скоростей.^ Третья глава посвящена созданию обучающей выборки, обучению нейронной сети с использованием алгоритма самонастройки и оптимизации ресурсных требований программной системы. Также в данной главе приводятся результаты тестирования системы на реальных изображениях с камер слежения.В п. 3.1 рассматривается процесс создания обучающей выборки и обучения нейронной сети.Качество обучения нейронной сети напрямую зависит от количества и качества примеров в обучающей выборке, а также от того, насколько полно эти примеры описывают данную предметную область.В качестве учебного набора используется большой набор изображений, полученных из различных источников.В процессе сбора лицевых изображений выполнялась задача: обеспечить нейронной сети эффективный набор изображений, представляющий широкий набор изображений, полученных в различных условиях съемки, тем самым давая системе информацию о реальных изображениях. В данной работе используется входное окно размером 32×36 пикселей, таким образом к входному окну добавляется некоторая вспомогательная информация: граница лица и некоторая часть фона. В процессе извлечения лиц не выполнялось какой-либо нормализации изображений, такой как выравнивание гистограммы или коррекция яркости. В итоге был создан основной набор, состоящий из 1531 изображения. Для создания большего количества примеров и увеличения степени инвариантности нейронной сети к небольшим поворотам к вышеупомянутому набору применялся ряд преобразований, включая отражение, вращение до ± 20.Сбор представительного набора нелицевых образов более труден, так как фактически любое изображение может принадлежать к классу нелицевых образов. Для решения данной проблемы была использована процедура самонастройки. Суть данного подхода заключается в том, что система многократно переобучается на ряде изображений, которые не содержат лиц. Перед началом процедуры самонастройки был построен начальный нелицевой набор. Большинство из этих изображений содержит части лиц, так как в ранних экспериментах было замечено, что этот вид изображений – серьезный источник ложных обнаружений. В итоге начальная нелицевая обучающая выборка состоит из 9700 изображений.Алгоритм обучения ^ Шаг 1. Начальная инициализация нейронной сети (инициализируются синапсы). Создаются начальные обучающие выборки.Шаг 2. Происходят начальная инициализация нейронной сети и инициализация управляющих переменных. Iteration − количество итераций процедуры самонастройки нейронной сети. FalseThreshold − порог ложных обнаружений при сканировании изображений пейзажа.^ Шаг 3. Онлайн-алгоритм обратного распространения с алгоритмом подстройки скоростей.Шаг 4. Сканирование изображений и выявление участков, в которых отклик сети больше, чем порог FalseThreshold (таким образом выявляются участки, которые потенциально могут стать источниками ложных обнаружений). Количество выявленных участков ограничивается 6 тыс.^ Шаг 5. Полученные на шаге 4 изображения добавляются к нелицевой обучающей выборке. Уменьшение порога FalseThreshold. Этими действиями к классифицирующим способностям нейронной сети предъявляются все более жесткие требования.Процесс обучения останавлива