УДК 004.93'1
Машинное зрение
Татьяна ВадимовнаПетрова, группа 4241/3
Машинноезрение — это применение компьютерного зрения для промышленности и производства.Областью интереса машинного зрения являются цифровые устройства ввода/вывода икомпьютерные сети, предназначенные для контроля производственного оборудования.Машинное зрение имеет некоторые преимущества перед зрением человека.Соответственно, актуально развивать это направление науки. В данном обзорерассказывается об истории развития машинного зрения, компонентах системымашинного зрения, применении машинного зрения и будущем данной области науки.
Введение
компьютерныймашинный зрение производственный
Основную частьинформации о внешнем мире человек получает по зрительному каналу и далее весьмаэффективно обрабатывает полученную информацию при помощи аппарата анализа иинтерпретации визуальной информации. Поэтому встает вопрос о возможностимашинной реализации данного процесса.
За счет возрастаниясложности решаемых научно-технических задач, автоматическая обработка и анализвизуальной информации становятся все более актуальными вопросами. Данныетехнологии используются в весьма востребованных областях науки и техники, такихкак автоматизация процессов, повышение производительности, повышение качествавыпускаемых изделий, контроль производственного оборудования, интеллектуальныеробототехнические комплексы, системы управления движущимися аппаратами,биомедицинские исследования и множество других. Кроме того, можно сказать, чтоуспех современного бизнеса основывается главным образом на качествепредлагаемой продукции. А для его обеспечения,если говорить о производстве материальных вещей, требуется визуальный контроль.
Далее мы будемиспользовать термин «машинное зрение» (Machine vision) как понятие, наиболееполно объемлющее круг инженерных технологий, методов и алгоритмов, связанных сзадачей интерпретации визуальной информации, а также как практическоеиспользование результатов этой интерпретации.
1. История развития машинного зрения
Компьютерное зрениеоформилось как самостоятельная дисциплина к концу 60х годов. Это направлениевозникло в рамках искусственного интеллекта в тот его период, когда еще былигорячи споры о возможности создания мыслящей машины. Оно выделилось из работ пораспознаванию образов. [Зуева, 2008]
Кратко история развитиямашинного зрения представлена на рисунке 1.
/>
Рис. 1. Историямашинного зрения
В истории развитиямашинного зрения можно выделить следующие этапы:
· 1955г. — профессор Массачусетского технологического института (МТИ) Оливер Селфриджопубликовал статью «Глаза и уши для компьютера». В ней автор выдвинултеоретическую идею оснащения компьютера средствами распознавания звука иизображения.
· 1958г. — психолог Фрэнк Розенблатт из Корнеллского университета создал компьютернуюреализацию персептрона (от perception — восприятие) — устройства, моделирующегосхему распознавания образов человеческим мозгом. Персептрон был впервыесмоделирован в 1958 году, причем его обучение требовало около получасамашинного времени на ЭВМ IBM-704. Аппаратный вариант — Mark I Perceptron — былпостроен в 1960 г. и предназначался для распознавания зрительных образов [Компьютерноезрение, 2010].
Однако рассмотрениезадач машинного зрения носило скорее умозрительный характер, так как нитехники, ни математического обеспечения для решения таких сложных задач еще небыло.
· 1960-егг.- появление первых программных систем обработки изображений (в основном дляудаления помех с фотоснимков, сделанных с самолетов и спутников), сталиразвиваться прикладные исследования в области распознавания печатных символов.Однако все еще существовали ограничения в развитии данной области науки, такиекак отсутствие дешевых оптических систем ввода данных, ограниченность идовольно узкая специализация вычислительных систем. Бурное развитие системкомпьютерного зрения на протяжении 60-х годов можно объяснить расширениемиспользования вычислительных машин и очевидной потребностью в более быстрой иэффективной связи человека с ЭВМ. К началу 60-х годов задачи компьютерногозрения в основном охватывали область космических исследований, требовавшихобработки большого количества цифровой информации.
· 1970-егг. — Лавренсе Робертс, аспирант МТИ, выдвинул концепцию машинного построениятрехмерных образов объектов на основе анализа их двумерных изображений. Наданном этапе стал проводиться более глубокий анализ данных. Начали развиватьсяразличные подходы к распознаванию объектов на изображении, напримерструктурные, признаковые и текстурные.
· 1979г. — профессор Ганс-Хельмут Нагель из Гамбургского университета заложил основытеории анализа динамических сцен, позволяющей распознавать движущиеся объекты ввидеопотоке.
· Вконце 1980-х годов были созданы роботы, способные более-менее удовлетворительнооценивать окружающий мир и самостоятельно выполнять действия в естественнойсреде
· 80-еи 90-е годы ознаменовались появлением нового поколения датчиков двухмерныхцифровых информационных полей различной физической природы. Развитие новыхизмерительных систем и методов регистрации двухмерных цифровых информационныхполей в реальном масштабе времени позволило получать для анализа устойчивые вовремени изображения, генерируемые этими датчиками. Совершенствование жетехнологий производства этих датчиков позволило существенным образом снизить ихстоимость, а значит, значительно расширить область их применения
· Сначала 90-х годов в алгоритмическом аспекте последовательность действий пообработке изображения принято рассматривать в согласии с так называемоймодульной парадигмой. Эта парадигма, предложенная Д. Марром на основедлительного изучения механизмов зрительного восприятия человека, утверждает,что обработка изображений должна опираться на несколько последовательныхуровней восходящей информационной линии: от «иконического» представленияобъектов (растровое изображение, неструктурированная информация) – к ихсимволическому представлению (векторные и атрибутивные данные вструктурированной форме, реляционные структуры и т. п.). [Визильтер и др.,2007]
· Всередине 90-х годов появились первые коммерческие системы автоматическойнавигации автомобилей. Эффективные средства компьютерного анализа движенийудалось разработать в конце XX века
· 2003г. — на рынок были выпущены первые достаточно надежные корпоративные системыраспознавания лиц.
2. Задачи машинного зрения и области его применения
2.1Определение понятия «машинное зрение»
Машинное зрение — этоприменение компьютерного зрения для промышленности и производства. Областьюинтереса машинного зрения, как инженерного направления, являются цифровыеустройства ввода/вывода и компьютерные сети, предназначенные для контроляпроизводственного оборудования, таких как роботы-манипуляторы или аппараты дляизвлечения бракованной продукции. [wikipedia,2010]
Machinevision is the study of methods and techniques whereby artificial vision systemscan be constructed and usefully employed in practical applications. As such, itembraces both the science and engineering of vision.
Itsstudy includes not only the software but also the hardware environment andimage acquisition techniques needed to apply it. As such, it differs fromcomputer vision, which appears from most books on the subject to be the realmof the possible design of the software, without too much attention onwhat goes into an integrated vision system (though modern books on computervision usually say a fair amount about the «nasty realities» ofvision, such as noise elimination and occlusion analysis). [Davies,2004]
2.2 Машинное зрение внастоящее время.
В настоящее времясуществует четкая граница между так называемым монокулярным и бинокулярнымкомпьютерным зрением. К первой области относятся исследования и разработки вобласти компьютерного зрения, связанные с информацией, поступающей от однойкамеры или от каждой камеры отдельно. Ко второй области относятся исследованияи разработки, имеющие дело с информацией, одновременно поступающей от двух и болеекамер. Несколько камер в таких системах используются для измерения глубинынаблюдения. Эти системы называются стереосистемами.
К настоящему моментутеория компьютерного зрения полностью сложилась как самостоятельный разделкибернетики, опирающийся на научную и практическую базу знаний. Ежегодно поданной тематике издаются сотни книг и монографий, проводятся десяткиконференций и симпозиумов, выпускается различное программное иаппаратно-программное обеспечение. Существует ряд научно-общественных организаций,поддерживающих и освещающих исследования в области современных технологий, втом числе технологии компьютерного зрения.
2.3. Основные задачимашинного зрения
В целом, в задачисистем машинного зрения входит получение цифрового изображения, обработкаизображения с целью выделения значимой информации на изображении иматематический анализ полученных данных для решения поставленных задач.
Однако машинное зрениепозволяет решать множество задач, которые условно можно разделить на четырегруппы (Рис.2) [Лысенко, 2007]:
/>
Рис.2. Задачи машинногозрения
· Распознавание положения
Цельмашинного зрения в данном применении — определение пространственногоместоположения (местоположения объекта относительно внешней системы координат)или статического положения объекта (в каком положении находится объектотносительно системы координат с началом отсчета в пределах самого объекта) ипередача информации о положении и ориентации объекта в систему управления иликонтроллер.
Примером такого приложения может служить погрузочно-разгрузочный робот, передкоторым стоит задача перемещения объектов различной формы из бункера.Интеллектуальная задача машинного зрения заключается, например, в определенииоптимальной базовой системы координат и ее центра для локализации центратяжести детали. Полученная информация позволяет роботу захватить деталь должнымобразом и переместить ее в надлежащее место.
• Измерение
Вприложениях данного типа основная задача видеокамеры заключается в измеренииразличных физических параметров объекта.
Примером физических параметров может служить линейный размер, диаметр,кривизна, площадь, высота и количество. Пример реализации данного задачи — измерение различных диаметров горлышка стеклянной бутылки.
• Инспекция
Вприложениях, связанных с инспекцией, цель машинного зрения — подтвердитьопределенные свойства, например, наличие или отсутствие этикетки на бутылке,болтов для проведения операции сборки, шоколадных конфет в коробке или наличиеразличных дефектов.
• Идентификация
Взадачах идентификации основное назначение видеокамеры — считывание различныхкодов (штрих-кодов, 2D-кодов и т. п.) с целью их распознавания средствамикамеры или системным контроллером, а также определение различныхбуквенно-цифровых обозначений. Кроме того к задачам данной группы можно отнестисистемы, выполняющие задачи безопасности, такие как идентификация личности итехники, детекторы движения.
Исходя из задач,которые решает машинное зрение, можно выделить множество областей применениямашинного зрения. Однако стоит отметить, что сегодняшняя структура спросаопределяется пока еще ограниченными возможностями современных систем машинногозрения.
Ниже приведена структурарыночного спроса по проектной тематике (Рис.3) [Бобровский, 2004]:
/>
Рис.3. Структурарыночного спроса
· 50%всех систем машинного зрения эксплуатируются в задачах контроля качества, т.е.решают инспекционные задачи машинного зрения. Это прежде всеговизуальный контроль за процессом сборки, цветом и качеством поверхностипродукции, внешним видом и чистотой упаковки, правильностью и разборчивостьюэтикеток, уровнем жидкости во всевозможной таре и т. д. Примерно 10% этих задачвыполняются системами трехмерного зрения. Отдельная область использования системмашинного зрения на производстве — проведение всевозможных визуальных измеренийпараметров технологических процессов и, в частности, определение размеровпредметов, т.е. решение задач измерения.
· 20%спроса приходится на системы машинного зрения для проектов автоматизациипроизводства и внедрения промышленных роботов. Такие системы машинного зрения упрощаютсамые разные виды высокоточной деятельности (сборка и разборка, фасовка,покраска, сварка, утилизация), облегчают транспортировку грузов, применяются всистемах учета, маркировки, регистрации и сортировки продукции. Также инспекционныезадачи и задачи расположения для правильной работы робота.
· 17%всех продаж систем машинного зрения составляют широко известные и хорошоработающие OCR/OCV-системы распознавания печатных символов и штрих-кодов. Решениезадачи идентификации.
· Рыноксистем машинного зрения для непроизводственных (развлекательных, бытовых,исследовательских) роботов составляет 13%.
2.4 Основные областиприменения машинного зрения
В статье Бобровского«Когда машины прозреют» [Бобровский, 2004]представлена следующая статистика областей, в которых востребованы системымашинного зрения:
· Небольшойпроцент рынка приходится на системы виртуальной реальности, предлагающиекачественно новый интерфейс «человек — компьютер», основанный нараспознавании лиц и жестов, на системы, обеспечивающие выполнение задачбезопасности, смысловой анализ мультимедийных данных и т.д.
· Востребованысистемы машинного зрения и в робототехнике. Эксперты полагают, что технологиимашинного зрения — самый простой способ научить аппараты автономным действиям вестественном мире.
· Существенныйспрос наблюдается со стороны сельскохозяйственных организаций, где необходима автоматизациядеятельности по визуальному контролю и сортировке продуктов, однако покасистемы машинного зрения показывают в данной области неудовлетворительныерезультаты.
· Отмечаетсярост интереса к системам машинного зрения со стороны нанотехнологических фирм, биотехнологическихкомпаний и в сфере медицины (автоматический анализ медицинских изображений –рентген, томография, УЗИ)
· Востребованомашинное зрение и в области охранных систем (идентификация личности, детекторыдвижения, распознавание и отслеживание движущихся объектов, распознаваниеавтомобильных номеров и т.д.);
· Системымашинного зрения востребованы в области контроля качества и инспекции продуктовпитания (в настоящее время оценка качества бисквитов на кондитерской линииосуществляется со скоростью 60 пирожных в секунду), а также в областивизуального контроля и управления (учет, считывание штрих-кодов).
· Машинноезрение применяется в системах распознавания рукописного и печатного текста.
3. Техническая составляющаямашинного зрения
3.1 Методы обработкиизображения
В системах машинногозрения, для решения перечисленных задач, используются различные технологии иметоды. Ниже перечислены основные методы обработки изображения:
· Счетчик пикселей: подсчитывает количествосветлых или темных пикселей и на основе результата делает необходимые выводы обизображении.
· Выделение связанных областей:Связная область изображения – это, с одной стороны, тип объекта, все еще оченьблизко связанный с растровым изображением, и в то же время – это уже некаясамостоятельная семантическая единица, позволяющая вести дальнейшийгеометрический, логический, топологический и любой другой анализ изображения
· Бинаризация: преобразуетизображение в серых тонах в бинарное (белые и черные пиксели).
· Гистограмма и гистограммная обработка: Гистограммахарактеризуетчастоту встречаемости на изображении пикселей одинаковой яркости.
· Сегментация: используется дляпоиска и/или подсчета деталей. Сегментацией изображения называется разбиениеизображения на непохожие по некоторому признаку области. Предполагается, чтообласти соответствуют реальным объектам, или их частям, а границы областейсоответствуют границам объектов.
· Чтение штрих-кодов: декодирование1D и 2D кодов, разработанных для считывая или сканирования машинами
· Оптическое распознавание символов: автоматизированноечтение текста, например, серийных номеров
· Измерение: измерение размеровобъектов в дюймах или миллиметрах
· Сопоставление шаблонов:поиск, подбор, и/или подсчет конкретных моделей
· Инвариантные алгоритмысопоставления точечных особенностей на изображениях: обнаружения исопоставление точечных особенностей на изображениях.
· Методы идентификация личности по радужной оболочкеглаза
· Различные методы восстановления формы объекта поизображениям
В большинстве случаев,системы машинного зрения используют последовательное сочетание этих методовобработки для выполнения полного инспектирования. Например, система, котораясчитывает штрих-код может также проверить поверхность на наличие царапин илиповреждения и измерить длину и ширину обрабатываемых компонентов.
3.2 Компонентысистемы
Типовая системамашинного зрения состоит из одной или нескольких цифровых илианалоговых камер (черно-белые или цветные) с подходящей оптикой для полученияизображений, подсветки и объекта (рис. 4), оборудования ввода/вывода или каналысвязи для доклада о полученных результатах. Кроме того, важна и программнаясоставляющая систем машинного зрения, а именно программное обеспечение дляподготовки изображений к обработке (для аналоговых камер это оцифровщикизображений), специфичные приложения программного обеспечения для обработкиизображений и обнаружения соответствующих свойств.
/>
Рис.4. Состав типовойсистемы машинного зрения
Матрица чувствительныхэлементов, входящих в состав видеокамеры, предназначена дляполучения цифрового изображения. В состав матрицы чувствительного элементавходит множество аналого-цифровых преобразователей, предназначенных дляпреобразования информации о световой интенсивности в цифровое значение.
Объективпозволяет камере фокусироваться на определенном расстоянии и получать четкоеизображение объекта. В случае, когда объект находится вне фокусного расстояния,изображение получается нерезким (размытым, с нечеткими краями), что ухудшаетвозможность обработки видеоряда. В отличие от обычных цифровых фотоаппаратов собъективами, поддерживающими функции автофокусировки, в машинном зренииприменяется оптика с фиксированным фокусным расстоянием или ручной настройкой фокуса.Существуют различные типы объективов для самых разных задач (стандартные,телескопические, с широким углом обзора, с увеличением и другие), и выборправильного типа оптики — важный этап при проектировании системы машинногозрения.
Подсветка — еще один важный элемент в машинном зрении. Благодаря использованию различныхтипов освещения можно расширить круг задач, решаемых машинным зрением.Существует различные типы подсветок, но наиболее популярным являетсясветодиодная — в связи с ее высокой яркостью. При этом современный уровеньразвития светодиодной техники обеспечивает большой срок службы устройства ималое энергопотребление.
3.3. Принципыфункционирования систем машинного зрения
Последовательность действий,выполняемых системой машинного зрения, можно представить в следующем виде:
/>
Рис.5.Последовательность действий системы машинного зрения
Изображение, полученноес камеры, попадает в захватчик кадров или в память компьютера. Захватчик кадров- это устройство, которое преобразует выходные данные с камеры в цифровойформат (как правило, это двумерный массива чисел) и размещает изображения впамяти компьютера, так чтобы оно могло быть обработано с помощью программногообеспечения для машинного зрения.
Программноеобеспечение, как правило, совершает несколько шагов для обработки изображений.Часто изображение для начала обрабатывается с целью уменьшения шума иликонвертации множества оттенков серого в простое сочетание черного и белого(бинаризации). После первоначальной обработки программа будет считать,производить измерения и/или определять объекты, размеры, дефекты и другиехарактеристики изображения. В качестве последнего шага, программа пропускаетили забраковывает деталь в соответствии с заданными критериям. Если деталь идетс браком, программное обеспечение подает сигнал механическому устройству дляотклонения детали; другой вариант развития событий, система может остановитьпроизводственную линию и предупредить человека работника для решения этойпроблемы, и что привело к неудаче. Хотя большинство систем машинного зренияполагаться на «черно-белые» камеры, использование цветных камер становится всеболее распространенным явлением. Кроме того, все чаще системы машинного зренияиспользуют цифровые камеры прямого подключения, а не камеры с отдельнымзахватчиком кадров, что сокращает расходы и упрощает систему.
4. Смежные области
Машинноезрение относится к инженерным автоматизированным системам визуализации впромышленности и на производстве, и в этом качестве машинное зрение, связано ссамыми разными областями компьютерных наук: компьютерное зрение, оборудованиядля управления, базы данных, сетевые системы и машинное обучение.
Не стоитпутать машинное и компьютерное зрения. Компьютерное зрение является более общейобластью исследований, тогда как машинное зрение является инженернойдисциплиной связанной с производственными задачами.
Рассмотрим подробнеесмежные науки и их взаимодействие с машинным зрением.
4.1. Компьютерноезрение
Компьютерное зрениепредставляет собой научную дисциплину, изучающую теорию и базовые алгоритмыанализа изображений и сцен.
Машинное зрениеследуетрассматривать как гораздо более комплексную и технологическую область научных иинженерных знаний, охватывающую все проблемы разработки практических систем:выбор схем освещения исследуемой сцены, выбор характеристик датчиков, ихколичества и геометрии расположения, вопросы калибровки и ориентирования, выборили разработка оборудования для оцифровки и процессорной обработки, разработкасобственно алгоритмов и их компьютерная реализация – то есть весь кругсопутствующих задач.
Кроме того, фигурируеттакое понятие как зрение роботов. Это более узкая область технологий машинногозрения, а именно часть, которая обеспечивает функционирование систем машинногозрения в условиях жестких временных ограничений. Например, оборудуя роботовнового поколения мобильными камерами и алгоритмами стереовидения, многиекомпании работают над созданием интеллектуальных роботов, способных не толькосвободно ориентироваться в квартире и узнавать своих хозяев, но и выполнятьопределенные задачи по дистанционно подаваемым командам.
4.2. Обработка и анализизображений
Обработкаизображений - любая форма обработки информации, для которой входные данныепредставлены изображением, например, фотографиями или видеокадрами. Обработкаизображений может осуществляться как для получения изображения на выходе, так идля получения другой информации (например, распознание текста, подсчёт числа итипа клеток в поле микроскопа и т. д.). Кроме статичных двухмерныхизображений, обрабатывать требуется также изображения, изменяющиеся современем, например видео.
Впоследнее время традиционный термин «обработка изображений» чащеупотребляется не как обозначение научной дисциплины, а как указатель на предметнуюобласть. Наметилась также тенденция использования этого термина для обозначенияобработки нижнего уровня, когда результатом обработки изображения сноваявляется изображение. В то же время термин «понимание изображений»употребляется для обработки верхнего уровня.
Цифроваяфотограмметрия, бурно развивающаяся в последние годыдисциплина, пришла на смену аналитической фотограмметрии. В то время как классическаяаналитическая фотограмметрия изучала в основном метрические соотношения междуточками снимков и реальной сцены, современная цифровая фотограмметрия ставитсамые сложные задачи анализа и 3D'описания сцены по видеоданным оптических сенсоров.Цифровая фотограмметрия концентрируется прежде всего не на вопросах «понимания»сцены или обнаружения объектов, а на вопросах высокоточного измерения различныхее элементов и реконструкции форм трехмерных поверхностей с использованиемстерео и многокамерной съемки, а также специального структурированногоподсвета.
4.3.Машинное обучение
Машинноеобучение -обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов,способных обучаться. Целью машинного обучения является частичная или полнаяавтоматизация решения сложных профессиональных задач в самых разных областяхчеловеческой деятельности. Машинное обучение имеет широкий спектр приложений,среди которых есть приложения распознавания изображений — область, которойзанимается машинное зрение.
5.Наиболее интересные примеры систем машинного зрения
5.1.Видеонаблюдение
Автоматическиеи автоматизированные системы видеонаблюдения являются одной из ключевыхсоставляющих современных комплексных систем безопасности. Задачавидеонаблюдения подразумевает визуальный контроль заданной области пространствапри помощи одной или нескольких видеокамер, позволяющий сохранять ипросматривать цифровые видеоданные, а также постоянно оценивать состояниеконтролируемой территории, выделяя так называемые охранные события.
Охранноевидеонаблюдение сегодня имеет два самых важных направления развития — полныйпереход на цифровые системы видеонаблюдения и развитие функций видеоаналитики.Цифровое (IP) видеонаблюдение предполагает отказ от аналоговых камер и средствпередачи данных. Видеоаналитика представляет развитие функций системвидеонаблюдения, позволяя сократить объем регистрируемых данных.
Современнаясистема видеонаблюдения включает в себя значительное количество различныхтехнологий компьютерного зрения. Технология интеллектуального видеонаблюдениядолжна включать следующие основные элементы и программно-алгоритмическиемодули:
• визуальныедатчики различного типа для дистанционного видеонаблюдения
• средствараспределенного сбора информации, сжатия, обработки и передачи цифровойвидеоинформации по локальным и глобальным сетям в реальном времени
• автоматическоевыделение объектов интереса (люди, транспортные средства, другие объекты)
· автоматическоеслежение за движущимися объектами в зоне наблюдения
· биометрическоераспознавание персонала, биометрический контроль доступа в критические зоны объектанаблюдения
• автоматическуюидентификацию транспортных средств, грузов и оборудования на основераспознавания идентификационных меток (регистрационных номеров, штриховыхкодов, других технологических маркировок)
• методыоценки сценариев поведения наблюдаемых объектов и групп объектов
• формирование«тревожных» сообщений оператору в случае реализации неблагоприятных илинестандартных сценариев развития событий в зоне видеонаблюдения
· программно-аппаратныесредства для реализации методов и алгоритмов сбора и обработки видеоинформации.
Рассмотримряд примеров создания систем видеонаблюдения и их элементов.
5.1.1.Система обнаружения и сопровождения движущихся объектов по признаку их движения
Технологиядетектирования движения в поле зрения камеры, или motion detection, стала однойиз первых коммерческих технологий на потребительском рынке Web-камер [Морзеев,2002]. Принцип работы технологии очень простой, поскольку предполагается,что камера неподвижна, а следовательно, неподвижен и фон. Движутся толькообъекты. Хотя существуют и такие технологии, которые позволяют детектироватьдвижущиеся объекты на движущемся фоне.
Разработаннаяв ИИТ (Институт информационных технологий) система предназначена дляавтоматического выделения и сопровождения малоразмерных объектов по признаку ихдвижения на изображениях, получаемых с подвижной видеокамеры.
Система,реализованная на базе персонального компьютера, осуществляет ввод свидеокамеры, визуализацию и обработку цифровых изображений движущихся сцен вреальном времени. Система производит оценку и компенсацию общего сдвигаизображения сцены, происходящего за счет собственного относительного движенияприемника изображения, а также выделение движущихся малоразмерных объектов попризнаку их движения и одновременное сопровождение движения несколькихобнаруженных объектов. На рис.6 показаны: слева – кадр видеопоследовательностис выделенными движущимися объектами; справа – стадии выделения движущихсяобъектов.
/>
Рис.6.Выделение движущихся объектов сцены наблюдения
Усистем обнаружения и сопровождения движущихся объектов могут быть различныефункции, такие как:
• обнаружениеновых объектов сцены наблюдения;
• обнаружениепропавших объектов сцены наблюдения;
• регистрацияновой сцены наблюдения;
• контрольотсутствия сдвигов камеры относительно сцены наблюдения.
5.1.2.Система считывания регистрационных номеров автомобилей
Какуже говорилось, одной из функций систем видеонаблюдения является считываниеидентификационных меток объектов, прежде всего – номеров транспортных средств,пересекающих зону наблюдения.
Однимиз типовых приложений такого рода является разработанная в ИИТ системавыделения и распознавания номерных знаков автомашин в потоке на автомагистрали.Система считывания автомобильных номеров реализована на базе системывидеонаблюдения «Интеллект» фирмы ITV и внедрена на ряде зарубежныхавтомобильных трасс [Визильтер и др., 2007].
Функциисистемы:
•регистрация появления автомобиля (подсчет автомобилей);
•выделение номерного знака;
•распознавание символов номерного знака;
•сохранение распознанного номера в базе данных.
5.2Биометрия
Впоследние годы во всем мире наблюдается все возрастающий интерес к методам распознаванияи идентификации личности. Основные пути и способы решения этих задач лежат вобласти разработки биометрических систем. В биометрических системах дляраспознавания человека используется совокупность биометрических характеристик,основанных на биологических особенностях человеческого тела. В качестве такихбиометрических характеристик могут выступать голос, почерк, отпечатки пальцев,геометрия кисти руки, рисунок сетчатки или радужной оболочки глаза, лицо и ДНК.
Биометрическаязащита более эффективна в сравнении с такими методами, как использованиепаролей, PIN-кодов, смарт-карт поскольку биометрия позволяет идентифицироватьименно конкретного человека, а не устройство. Традиционные методы защиты неисключают возможности потери или кражи информации, вследствие чего онастановится доступной незаконным пользователям. Уникальный биометрическийидентификатор, каковым является, например, отпечаток пальца или изображениелица, служит ключом, который невозможно потерять.
Биометрическаясистема безопасности позволяет отказаться от парольной защиты либо служит дляее усиления. Одной из основных причин, которые существенно повысили значимостьавтоматической обработки и анализа биометрической информации, явилось повышениетребований к функциональным возможностям автоматических систем безопасности,расположенных в общественных местах (вокзалы, супермаркеты и т. п.)
Рассмотримнесколько примеров биометрических приложений, встречающихся на практике.
5.2.1.Система обнаружения и распознавания лиц
ВИИТ разработана технология обнаружения и распознавания лиц по двумерным изображениям,включающая три основных модуля:
•детектирование(обнаружение) лиц;
•индексация(кодирование и последующий быстрый поиск лиц в базе);
•идентификациялиц.
Модулиприменяются последовательно. Выделенные на текущем кадре изображения лицпоступают в систему индексации, которая в ответ указывает заданное количество«кандидатов» из хранящейся базы изображений лиц, наиболее похожих на текущееизображение. После этого процедура идентификации обрабатывает изображения лицнайденных кандидатов с целью их точного распознавания. Такой подход позволяетосуществлять полнофункциональную работу с «живым» видеопотоком с цельювыделения и распознавания лиц по значительным объемам банков изображений врежиме, близком к режиму реального времени.
Нарисунке 7 показаны составляющие описанной выше технологии обнаружения ираспознавания лиц.
/>
Рис.7.Система обнаружения и распознавания лиц
Показаны:текущее видеоизображение (слева вверху), результат выделения лица (справа вверху);результат поиска в индексированной базе изображений лиц (второй ряд изображений– найденные «кандидаты», среди которых могут быть и ложные); результат окончательнойидентификации лица (третий ряд изображений – показаны только «кандидаты»,успешно прошедшие идентификацию).
5.2.2.Система распознавания жестов руки человека
Распознаваниежестов представляет собой обширную область приложений компьютерного зрения. Под«жестами» в широком смысле понимаются любые движения человеческого тела. Вузком смысле обычно подразумеваются некоторые характерные движения рукчеловека, имеющие в определенной предметной области какие-либо определенныесемантические значения. Распознавание жестов может использоваться дляпостроения различного рода человеко-машинных интерфейсов, управления различнымитехническими средствами и системами виртуальной реальности.
Вкачестве простого примера можно рассмотреть систему распознавания жестов рукичеловека по изображениям от черно-белой видеокамеры низкого разрешения (рис.8).Система не требует предварительного обучения и устойчиво различает до 10различных жестов
/>
Рис.8.Простой пример системы распознавания жестов
5.3Медицинские приложения
Особоеместо в области разработки систем компьютерного зрения занимают задачимедицинской диагностики. Основные задачи, которые должны решать здесь данныетехнологии, следующие: задача измерения объектов на рентгенограммах,компьютерных томограммах и современных цифровых ультразвуковых приборах, задачаулучшения визуализации, задача восстановления трехмерных форм объектов.Наиболее современной и бурно развивающейся в области разработки медицинскихдиагностических приложений можно считать технологию, связанную с определениемстепени алкогольного и наркотического опьянения на основе анализа реакциизрачка пациента.
5.3.1.Системы для компьютерного анализа томографических изображений
Присоздании систем анализа томографических изображений общего назначения основнойакцент делался на разработку процедур автоматической и полуавтоматическойсегментации изображений. Реализованная схема алгоритма сегментации включает:
•первичнуюгистограммную сегментацию методом статистического выделения мод;
•формированиесвязных областей с заданными характеристиками методом слияния/разбиения.
Специальноразработанный для данного класса задач метод статистического выделения модпозволяет оценивать количество и степень выраженности мод гистограммы (рис.9),опираясь на соответствующий график статистической производной.
/>
Рис.9.Пример автоматического разделения мод на гистограмме
Методслияния/разбиения связных областей использует полученную на первом этаперазметку пикселей изображения в качестве стартового приближения, после чегопроисходит процесс итеративной релаксации с целью минимизации заданнойэнергетической функции. Алгоритм сегментации может быть использован как вавтоматическом, так и в полуавтоматическом режиме. В этом случае врач-операторможет инициализировать процесс сегментации интересующих его объектов путемуказания интересующих его точек.
6. Будущее машинногозрения.
6.1. Достоинства инедостатки систем машинного зрения
Главным недостатком системмашинного зрения, заметно ограничивающим рост их рынка, считается отсутствиеединых стандартов на оборудование и программные интерфейсы. Пользователи системпостоянно жалуются на невозможность использовать системы разных производителей,а интеграционные продукты в этой области стоят недешево. Кроме того, по мереулучшения качества сканируемого изображения будет расти нужда в эффективномсистемном ПО для быстрого захвата видеоданных, их очистки, сжатия и хранения. Еслисо временем такие функции будут реализованы аппаратно, можно предсказать ростспроса на встраиваемые системы машинного зрения.
Многообещающей выглядитконцепция мультиспектральных систем машинного зрения, обрабатывающихизображения не только в области видимого человеком спектра, но и получаемых спомощью радарных или лазерных установок, а также инфракрасных камер (естьпримеры применения систем машинного зрения при распознавании тепловых полейлюдей в охранных системах и при анализе качества горячих булочек в кондитерскойпромышленности). Основная помеха на этом пути развития машинного зрения — дороговизна и сложность эксплуатации соответствующих датчиков.
Продолжительна и сложнапроцедура калибровки систем машинного зрения при настройке на определеннуюпредметную область. Нередко она требует значительного времени и вычислительныхресурсов для обучения нейронной сети. Прикладное ПО также нередко отличаетсянеудобным интерфейсом, а перенастройка системы на новую номенклатуру, да еще вреальном масштабе времени, на чем нередко настаивает пользователь, чаще всегоневозможна. Покупателям же уже нужны системы, способные анализировать продукциюна конвейере не поштучно, а разом — осматривая все, что находится в данныймомент времени на ленте, и мгновенно оценивая состояние всех изделий.
Ощущается нехваткахороших математических алгоритмов, ориентированных на компьютеры с высокойпроизводительностью и поддерживающих параллельную обработку. Остается поканерешенной проблема распознавания схожих, но по-разному освещенных объектов, ивряд ли с ней удастся справиться в обозримом будущем.
Негативно сказываютсяна рынке завышенные ожидания потребителей, не очень высокая прибыльность ужесуществующих систем, небольшое число хороших продуктов, а также возможностьрешать производственные задачи другим путем — без систем машинного зрения, спомощью дешевого персонала.
Но все эти проблемывременные. Ведущие поставщики уже договариваются о единых стандартах, для чегопланируется создать общедоступный репозиторий знаний и типовых шаблоновпродуктов, определить программные интерфейсы, а также выработать соглашение поязыкам описания и представления данных систем машинного зрения [Бобровский,2004].
Интерес к системаммашинного зрения во многом поддерживается успехами машин в тех областях, гдеони намного превосходят человека по своим возможностям. Так, компьютер способенвыявлять в изображении тысячи градаций серого и различать миллионы цветов, оченьбыстро решать типовые и хорошо формализуемые задачи распознавания и определятьмелкие детали изображений. А растущая вычислительная мощь дешевых процессоровстимулирует выпуск общедоступных бытовых и промышленных «зрячих»роботов, управляемых обычным ПК.
Производителиэлектронных систем безопасности рассчитывают научить системы машинного зренияавтоматической классификации объектов. Хорошая система будет выявлять ввидеоизображении все виды автомобильной техники и определять их марки,отыскивать в толпе конкретных людей, отслеживать траектории перемещенияотдельных лиц и даже движения частей их тел, предсказывая возможное поведение,и т. д.
Мэтт Аллен,руководитель направления из компании Microscan, так описывает достоинствасистем машинного зрения: «Сегодняшние технологии оперативных поставок ипроизводства по заказу превратили информацию в один из самых ценных активовкомпании. Системы машинного зрения являются основой, позволяющей осуществлятьавтоматизацию многих производственных процессов. В качестве средств сбораданных системы машинного зрения используются в таких областях, каквысокоскоростная сортировка, контроль качества продукции и слежение за ходомработ».
6.2 Будущее машинногозрения
Машинное зрение имеетвсе шансы превзойти человеческое в ближайшие десять лет. Уже сейчас роботывидят сквозь стены и на километры вперед. Последний бастион — расшифровкавидеоинформации — скоро падет. В строй встанут роботы-автомобили, роботы-поездаи роботы-самолеты. А еще — доктора, скальпель которых никогда не сорвется, азоркий глаз вовремя заметит артерию.
Остается надеяться, чтолюди сумеют направить мощь машинного зрения в верное русло, а не станут вспешном порядке конструировать терминаторов [Талан, 2007].
У систем машинногозрения достаточно хорошие перспективы. Идеальная система машинного зрения будетполностью построена на цифровых технологиях, станет использоватьинтеллектуальные камеры и недорогое оборудование, реализующее наборстандартизованных функций обработки и распознавания изображений. Ключевым в ееуспехе будет, конечно, удобная интеллектуальная программная среда, способнаягибко и быстро настраиваться на произвольную предметную область, допускающаядинамическое расширение функциональных возможностей и легко стыкующаяся стехнологической аппаратурой.
По мнению ХирохисыХирукавы, исследователя из Национального института перспективных научныхисследований и технологий, производство роботов в XXI веке может статькрупнейшей отраслью промышленности - подобно производству автомобилей в XXстолетии. При этом уже к 2025-му, в крайнем случае к 2050 году стоит ожидатьмассового распространения роботов, служащих для выполнения домашних работ[Морзеев,2002].
Боб Таплетт,руководитель проектного отдела компании Microscan, говорит следующее:«Полагаю, можно утверждать, что в будущем системы машинного зренияпревратятся в системы сбора данных. Считыватели штрих-кодов уйдут в прошлое, ив значительной мере это будет обусловлено тем, что системы машинного зренияспособны решать гораздо больший круг задач».
Заключение
Машинное зрениедостаточно неоднозначная тематика. С одной стороны, в этой области полученывпечатляющие результаты и решены многие поставленные задачи. Системы машинногозрения справляются с автоматизацией производства, видеонаблюдением, анализоммедицинских снимков. С другой стороны, машинному зрению все еще далеко дочеловеческого. Многие высоты достигнуты, многие еще впереди. Поэтому существуетдва взгляда на развитие машинного зрения. Одни говорят, что машины достигнутнебывалых высот и разовьют огромную мощь, опередят человека. Другие утверждают, что машины никогда не превзойдут человека и машинное зрение так иостанется непригодным для решения некоторых проблем, где необходимовмешательство человека.
Несовершенствомашинного зрения обусловлено отчасти техническими причинами, однако идет бурноеразвитие информационных технологий и находится все больше решений техническихпроблем.
Системы машинногозрения становятся все более актуальны, так как призваны решать наиболееактуальные проблемы человечества, такие как безопасность, медицинские вопросы,вопросы качества продукции.
Список литературы
· [Бобровский, 2004] БобровскийС. «Когда машины прозреют» — www.pcweek.ru/themes/detail.php?ID=66663&sphrase_id=12198
· [Визильтер и др., 2007]Визильтер Ю. В., Желтов С. Ю., Князь В. А., Ходарев А. Н., Моржин А. В.Обработка и анализ цифровых изображений с примерами на LabVIEW IMAQVision. – М.: ДМК Пресс,2007.
· [Зуева, 2008] Зуева Е.Ю.«Компьютерное зрение в ИПМ им. В.М. Келдыша РАН – история развития» — www.keldysh.ru/papers/2009/art04/Zueva_09.htm
· [Катыс, 1990] Катыс Г.П.Обработка визуальной информации. – М.: Машиностроение, 1990г.
· [Компьютерное зрение ]Компьютерное (машинное) зрение (computer vision) es-prof.com/m_mvision.php
· [Лысенко, 2007] Лысенко О.Машинное зрение от SICK/IVP // Компоненты и технологии. 2007. № 1
· [Морзеев, 2002] Морзеев Ю.«Зачем компьютеру зрение» — www.compress.ru/article.aspx?id=10656&iid=434
· [Талан, 2007] Талан А.Перспективы машинного зрения, 2007 — www.mirf.ru/Articles/art2170.htm
· [Davies, 2004] DaviesE. R. Machine Vision: Theory, Algorithms, Practicalities. Academic Press,2004.
· [Computer Vision, 2010]Computer Vision — www.graphicon.ru/oldgr/ru/library/cv/cv_intro.html
· [Wikipedia,2010] Машинное зрение — en.wikipedia.org/wiki/Machine_vision