Методы и средства цифровой коррекции изображения в оптико-электронных системах визуализации

МЕТОДЫ И СРЕДСТВА ЦИФРОВОЙ КОРРЕКЦИИ ИЗОБРАЖЕНИЯ В ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМАХ ВИЗУАЛИЗАЦИИ Автореферат диссертация на соискание ученой степени кандидата технических наук Общая характеристика работы Актуальность. Одной из наиболее явных тенденций развития современных оптико-электронных систем визуализации, и, в частности, тепловизионных, является использование в их составе матричных приемников излучения.

В последние годы все большее распространение в таких системах находят неохлаждаемые болометрические матричные приемники (микроболометры). Микроболометры, как правило, не требуют криогенной системы охлаждения, и, следовательно, тепловизионный модуль имеет меньшие энергопотребление, габариты и массу. Производство микроболометрических матриц на основе оксида ванадия или на кремниевой основе значительно дешевле, чем охлаждаемых фотоприемников. Однако, применение матричных приемников излучения, в частности,

микроболометрических, ведет к необходимости учета и компенсации ряда факторов, связанных с дискретностью структуры приемника, заметно влияющих на качество получаемых изображений. К ним относятся искажения из-за дискретизации изображения наблюдаемой сцены, из-за неоднородности параметров и характеристик отдельных чувствительных элементов матричных приемников. К недостаткам микроболометрических матриц относится также высокий уровень шума.

Развитие современной микроэлектроники позволяет успешно внедрять методы коррекции изображения электронными средствами, в первую очередь, цифровые, основанные на использовании многоэлементных матричных приемников излучения и цифровых компонентов (аналого-цифровые и цифро-аналоговые преобразователи, интегральные схемы), осуществляющие обработку видеоизображения, полученного в оптико-электронной системе в реальном масштабе времени. Наибольшие успехи в этой области связаны с широким распространением цифровой аппаратуры

видео- и фотосъемки, а также с развитием алгоритмов сжатия для передачи в сетях информационной коммуникации и хранения видеоданных. Возможность хранения цифрового изображения в памяти позволяет производить совмещение двух изображений, стабилизацию, построение панорамного изображения и другие операции. Рис. 1. Обобщенная структурная схема современной тепловизионной системы «смотрящего» типа с микроболометрической матрицей На рис. 1 приведена обобщенная структурная схема современной тепловизионной системы «смотрящего»

типа с микроболометрической матрицей. Применяемые микроболометрические матрицы снабжены системой поддержания температуры на подложке чувствительных элементов. Параметры работы матрицы (уровень сигнала, чувствительность, внутренняя температура) задаются набором входных напряжений, поступающих с блока управления и питания матрицы. Для проведения калибровки предусмотрен узел шторки, расположенный между объективом и матрицей. В некоторых системах предусмотрена система фокусировки по получаемому изображению.

Микроболометрическая матрица формирует аналоговый сигнал, который в дальнейшем оцифровывается на АЦП. Блок цифровой обработки сигнала производит обработку оцифрованного сигнала для дальнейшего его представления на встроенном дисплее или на внешнем устройстве отображения. В данной диссертации блок цифровой обработки сигнала построен на базе программируемой логической интегральной схемы (ПЛИС), либо на базе цифрового сигнального процессора (Digital

Signal Processor DSP). Настройка и управление системой производится либо с пульта управления, либо с ПК через стандартные интерфейсы. Требования к результатам цифровой обработки тепловизионного изображения, получаемого с микроболометрических матриц, очень часто аналогичны требованиям, предъявляемым к телевизионному изображению, несмотря на то, что качество изображений, получаемых с микроболометрических матриц, хуже, чем с фотоприемных матриц, работающих в видимом диапазоне.

Цифровой обработке изображений в отечественной и зарубежной литературе посвящено большое число работ (У. Прэтт, Р. Гонсалес, Р. Вудс, Б. Яне, Д.А. Форсайт, Ж. Понс, С. Уэлстид, Д.С. Лебедев, В.А. Сойфер, И.И. Цуккерман, Л.П. Ярославский и многие другие). Тем не менее, развитые сегодня методы цифровой обработки изображения, используемые в видео- и фототехнике, применительно к неохлаждаемым тепловизионным системам

нуждаются в существенном совершенствовании, что связано со сравнительно большой неоднородностью параметров и характеристик матричных микроболометров, нелинейностью их характеристик, высоким уровнем шумов и, как правило, низким контрастом самой сцены. Необходимость коррекции и ослабления влияния этих факторов на видеоизображение и определяет актуальность темы диссертации. Целью работы является разработка алгоритмов цифровой обработки, позволяющих улучшить качество тепловизионого

видеоизображения, получаемого при помощи микроболометрической матрицы. Для достижения этой цели решались следующие задачи: анализ и совершенствование методов компенсации неоднородности параметров и характеристик элементов микроболометрической матрицы; разработка алгоритмов компенсации шумов и образования высококонтрастных изображений, получаемых с помощью микроболометрической матрицы; разработка метода определения взаимного сдвига, масштабирования и поворота двух кадров видеоизображения.

Методы исследования. Все разработанные методы и алгоритмы были предварительно протестированы на персональных компьютерах. В качестве тестовых видеоданных применялись необработанные цифровыми методами видеопоследовательности, записанные после оцифровки с микроболометрической матрицы тепловизора. После тестирования на персональном компьютере алгоритм переносился на тепловизионные системы, разработанные в ОАО «ЦНИИ «Циклон». Для реализации использовались либо язык

C и C++ в среде программирования Texas Instruments Code Composer Studio для DSP-процессоров TMS320C6200 и TMS320C6400, либо язык Verilog HDL в среде Xilinx ISE для ПЛИС Xilinx XC2S200 и XC2VP4. Научная новизна результатов диссертационных исследований состоит в следующем: обосновано применение трехточечной многотабличной калибровки для существенного улучшения качества изображения

в тепловизионных системах на основе микроболометрических матриц; построена система алгоритмов (замещения дефектных элементов матрицы, компенсации шумов, повышения контраста, автофокусировки), использующая результаты применения общего для всех них фильтра, что позволяет оптимизировать вычислительный процесс; обнаружено наличие искажений равномерности по всему кадру дисперсии шумов после геометрических преобразований (масштабирование, поворот) равномерно зашумленных белым шумом изображений; разработан быстрый алгоритм

автоматической регулировки уровней яркостей, который эффективен в случае обработки изображений с широким диапазоном яркостей; разработан алгоритм поиска и коррекции геометрического рассогласования двух кадров для произвольного угла их взаимного поворота. Практическая ценность работы состоит в том, что в целях улучшения качества изображения на выходе тепловизионых систем «смотрящего» типа, использующих микроболометрические матрицы, разработана и реализована целостная система алгоритмов цифровой обработки видеоизображения.

Основные положения, выносимые на защиту: многотабличная трехточечная калибровка в тепловизионных системах с микроболометрами позволяет обеспечивать требуемое качество изображения в широком диапазоне температур наблюдаемых сцен; для реализации ряда алгоритмов (замещения дефектных элементов матрицы, компенсации шумов, повышения контраста и автофокусировки) возможно использование общего фильтра размытия; для компенсации искажений равномерности дисперсии шумов по кадру после геометрических преобразований (масштабирование,

поворот) равномерно зашумленных белым шумом изображений возможно использовать предложенный метод, основанный на использовании фильтра размытия; предложенный быстрый алгоритм автоматической регулировки уровней яркостей эффективен в случае обработки изображений с широким диапазоном яркостей; используя алгоритм, основанный на сборе статистики по окружностям на изображении, можно найти геометрическое рассогласование двух кадров для произвольного угла их взаимного поворота;

Апробация работы. Основные положения докладывались на научно-практических конференциях международных форумов «Оптика-2006» и «Оптика-2007» и на международном форуме «Научная сессия МИФИ-2007» (12 докладов). Реализация алгоритмов была осуществлена на тепловизионных системах, разработаных в ОАО «ЦНИИ «Циклон» на базе DSP-процессора TMS320C6400 и ПЛИС Xilinx XC2S200, XC2VP4. Публикации. По результатам диссертационной работы опубликовано 7 научно-

технических статей, из них одна в журнале, включенном в перечень ВАК. Достоверность полученных в работе алгоритмов подтвердилась в процессе проводимых исследований и испытаний в ОАО «ЦНИИ «Циклон» в рамках ОКР: «Модуль МБ-2», «Филин», «Обзор-ТМ1», «Шахин», «Аврора», «Сыч-3», «Скопа-3» и др. Объем и структура работы Диссертационная работа состоит из введения, трех глав и заключения.

Работа содержит 126 страниц машинописного текста, 62 рисунка. Список литературы включает 98 наименования. Содержание работы Во введении обоснована актуальность работы, цель работы, методы исследования, научная новизна, практическая ценность, основные положения, выносимые на защиту, апробация работы, достоверность, объем и структура работы. В первой главе диссертации проведен обзор известных методов цифровой обработки изображений,

применяемых в фото- и видеосистемах с матричными фотоприемниками, а также в ряде тепловизионных систем (компенсация неоднородностей параметров и характеристик элементов матричного приемника, выявление дефектных элементов и их замещение, компенсация шумов методами пространственной и временной фильтрации, выделение контуров, автофокусировка, преобразование уровней яркости и контраста, геометрическое совмещение двух кадров, мультиспектральное сложение, стабилизация).

Анализ этих методов применительно к тепловизионным системам на базе микроболометрических матриц показывает, что они нуждаются в существенной доработке. Так, применительно к тепловизионным системам с микроболометрами наиболее часто используемая двухточечная калибровка не обеспечивает требуемого качества изображения во всем наблюдаемом диапазоне температур. При компенсации шума при помощи пространственной фильтрации происходит размытие контрастных границ объектов, что снижает пространственное разрешение, а как следствие,

снижает расстояние обнаружения и распознавания. Применяя линейный фильтр дифференцирования можно повысить контраст границ объектов, что приводит к повышению дальности обнаружения и распознавания. Побочным эффектом является повышение уровня шума и изменение внешнего вида изображения (выделение контуров). Используя линейный фильтр дифференцирования, можно построить алгоритм, позволяющий производить сравнительную оценку качества фокусировки объектива. Линейный метод автоматической регулировки уровней яркости, применяемый

в тепловизионных системах, нуждается в доработке с целью увеличения контраста изображений в широком температурном диапазоне. Во второй главе рассматриваются пути совершенствования методов цифровой обработки изображений в тепловизионных системах на основе микроболометрических матриц. Экспериментально было показано, что зависимость сигнала от температуры наблюдаемого объекта не является линейной, но достаточно хорошо описывается полиномом второго порядка.

Дальнейшее увеличение порядка полинома не приводит к существенному снижению ошибки приближения. Поправочные коэффициенты определяются путем калибровки по трем температурам объекта для каждой из рабочих температур матрицы и записываются в память прибора. Предлагается метод замещения дефектного элемента (пиксела), основанного на применении в блоке цифровой обработки сигнала (рис. 1) фильтра размытия, используемого в ряде других алгоритмов (фильтрация шумов,

оконтуривание, автофокусировка). Под линейным фильтром понимается следующая операция над элементами изображения : , где задают размеры «окна» фильтра с независимыми от весовыми коэффициентами матрицы . Для обеспечения сохранения общего уровня сигнала накладывается условие: . В работе использовалась следующая маска: . Дефектные элементы исключаются из рассмотрения. В местах, соответствующих дефектным элементам, весовые коэффициенты фильтра принимали нулевое значение:

при этом сумма всех элементов должна быть равной единице, для этого проводится нормировка: . При применении пространственного фильтра размытия для снижения влияния шума резкие переходы яркостей изображения становятся более гладкими, а мелкие детали практически исчезают. Этого можно избежать, проведя селекцию контрастных участков, для которых производится более слабое размытие или оно не производится вовсе. Для селекции применяется фильтр дифференцирования.

Нижняя граница определяется из расчета вероятности принадлежности к равномерному участку, которая должна быть больше определенной граничной величины (например ), верхняя – меньше другой граничной величины (например ). Промежуточные значения, лежащие в интервале между нижней и верхней границами, определяются при помощи линейной интерполяции. Можно считать, что шум имеет нормальный закон распределения. Комбинирование размытого и исходного изображения предлагается производить следующим образом: , где

весовой коэффициент степени размытия определяется на основе квантилей и по следующей зависимости: , , где , , – значение сигнала после применения дифференцирующего фильтра. Для поиска квантилей и можно воспользоваться формулой , . Здесь опять используется маска размытия . Это позволяет использование единого фильтра размытия для нескольких алгоритмов различного назначения. Для реализации дифференциального фильтра предлагается использовать

лапласиан, построенный на разности исходного изображения и фильтра размытия, применяемого для подавления шумов и замещения дефектных элементов матрицы. Построение адаптивной временной фильтрации производится аналогичным образом: где – элементы входного изображения (пиксели) кадра, – обработанное изображение - го кадра, – коэффициенты, выбираемые в зависимости от скорости изменения яркости каждого пикселя, и – верхний и нижний коэффициент накопления, причем , а может быть любым числом, лежащим в интервале

от 0 до 1 (например ). Будем считать, что если значение сигнала пикселя (в качестве изображения принимается «размытая» разница между кадрами) ниже верхней границы наличия шума, то с вероятностью 0,999 это изменение значения вызвано шумом, а при значении , находящемся выше нижней границы отсутствия шума, с вероятностью 0,001 можно считать, что изменение значения в этом пикселе вызвано движением на изображении. Вычисление квантилей и производится тем же способом, что и при пространственной фильтрации.

Контрастные границы, которые в тепловизионном изображении движутся, в силу разных причин несколько размыты. Для исключения возникновения дефектов при движении этих границ, желательно расширить зону влияния изменяющихся зон (на разности изображений). Это можно осуществить, применив маску наращивания, т.е. поиск максимума модуля разности по локальной подобласти. При работе многих тепловизионных приборов было замечено значительное преобладание коррелированного

шума по столбцам и строкам, имеющего вид полос, над прочими шумами. Указанные выше фильтры не способны удалить эти полосы без существенной потери качества изображения. В диссертации предлагается метод компенсации влияния данного вида шума на изображение, который иллюстрирован алгоритмом компенсации горизонтальных полос. Алгоритмы, производящие компенсацию шумов по столбцам или по строкам, выполняются по отдельности. Разработанный метод базируется на предположении, что изменение

изображения под действием шума происходит для всей полосы (столбца или строки) по общему закону , где – исходное (зашумленное указанным типом шума) изображение; – результирующее (очищенное) изображение; – искомый вектор параметров. В качестве функции взята линейная зависимость: . Параметры преобразования (такие, как и ) находятся из условия минимизации разницы между результирующим изображением и предполагаемым . Предполагаемое изображение находится путем аппроксимации значений соседних

с элементов, считая, что значения элементов рассматриваемой полосы не известны. Задача решается методом наименьших квадратов. Для ограничения искажения всей полосы из-за влияния контрастных границ на результаты вычислений вводятся ограничения на разность яркости рассматриваемых пикселей. На основе анализа линейного и гистограммного методов регулировки уровней яркости предлагается новый метод, компенсирующим основные недостатки каждого из них.

При этом простота метода, по сравнению с гистограммным методом, сохраняется. Он позволяет уменьшить влияние шума и снизить влияние больших однотонных зон, обеспечивая контраст между двумя объектами с различной яркостью. Это достигается введением верхних и нижних ограничений контраста. На основе этого предложения был разработан быстрый алгоритм, позволяющий реализовать данный метод со скоростью, сравнимой со скоростью реализации гистограммного метода.

Новый алгоритм основан на сборе гистограммы от гистограммы уровней сигнала по одному кадру. Полученное изображение для восприятия человеком лучше или, в крайнем случае, не хуже, чем при использовании линейного или гистограммного методов. При масштабировании, повороте и прочих аффинных преобразованиях изображения широко применяются различные интерполяционные функции. При масштабировании в нецелое число раз видеопоследовательности, имеющей высокий уровень шума, появляется

«сетка» чередующихся зон с высоким и низким уровнями шума. Различия между этими двумя зонами могут быть незначительными, однако в связи с периодичностью и отсутствием передвижения этих зон при движении сцены эта «сетка» хорошо различима и может отвлекать внимание оператора. Этот эффект возникает из-за особенностей интерполяции при масштабировании и повороте. Переход от линейной функции интерполяции к кубической не устраняет этот эффект.

В диссертации предлагается метод интерполяции, который осуществляется путем вычисления взвешенного среднего (с динамически изменяемыми весовыми коэффициентами): , где – значение яркости в пикселе старого изображения, – значение яркости в пикселе нового, масштабированного, изображения, – область, по которой производится интерполяция (близлежащие точки), индекс пиксела связан с областью (с индексами ) заданным пространственным преобразованием, – интерполяционные коэффициенты, такие, что .

Индекс можно рассматривать как некоторое представление новых координат, а индекс – старых. Рассматривается аддитивный некоррелируемый гауссовский шум с математическим ожиданием, равным нулю. В этом случае сигнал можно представить в виде: , где и – незашумленная и зашумленная (получаемая) видеопоследовательности, – величина шума с математическим ожиданием и дисперсией , – индекс пиксела в рассматриваемой строке матрицы изображения, – номер кадра. При условии некоррелируемости шума выражение для дисперсии по времени

для преобразованного изображения примет вид: . Поскольку повысить резкость в размытых интерполяцией областях мы не можем, то, соответственно, для равномерности дисперсии шума искусственно «размоем» изображение в областях, не подверженных интерполяционному размытию. Поскольку размытие при интерполяции не велико, то и дополнительное местное размытие не должно сильно повлиять на изображение. Такое незначительное размытие может уменьшить влияние шумов, так как его можно

рассматривать как низкочастотный фильтр. В работе представлено два примера построения подобных нелинейных фильтров. Поиск пространственного взаимного рассогласования двух изображений является одной из основных частей алгоритмов геометрической стабилизации изображения, построения панорамного изображения, совмещения изображений. В работе предложен метод, рассчитанный для работы при произвольном угле взаимного поворота изображений. Наиболее простой способ нахождения параметров поворота, смещений и масштабирования заключается

в переборе некоторых возможных их сочетаний. Этот подход очень затратен по времени. Статистический анализ по столбцам и строкам позволяет оптимизировать только работу со смещениями и масштабированием, но работает нестабильно при движении и требует проверки ответа. Для каждого угла возможного угла поворота необходимо проводить всю процедуру заново. Такой метод пригоден для работы с малыми углами отклонения.

При больших углах поворота он становится трудоемок. Предлагается использовать значения сигналов и статистические моменты, собранные по кольцу (группе окружностей) с радиусами на изображении , где непрерывная функция, интерполирующая дискретное изображение . С каждым таким кольцом можно связать матрицу , где изменяеться с шагом , т.е. (где ), а индекс (где ). Элементы матрицы определяются интерполяционно, например, по билинейной интерполяции.

С кольцом свяжем ряд полезных в дальнейшем числовых характеристик: математическое ожидание значений яркости внутри кольца – ; дисперсия значений яркости внутри кольца – ; момент инерции значений яркости на кольца – , где , . Заметим, что при вращении изображения на произвольный угол вокруг пикселя значения числовых характеристик , , кольца не меняются по значению, так как при вычислении , и просто циклически меняется порядок суммирования. Сначала ищутся три числа , и , которые характеризуют распределение значений

яркости вокруг пикселя и которые инвариантны относительно поворотов вокруг пикселя . На практике равенство следует рассматривать как некоторый допустимый интервал значений. Таким образом , и на первом кадре в точке должны быть близки аналогичным значениям , и на втором кадре в соответствующей точке . Поиск угла и смещения находится перебором путем сравнения эталонного кольца с выбранным. Для оптимизации работы на выбранном кольце число точек может быть существенно меньше, чем

на эталонном. Подходящими значениями будем считать те значения смещений и поворота, при которых обеспечивается максимальная корреляция (либо минимальное рассогласование изображений по выбранной норме). Используя величин взаимного смещения, поворота и масштабирования последовательности кадров, можно строить панорамное изображение, под которым здесь понимается покадровое совмещение изображений последовательности отдельных кадров, получаемой сканированием оптико-электронной системой (ОЭС) интересуемого участка пространства.

Алгоритмически задача построения панорамного изображения из нескольких кадров близка к задаче пространственной стабилизации видеоизображения. Отличие заключается в том, что при построении панорамного изображения необходимо компенсировать полностью все движения, а не только высокочастотные, как это делается при стабилизации. Это накладывает более строгие ограничения на точность определения смещения. Проблема состоит в том, что с каждым последующим кадром ошибка накапливается.

В работе предлагается уменьшать накопленную погрешность путем увеличения расстояния по времени между сравниваемыми кадрами. Для оптимизации объемов памяти предлагается вводить специальные опорные кадры, по которым будет производиться сравнение. Развитием идеи сравнения с опорным кадром является сравнение текущего кадра с построенной панорамой. Это позволит сократить использование памяти для хранения кадров для сравнения, а также, в некоторых случаях, сократить время на сравнение.

В третьей главе кратко описаны системы, в которых использованы разработанные алгоритмы. Приводятся основные технические характеристики тепловизионных систем и комплексов «Сыч», «Скопа», «Шахин», «Модуль-МБ2», «Филин», «Аврора», разработанных в ОАО «ЦНИИ «Циклон». Большинство рассмотренных тепловизионных систем было построено на базе ПЛИС фирмы Xilinx. Некоторые системы построены на базе

DSP-процессоров фирмы Texas Instruments. Схемы других приборов отличаются незначительно. В качестве дисплея (если он предусматривается конструкцией) используется OLED-дисплей. Для вывода на внешние средства отображения во всех приборах полученное изображение преобразуется в телевизионные форматы PAL или NTSC. На рис. 2 показана последовательность обработки сигнала с матрицы при компенсации неоднородностей и шумов. Она может быть реализована конвейерно.

Разработанные в диссертации алгоритмы позволили расширить функциональные возможности тепловизионных систем и комплексов. Традиционный линейный алгоритм автоматической регулировки усиления заменен на последовательность обработки изображения перед выходом, состоящим из алгоритмов оконтуривания и преобразования уровней яркости с помощью модифицированного гистограммного метода. Для работы алгоритма оконтуривания кроме изображения заранее подготавливается размытое изображение,

формируемое с помощью линейного фильтра размытия с учетом адаптивной фильтрации. В системах осуществляющих мультиспектральное совмещение, пространственное преобразование производится только над одним из видеоизображений.