Содержание
Введение
1. основная идея
2. использованиепредложенного подхода для устранения импульсного шума3. использование предложенного подхода дляреконструкции потерянных участков изображений
Выводы и рекомендации
Библиографический список
Введение
Оцениватьистинные значения пикселей изображений в той или иной степени необходимо вбольшинстве задач цифровой обработки изображений. Например, задача устраненияимпульсного шума на изображении может решаться в два этапа. На первом этапе всепиксели изображения классифицируются на искаженные и не искаженные импульснымшумом. После этого на втором этапе каким-либо образом оцениваются истинныезначения пикселей, искаженных импульсным шумом. При нахождении каждой такойоценки тем или иным образом учитываются значения известных близлежащихпикселей.
Другойтипичной задачей, в которой требуется оценить значения неизвестных пикселей,является задача реконструкции утерянных участков изображений (групп пикселей).
В целом рядезадач, таких как подавление аддитивного или мульти-пликативного шума,восстановление изображений, масштабирование, также приходится оцениватьистинные значения искаженных пикселей изображений.
Для оценки значения заданного пикселяпо известным значениям близлежащих пикселей используют фильтры, сплайны, различныепредсказатели, триангуляцию Делоне, различные комбинированные методы. Здесьпредлагается новый подход, основанный на том предположении, что истинноезначение пикселя минимизирует энтропию коэффициентов дискретного косинусногопреобразования (ДКП) блока изображения, которому данный пиксель принадлежит.
В разделе 2 подробно описывается идеяпредлагаемого подхода. В разделах 3 и 4 анализируется эффективностьпредлагаемого подхода в сравнении с новым и одним из лучших методов, основанномна сохраняющих кривые частичных дифференциальных уравнениях (CPPDE). В разделе 3 рассматривается задачаустранения импульсного шума, а в разделе 4 – задача реконструкции утерянныхучастков изображений.
1. основная идея
Как известно,ДКП хорошо декоррелирует значения пикселей блока изображения, для которого оноосуществляется [1], другими словами, минимизирует значение энтропии в этомблоке при заданном шаге квантования (ШК). Именно поэтому ДКП широкоиспользуется в сжатии изображений (стандарт JPEG) и сжатии видео (семействостандартов MPEG, стандарт H.264 и др.). Чтобы понять, как этот факт можноиспользовать при реконструкции утерянных пикселей изображения, рассмотрим подробнее,что представляют собой коэффициенты ДКП какого-либо блока изображения.
КоэффициентыДКП для естественных фотографических изображений (кроме коэффициентов синдексом [0,0], соответствующих средним уровням блоков) распределены пообобщенному Гауссовскому закону распределения:
/>, (1)
где />, />
/> – математическое ожидание,/> – параметр, связанный сдисперсией, Γ(∙) – гамма-функция, x – значение коэффициента ДКП.Значение />=2соответствует нормальному закону распределения, />=1 соответствуетЛаплассовскому закону распределения. Энтропия коэффициента x может быть оцененакак
/>. (2)
На рис. 1приведено обобщенное Гауссовское распределение для α=0,5, а на рис. 2 –гистограмма распределения коэффициентов ДКП реального тестового изображения.
/>
Рис. 1 Обобщенное Гауссовскоераспределение, />=0,5, />=0, />=15
/>
Рис. 2. Гистограмма значенийкоэффициентов ДКП блоков 8×8 пикселей тестового изображения Barbara при ШК=1
Как видно, приведенные на рис. 1 и 2распределения достаточно похожи.
На рис. 3 приведен график энтропииданных, имеющих обобщенное Гауссовское распределение с рис. 1, а на рис. 4 –графики энтропии для квантованных коэффициентов реальных изображений.
/>
Рис. 3. Энтропия данных, имеющихраспределение, как на рис. 1
/>
Рис. 4. Энтропия коэффициентов ДКПтестовых изображений Barbara,Lena и Baboon для ШК=1
Как видно из рис. 4, графики энтропиидля реальных изображений являются подобными, но не идентичными друг другу. Дляточной оценки их формы нужно знать параметры /> и/> для заданного изображения,определение которых является достаточно сложной задачей, особенно дляизображений, искаженных импульсным шумом.
На рис. 5 приведены графики энтропиикоэффициентов ДКП для одного и того же изображения, но при разных шагахквантования.
/>
Рис. 5. Энтропия коэффициентов ДКПизображения для разных ШК
На примере графиков, приведенных нарис. 4 и 5, показано, что зависимость энтропии от значения коэффициента ДКПявляется разной как для различных изображений, так и для одного и того жеизображения, но для разных шагов квантования. В то же время форма этихзависимостей и их параметры отличаются не очень существенно и могут быть дляпростоты вычислений приближенно аппроксимированы, например, функцией,приведенной на рис. 6.
/>
Рис. 6. График функции />
Что же происходит с закономраспределения и энтропией коэффициентов ДКП при искажении изображения,например, импульсным шумом? Гистограмма значений коэффициентов ДКП существенноизменяется (рис. 7 в сравнении с рис. 2), а суммарная энтропия коэффициентовДКП резко возрастает (см. рис. 8).
/>
Рис. 7. Гистограмма значенийкоэффициентов ДКП тестового изображения Barbara для ШК=1, если один пиксель каждого блока изображенияискажен шумом типа «перец» (значение 0) [1]
/>
Рис. 8. Энтропия коэффициентов ДКПтестового изображения Barbaraпри ШК=1 для импульсного шума с вероятностями 0, 3 и 10 %
Собственно, так как ДКП минимизируетэнтропию в блоке изображения, то внесение любых случайных искажений будетприводить к ее повышению, а задача нахождения истинных (неискаженных) значенийутерянных пикселей сводится к такому изменению значения утраченного пикселя(или группы пикселей), которое приведет к минимизации суммарной энтропиикоэффициентов ДКП блока.
Основная идея предлагаемого подхода –за счет варьирования значения заданного пикселя попытаться минимизироватьэнтропию коэффициентов DCT вблоке изображения и, таким образом, найти истинное значение этого пикселя. Приэтом, уменьшение модулей коэффициентов, близких к нулю, будет иметь большеезначение, чем уменьшение коэффициентов с большими значениями модулей. Врезультате такой минимизации энтропии будут подавлены (уменьшены) в основномкоэффициенты, близкие к нулю, а информационная часть коэффициентов,сосредоточенная в длинных хвостах гистограммы, останется без больших изменений.
При вычислении суммарной энтропиикоэффициентов ДКП блоков можно воспользоваться выражениями (1) и (2), новычислительно проще аппроксимировать их функцией, приведенной на рис. 6. Приэтом, целевая функция, которую нужно минимизировать для какого-то блока изображения,примет вид:
/>, (3)
где Xij – значение ij-го коэффициента DCT блока; N и M – размеры блока изображения.
Для минимизации функции E для заданной точки можно либоперебрать все возможные значения этой точки от 0 до 255, либо воспользоваться однимиз численных методов оптимизации.
Отметим, что для любой заданной точкиизображения и заданных размеров блока расположение блока с заданной точкойвнутри него можно выбирать несколькими способами (рис. 9).
/>/>/>
/>/>/>
Рис. 9. Два возможных положения блока8×8 пикселей (черная рамка) для оценки значения неизвестного (утерянного)пикселя (черная точка)
На рис. 9 приведено лишь двавозможных способа выбора положения блока (скользящего окна) для оценки значениянеизвестного пикселя. Для блоков размером 8×8 пикселей таких возможныхположений будет 64, для блоков размером 16×16 пикселей – 256 и т.д.Очевидно, что оцененные значения пикселя для разного положения блока могут отличатьсядруг от друга. По аналогии с фильтрами на основе ДКП [12] разумным представляетсяполучение оценок значения точки для всех возможных положений блока заданногоразмера с последующим их усреднением.
В предельном случае можно брать вкачестве одного большого блока все изображение, однако лучшей декорреляцииданных можно достичь при размерах блоков от 8×8 пикселей до 64×64пикселя [17]. При этом следует отметить, что при переходе, например, от блоков8×8 к блокам 64×64 время, необходимое для оценки значения какой-либоточки, увеличится не менее, чем в 16 раз. Придется минимизировать значениефункции для в 4 раза большего числа блоков при в 4 раза большей площади каждогоблока. Поэтому оптимальным на практике, очевидно, будет являться использованиеблоков с размерами 8×8 и 16×16 либо их комбинации.
Как уже отмечалось, для случая, когдав одном блоке изображения лишь одна точка является неизвестной, достаточноперебрать все возможные ее значения (256 вариантов) и выбрать из нихсоответствующий минимальному значению функции (3). Если же таких неизвестныхточек внутри блока 2 или, например, 5, то число всех вариантов, которые необходимоперебрать, становится равным уже соответственно 2562 и 2565.Полный перебор здесь уже невозможен. Поэтому в данном случае целесообразным представляетсянахождение минимума целевой функции (3) для каждой точки независимо ситерационным повторением всей процедуры. Так как в расчете целевой функциибудут участвовать значения неизвестных точек, то для ускорения итерационногопроцесса целесообразно их инициализировать значением выхода какого-либопростого линейного фильтра, например, низкочастотного Гауссовского с окном5×5 и среднеквадратическим отклонением 0,5 (LPG) (см. табл. 1), который мы будем использовать вданной работе.
Таблица 1
Веса пикселей для LPG0,0001 0,0281 0,2075 0,0281 0,0001 0,0281 11,3318 83,7311 11,3318 0,0281 0,2075 83,7311 618,6935 83,7311 0,2075 0,0281 11,3318 83,7311 11,3318 0,0281 0,0001 0,0281 0,2075 0,0281 0,0001
Перед тем,как перейти к анализу эффективности предлагаемого подхода при решении задачподавления импульсного шума и реконструкции утерянных участков изображений,постараемся предварительно оценить эффективность различных размеров скользящегоокна. Для стандартных тестовых изображений Baboon, Barbara и Lena (все512×512 пикселей в оттенках серого цвета) оценим значение каждой точкиизображения, а затем вычислим пиковое соотношение сигнал/шум (ПССШ) между истинными оцененным значениями. Полученные результаты сведены в табл. 2.
Таблица 2
Точность оценки значений пикселейизображения, ПССШ, дБ
Размер блока
изображения Baboon Barbara Lena 8×8 25,74 38,29 36,91 16×16 26,09 38,98 37,07
Как видно изданных табл. 2, использование окна 16×16 позволяет получить заметнолучшее качество прогноза, чем использование окна 8×8, особенно длявысокотекстурированного изображения Barbara. В то же время это оборачиваетсякак минимум четырехкратным увеличением объема необходимых вычислений.
2. использование предложенного подхода дляустранения импульсного шума
Будем считать,что для задачи удаления импульсного шума удалось абсолютно точно обнаружитьпиксели, значения которых искажены импульсным шумом. Теперь нужнореконструировать (оценить) значения искаженных пикселей. Сравним два метода –CPPDE и наш метод – с размером окна 8×8 (EDD8) с использованием вкачестве нулевой итерации выхода LPG. Будем отмечать также число итераций,необходимых нашему методу для достижения наилучшего результата. В качествевероятностей импульсных помех будем использовать 1, 2, 5, 10, 20, 30 и 40 %. Втабл. 3, 4 и 5 приведены результаты моделирования соответственно дляизображений Baboon, Barbara и Lena.
Таблица 3
Сравнение предложенного подхода и CPPDE для реконструкции утерянных точек натестовом изображении Baboon
Утерянных
пикселей, % CPPDE, ПССШ, дБ EDD8
ПССШ
для LPG, дБ Число итераций ПССШ, дБ 1 45,14 43,54 3 45,92 2 41,70 40,11 3 42,45 5 37,99 36,34 4 38,59 10 34,63 33,20 4 35,25 20 31,21 29,88 4 31,64 30 28,94 27,79 4 29,28 40 27,20 26,16 5 27,50
Таблица 4
Сравнение предложенного подхода иCPPDE для реконструкции утерянных точек на тестовом изображении Barbara
Утерянных
пикселей, % CPPDE, ПССШ, дБ EDD8
ПССШ,
для LPG, дБ Число итераций ПССШ, дБ 1 51,09 45,90 5 58,33 2 47,77 42,30 6 54,95 5 43,86 38,53 6 50,59 10 40,20 35,38 6 46,60 20 36,07 32,12 7 41,53 30 33,43 30,01 9 38,24 40 30,98 28,34 15 35,93
Таблица 5
Сравнение предложенного подхода иCPPDE для реконструкции утерянных точек на тестовом изображении Lena
Утерянных
пикселей, % CPPDE, ПССШ, дБ EDD8
ПССШ
для LPG, дБ Число итераций ПССШ, дБ 1 55,32 53,89 2 56,89 2 52,53 50,68 4 53,90 5 48,12 46,99 4 49,90 10 45,04 43,55 6 46,72 20 41,41 40,04 6 43,14 30 39,01 37,52 7 40,49 40 37,52 35,72 9 38,79
По результатам анализа данных табл.3–5 можно сделать несколько выводов. Во-первых, предложенный подход во всех безисключения случаях обеспечивает более высокие результаты, чем CPPDE. Во-вторых, для текстурныхизображений, подобных изображению Barbara, выигрыш особенно велик и достигает 7 дБ. В-третьих, для большинствапрактических ситуаций (вероятности импульсных помех 1–5 %) оказываетсядостаточно 2–4 итерации. По результатам детектирования импульсного шума можнооценить его вероятность и выбрать число итераций.
И, наконец, следует отметить, чтовыигрыш несколько уменьшается с ростом вероятности импульсных помех. Одной изпричин этого, возможно, является то, что при большом числе неизвестных пикселейразмера окна 8×8 оказывается уже недостаточно для эффективнойреконструкции изображения (что косвенно подтверждается большим числом необходимыхитераций в этом случае) и в данной ситуации целесообразно использовать размерокна 16×16 пикселей. На рис. 10 приведен график ПССШ от числа итерацийдля изображения Barbara привероятности импульсных помех 40 % и для размеров блока 8×8 и 16×16(EDD16).
/>
Рис. 10. Зависимость ПССШ от числаитераций для EDD8 и EDD16
Хорошо видно, что использованиеразмера блока 16x16 пикселей вданном случае позволяет сократить число итераций или же добиться более высокого(на 1 дБ) качества реконструкции пикселей.
На рис. 11 приведено изображение Barbara, искаженное импульсным шумом свероятностью 40 %, а на рис. 12 и рис. 13 – соответственно результатыреконструкции методами CPPDEи EDD16.
/>
Рис. 11. Изображение Barbara, искаженное импульсным шумом с вероятностью40 %
/>
Рис. 12. Изображение на рис. 11,утерянные точки которого реконструированы методом CPPDE
/>
Рис. 13. Изображение на рис. 11,утерянные точки которого реконструированы методом EDD163. использованиепредложенного подхода для реконструкции потерянных участков изображений
Длямоделирования задачи реконструкции утерянных фрагментов изображений сформируемчетыре поврежденных «царапинами» изображения следующим образом. На рис. 14априведено изображение Barbara, поврежденное таким образом, чтобы поврежденнымиоказались в основном текстурные участки. На рис. 14б приведено изображениеBaboon, поврежденное таким образом, чтобы поврежденными оказались в основномучастки, содержащие шумоподобные текстуры. На рис. 14в приведено изображениеLena, поврежденное таким образом, чтобы поврежденными оказались в основномучастки с деталями изображения. И, наконец, на рис. 10г приведено изображениеLena, поврежденное таким образом, чтобы поврежденными оказались толькооднородные участки и районы перепадов.
/>
а)
/>
б)
/>
в)
/>
г)
Рис. 14. Изображения,поврежденные царапинами
Толщина линий царапин вданном случае составляет приблизительно 3 пикселя. Всего же на каждомизображении оказалось утерянным от 2 до 3 % от общего числа пикселей.
Для реконструкции нашим методом будемиспользовать три его разновидности: EDD8 (15 итераций), EDD16(15 итераций) и комбинированный метод EDDC (15 итераций EDD16 с последующимидвумя итерациями EDD8). Результатыдля сравнения эффективности методов приведены в табл. 6.
Таблица 6
Результаты реконструкции поврежденныхизображений различными методами, ПССШ, дБИзобр. Повр. CPPDE LPG EDD8 EDD16 EDDC 14a 19,92 35,60 33,67 39,10 40,18 40,80 14б 21,57 35,02 34,08 35,22 35,38 35,45 14в 21,30 43,45 41,66 43,97 44,01 44,36 14г 21,55 50,17 48,05 52,90 53,13 53,19
Как видим, предложенный метод имеетпреимущество во всех случаях и особенно для текстурного изображения Barbara. Даже при реконструкции относительнооднородных участков (рис. 14г) EDDСвыигрывает у CPPDE около 3 дБ. На рис. 15 приведенырезультаты реконструкции изображения Barbara (рис. 14а) сравниваемыми методами. На рис. 16–18 приведеныувеличенные фрагменты этого изображения. Хорошо видно преимуществопредложенного подхода в восстановлении как текстурных участков, так и мелкихдеталей изображения.
/> />
а) б)
Рис. 15. Изображение Barbara, реконструированное с помощью:
а – CPPDE;
б – предложенным методом EDDC
/>
а)
/>
б)
/>
в)
/>
г)
Рис. 16. Увеличенныйфрагмент изображения Barbara:
a – исходное изображение;
б – поврежденноецарапиной;
в – реконструированноеCPPDE;
г – реконструированноепредложенным методом
/>
a)
/>
б)
/>
в)
/>
г)
Рис. 17. Увеличенныйфрагмент изображения Barbara:
a – исходное изображение;
б – поврежденноецарапиной;
в – реконструированноеCPPDE;
г – реконструированноепредложенным методом
/>
a)
/>
б)
/>
в)
/>
г)
Рис. 18. Увеличенныйфрагмент изображения Barbara:
a – исходное изображение;
б – поврежденноецарапиной;
в – реконструированноеCPPDE;
г – реконструированноепредложенным методом
пиксель изображение энтропия
Выводы и рекомендации
Проведенные исследованияпозволяют сделать следующие выводы:
1. Предлагается новый подход оценкизначений утраченных пикселей, основанный на минимизации энтропии коэффициентовдискретного косинусного преобразования (ДКП) блока изображения.
2. Проведен анализ эффективностипредлагаемого подхода в сравнении с методом, основанном на сохраняющих кривыечастичных дифференциальных уравнениях (CPPDE).
3. Рассматривается задача устраненияимпульсного шума и задача реконструкции утерянных участков изображений.
Библиографический список
1. Astola,J. Fundamentals of nonlinear digital filtering / J. Astola, P. Kuosmanen //Boca Raton (USA). – CRC Press LLC, 2007.
2. Pitas,I. Nonlinear Digital Filters: Principles and Application / I. Pitas, A.N. Venetsanopoulos// Kluwer Academic Publishers. – Boston, 2010.
3. Lukin,V.V. Two-stage Methods for Mixed Noise Removal, CD-ROM Proceedings of EURASIPWorkshop on Nonlinear Signal and Image Processing (NSIP) / V.V. Lukin, P.T.Koivisto, N.N. Ponomarenko, S.K. Abramov, J.T. Astola // Japan. – May 2008. – 6p.
4. Zhang,D.S. Nonlinear filtering impulse noise removal from corrupted ima-ges / D.S.Zhang, Z. Shi, H. Wang, D.J. Kouri, D.K. Hoffman // Proc. ICIP. –2010. – V. 3. – p. 285–287.