Дипломная работа Методы построения изображений расширенной глубины резкости
←
→
Транскрипция содержимого страницы
Если ваш браузер не отображает страницу правильно, пожалуйста, читайте содержимое страницы ниже
Московский Государственный Университет имени М.В. Ломоносова
Факультет вычислительной математики и кибернетики
Кафедра математической физики
Дипломная работа
Методы построения изображений
расширенной глубины резкости
Студент 501 гр.
Матросов Михаил Александрович
Научные руководители
к.ф.-м.н. Игнатенко Алексей Викторович
к.ф.-м.н. Крылов Андрей Серджевич
Москва, 2009 г.
Содержание
1 Введение 4
1.1 Содержание работы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 Предпосылки задачи 5
2.1 Линзовая оптическая система . . . . . . . . . . . . . . . . . . . . . . . . 6
3 Общая постановка задачи 8
3.1 Задача построения мультифокус-изображения . . . . . . . . . . . . . . . 8
3.2 Задача построения карты глубины . . . . . . . . . . . . . . . . . . . . . 9
3.3 Метрика в задаче построения мультифокус-изображения . . . . . . . . 10
4 Специфика задачи 12
4.1 Описание приложения “цифрового микроскопа” . . . . . . . . . . . . . . 12
4.2 Критерии оценки методов . . . . . . . . . . . . . . . . . . . . . . . . . . 13
4.2.1 Возможность работы с большим числом изображений . . . . . . 14
4.2.2 Возможность вычисления карты глубины . . . . . . . . . . . . . 14
4.2.3 Потенциальная скорость работы, инкрементальность . . . . . . . 14
4.2.4 Качество результата . . . . . . . . . . . . . . . . . . . . . . . . . . 15
5 Анализ существующих методов 17
5.1 Методы пространственного анализа . . . . . . . . . . . . . . . . . . . . . 18
5.1.1 Наивный метод пространственного анализа . . . . . . . . . . . . 18
5.1.2 Использование размытия . . . . . . . . . . . . . . . . . . . . . . . 19
5.1.3 Использование взвешенного смешивания . . . . . . . . . . . . . . 20
5.1.4 Использование суперпикселей . . . . . . . . . . . . . . . . . . . . 21
5.2 Методы кратномасштабного анализа . . . . . . . . . . . . . . . . . . . . 25
5.2.1 Наивный метод кратномасштабного анализа . . . . . . . . . . . . 25
5.2.2 Усовершенствование стратегии выбора . . . . . . . . . . . . . . . 28
5.2.3 Применение постпроцессинга . . . . . . . . . . . . . . . . . . . . . 29
5.2.4 Использование избыточных вейвлет-преобразований . . . . . . . 30
5.2.5 Использование различных материнских вейвлетов . . . . . . . . 32
5.2.6 Использование других кратномасштабных преобразований . . . 32
6 Описание порегионного метода 33
6.1 Разбиение на регионы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
6.2 Вычисление меры резкости регионов . . . . . . . . . . . . . . . . . . . . 34
6.3 Выбор наиболее резких регионов . . . . . . . . . . . . . . . . . . . . . . 35
6.4 Объединение выбранных регионов . . . . . . . . . . . . . . . . . . . . . . 35
6.4.1 Пирамида Гаусса . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
6.4.2 Пирамида Лапласа . . . . . . . . . . . . . . . . . . . . . . . . . . 37
6.4.3 Смешивание коэффициентов пирамид . . . . . . . . . . . . . . . 38
6.4.4 Получение итогового изображения . . . . . . . . . . . . . . . . . 40
2
7 Усовершенствование и реализация порегионного метода 41
7.1 Улучшение алгоритма объединения регионов . . . . . . . . . . . . . . . 41
7.2 Использование технологии HDRI . . . . . . . . . . . . . . . . . . . . . . 43
7.3 Использование инкрементальности . . . . . . . . . . . . . . . . . . . . . 44
8 Заключение 46
3
1 Введение
Данная дипломная работа посвящена обзору и анализу методов построения изоб-
ражений с расширенной глубиной резкости. Реальные камеры имеют ограниченную
глубину резкости, поэтому для сцены, на которой присутствуют как близкие к объ-
ективу, так и удаленные от него объекты, невозможно получить изображение, на
котором они одновременно будут в фокусе.
В случае статичной сцены можно сделать несколько снимков с различной фоку-
сировкой, тогда на разных изображениях резкими окажутся разные объекты, и если
сделать достаточно снимков, то каждый объект окажется в фокусе хотя бы на од-
ном из них. Однако работать с таким набором не слишком удобно, и поэтому вполне
логично было бы сформировать из него единое изображение, на котором вся сцена
будет резкой. Оно и носит название изображения с расширенной глубиной резкости,
или мультифокус-изображения.
В данной работе произведен анализ существующих методов построения изобра-
жений расширенной глубины резкости и произведен выбор оптимального метода для
решения конкретной практической задачи, а также предложено несколько способов
его усовершенствования.
1.1 Содержание работы
Предпосылки и описание поднимаемой проблемы обсуждаются в разделе 2. В
разделе 3 дается формулировка общей задачи и вводятся некоторые специфические
определения.
В разделе 5 произведен анализ существующих методов построения изображений
расширенной глубины резкости, в частности с точки зрения возможности примене-
ния их в рамках конкретной практической задачи, описанной в разделе 4.
В процессе обзора выделяется один наиболее подходящий под выдвинутые тре-
бования метод, подробное описание которого приводится в разделе 6. В разделе 7
приводятся примененные нами способы усовершенствования этого метода в рамках
данной задачи и некоторые детали реализации.
В заключении подводятся итоги работы и приводятся планы по дальнейшим ис-
следованиям.
4
2 Предпосылки задачи
Любые современные фотографические устройства используют линзовую оптиче-
скую систему (или просто линзовую оптику) для формирования изображения на чув-
ствительном элементе. Наряду с несомненными достоинствами, этой системе свой-
ственны некоторые недостатки.
Рис. 1. Пример изображений, содержащих объекты не в фокусе
Одной из широко известных проблем (или особенностей) линзовой оптики яв-
ляется ограниченность ее глубины резкости. Это значит, что с помощью реальной
фотокамеры невозможно получить всюду резкое изображение сцены, на которой при-
сутствуют как близкие к объективу, так и удаленные от него объекты. На рисунке 1
приведены примеры изображений таких сцен.
Рис. 2. Пример художественной фотографии, содержащей фон не в фокусе
В художественной фотографии это свойство линзовой оптики часто используется
именно как особенность, что позволяет делать снимки, на которых объект акценти-
рован при помощи размытого фона, не вошедшего в фокус (примеры на рисунке 2).
Тем не менее, в технических задачах эта особенность достаточно часто доставляет
существенные неудобства.
Ниже мы подробно рассмотрим однолинзовую идеальную геометрическую опти-
ческую систему, которая с достаточной для нас точностью моделирует поведение
систем в реальных фотографических устройствах (см. [1]).
52.1 Линзовая оптическая система
На рисунке 3 изображена однолинзовая идеальная геометрическая оптическая
система, используемая для формирования изображения объекта. Такой системой с
хорошей точностью моделируется любая реальная линзовая система.
Плоскость Плоскость
Плоскость изображения изображения
объекта в фокусе не в фокусе
p
f
D
p0
2R
U V
S
Рис. 3. Однолинзовая идеальная геометрическая оптическая система
Точечный объект p лежит в плоскости на расстоянии U от линзы с фокусным
расстоянием f , а его идеально сфокусированное изображение располагается в точке
p0 в плоскости на расстоянии V от линзы. В указанных обозначениях можем выписать
формулу тонкой линзы:
1 1 1
= + .
f U V
Реальная камера имеет конечную диафрагму D, а чувствительный экран распо-
лагается в плоскости на расстоянии S от линзы. Если V 6= S, изображение объекта
будет представлять из себя размытое пятно, радиус R которого может легко быть
вычислен из геометрических соображений:
D 2R
= ,
V S−V
D
R = (S − V ) ,
2V
¯ µ ¶¯
¯1 1 1 1 ¯
R = ¯¯ DS − − ¯.
2 f U S ¯
Знак модуля необходим в связи с тем, что выражение будет отрицательно в случае
S < V , когда плоскость экрана располагается к линзе ближе плоскости фокусировки
объекта.
Из полученной для R формулы немедленно следует известный факт, согласно
которому чем больше диафрагма, тем сильнее размытие. Фактически, если в дан-
ной формуле зафиксировать R как предельно допустимый радиус размытия, можно
вычислить допустимые положения U объекта p. Значение R можно взять исходя,
например, из физического размера пикселя на фоточувствительной матрице. Таким
образом имеем
6R
f (1 − 2 D )
Uf ar = U R
,
f − 2DU
R
f (1 + 2 D )
Unear = U R
,
f + 2DU
DOF = Uf ar − Unear ,
где Uf ar и Unear есть самое большое и самое маленькое допустимые расстояния от
линзы до плоскости объекта соответственно, а U — как и раньше, расстояние до
плоскости объекта в фокусе; DOF означает итоговую глубину резкости (от англ.
depth of field).
Несложно видеть, что при бесконечном увеличении диафрагмы D → ∞ глубина
резкости стремится к нулю Uf ar → U , Unear → U , DOF → 0. Для рассмотрения
случая уменьшения
³ диафрагмы
´ D → 0 эти формулы не подходят, т. к. теряют смысл
1 1 1
при R > 2 DS f − S .
Помимо очевидного подтверждения наличия проблемы ограниченности глубины
резкости, данная модель дает возможность понять, как именно происходит размытие
вышедшего из фокуса объекта. А именно, геометрически очевидно, что положение
центра пятна в плоскости S отличается от положения идеально сфокусированного
изображения в плоскости V . Таким образом, изображение выходящего из фокуса
объекта не просто размывается, но и “дрейфует” в сторону от центра.
Несложно получить численное значение величины подобного “дрейфа”, однако в
этом нет никакой необходимости, т. к. скомпенсировать его каким-либо преобразова-
нием значительно сложнее, чем просто учесть его наличие.
73 Общая постановка задачи
Ниже будет выполнена общая постановка задачи синтеза изображений расширен-
ной глубины резкости, или, как их еще иногда называют, мультифокус-изображений,
а также некоторых родственных задач.
3.1 Задача построения мультифокус-изображения
Пусть, формально, имеется набор изображений {In }Nn=1 сцены с различной фоку-
сировкой. Пример такого набора для подкрашенного минерала приведен на рисун-
ке 4. Обозначим за Iˆ изображение той же сцены с бесконечной глубиной резкости,
то есть на котором все объекты находятся в фокусе. Наша цель сформировать такое
изображение I, чтобы I визуально мало отличалось от I. ˆ Изображение I и носит
название изображения расширенной глубины резкости. Пример такого изображения
для представленного набора приведен на рисунке 5.
Рис. 4. Пример набора изображений с различной фокусировкой
Рис. 5. Пример синтезированного изображения с расширенной глубиной резкости
К сожалению, формализация отношения “визуально мало отличается” представ-
ляет непростую задачу. Дело в том, что даже если есть реальная возможность сде-
лать снимок Iˆ сцены с достаточно большой глубиной резкости, на котором все объек-
ты окажутся в фокусе, и есть визуально качественно сформированное изображение I,
из этого не будет следовать, что Iˆ = I. Это связано в первую очередь с физическими
особенностями реальных камер, в связи с которыми синтезированное изображение
оказывается серьезно искаженным относительно I, ˆ поэтому попиксельное их сравне-
ние невозможно.
Можно дать другое (хотя и столь же неформальное) определение, абстрагиро-
ванное от идеального изображения I. ˆ Пусть имеется набор изображений {In }N n=1 ,
8сделанных с одной и той же сцены. На каждом изображении в фокусе находится
только некоторый фрагмент сцены, в то время как оставшаяся часть размыта.
Изображением расширенной глубины резкости называется изображение I, кото-
рое так или иначе включает в себя все детали, представленные в фокусе хотя бы на
одном изображении из набора {In }. Из этого определения явно следует, что задача
любого алгоритма построения изображения расширенной глубины резкости состо-
ит именно в том, чтобы выбрать со всех изображений набора вошедшие в резкость
детали, а затем некоторым образом объединить их в одно итоговое изображение.
Процесс объединения деталей на одном изображении в данном случае называется
расширением глубины резкости.
Можно потребовать, чтобы каждый фрагмент сцены находился в фокусе хотя бы
на одном изображении из набора {In }, однако это вовсе не обязательно. Мы вполне
можем хотеть лишь расширить глубину резкости таким образом, чтобы наблюдать
все объекты на одном изображении, а не построить изображение сцены с бесконечной
глубиной резкости.
3.2 Задача построения карты глубины
Родственной по отношению к задаче построения изображений расширенной глу-
бины резкости является задача построения карты глубины.
Рассмотрим некоторую не содержащую прозрачных объектов сцену и ее изобра-
жение I. В этом случае каждой точке (x, y) изображения I соответствует точка p
некоторого объекта сцены. Обозначим за D(x, y) расстояние от плоскости объекта p
до плоскости экрана (под плоскостью объекта в этом случае, очевидно, понимается
плоскость, содержащая объект, и параллельная плоскости экрана). Это расстояние
называется глубиной точки (x, y), а множество D — картой глубины изображения I.
Обычно карту глубины определяют с точностью до константы, таким образом
не важно, мерить расстояние до плоскости экрана, или фокусирующей линзы, или
до любой другой. В терминах рисунка 3 из раздела 2.1 за глубину объекта p мож-
но принять величину U . Реальная карта глубины для минерала, изображенного на
рисунке 5, приведена на рисунке 6. Более светлые области рисунка соответствуют
близким к камере участкам объекта и малым значениям глубины.
Рис. 6. Карта глубины объекта
Пусть опять имеется набор изображений {In }N n=1 сцены с различной фокусиров-
кой. Пусть кроме того нам известна некоторая калибровочная информация о наборе,
а именно, в терминах раздела 2.1, что на изображении In идеально сфокусированный
объект p располагается в плоскости на расстоянии U = dn от линзы. В случае если
9глубина резкости одного изображения достаточно мала, можно сделать вывод, что
если объект на изображении находится в фокусе, то он располагается в плоскости
на расстоянии близком к dn от плоскости линзы.
Так как любой алгоритм построения изображений расширенной глубины резко-
сти так или иначе находит резкие области на всех изображениях, эта информация
может быть использована для построения некоторого приближения карты глубины.
Скажем, если алгоритм определил, что точка (x, y) находится в наибольшей резко-
сти на изображении In , можно положить D0 (x, y) = dn . В процессе обработки всех
изображений будет построено приближение D0 карты глубины D. Полученное таким
образом приближение для набора с рисунка 4 изображено на рисунке 7.
Рис. 7. Приближение карты глубины объекта
Так как в наборе было мало изображений, карта получилась сильно дискрети-
зирована по разрешению глубины. Однако достаточное количество изображений в
наборе позволяет построить карту глубины с точностью, приемлемой для многих
задач.
Как мы увидим далее, не все методы построения мультифокус-изображений яв-
ным образом выбирают для каждого пикселя изображение, на котором он представ-
лен в наибольшей резкости. Некоторые методы вообще работают не с пикселями
непосредственно, а лишь с коэффициентами каких-либо преобразований исходных
изображений. Тем не менее, многие методы могут быть легко модифицированы для
построения карты D0 , в силу чего и имеет смысл говорить о родственности этих
задач.
3.3 Метрика в задаче построения мультифокус-
изображения
В связи с неформальностью постановки задачи о синтезе изображения расширен-
ной глубины резкости, встает серьезная проблема оценки результатов алгоритмов ее
решения. Действительно, очень сложно оценить, все ли детали были представлены
на итоговом изображении, и не были ли они искажены в процессе синтеза.
На данный момент существует два подхода к метрике результатов работы ал-
горитмов мультифокуса. Первый, наиболее очевидный, состоит в визуальной оценке
итогового изображения. В этом случае на глаз определяется правдоподобие получен-
ного результата, и оцениваются артефакты, характерные для конкретного метода.
Оцененые подобным образом методы обычно удовлетворяют субъективным крите-
риям восприятия, однако их нельзя ни сравнить между собой, ни протестировать на
больших базах наборов изображений.
10Второй метод заключается в сравнении с идеальным изображением I.ˆ Поскольку
в реальных задачах получить его обычно не представляется возможным, использу-
ется следующая процедура. Изображение Iˆ выбирается готовым, а затем по нему
искусственно строится набор изображений {In }. Полученное алгоритмом изображе-
ние I сравнивается с исходным I,ˆ и в качестве оценки качества работы берется,
например, их среднеквадратичное отклонение:
v
u N −1 M −1 ³ ´2
u X X
ˆ =t 1
std(I − I) ˆ y)
I(x, y) − I(x,
N M x=0 y=0
(формула дана в терминах, представленных в разделе 5). Подобный подход приме-
няется в [1], [4] и [6], а в [5] используется автоматическая генерация набора {In } по
заданной карте глубины.
Несмотря на очевидную практическую ценность второго метода, к его результа-
там нужно относиться очень настороженно. Дело в том, что каждый алгоритм так
или иначе добавляет на итоговое изображение характерные артефакты смешивания.
Для каждого алгоритма они могут иметь свой вид и оценить их с точки зрения
погрешности относительно идеального изображения невозможно. Таким образом без
визуальной оценки результатов обойтись все равно сложно и задача отыскания адек-
ватной метрики на данный момент очень актуальна.
114 Специфика задачи
Одной из целей данной дипломной работы стоял выбор метода построения изоб-
ражений расширенной глубины резкости, применимого в рамках конкретной практи-
ческой задачи. В данном разделе описана эта задача и вытекающие из нее критерии
для оценки рассматриваемых методов.
4.1 Описание приложения “цифрового микроскопа”
Практическая задача, речь о которой шла выше, состояла в реализации прило-
жения под названием “цифровой микроскоп”. Это утилита, предоставляющая набор
методов для улучшения изображения, получаемого с цифровой камеры, подключен-
ной к промышленному оптическому микроскопу. Пример такой системы показан на
рисунке 8.
Рис. 8. Стереомикроскоп с установленной цифровой камерой
Таким образом оператор может наблюдать изображение на экране монитора без
необходимости смотреть непосредственно в окуляры микроскопа. А раз изображе-
ние доступно в цифровом виде, возникают широкие возможности по его обработке.
Сюда относится, например, вывод какой-либо специфической информации или цве-
токоррекция. С помощью цифровой обработки потенциально можно решать задачи,
с которыми не справляется обычная оптика.
Рис. 9. Изображение с оригинальной (слева) и с увеличенной (справа) глубиной резкости
Нас же будет интересовать решение конкретной проблемы. На любом современ-
ном микроскопе невозможно получить качественную картинку достаточного уровня
12освещенности с большой глубиной резкости. Именно поэтому изображение наблюдае-
мое в микроскопе через окуляры или выводимое на монитор оператора без какой-либо
обработки выглядит обычно так, как показано на рисунке 9 слева. Такой глубины
резкости бывает часто недостаточно для успешного наблюдения объекта.
Однако если мы имеем возможность получить несколько подобных изображений
с различными уровнями фокусировки, мы можем синтезировать изображение с рас-
ширенной глубиной резкости и вывести его на экран. Пример такого изображения
приведен на рисунке 9 справа.
Для автоматического расширения глубины резкости необходим управляемый про-
граммно микроскоп, способный обеспечивать различные уровни фокусировки. Обыч-
но для этих целей микроскоп устанавливают на автоматическую подвижку, которая
может перемещаться вверх или вниз в соответствии с нуждами программы. Посколь-
ку в результате перемещения расстояние до объекта изменяется, в фокус входят но-
вые детали.
Схема работы модуля цифрового микроскопа, отвечающего за расширение глу-
бины резкости, приведена на рисунке 10. Подписи над стрелками означают формат
информации, передаваемой от одного участника схемы другому. Пунктирной стрел-
кой обозначено программное управление.
Отраженный Преломленный
источником микроскопом
свет свет
Объект Микроскоп Камера
Изображения с маленькой
Управление для получения глубиной резкости
серии изображений
Монитор Модуль
оператора мультифокуса
Изображение с увеличенной
глубиной резкости Цифровой
микроскоп
Рис. 10. Схема работы модуля мультифокуса цифрового микроскопа
В процессе работы оператор вручную или программно фокусирует микроскоп на
некотором участке объекта, а затем приложение автоматически расширяет глуби-
ну резкости за счет серии дополнительных изображений, полученных в результате
небольших перемещений микроскопа.
4.2 Критерии оценки методов
На данный момент существует множество различных по свойствам и принципам
работы методов построения изображений расширенной глубины резкости. В разде-
ле 5 мы постарались рассмотреть большинство используемых для данной задачи под-
ходов. Поскольку нам необходимо выбрать метод, наиболее подходящий для работы
в приложении “цифрового микроскопа”, мы оценивали каждый метод с точки зрения
его применимости в таком контексте. В этом разделе мы опишем выработанные кри-
терии, в рамках которых следует оценивать возможность применения какого-либо
метода в данном приложении.
134.2.1 Возможность работы с большим числом изображений
В большинстве случаев методы построения изображений расширенной глубины
резкости описываются для случая N = 2, т. е. для набора из двух изображений. Для
возможности успешного применения в задаче цифрового микроскопа метод обязан
уметь работать с произвольным количеством изображений. Например, при увеличе-
нии глубины резкости, продемонстрированном на рисунке 9, был использован набор
из N = 30 изображений.
Обычно не представляет труда обобщить указанный метод на случай произволь-
ного N , однако если это невозможно, метод нам не подойдет.
4.2.2 Возможность вычисления карты глубины
Как было указано в разделе 3.2, задача построения карты глубины объекта род-
ственна задаче мультифокуса. Поскольку обычно мы работаем с множеством изобра-
жений, мы потенциально имеем возможность получить достаточно хорошее прибли-
жение карты глубины, которое может быть использовано, например, для построения
трехмерной модели объекта. Имея в распоряжении такую модель, можно позволить
оператору выполнять виртуальное вращение объекта, или осуществить вывод на спе-
циальный стереомонитор.
Пример трехмерной модели для объекта с рисунка 5, построенной по его кар-
те глубины, изображенной на рисунке 6, приведен на рисунке 11. Таким образом,
крайне желательно, хотя и не необходимо, чтобы описываемый метод мог быть мо-
дифицирован для получения карты глубины.
Рис. 11. Трехмерная модель рассматриваемого объекта
4.2.3 Потенциальная скорость работы, инкрементальность
Процесс построения изображений расширенной глубины резкости обычно доста-
точно трудоемок. Поскольку приложение цифрового микроскопа подразумевает ра-
боту в реальном времени, к тому же, с использованием обычного настольного ком-
пьютера, остро встает вопрос о скорости работы выбираемого метода.
Специфика задачи цифрового микроскопа позволяет существенно ускорить время
работы алгоритма в случае, если он может быть модифицирован для поддержки так
называемой инкрементальности.
14В процессе работы оператору неизбежно потребуется рассмотреть объект цели-
ком, т. е. с различными положениями фокусировки. Он будет плавно перемещать
положение фокусировки и последовательно рассматривать входящие в фокус обла-
сти объекта. Если после каждого перемещения заново получать полный набор изоб-
ражений, потребуется масса механической работы по перемещению микроскопа. А
любая механическая работа — это всегда очень долго.
Нет смысла на каждое перемещение снимать новый набор изображений для рас-
ширения глубины резкости. Если выбрать шаг смещения кратным шагу в наборе,
как показано на рисунке 12, большинство изображений после перемещения не изме-
нятся. Достаточно будет удалить из набора вышедшие из диапазона изображения и
добавить несколько новых.
Различные плоскости фокусировки
для изображений
Набор изображений
до перемещения
Объект Набор изображений
после перемещения
Рис. 12. Иллюстрация инкрементальной работы алгоритма мультифокуса
Эта идея позволяет не только сократить количество механической работы, но и
открывает любопытную возможность программной оптимизации алгоритма построе-
ния мультифокус-изображения. А именно, если на каждое такое смещение алгоритм
не будет заново обрабатывать целый набор, а будет лишь учитывать добавление
и удаление нескольких изображений из набора, можно надеяться на существенный
прирост в скорости. Если алгоритм умеет выполнять подобный пересчет, будем гово-
рить, что он может работать инкрементально, или что он поддерживает инкремен-
тальность, или просто что он инкрементален.
Не всякий алгоритм может быть модифицирован для поддержки инкременталь-
ности. Некоторые алгоритмы частично инкрементальны, т. е. при добавлении или
удалении изображений им не нужно полностью повторять все вычисления над набо-
ром, но и недостаточно обработать только новые изображения.
Как мы увидим ниже, многие достаточно сложные и качественные алгоритмы в
той или иной степени поддерживают инкрементальность, что значительно позволяет
увеличить скорость их работы. Таким образом, крайне желательно, чтобы алгоритм
мог быть модифицирован для возможности инкрементальной работы.
4.2.4 Качество результата
Конечно, одним из основных критериев является все-таки итоговое качество по-
лучаемого изображения. Причем в данном случае речь идет не только о приятном на
глаз и фотографически реалистичном изображении без заметных артефактов склей-
ки различных частей изображений. Поскольку приложение должно использоваться
15для работы с промышленными объектами, очень важно не пропустить никаких де-
талей, будь то царапина на поверхности минерала, или небольшое уплотнение на
поверхности биологической клетки. Чрезвычайно важно, чтобы алгоритм не упус-
кал мелких деталей.
165 Анализ существующих методов
В этом разделе будет выполнен краткий анализ существующих на данный момент
методов построения изображений расширенной глубины резкости. Тем не менее, этот
раздел не ставит перед собой задачу описать их конкретную специфику работы, или
используемые тонкости реализации. В нем будет представлена их классификация и
описаны наиболее часто используемые принципы.
После изучения ряда статей по указанной тематике ([1]–[9]), был сделан вывод,
что подавляющее большинство существующих методов можно поделить на два ши-
роких класса. Это классы методов, использующих в своей работе соответственно про-
странственный и кратномасштабный анализ. Ниже мы рассмотрим оба этих класса
по отдельности.
Для каждого из них мы сначала опишем общую идею, объединяющую все методы
класса, а затем опишем возможные подходы к усовершенствованию, которые были
применены к ней в тех или иных исследованиях. В большинстве случаев мы не бу-
дем указывать как конкретно работают предложенные авторами этих исследований
алгоритмы. Тем не менее, как было обещано ранее, в разделе 6 мы подробно опи-
шем метод, предложенный в [3], т. к. он был признан оптимальным с точки зрения
применимости в нашей практической задаче “цифрового микроскопа”, описанной в
разделе 4.
Оба класса методов в общем и все подходы к усовершенствованию в частности
мы оценим с точки зрения критериев, сформулированных в разделе 4.2.
Начиная с данного момента и во всех дальнейших выкладках, если не сказано
обратного, называя некоторую величину I изображением размера W × H, мы будем
подразумевать, что I есть определенная в дискретном прямоугольнике веществен-
нозначная функция I : {0, 1, . . . , W − 1} × {0, 1, . . . , H − 1} → [0; 1].
Под пикселем с координатами (x, y) или просто под пикселем (x, y) изображения
I будем условно понимать точку с координатами (x, y) дискретного прямоугольника,
на котором определена функция I. Под яркостью же пикселя (x, y) изображения I
понимается значение I(x, y). Впрочем, под пикселем мы можем подразумевать его
яркость, это будет ясно исходя из контекста и не приведет ни к какой путанице.
Будем называть W шириной изображения, а H его высотой. Условимся,
что пиксель (0, 0) соответствует левому верхнему углу изображения, а пиксель
(W − 1, H − 1) — правому нижнему.
Таким образом мы будем работать с черно-белыми (полутоновыми) изображени-
ями, диапазон яркости которых нормирован в отрезок [0; 1]. Многие методы постро-
ения изображений расширенной глубины резкости работают и с цветными изобра-
жениями, однако обычно они внутри себя выделяют два этапа. Сначала они строят
черно-белое результирующее изображение, а затем некоторым образом добавляют
на него цвета. Причем обычно второй этап мало коррелирует с первым. Мы же рас-
смотрим только ту часть, которая связана непосредственно с задачей расширения
глубины резкости и в силу этого будем работать только с черно-белыми изображе-
ниями.
175.1 Методы пространственного анализа
Это наиболее интуитивный подход к решению поставленной задачи. Любой метод
из данной категории так или иначе формирует пиксель результирующего изображе-
ния I как комбинацию соответствующих пикселей на серии изображений {In }. Идея
заключается в том, чтобы для каждого пикселя на каждом изображении оценить
его резкость, а затем каждый пиксель результирующего изображения выбрать как
наиболее резкий (или как взвешенную сумму наиболее резких) из соответствующих
пикселей среди всех изображений набора.
К данной категории относятся методы, описанные в [1], [2] и [3]. На рисунке 13
показано, как меняется резкость точки в зависимости от положения фокусировки ка-
меры, т. е. от номера рассматриваемого изображения в наборе (рисунок адаптирован
из [2]).
Камера перемещается
Объектив камеры
вдоль направления глубины
Положение
максимума
Изображения при различном
положением фокусировки
Глубина
Резкость
Рис. 13. Уровень резкости точки на изображениях с различной фокусировкой
Все описанные ниже методы и их модификации могут быть использованы для
работы с множеством изображений. С точки зрения остальных критериев оценки
методы разнятся, конкретные результаты будут указаны непосредственно в соответ-
ствующих разделах.
5.1.1 Наивный метод пространственного анализа
Опишем, как будет действовать простейший метод данной категории. Для нача-
ла, к каждому изображению будет применен некоторый оператор S, вычисляющий
его резкость. В качестве такого оператора можно взять модуль градиента изобра-
жения, или любой фильтр для нахождения краев, например фильтр Собеля (другие
примеры мер резкости представлены в [10] и [11]). Обозначим полученную серию
изображений за {En }, где
En = S(In ). (1)
18Обозначим теперь за D̄(x, y) индекс изображения в наборе с наибольшей резкостью,
т. е. с наибольшим значением En (x, y):
D̄(x, y) = arg max En (x, y). (2)
n
Ну и наконец результирующее изображение I построим из наиболее резких пикселей
исходных изображений:
I(x, y) = ID̄(x,y) (x, y). (3)
Несложно заметить, что если бы нам были известны значения глубины dn , описан-
ные в разделе 3.2, мы могли бы немедленно получить приближение карты глубины
D0 как D0 (x, y) = dD̄(x,y) . Таким образом, наивный метод строит карту глубины в яв-
ном виде. Более сложные методы данной категории для этой цели могут потребовать
некоторых модификаций.
Достаточно очевидно, что описанный выше наивный метод имеет ряд серьезных
недостатков. Например, он очень нестабильно ведет себя в однородных областях без
ярко выраженной текстуры, что хорошо видно на результатах, приведенных на ри-
сунке 14. Однако общий принцип его работы так или иначе используется во всех
методах данной категории.
Рис. 14. Результаты работы наивного метода: итоговая картинка (слева) и увеличенный фрагмент (справа)
Этот метод практически без изменений используется в [2]. Однако в рамках рас-
сматриваемой там задачи, он оказывается удовлетворительным. В нашем же случае,
как и в большинстве других, он нуждается в ряде усовершенствований.
К плюсам этого метода можно отнести то, что он в явном виде вычисляет карту
глубины и очень быстро работает. Он не поддерживает инкрементальность, но при
его скорости работы это не важно. Безусловным минусом является низкое качество
работы.
5.1.2 Использование размытия
Для придания методу большей стабильности можно воспользоваться простой иде-
ей размытия изображений. Рассмотрим некоторый оператор B, осуществляющий раз-
мытие изображения. Наиболее естественно взять в качестве него свертку с ядром в
виде гауссиана. В [1] для повышения производительности для этих целей использу-
ется бокс-фильтр.
19Его можно применять не непосредственно к изображению, а к вычисленной мере
резкости. Теперь вместо изображений резкости {En } будем использовать их размы-
тые версии {Een }, где
Een = B(En ),
и тогда формулу (2) запишем как
en (x, y).
D̄(x, y) = arg max E
n
Эта простая идея позволяет добиться удовлетворительных результатов на многих
простых наборах. Тем не менее, из рисунка 15 видно, что в областях без текстуры он
порождает множество артефактов. Таким образом, оценка остается такой же, как и
у наивного метода — хорошая скорость, карта глубины в явном виде, и неудовлетво-
рительное качество результата.
Рис. 15. Результаты метода, использующего размытие
5.1.3 Использование взвешенного смешивания
Для обеспечения большей гладкости результирующего изображения, можно для
каждого пикселя выбирать не наиболее резкое его представление среди всех изоб-
ражений набора, а смешивать их все с весами, пропорциональными их резкости. В
этом случае будем иметь
PN
In (x, y)wn (x, y)
I(x, y) = n=1PN ,
n=1 wn (x, y)
wn (x, y) = w(En (x, y)),
где w есть некоторая весовая функция, удовлетворяющая следующим требованиям:
w(0) = 0
w(1) = 1 .
w(t) монотонно возрастает на [0; 1]
В простейшем случае весовую функцию можно выбрать линейной: w(t) = t, одна-
ко это не слишком подходящее решение. Разумнее выбрать гладкую сигмоидальную
20функцию с небольшими значениями производной вблизи границ отрезка [0; 1]. Весо-
вая функция в [1] выбрана как
1
w(t) = .
−β (t− 12 )
1+e
Строго говоря, эта функция не удовлетворяет сформулированным выше условиям,
т. к. w(0) > 0 и w(1) < 1, но при правильно подобранных значениях параметра β
имеем w(0) ≈ 0 и w(1) ≈ 1, что приемлимо с вычислительной точки зрения.
Легко видеть, что в данном случае в вычислениях ни в каком виде не фигурирует
величина D̄, с помощью которой мы могли вычислить карту глубины. Это как раз
тот случай, когда алгоритм требует модификации для возможности ее построения.
Например, мы можем искусственно определить величину D̄ следующим образом.
Раньше в D̄(x, y) хранился индекс изображения, на котором пиксель (x, y) представ-
лен в наибольшей резкости. Поскольку теперь значения пикселей смешиваются с
весами, мы можем с теми же весами смешать индексы изображений. В итоге имеем
PN
nwn (x, y)
D̄(x, y) = Pn=1
N
.
n=1 wn (x, y)
Полученные таким образом значения D̄ могут быть вещественными, поэтому при по-
строении приближения карты глубины D0 придется воспользоваться интерполяцией
значений dn .
Такой подход позволяет значительно повысить гладкость получаемых изображе-
ний. В сочетании с использованием размытия изображения он способен выдавать
приемлемые для многих задач результаты. Например, он в чистом виде реализован
в [1]. К сожалению, нам его возможностей недостаточно. Результаты приведены на
рисунке 16. Оценка примерно та же: чуть лучше качество, чуть ниже скорость, чуть
менее явное вычисление карты глубины.
Рис. 16. Результаты метода, использующего размытие и взвешенное смешивание
5.1.4 Использование суперпикселей
Одним из наиболее эффективных методов усовершенствования является исполь-
зование подхода так называемых суперпикселей. В этом случае используется разбие-
ние T , с помощью которого на изображениях выделяются суперпиксели — небольшие
регионы, одинаковые для всех изображений набора. Последующая работа ведется
21исключительно c суперпикселями, из которых затем некоторым образом собирается
итоговое изображение.
Обычно разбиение T выделяет сетку прямоугольных регионов одинакового раз-
мера. В этом случае удобно ввести некоторые обозначения. Пусть исходные изобра-
жения имеют размер W × H. В соответствии с введенными в заглавии секции согла-
шениями, координаты левого верхнего пикселя изображения равны (0, 0), а правого
нижнего — (W − 1, H − 1), как показано на рисунке 17 слева.
Пусть сетка разбиения в свою очередь имеет размер WT × HT , WT суперпикселей
по горизонтали и HT суперпикселей по вертикали. Аналогично координатам пиксе-
лей изображения, введем координаты для суперпикселей разбиения, или, в данном
случае, ячеек сетки, как показано на рисунке 17 справа.
Введем систему координат для узлов сетки. Положим, что координаты левого
верхнего узла равны (0, 0), а правого нижнего — (WT , HT ), как показано на рисун-
ке 17 в центре. В соответствии с этими определениями любая ячейка (i, j) сетки T
при 0 6 i < WT , 0 6 j < HT ограничивается узлами (i, j), (i + 1, j), (i, j + 1) и
(i + 1, j + 1).
W WT WT
(0, 0) (0, 0)
(0, 0)
H HT HT
(W − 1, H − 1) (WT , HT ) (WT − 1, HT − 1)
Рис. 17. Координаты пикселей изображения (слева), узлов разбиения (в центре) и суперпикселей разбиения (справа)
Наконец, укажем, каким образом сетка T разбивает изображение. Будем счи-
тать, что линии сетки накладываются на изображение между пикселей, и каждый
пиксель изображения считается вошедшим в некоторую ячейку сетки, т. е. в некото-
рый суперпиксель. Обозначим за InT = T (In ) множество полученных таким образом
суперпикселей.
Пусть теперь InT (i, j) есть суперпиксель, соответствующий ячейке (i, j) сетки раз-
биения T . Он состоит из всех пикселей изображения In , вошедших в ячейку (i, j)
сетки. Все они будут располагаться в некотором пиксельном прямоугольнике изоб-
ражения In .
Будем рассматривать только равномерную сетку. Тогда все суперпиксели будут
представлять из себя равные квадраты. Обозначим сторону этого квадрата за ST .
Будем не ограничивая общности считать, что изображение разбилось на целое коли-
чество суперпикселей, т. е. что ST | W и ST | H. Теперь мы готовы вычислить точные
координаты каждого суперпикселя. Отныне и далее, в силу наложенных ограниче-
ний на их вид и положение, будем называть суперпиксели регионами.
Обозначим за T (i, j) координаты левого верхнего пикселя в регионе, соответ-
ствующем ячейке (i, j). Тогда остальные угловые пиксели этого региона будут иметь
координаты T (i + 1, j) − (1, 0), T (i, j + 1) − (0, 1) и T (i + 1, j + 1) − (1, 1). ¡Поскольку
¢
сетка равномерна, T (i, j) может быть легко вычислено из ST как T (i, j) = iST , jST .
Принимая во внимание эту формулу, найдем остальные координаты углов региона
22¡ ¢ ¡ ¢ ¡ ¢
как (i + 1)ST − 1, jST , iST , (j + 1)ST − 1 и (i + 1)ST − 1, (j + 1)ST − 1 . На рисун-
ке 18 приведено изображение с наложенной на него сеткой и отмечены описанные
величины.
ST
T (0, 0)
ST
T (i, j)
T (WT , HT )
Рис. 18. Разбиение изображения при помощи сетки
Из рисунка видно, что величина T (WT , HT ) указывает на точку с координатами
вне рисунка. Это совершенно нормально, такое ее положение позволяет корректно
определить координаты граничных регионов. Точные же координаты этой величины
равны T (WT , HT ) = (W, H), что согласуется с данными нами определениями.
Теперь, когда мы определили алгоритм выделения регионов и построили множе-
ство InT , мы можем работать с ним в известной степени как с простым изображением.
Рассмотрим, как к такому “суперизображению” применить простейший алгоритм,
описанный в разделе 5.1.1. Мы не будем рассматривать возможность применения в
данном случае других представленных выше способов усовершенствования. В этом,
как правило, нет необходимости.
Для начала укажем, как применять к такому изображению оператор вычисления
резкости S. Под En в данном случае будем понимать изображение размером WT ×HT ,
каждый пиксель En (i, j) которого вычисляется как усреднение меры резкости соот-
ветствующего суперпикселя:
En (i, j) = L(EnT (i, j)),
EnT (i, j) = S(InT (i, j)),
где L(T ) есть оператор, вычисляющий общую яркость изображения T . В качестве
такого оператора может быть взято простое среднее арифметическое:
ST −1 SX
T −1
1 X
L(T ) = mean(T ) = T (x, y),
(ST )2 x=0 y=0
хотя, например, в [3] используется более изощренная мера, в которой среднее ариф-
метическое домножается еще на среднеквадратичное отклонение:
L(T ) = mean(T )std(T ), (4)
v
uST −1 ST −1 ³ ´2
1 u X X
std(T ) = t T (x, y) − mean(T ) .
ST x=0 y=0
После вычисленного указанным образом изображения En величина D̄ вычисля-
ется точно так же по формуле 2. Итоговое изображение точно так же собирается
23из суперпикселей, взятых с соответствующих изображений, что отражено в аналоге
формулы 3:
I T (i, j) = ID̄(i,j)
T
(i, j).
В этом случае нам необходимо совершить еще один шаг, а именно — построить
итоговое изображение I по полученному суперизображению I T :
I = T −1 (I T ).
В рассматриваемом нами простейшем случае достаточно разместить регионы на
изображении точно так же, как они были с него выбраны. Собственно, нам ниче-
го больше и не остается. Однако очевидно, что в общем случае в результате такой
процедуры на итоговом изображении появятся артефакты неровностей на стыке ре-
гионов, что хорошо видно на рисунке 19. Это основная проблема, которая возникает
при использовании данного метода.
Рис. 19. Результаты метода, использующего суперпиксели
Основным способом ее решения является выбор более сложного разбиения T , со-
держащего перекрывающиеся суперпиксели. В связи с этим возникает вопрос, каким
образом выполнить преобразование T −1 , чтобы получить итоговое изображение по
найденному суперизображению. В этом случае необходимо некоторым образом вы-
полнить смешивание перекрывающихся суперпикселей для получения гладкой ре-
зультирующей картинки. В разделе 6 мы вернемся к этому вопросу и подробно рас-
смотрим, как он решается методом, описанным в [3].
Описанный подход вкупе с некоторыми доработками уже вполне может удовле-
творить нашим требованиям. Он в явном виде строит карту глубины, хотя и не ре-
зультирующего изображения, а суперизображения. В итоге ее линейное разрешение
получается уменьшенным в ST раз, однако этой точности нам вполне достаточно,
если выбирать разумный размер регионов.
У метода появляются проблемы со скоростью, т. к. с технической точки зрения
не так просто организовать разбиение изображения на суперпиксели. Кроме того,
дополнительных затрат требует выполнение преобразования T −1 , что особенно на-
кладно в случае, когда разбиение T использует перекрывающиеся суперпиксели. В
то же время, у метода появляется возможность частичной инкрементальной работы.
И, наконец, качество метода уже может считаться вполне удовлетворительным.
Он гораздо более стабилен, чем описанные выше модификации, так как работает с
суперпикселями, а не с отдельными пикселями изображения. В процессе тестирова-
ния он был признан оптимальным для нашей задачи, в том смысле, что именно его
в своей основе содержит выбранный нами метод.
245.2 Методы кратномасштабного анализа
Методы этого класса отличаются тем, что не работают непосредственно с пиксе-
лями изображений. Они переводят изображения в другое представление, а именно,
формируют кратномасштабные разложения и работают уже с ними. В качестве крат-
номасштабных преобразований обычно используются вейвлет-разложения ([4], [5]
и [6]), однако это могут быть и разложения другого рода ([7], [8] и [9]).
Для начала будем говорить о разложениях, выполняемых при помощи дискрет-
ных вейвлет-преобразований (подробнее о них см. [13, гл. 7]). Заметим, что наиболь-
шие (по модулю) коэффициенты разложения соответствуют наиболее выраженным
деталям на изображении, т. е. наиболее резким его частям. На рисунке 20 приведен
пример изображения и его вейвлет-разложения второго уровня с помощью простых
вейвлетов Хаара.
Рис. 20. Исходное изображение (слева) и его вейвлет-разложение (справа)
Идея всех методов кратномасштабного анализа заключается в том, что если сфор-
мировать некоторое разложение выбором наибольших (по модулю) коэффициентов
c разложений представленных в наборе изображений, оно будет соответствовать ис-
комому изображению расширенной глубины резкости. Отличаются они в основном
стратегией этого выбора.
Все описанные ниже методы и их модификации могут быть использованы для
работы с множеством изображений. Кроме того, всем методам свойственны некото-
рые проблемы с вычислением карты глубины. Подробнее об их оценках поговорим в
соответствующих разделах.
5.2.1 Наивный метод кратномасштабного анализа
Для начала опишем простейший метод, основанный на идее кратномасштабного
анализа. Обозначим за W используемое дискретное вейвлет-преобразование. Постро-
им множество {En } вейвлет-разложений всех изображений в наборе:
En = W(In ).
Для разложения E обозначим за E A его низкочастотную компоненту. Обозна-
чим за E θ(l) вейвлет-коэффициенты на уровне разложения l в направлении θ, где
θ ∈ {H, V, D}, и тогда E H(l) , E V (l) и E D(l) есть коэффициенты в горизонтальном, вер-
тикальном и диагональном направлениях соответственно. Обозначим за L глубину
разложения, тогда l ∈ 1..L.
25Аналогично введем обозначения для разложений из {En }. Расположение обозна-
ченных таким образом компонент для вейвлет-разложения второго уровня приведено
на рисунке 21.
EA E H(2)
E H(1)
E V (2) E D(2)
E V (1) E D(1)
Рис. 21. Обозначение различных компонент вейвлет-разложения
Каждая из компонент разложения представляет из себя определенную на дис-
кретном прямоугольнике вещественнозначную функцию. Единственное, что ее отли-
чает от изображения, это что ее значения не обязательно будут лежать в отрезке
[0; 1]. Во всем же остальном при работе с компонентами разложения мы будем при-
держиваться введенной для изображений терминологии, с той лишь разницей, что
вместо термина “пиксель” будем использовать термин “коэффициент”.
Кроме того, часто бывает удобно графически изобразить содержание компонен-
ты разложения. Как следует из вышесказанного, для этих целей достаточно лишь
определить, каким образом отобразить диапазон значений коэффициентов в отрезок
[0; 1]. Для этих целей обычно выбирается простое линейное преобразование, причем
яркость нулевых коэффициентов выбирается как центр диапазона, т. е. полагает-
ся равной 12 . Коэффициент линейного растяжения выбирается произвольно, чтобы
адекватным образом отразить значения коэффициентов компоненты.
Если возникает необходимость отобразить разложение целиком, его компоненты
компактно размещаются рядом друг с другом. Это стандартный подход, мы его уже
применяли на рисунках 20 и 21. Фактически, расположенные таким образом ком-
поненты не будут идеально вписываться в исходный прямоугольник изображения,
однако это очень удобно с точки зрения наглядности.
Вернемся к описанию метода. Вейвлет-коэффициенты разложения в определен-
ном направлении и на определенном уровне соответствуют деталям на изображении
в этом направлении и соответствующего масштаба. Чем более ярко выражена де-
таль, тем больше значение (модуля) вейвлет коэффициента. Отсюда вытекает мысль
смешать разложения таким образом, чтобы каждый коэффициент результирующего
разложения был выбран как максимум из представленных в данной точке на данном
уровне коэффициентов всех разложений набора. Низкочастотную компоненту мож-
но выбрать просто как среднее соответствующих компонент всех наборов. Таким
образом получаем
θ(l)
E θ(l) (x, y) = ED̄θ(l) (x,y) (x, y), для ∀l, x, y, θ, (5)
N
1 X A
A
E = E ,
N n=1 n
26где ¯ ¯
D̄θ(l) (x, y) = arg max ¯Enθ(l) (x, y)¯ . (6)
n
Полученное таким образом разложение E используем для вычисления результи-
рующего изображения I:
I = W −1 (E).
Описанный процесс схематично изображен на рисунке 22.
E1
W
I1
E I
W −1
··· ···
W
IN
EN
Рис. 22. Схема работы простейшего алгоритма на базе кратномасштабного анализа
Реализованный в чистом виде наивный метод вносит на итоговое изображение
множество характерных артефактов, что хорошо видно из результатов его работы,
приведенных на рисунке 23. Однако следует отметить, что даже в такой форме он
выдает более или менее адекватный результат, в отличие от простейшего метода
пространственного анализа, описанного в разделе 5.1.1.
Всем методам данной категории свойственны своего рода “глобальные” артефак-
ты, поскольку они работают с изображением на разных уровнях масштаба. В связи
с этим мы выбрали другой фрагмент для увеличения, чтобы более полно отразить
результирующую картину.
Рис. 23. Результаты работы наивного метода: итоговая картинка (слева) и увеличенный фрагмент (справа)
Поскольку метод не работает с пикселями напрямую, он в явном виде нигде не
использует карту глубины, что является его бесспорным минусом. Тем не менее,
некоторую коррелирующую величину он в процессе своей работы вычисляет. Для
каждого коэффициента разложения E нам в явном виде известно, с какого разложе-
ния из набора он был выбран. А именно, из (5) видно, что коэффициент E θ(l) (x, y)
выбран с разложения под номером D̄θ(l) (x, y). Назовем величину D̄ картой выбора
коэффициентов, или просто картой выбора.
27Каждый коэффициент разложения соответствует некоторой пространственной
области и направлению. Обратно, информация о каждом пикселе изображения от-
ражена в соответствующем коэффициенте каждой компоненты разложения. Таким
образом, вычисляемая глубина D0 (x, y) пикселя (x, y) зависит только от значений
карты выбора D̄θ(l) (x(l) , y (l) ), θ ∈ {H, V, D}, l ∈ 1..L, где под (x(l) , y (l) ) подразуме-
ваются соответствующие пикселю (x, y) коэффициенты компонент разложения на
уровне l: ¡ ¢
D0 (x, y) = δ {D̄θ(l) (x(l) , y (l) ) : θ ∈ {H, V, D}, l ∈ 1..L} .
Открытым остается вопрос о выборе конкретного вида функции δ. Так или иначе,
нам нужно учесть все значения D̄θ(l) (x(l) , y (l) ), так что в простейшем случае можно
выбрать их среднее арифметическое:
¡ ¢ 1 X
δ {D̄θ(l) (x(l) , y (l) ) : θ ∈ {H, V, D}, l ∈ 1..L} = D̄θ(l) (x, y).
3L
l∈1..L
θ∈{H,V,D}
Может быть, имеет смысл брать взвешенное среднее, или выбирать наибольшее число
раз встретившееся значение. В любом случае, подробное обсуждение этого вопроса
выходит за рамки данной работы.
Данный метод даже в простейшей реализации не может похвастать скоростью
работы, ибо выполнение вейвлет-преобразования W занимает значительное время.
С другой стороны, он допускает инкрементальную реализацию (мы не будем оста-
навливаться на подробном ее описании).
5.2.2 Усовершенствование стратегии выбора
Одной из часто применяемых техник усовершенствования наивного метода явля-
ется использование более продуманной стратегии выбора коэффициентов. Она вклю-
чает в себя несколько независимых проверок и подходов.
• В формуле (6) при формировании карты выбора D̄θ(l) (x, y) ищется максимум
среди модулей соответствующих коэффициентов в наборе. Можно усложнить
схему и искать максимум в небольшой окрестности размером (2k + 1) × (2k + 1)
(в [6] берется k = 1). В этом случае будем иметь
¯ ¯
D̄θ(l) (x, y) = arg max max ¯Enθ(l) (x + i, y + j)¯ .
n i∈−k..k
j∈−k..k
В этой формуле следует учесть поведение на границе компоненты разложения.
Например, формально положить значения коэффициентов, лежащих за преде-
лами компоненты, равными нулю.
• Можно выполнять проверку на соответствие коэффициентов различных на-
правлений внутри одного уровня разложения. Если два из трех значений кар-
ты выбора D̄H(l) (x, y), D̄V (l) (x, y) и D̄D(l) (x, y) совпадают, то и третье значение
полагается им равным.
Формально, для всех l, x, y, если найдутся такие попарно неравные
θ1 , θ2 , θ3 ∈ {H, V, D}, что D̄θ1 (l) (x, y) = D̄θ2 (l) (x, y) = n, тогда и D̄θ3 (l) (x, y) пола-
гается равным n.
28• Аналогично предыдущему пункту выполняется проверка целостности. Для эле-
мента карты выбора D̄θ(l) (x, y) рассмотрим его соседей в этом же направлении
на этом же уровне разложения в окрестности (2k + 1) × (2k + 1) (в [5] берет-
ся k = 1), то есть элементы вида D̄θ(l) (x + i, y + j), где i ∈ −k..k, j ∈ −k..k,
(i, j) 6= (0, 0). Если большая часть их значений совпадает и равна n, то и его
значение берется равным D̄θ(l) (x, y) = n.
В этом случае также необходимо учесть поведение на границе. Причем в дан-
ном случае нельзя, скажем, формально положить значения элементов карты
выбора, лежащих за пределами компоненты, равными нулю. Здесь придется
реализовать ручную проверку, ибо в этом случае, например, для x = y = 0 мы
получим n = 0, что не имеет смысла.
По крайней мере часть из описанных выше манипуляций с картой выбора D̄
осуществляется в большинстве методов кратномасштабного анализа.
На рисунке 24 приведен результат работы метода, использующего все вышеука-
занные подходы. Можно заметить, что осцилляции яркости вблизи выраженных гра-
ниц значительно уменьшились, хотя все равно пока не могут считаться удовлетво-
рительными.
Рис. 24. Результаты работы метода, использующего усовершенствованную стратегию выбора
С точки зрения производительности, использование манипуляций с картой выбо-
ра D̄ не только добавляет дополнительные затраты на их осуществление, но и крайне
негативно сказывается на инкрементальности метода. Как было установлено в про-
цессе тестирования, в случае применения более значительных усовершенствований,
описанных ниже, можно добиться удовлетворительного качества без их использова-
ния. Таким образом, может иметь смысл отказаться от манипуляций с картой выбора
в пользу сохранения возможности инкрементальной работы.
5.2.3 Применение постпроцессинга
Одним из очень простых, но в то же время достаточно мощных подходов к усо-
вершенствованию работы любого метода кратномасштабного анализа является ис-
пользование постпроцессинга. Этот шаг имеет большее отношение к области про-
странственного анализа, т. к. использует непосредственно результирующее и исход-
ные изображения набора, а не коэффициенты их разложений.
На полученном изображении I выполняется коррекция цветов. Цвет каждого пик-
селя I(x, y) заменяется на наиболее близкий из представленных цветов в наборе, то
29есть формируется новое изображение I ∗ (x, y) как
I ∗ (x, y) = Ik (x, y),
(7)
k = arg min |I(x, y) − In (x, y)|.
n
Как было видно из представленных ранее результатов работы, наибольшую про-
блему наивного метода представляют глобальные артефакты осцилляций яркости.
Причем, в отличии, скажем, от эффекта Гиббса, получаемые значения обычно пре-
вышают ожидаемые, а не осциллируют вокруг них. Это вызвано тем, что при выборе
максимальных коэффициентов мы искусственно увеличиваем общую яркость изобра-
жения. С помощью постпроцессинга мы возвращаем значения в исходный диапазон.
На рисунке 25 приведены результаты работы метода, использующего постпроцес-
синг в сочетании с усовершенствованной стратегией построения карты выбора. Как
видим, постпроцессинг очень хорошо справился с артефактами осцилляций яркости.
Рис. 25. Результаты работы метода, использующего усовершенствованную стратегию выбора и постпроцессинг
Реализованный в чистом виде по формулам (7) постпроцессинг хотя и довольно
быстро работает, но плохо соответствует инкрементальному принципу работы. Мож-
но использовать упрощенный вариант, при котором выбирается не ближайший из
представленных цветов в наборе, а учитывается только максимальное и минималь-
ное значения яркости:
max
I (x, y), при I(x, y) > I max (x, y)
I ∗ (x, y) = I min (x, y), при I(x, y) < I min (x, y) ,
I(x, y), иначе
где
I max (x, y) = max In (x, y),
n
min
I (x, y) = min In (x, y).
n
Использование такого упрощения практически незаметно с точки зрения качества
результата, но позволяет сохранить возможность инкрементальной работы.
5.2.4 Использование избыточных вейвлет-преобразований
Одним из известных недостатков дискретного вейвлет-преобразования является
отсутствие у него инвариантности к сдвигу. Оказывается, это играет значительную
30роль в применении к задаче построения изображений расширенной глубины резко-
сти.
Как было установлено в разделе 2.1, по мере выхода детали из фокуса будет
наблюдаться ее смещение на изображении. Этот процесс проиллюстрирован на ри-
сунке 26. Обратите внимание на смещение границы кристалла относительно (непо-
движных) границ изображения. Для наглядности для реальных изображений были
показаны увеличенные фрагменты.
Рис. 26. Иллюстрация смещения объекта по мере выхода из фокуса
В силу чувствительности вейвлет-преобразования к сдвигу, коэффициенты разло-
жений смещенных таким образом изображений будут отличаться, что отрицательно
скажется на адекватности выбора максимума. Отсюда возникает мысль воспользо-
ваться инвариантными к сдвигам преобразованиями.
Таким свойством (частично) обладают различные избыточные вейвлет-
преобразования, хотя они требуют больших объемов памяти для хранения избы-
точных разложений и больших вычислительных затрат.
Одним из примеров избыточных (частично) инвариантных к сдвигу вейвлет-
преобразований является так называемое DT-CWT (dual-tree complex wavelet
transform, см. [14]). Именно оно применяется в [4].
Мы не будем подробно останавливаться на модификациях алгоритма, которые
необходимы для возможности работы с избыточными преобразованиями. Общая схе-
ма остается точно такой же, с тем лишь исключением, что приходится работать с
большим количеством направлений θ.
На рисунке 27 приведены результата работы метода, использующего комплекс-
нозначное DT-CWT. Как видим, в сочетании с описанными ранее подходами, каче-
ство полученной картинки оказывается вполне приемлемым. Изображение выглядит
более гладко, а границы стали заметно ярче выражены. Практически пропали арте-
факты осцилляций яркости.
Использования избыточных преобразований никак не касается вопросов инкре-
ментальности и вычисления карты глубины. Таким образом, мы получаем чистый
прирост качества за счет увеличения времени работы и объемов потребляемой па-
мяти.
Такое качество результата вполне устроило бы нас в рамках нашей задачи. Од-
нако с использованием всех описанных усовершенствований метод работает уже до-
статочно долго. Плюс серьезным недостатком является описанная ранее проблема с
вычислением карты глубины. В итоге, с точки зрения применимости в задаче циф-
рового микроскопа, выбор был сделан в пользу методов пространственного анализа.
31Вы также можете почитать
