Технология HDRi в видеонаблюдении

И. Анисимов, к. т. н.

"Алгоритм безопасности" № 3 2010

Введение

Современные мегапиксельные камеры способны охватывать гораздо более широкое поле зрения, чем аналоговые камеры предыдущего поколения. С одной стороны, это дает новые возможности для видеонаблюдения, с другой стороны – поднимает новые проблемы. Одной из самых насущных проблем является нехватка динамического диапазона камеры.

Понятие «динамический диапазон камеры» обозначает максимально возможное количество различных градаций яркости в кадре. Наилучшее качество изображения достигается тогда, когда в поле зрения камеры все объекты освещены примерно одинаково. В этом случае имеющийся динамический диапазон камеры используется наиболее эффективно, все объекты на изображении видны и имеют достаточную контрастность. Для камер стандартного разрешения условие одинаковой освещенности почти всегда выполняется. Однако для мегапиксельных камер гораздо больше примеров, когда это условие нарушается, одна часть сцены на свету, а другая в тени. Например, солнце и тень от дома, яркое окно и темный угол и т.п.

Когда в кадр одновременно попадают и свет и тень, то градаций яркости уже недостаточно, чтобы одинаково контрастно изобразить и свет и тень. Если настроить камеру на светлый участок, то все, что в тени, становится просто черным и неразличимым, если настроить на темный участок – то оказывается засвеченной светлая часть. Приходится выбирать что-то одно, а другую часть кадра безвозвратно терять, либо снижать общую контрастность изображения, делая неразличимыми многие детали.

Рассмотрим на примере. На первом изображении (рис. 1) видны только темные участки наблюдаемой сцены, а светлые участки оказываются засвеченными. На втором изображении (рис. 2) видны только светлые участки сцены, темные участки оказываются затемненными.

Самый простой способ решить проблему с засветкой или с затемнением части кадра – это вырезать такие участки в кадре и запрашивать их от камеры отдельным потоком со своими настройками выдержки. Либо запрашивать целые кадры с разной выдержкой двумя отдельными потоками. Однако этот способ неэффективен, вместо одного изображения оператору приходится контролировать два изображения.

Эффективным решением данной проблемы является технология HDRi (High Dynamic Range imaging), или «высокий динамический диапазон». Основной принцип – это получение двух кадров с разной выдержкой, один настроен на светлый участок сцены, а другой на темный участок сцены, а потом слияние этих кадров в один, в котором присутствуют изображения и светлых и темных участков.

Получение изображения с высоким динамическим диапазоном

Процесс получения изображения в камере, если абстрагироваться от множества деталей, можно представить в виде блок-схемы (рис. 3).

Входом X является освещенность пикселя на сенсоре, выходом Y является цифровое значение пикселя. Ф – фотоприемник (сенсор). У – усилитель. АЦП – аналого-цифровой преобразователь. МК – микроконтроллер, управляющий усилителем (У) и выдержкой сенсора (Ф).

Зависимость выхода Y от входа X можно приближенно описать линейной функцией, прямой, ограниченной сверху и снизу (рис. 4 – синяя линия). При слишком большом значении входного сигнала все элементы схемы уходят в режим насыщения (засветка), поэтому прямая ограничена сверху. При слишком малом значении сигнала все элементы схемы уходят в режим отсечки (затемнение), поэтому прямая ограничена снизу.

Выдержка (экспозиция) позволяет накапливать сигнал на сенсоре и в паре с усилителем позволяет менять наклон прямой. Двум разным выдержкам соответствуют две разные прямые (рис. 4).

Зная разницу коэффициентов наклона прямых, можно привести изображения в один масштаб яркости, умножив второе изображение на эту разницу (рис. 5).

Теперь, для того чтобы получить изображение с высоким динамическим диапазоном, достаточно вместо засвеченных пикселей из первого изображения брать пиксели из второго изображения, умноженные на разницу между выдержками. В результате из двух изображений с разной выдержкой получим одно, но с увеличенным динамическим диапазоном и, соответственно, увеличенной разрядностью пикселя.

Существует два способа получения изображений одной и той же сцены с разной выдержкой. Первый – это получать два кадра с разной экспозицией последовательно во времени. Недостаток этого способа в том, что за период кадра сцена успевает измениться, в результате возникают искажения движущихся объектов. Второй способ – использовать специальный сенсор, поддерживающий две экспозиции одновременно.

Отображение широкого динамического диапазона в обычный диапазон для просмотра на мониторе

Человеческий глаз не воспринимает более 256 градаций яркости, а изображение с высоким динамическим диапазоном может содержать намного больше градаций яркости. Из-за этого изображение с высоким динамическим диапазоном не может быть просмотрено человеком без прокрутки яркости, что достаточно неудобно. Поэтому следующий этап в технологии HDRi – это сжатие динамического диапазона так, чтобы изображение можно было удобно просматривать.

Существует два подхода к сжатию динамического диапазона, глобальное и локально-адаптивное сжатие диапазона. При глобальном сжатии диапазона ко всем пикселям изображения применяется одно и то же преобразование яркости. Это преобразование имеет нелинейный вид, в качестве примера смотрите рисунок 6.

При этом в зависимости от выбора вида функции одна часть диапазона сжимается сильней, а другая слабей. В приведенном примере сильней сжимается верхняя часть динамического диапазона.

При выборе вида преобразования руководствуются предположением, что в реальном изображении задействован не весь диапазон яркостей. Следовательно, из него можно исключить некоторые наборы градаций яркости, передавая их со сниженной контрастностью. Однако на практике для видеосъемки это предположение не подтверждается, все градации яркости обычно задействованы. Их выбрасывание ведет к потере контрастности, а соответственно, к неразличимости деталей.

К глобальному сжатию диапазона относятся такие методы, как: преобразование гистограммы, гамма-коррекция, логарифмическое преобразование и другие – все эти методы приводят к потере контрастности изображения.

Сохранить высокую контрастность деталей изображения позволяет локально-адаптивное сжатие диапазона, представляющее собой выравнивание освещения на изображении. Предполагается, что изображение, получаемое камерой, имеет две составляющие: саму наблюдаемую сцену и наложенное на нее освещение (тень). Если удалить наложенное на сцену освещение, то мы получим изображение самой сцены, что и требуется для задачи видеонаблюдения.

Рассмотрим пример. На изображении после локально-адаптивного сжатия динамического диапазона (рис. 7) видны одновременно и темная и светлая части сцены, в отличие от изображений, приведенных выше (рис. 1, 2). При этом обе части сцены передаются без снижения контрастности, а соответственно, без потери деталей.

Главная и достаточно сложная проблема, возникающая при выравнивании освещения, это визуальные дефекты на стыках ярких и темных участков. Чем меньше визуальные дефекты на границах, тем выше качество реализации технологии HDRi.

Приведенное изображение (рис. 7) является результатом работы локально-адаптивного алгоритма выравнивания освещенности, разработанного автором и не имеющего заметных глазом визуальных дефектов на границах темных и светлых участков.

Заключение

Таким образом, на основании материала, приведенного в данной статье, можно сделать ряд выводов. Технология HDRi действительно необходима и действительно позволяет сильно повысить качество изображения. Данная технология наиболее актуальна для камер с высоким разрешением. При выборе камер и сравнении реализаций технологии HDRi различными производителями рекомендуется обращать внимание на следующее:

1. Использование специального сенсора с поддержкой двух одновременных экспозиций (выдержек) имеет преимущество перед использованием обычного сенсора, поскольку позволяет свести к минимуму искажения движущихся объектов.

2. Локально_адаптивное сжатие динамического диапазона (или выравнивание освещения) имеет преимущество перед глобальным преобразованием яркости (гамма-коррекция, преобразование гистограммы, логарифмическое преобразование и др.) Локально_адаптивные алгоритмы дают более высокую контрастность изображений, что позволяет различать детали.

3. Локально_адаптивные алгоритмы отличаются друг от друга величиной визуальных дефектов на границах светлых и темных объектов или участков изображения.