Корпоративный блог

Мегапиксельная видеоаналитика для сложных условий наблюдения


Дата публикации: 03.08.2010 16:09
Поддержка режимов высокой четкости (HD) считается сегодня главной движущей силой рынка видеонаблюдения, увеличивающей долю сетевых камер (IP) и уменьшающей долю аналоговых камер стандартной четкости (SD). Действительно, при благоприятных условиях наблюдения сенсор HD улучшают детализацию изображения, что, повышает точность распознавания и дальность действия системы видеомониторинга. С другой стороны, камеры HD часто уступают камерам SD в таких важных параметрах, как чувствительность и динамический диапазон. При неблагоприятных условиях, например, при недостаточной или неравномерной освещенности, эти параметры оказываются более важными, чем разрешающая способность, как и для человека, так и для видеоаналитики. Рассмотрим вопросы применения видеоаналитики в камерах HD, а так же связанные вопросы повышения качества HD-изображения.

Охранная видеоаналитика - молодая амбициозная технология. Системы аналитической обработки видео пока мало распространены, а после внедрения зачастую не отвечают ожиданиям заказчика. С другой стороны, непрерывное совершенствование технологии с точки зрения точности распознавания и удобства эксплуатации, а так же широкого внедрения отраслевых стандартов (ONVIFPSIA) делает видеоаналитику более привлекательной для конечного пользователя.

Растущая популярность мегапиксельных камер усиливает актуальность видеоаналитики. При переходе на режим HD многократно увеличивается потребность в пропускной способности сетевых каналов и дискового пространства, часто выше технически возможного уровня. Особенно проблематично расширение каналов связи протяженных и/или удаленных объектов. Видеоаналитика позволяет отказаться от непрерывной трансляции видео и перейти к событийной видеорегистрации. Другими словами, видеоаналитика может автоматически формировать управляющий сигнал для начала и для конца трансляции видео HD при возникновении объекта наблюдения в поле зрения камеры. Для реализации такого сценария работы видеоаналитика должна быть встроена в передающее устройство, например, камеру или энкодер (см. статью).

Точность видеоаналитики HD

В чем преимущества мегапиксельной видеоаналитики? Очевидно, высокая детализация сцены при использовании камеры HD повышает точность детектирования, сопровождения и классификации целей, как в автоматическом режиме при помощи видеоаналитики, так при «ручном» наблюдении оператором.

В задачах охраны периметра, можно говорить о заметном увеличении угла охвата и/или дальности действия одной камеры (см. статью). В то время как дальность действия камеры SD составляет 40-90 метров в зависимости от качества оборудования и условий наблюдения, дальность действия камеры HD в хороших условиях может составлять 150 метров.

На графике представлена типовая зависимость интегрального показателя точности F1 от расстояния между камерой и наблюдаемым объектом для камер стандартной (SD) и высокой (HD) четкости для сценариев «Охрана периметра в стерильной зоне». Зелеными линиями показаны характеристики видеосистемы при благоприятных условиях наблюдения. Красными - при неблагоприятных условиях, предполагающих наличие таких факторов как осадки (дождь, снег, туман), недостаточное освещение, дрожание камеры, неоднородная плотность воздуха из-за нагрева поверхности, загрязнение объектива, неравномерность освещения.

Сплошными линями показаны характеристики камеры HD, штриховыми – камеры SD. Обе камеры имеют идентичную аппаратно-программную платформу и настройки, но различаются только сенсорами. Как видно из графиков, при идеальных условиях наблюдения, дальность видеоаналитики HD составляет 120 метров, а дальность видеоаналитики SD – 80 метров при точности F1=0,90. Дальности действия 40-50 метров практически совпадают у HD и SD системы для высокой точности F1=0,99.

При неблагоприятных условиях, видеоаналитика HD проявляет себя немного хуже, чем аналитика SD из-за большей зашумленности изображения. Важная задача разработчика мегапиксельной камеры – обеспечить высокое качество изображения на сценах со сложным освещением.

Отметим, что в задачах распознавания лиц переход на режим HD обеспечивает более значительный прирост точности.

Типовая зависимость интегрального показателя точности F1 от расстояния между камерой и наблюдаемым объектом для камер стандартной (SD) и высокой (HD) четкости

Рис.1 Типовая зависимость интегрального показателя точности F1 от расстояния между камерой и наблюдаемымобъектом для камер стандартной (SD) и высокой (HD) четкости.

Необходимым условиям достижения высокой дальности действия камеры является сбалансированность ее технических характеристик сенсора, оптики и вычислительной части. Переход на HD ставит перед разработчиками видеоаналитики новые трудные задачи. Во вкладке описаны основные проблемы, сопутствующие внедрению мегапиксельной видеоаналитики, и возможные пути их решения.

Проблемы при переходе с SD на HD

Предлагаемые пути решения

Входящий поток данных для видеоаналитики HD (0.88 МП для режима 720p, 1.98 МП для режима 1080p) в 2-5 раз превышает поток SD (0,40 МП для режима PAL). Одновременно возрастает количество анализируемых объектов, что приводит к нелинейному росту вычислительной сложности. Эти факторы значительно ограничивает масштабируемость серверной видеоаналитики до 1-2 каналов на 1 ядро центрального процессора.

  1. Распределение вычислений между передающей и приемной частями системы видеонаблюдения при помощи встроенной видеоаналитики.
  2. Использование новых алгоритмов видеоаналитики с управляемой ресурсоемкостью и детерминированным временем обработки одного кадра.

Зона контроля камеры HD может быть существенно больше, чем у камеры SD, что увеличивает требования к динамическому диапазону. Другими словами на бóльшей территории может быть более значителный перепад между самым светлым и самым темным уровнями яркости. При этом, сенсоры HD обычно имеет диапазон до 70 дБ, в то время как сенсоры SD до 120 дБ. Видеоаналитика не регистрирует объекты в зонах за рамками стандартного динамического диапазона.

  1. Использование сенсоров нового поколения, сочетающих мегапиксельное разрешение и широкий динамический диапазон (WDR). При этом видеоаналитика должна тоже поддерживать режим WDR, то есть обрабатывать более 8 бит на пиксел. На практике, это увеличивает ресурсоемкость видеоаналитики в 2 раза
  2. Использование видеоаналитики WDR и/или алгоритмов адаптивного сжатия динамического диапазона, например, Iridix. Применение таких алгоритмов позволяет обеспечивает совместимость со стандартной 8-битовой видеоаналитикой.

Сенсоров HD часто уступает сенсорам SD по чувствительности в несколько раз из-за меньшего размера светочувствительного элемента. Видеоаналитика не регистрирует объекты при слабой освещённости.

  1. Использование сенсоров нового поколения, сочетающих мегапиксельное разрешение и высокую чувствительность.
  2. Автоматическое включение режима пространственного и временного бининга (bining) пикселов при недостаточной освещенности.
  3. Использование высокочувствительных детекторов на базе текстурных признаков
  4. Увеличение мощности подсветки

В широкоугольной камере HD могут быть более существенные геометрические искажения изображения (типа «бочки») и более значительные вариации масштаба объектов. Подобные искажения значительно снижают точность распознавания.

  1. Совершенствование алгоритмов калибровки камеры, внедрение нелинейных преобразований координат из 2D в 3D пространство.
  2. Использование многомасштабных алгоритмов видеоанализа.

Диапазон вариации пиксельных габаритов объектов меняется более значительно от переднего плана к заднему. Невозможно подобрать параметры видеоаналитики для однородной обработки кадра целиком

  1. Применение многомасштабных методов видеоанализа
  2. Совершенствование алгоритмов калибровки камеры для более точного подбора правильного масштаба для детектирования, сопровождения и классификации объектов.

Адаптивное сжатие динамического диапазона

Алгоритм Iridix, разработанный и запатентованной английской компанией Apical Imaging, использует ортогональное ритиноморфическое преобразование изображения (orthogonal retina-morphic image transform, ORMIT). Настоящий метод сжатия динамического диапазона отличается от более простых аналогов тем, что к каждому пикселу изображения применяется индивидуальное гамма-преобразование в тоновом и цветовом пространстве. Метод использует результаты исследования работы зрения человека, где нейроны сетчатки глаза осуществляют сжатие регистрируемого изображения перед передачей по зрительному нерву в зрительную кору. Алгоритм Iridix часто комбинируется с алгоритмами подавления шум в пространственной и частотной областях. Настоящая технология сегодня широко используется в фотокамерах таких производителей как Sony, Olympus, Nikon, но пока не нашла широкого применения в области охранного телевидения.

Мегапиксельное видеонаблюдение на вокзале с неравномерным солнечным освещением

(а)

Мегапиксельное видеонаблюдение на вокзале с неравномерным солнечным освещением

(б)

Рис. 2 Мегапиксельное видеонаблюдение на вокзале с неравномерным солнечным освещением: (а) исходное изображение; (б) результат обработки при помощи технологии Iridix

Чтобы получить отдачу от сенсора HD, необходимо, чтобы аналитическая обработка кадра производилось на исходном разрешении. Большинство видеоаналитических систем осуществляют обработку изображения на разрешении 320 x 240 пикселей или еще меньше. Остро встает вопрос увеличение при анализе изображения на сервере, где, многократно увеличиваются вычислительные затраты не только на видеоаналитику, но и на декомпрессию потока. Таким образом, более разумным представляется наращивание мощности встроенной видеоаналитики, что позволяет избежать избыточных вычислений на декомпрессию потока на высоком разрешении.

Важным преимуществом мегапиксельной видеоаналитики «на борту» является возможность обработки видео до его сжатия. Даже самые современные кодеки сжимают кадр с равномерным качеством по всему изображению. На практике, различные области кадра могут существенно отличаться с точки зрения важности детализации для видеоаналитике. На переднем плане детализация не является столь важной, чем на дальнем. Потеря детализации (размывание) кадра в пространственной и временной области приводит к снижению чувствительности детекторов на дальних рубежах, что понижает эффективную дальность действия системы наблюдения. Этот недостаток серверной видеоаналитики проявляется в большей степени в системах HD, чем в системах SD.

Обзор коммерческих решений

Доступны ли сегодня на рынке решения с мегапиксельной видеоаналитикой? Несколько производителей демонстрировали видеоанализ высокого разрешения на выставках, но о полноценных коммерческих внедрениях пока говорить не приходиться.

Большинство компаний предлагают камеры HD с видеоаналитикой, возможности которой не соответствует разрешающей способности сенсора. Например, техасская компания CoVi Technologies успешно продает камеры с сенсором 1 МП и встроенной видеоаналикиой ObjectVideo, обрабатывающей поток всего лишь 0,07 МП (320 x 240 пикселей). Аналогично, камеры семейства IQeye Pro Line работают с видеоаналикой стандартной четкости via:sys или Agent Vi. Очевидно, что дальность автоматического обнаружения целей в таких системах значительно отстает от оптических возможностей камеры.

Хорошие мегапиксельные камеры, например, Axis Q1755, оснащены базовой аналитикой, которая решает определенный класс задач, например, детектирование движения в офисе или тамперинг-сигнализация, но не подходит для уличного наблюдения при охране периметра или общественных мест. К камере Axis можно подключить серверную видеоаналику, но, как было отмечено выше, она не позволяет раскрыть потенциал мегапиксельного сенсора из-за искажений и высоких вычислительных затрат декомпрессии.

В апреле 2010 американская компания VideoIQ продемонстрировала мегапиксельную видеоаналитику на конференции ICS West в Лас Вегасе. Компания заявила, что представленная аналитика потребляет в 8 раз меньше вычислительных ресурсов, что аналогичные системы, что позволила реализовать встроенную обработку потока 1080p в реальном масштабе времени. С другой стороны, на основе этой демонстрации нельзя сказать, что аналитика VideoIQ соответствуют современным требованиям: разработчик представил всего лишь детектор движения HD, в то время как самые сложные компоненты – трекинг (сопровождение) объектов и работа с изменчивом фоном остались за кадром.

Израильская компания ioimage интегрировала более сложную видеоаналитику в трех мегапиксельную камеру ioicam mmp100dn. В отличие от VideoIQ, в камере используется два сигнальных процессора, что позволяет реализовать трекинг и реальные тревожные сценарии: пересечение сигнальной линии, оставленный предмет, исчезновение предмет и др. К сожалению, разработчик не указывает в открытых источниках разрешающую способность и дальность действия видеоналитики.

Российская компания БайтЭрг недавно запустила камеру МВК-IP67-CMOS-1,3Mp. В камере используется мощный сигнальный процессор DaVinci TMS320DM6467 на частоте 729 MHz компании Texas Instruments и мегапиксельная видеоаналитика Синезис. Мегапиксельная камера БайтЭрг может контролировать территорию в 2-3 раза больше в режиме HD по сравнение с режимом SD. Семейство камер Cisco 4000 Series HD IP Cameras построено на том же процессоре TMS320DM6467, но используются более простую видеоаналику ObjectVideo стандартной четкости.

Российская компания Синезис ведет разработку аппаратно-программной платформы для интеллектуальной камеры высокой четкости. Особенностью это платформы является уникальный КМОП-сенсор, обеспечивающий видеопоток 1,2 МП на 45 кадрах в секунду и исключительно широкий динамический диапазон 120 дБ, ранее доступный только в камерах SD. Разрядность сенсора составляет 20 бит на канал, поэтому применяется интеллектуальная технология сжатия динамического диапазона Iridix. При этом видеоаналитика работает на исходном разрешении сенсора. По мнению разработчиков, технические характеристики камеры будут как никогда приближены к физическому пределу.

В заключение отметим, что мегапиксельная видеоаналитика являет перспективным направлением развития охранного видеонаблюдения (см. статью). Она позволяет существенно повысить точность распознавания ситуаций и/или дальность действия системы безопасности, а так же более полно использовать инфраструктуру хранения и передачи данных. Однако, переход на мегапиксельную аналитику требует фундаментальной переработки существующих алгоритмов обработки видео. Внедрение видеоаналики HD невозможно только за счет увеличения количества серверов, частоты процессора и объема памяти.