Корпоративный блог

Видеодетекторы движения


Дата публикации: 03.08.2010 16:07
В статье рассмотрены актуальные проблемы видеодетектирования движения (видеоанализа движения) в охранных системах наблюдения. Сравниваются серверные, встраиваемые и гибридные реализации алгоритмов. Рассмотрены особенности видеодетекторов высокой четкости (HD). Перечислены алгоритмические и инженерные подходы, позволяющие снизить уровень ложных срабатываний при сохранении высокой чувствительности детектора. Даны практические рекомендации по выбору видеодетекторов.

Детектирование и сопровождение крупного объекта на изменчивом фоне (водопад) без маскирования зоны

Рис. 1. Детектирование и сопровождение крупного объекта на изменчивом фоне (водопад) без маскирования зоны

Детектирование и сопровождение маленького объекта на изменчивом фоне (водоем) без маскирования зоны

Рис. 2. Детектирование и сопровождение маленького объекта на изменчивом фоне (водоем) без маскирования зоны

Проблематика и постановка задачи

Видеодетектор движения представляет собой аппаратно-программное средство, входящее в состав системы охранного наблюдения и обеспечивающее автоматическое обнаружение движущихся объектов в поточном видео. Так, при появлении человека или транспортного средства в поле зрения камеры видеодетектор передает сигнал (метаданные) на пульт охраны или на устройство видеозаписи (см. видео).

На практике, такие технические средства должны не только детектировать движущиеся объекты, но и обеспечивать их непрерывное сопровождение (трассирование) в поле зрения одной или даже нескольких камер. Эта функция необходима для снижения частоты ложных и особенно повторных срабатываний, а также для визуализации траектории движения на экране оператора.

Видеоанализаторы движения многократно повышают продуктивность работы сотрудников безопасности, снижают психологическую нагрузку и уменьшают время реакции. Метаданные, генерируемые детектором, могут использоваться в качестве индекса для оперативного поиска событий в видеоархиве. В этом случае отпадает необходимость изнурительного просмотра многодневной видеозаписи оператором.

Хороший детектор может значительно повысить эффективность использования хранилищ данных и каналов связи за счет уменьшения избыточности видеоматерилов. В системах охраны периметра экономия дискового пространства и сетевого трафика составляет десятки-тысячи раз в зависимости от оживленности контролируемых участков.

Видеодетекторы могут быть реализованы программным образом на сервере системы безопасности или интегрированы непосредственно в камеру. В последнем случае производитель камеры использует сигнальный процессор (DSP) или заказную микросхему (ASIC) для обработки поточного видео в реальном масштабе времени. Многие современные ip-камеры обладают встроенным детектором движения. По мнению Фридриха Нильсона, главы компании Axis, в ближайшие годы видеодетекторы будут важной движущей силой рынка камер охранного телевидения.

В стерильных (лабораторных) условиях задача видеоанализа движения является несложной и с точки зрения разработки программного алгоритма обработки видеосигнала, и с точки зрения вычислительной нагрузки на процессор. В полевых условиях проблема обретает принципиально иной уровень сложности и переходит в класс нетривиальных задач машинного зрения и распознавания образов, над которыми продолжают усиленно работать ученые и инженеры.
Основными проблемами, которые не решены разработчиками до конца, являются:

  • устранение ложных срабатываний, которые обусловлены естественными изменениями во внешней среде (например, солнечные блики, тени, шевеление кустов, деревьев, воды), а так же объектами, не представляющий интерес службе охраны (например, животные, птицы, насекомые на объективе камеры, облака);
  • хорошая чувствительность при детектировании объектов в условиях нестабильности сцены наблюдения (например, при значительных изменениях естественного или искусственного освещения, а так же на изменчивом фоне, таком как открытое водное пространство, лес, движимые сильным ветром);
  • обеспечение простоты и удобства использования видеодетектора (трехмерная калибровка перспективы, задание классов детектируемых объектов, фильтрация ложных срабатываний).

Наиболее сложной задачей является поиск компромисса при одновременном решении трех перечисленных проблем. С одной стороны, видеодетектор движения должен обладать высокой чувствительностью к объектам непредсказуемой формы. Например, он должен эффективно регистрировать людей в камуфляжном костюме, группы людей произвольного размера, транспортные средства любого вида. С другой стороны, детектор не должен реагировать на «безобидные» воздействия внешней среды, например, раскачивания деревьев и бегущие тени облаков.

Решение этих задач предполагает наличие искусственного интеллекта высокого уровня сложности, способным не только детектировать движения в поле зрения камеры, но и выделять целевые объекты, представляющие интерес службе охраны. Таким образом, детектор должен классифицировать движущиеся объекты на актуальные и неактуальные во всех возможных проявлениях окружающего мира. Частота ложных срабатываний не должна превышать пороговое значение, при котором применение видеодетектора становится экономически невыгодным. Допустимый период между ложными тревогами зависит от сценария использования и может варьироваться от нескольких часов до нескольких месяцев.

Видеодетектор высокой четкости

Более остро рассмотренные проблемы проявляется в системах видеоанализа высокой четкости (HD), то есть с сенсорами свыше одного мегапиксела. Основными отличиями видеодетектора в системе HD по сравнению с системами стандартной четкости (SD) являются:

  • Более значительная детализация сцены HD приводит к учащению ложных срабатываний. В частности, собственные движения камеры, обусловленные ветром и вибрацией техники, приводят к значительным изменениям на изображении. Применение цифрового или механического стабилизатора изображения становится обязательным.
  • Мегапиксельные камеры обладают большей дальностью действия или радиусом обзора. Диапазон масштабов объектов может более значительно, чем в системах SD . В системах HD необходимо применять принципиально другие алгоритмы перспективной калибровки и оптической коррекции. Обязательно применение многомасштабных алгоритмов моделирования фона и сегментирования объектов.
  • Поток данных в системы HD многократно превышает поток данных SD. Большинство алгоритмов, используемых в интеллектуальных видеодетекторах, обладает нелинейной сложностью по отношению к размеру кадра, и нагрузка на процессор возрастает на несколько порядков. Таким образом, необходимо принципиально оптимизировать, а чаще создавать новые алгоритмы для работы с потоком HD.

Архитектуры и вопросы интеграции

Серверные видеодетекторы

Классический подход состоит в программной реализации видеодетектора на сервере, который обрабатывает поточное видео, поступающее с аналоговых или ip-камер. В качестве аппаратной платформы обычно используется x86-совместимые компьютерами со специализированными платами видеозахвата и аппаратными ускорителями компрессии. Такие серверные видеодетекторы реализованы в отечественных системах «Интеллект» компании «iTV», «Трассир» компании «DSSL» и др.

Главными преимуществами серверного, централизованного подхода является простая интеграция и гибкость видеоаналитики. Существенным недостатком является то, что видеодетектор обрабатывает сигнал, искаженный аналоговым трактом или алгоритмам сжатия. Другой минус – значительная нагрузка на каналы связи и плохая масштабируемость сервера. В случае перегрузки сервер начинает пропускать кадры, что приводит к пропущенным событиям и ложным срабатываниям. Перечисленные недостатки значительно усугубляются при переходе на стандарт HD.

Встроенные видеодетекторы

Альтернативный подход состоит в использовании встроенных видеодекторов движения. В этом случае обработка поточного видео производится непосредственно в камере до сжатия и передачи в ситуационный центр. Популярными аппаратными платформами являются однокристальные системы DaVinci компании Texas Instruments, Blackfin компании Analog Devices, ETRAX компании Axis, Nexperia компании NXP и разработки компании Stretch. Также возможно использование архитектуры x86, например, на базе процессора Intel Atom. Поставщиками встроенных видеодетекторов являются такие компании как IOImage, ObjectVideo, Cernium на Западе, Синезис в СНГ и др.

Здесь сразу хотелось бы опровергнуть популярное заблуждение о том, что серверные видеодетекторы на платформе x86 обладают более высокой точностью, чем их однокристальные аналоги. Напротив, теоретическая точность встроенных видеодетекторов выше серверных за счет более высокого качества входного изображения и вычислительной мощности выделенного процессора, все ресурсы которого загружены обработкой только одного канала.

Видеоанализ данных в системах со встроенными детекторами значительно децентрализирован, что обеспечивает хорошую масштабируемость системы до сотен тысяч камер. При этом нагрузка на канал связи и системы хранения может быть минимизирована за счет фильтрации и выборочной передачи видеоматериала прямо в камере, что особенно актуально в беспроводных сетях.

Недостатками встроенных видеодекторов являются сложности их интеграции из-за отсутствия общепринятых стандартов и более высокая стоимость аппаратного обеспечения. Впрочем, первоначальные инвестиции быстро окупаются, если точность встроенный детектор сделан качественно.

Гибридные видеодетекторы

Существуют также гибридные решения, объединяющие серверный и встраиваемый подходы. Так, компания Agent Vi реализовала распределенную обработку: встроенный алгоритм выделяет локальные вектора движения в кадре, а серверный алгоритм производит обработку более высокого уровня. Однако, такая технология плохо применима к сценам с изменчивым фоном и создаст значительную нагрузку на канал связи при переходе на стандарт HD.

Точность видеоанализа

Формальная оценка точности детектирования является непростой организационной и инженерной задачей ввиду безграничного разнообразия сценариев поведения нарушителей и проявлений окружающей среды. Специалисты традиционно рассматривают ошибки двух родов: (1) пропущенное нарушение и (2) ложное срабатывание. Очевидно, что пропущенное нарушение является более неприятной ошибкой, чем ложное срабатывание. При этом высокая частота ложных срабатываний может привести к понижению эффективности службы охраны и в конечном счете нейтрализовать пользу видеодетектора. Допустимые соотношения ошибок первого и второго рода определяется техническими требованиями проекта.

Научное подразделение Министерства внутренних дел Великобритании создало набор видеосюжетов i-LIDS (Imagery library for intelligent detection systems) и формальную методику тестирования детекторов. Английские ученые применили метрику F1, представляющую интегральную точность системы охраны. Параметр α определяет влияние ошибок первого и второго рода на интегральную метрику F1. Так, для служб оперативного реагирования параметр α принимает значение 0.65, для регистрации событий видеозаписи – значение 75.00.

Детекторы среднего качества обладают точностью F1 около 0.98, хорошие детекторы – свыше 0.99.

Существует немало дополнительных параметров и условий, которые влияют на оценку точности. Отметим наиболее важные:

  • максимальное время реакции системы с момента появления объекта в поле зрения камеры, при которой он считается успешно детектированным;
  • метод учета повторных сигналов по одному и тому же объекту (если объект не представляет интерес службе охраны, то повторные сигналы будут снижать продуктивность работы сотрудников);
  • время стабилизации видеодетектора после включения или значительного изменения сцены.

На вкладке ниже представлены технические свойства, которые, по результатам исследования автора, необходимы для достижения высокой точности и универсальности видеодетекторов.

Реализация видеодетектора высокой точности: технические особенности и их преимущества

 

Особенность видеодетектора

Цель/преимущество

Многомасштабное статистическое моделирование динамических текстур сцены по нескольким признакам

Детектирование и сопровождение движущихся целей на изменчивом фоне; отсутствие ложных срабатываний, обусловленных периодическими изменениями сцены без маскирования

Детектирование объектов по нескольким признакам (яркость, границы, цвет, особые точки)

Высокая чувствительность детектора даже при камуфляжной маскировке объекта и плохой контрастности изображения

Обратная связь от алгоритма сегментирования к алгоритму моделирования сцены; системы глобальной стабилизации сцены

Подавление преждевременного «врастания» объектов в фон; возможность сопровождения цели в условиях изменчивого освещения

Быстродействующий многомасштабный алгоритм сегментирования; реализация подхода распознавания от «общего к частному»

Качественное сегментирование объектов на переднем и заднем планах; уточнение от грубого изображения к деталям позволяет эффективно сегментировать крупные объекты на изображении HD

Система подавления теней и солнечных бликов

Минимизация ложных тревог, обусловленных непостоянством искусственного или естественного освещения; подавление фантомных объектов

Встроенный цифровой антишейкер с субпиксельной точностью и фильтром движущихся объектов

Подавление ложных тревог, обусловленных дрожанием камеры; качественная стабилизация оживленных сцен (при большом числе движущихся объектов)

Адаптивная система шумоподавления

Сохранение чувствительности при низком соотношении сигнал/шум, например, ночью

Встроенная реализация на недорогих сигнальных процессорах

Повышение точности распознавания за счет обработки видео без искажений от передачи; децентрализация обработки и значительная масштабируемость системы

Повышенная чувствительность детектора на границах областей детектирования

Максимальная скорость реакции системы в области наиболее вероятного появления нарушителя

Распараллеливание алгоритма при помощи векторных инструкций SIMD; локализации обработки данных к оперативной памяти

Высокое быстродействие для обработки видео без потерь кадров и разрешения

Платформа автоматического тестирования на значительном наборе видеосюжетов, размеченных экспертом

Объективная оценка точности и области применения детектора( в отличие от оптимизации ‘ad hoc’ на отдельных видеосюжетах)

Интеллектуальная система трехмерной калибровки видеодетектора

Удобное развертывание системы и минимизаций ложных срабатываний, обусловленных неправильной классификацией движущихся объектов по их габаритам

 

Заключение

Устойчивое детектирование движения целевых объектов, особенно вне помещения, является актуальной научно-инженерной задачей на стыке таких дисциплин как машинное зрение, распознавание образов и цифровая обработка сигнала.

С точки зрения архитектуры встроенные и серверные реализации видеодетекторов, доступные сегодня, имеют определенные преимущества и недостатки. С уверенностью можно сказать, что встроенные детекторы, по мере своего развития, вытеснят серверные.

С точки зрения эффективности распознавания видеосигнала встроенные детекторы могут быть идентичны или даже лучше серверных. Адекватная встраиваемая реализация алгоритма обеспечивает более высокую точность и оперативность реагирования, чем серверная реализация того же самого алгоритма. Как было показано в статье, такое преимущество встроенной видеоаналитики обусловлено отсутствием искажений компрессии и децентрализированной обработкой значительных объемов видеоданных.

При выборе детектора следует обратить внимание на набор сценариев и видеосюжетов, на котором проводилась тестирование и оптимизация алгоритмов. Решения, доступные на рынке безопасности, существенно различаются частотой ложных срабатываний, чувствительностью, устойчивостью к разнообразию внешней среды и простотой настройки. При этом достижение эффективной работы видеодетектора высокой четкости является задачей принципиально более сложной, чем для детектора стандартной четкости.

Следует отметить, что сегодня многие производители камер и систем управления видео предлагают видеодетекторы бесплатно, так как не могут гарантировать устойчивую работу детектора в полевых условиях.