Корпоративный блог

Будущее систем видеонаблюдения: многокамерное сопровождение


Дата публикации: 22.07.2009 10:05
Хотел было Сатир спрятаться в свою шкуру, но сверху, снизу, с боков, спереди и сзади – отовсюду смотрели на него глаза Аргуса, и некуда было Страшилищу деться – весь открыт он для этих звездных глаз.

Я.Э. Голосовкер. Сказания о Титанах

Видеоаналитическое ПО стало почти обязательным компонентом современной системы охранного видеонаблюдения. Интеллектуальные видеодетекторы позволяют многократно повысить продуктивность службы охраны и снизить психологическую нагрузку операторов ситуационных центров. Многокамерное сопровождение – следующий виток развития видеоаналитической технологии и концепции охранной системы в целом.

Трехмерная модель центрального зала Минского железнодорожного вокзала

Рис. 1 Трехмерная модель центрального зала Минского железнодорожного вокзала; отображение контрольных зон двух телекамер.

Траектория движения объекта 1548, рассчитанная по поточным видеоданным двух телекамер

Рис. 2 Траектория движения объекта 1548, рассчитанная по поточным видеоданным двух телекамер.

Ключевая функция системы многокамерного сопровождения состоит в автоматической регистрации траекторий движения физических объектов на обширном пространстве, контролируемом множеством телекамер. Если при однокамерном сопровождении возможна независимая обработка данных по каждому каналу, то многокамерная система должна анализировать все каналы интегрально. Многокамерная система учитывает трехмерную геометрию пространства и взаимное расположение телекамер, а также делает рациональные предположения о наиболее вероятной траектории движении объекта, даже если он временно выходит из объединенной зоны контроля всех камер. Задача существенно усложняется в случае, когда сопровождаемые объекты многочисленны и плохо различимы или, наоборот, плохо сопоставимы из-за своей изменчивости, различных ракурсов наблюдений и условий регистрации изображения.

Таким образом, речь идет о создании искусственного интеллекта, способного параллельно вести слежение за множеством объектов через множество камер. В отличие от однокамерного сопровождения такая задача сразу выходит за рамки возможностей человеческого мозга.

Технологии многокамерного сопровождения в первую очередь востребованы в таких отраслях как охрана, безопасность, транспорт, маркетинг розничных продаж и интерактивная реклама. На рис. 1-5 проиллюстрировано многокамерное сопровождение одного выбранного человека в центральном зале Минского железнодорожного вокзала.

Движение объекта 1548 в поле зрения первой камеры (номер выделен красным)

Рис. 3 Движение объекта 1548 в поле зрения первой камеры (номер выделен красным).

Движение объекта 1548 в поле зрения второй камеры (номер выделен красным)

Рис. 4 Движение объекта 1548 в поле зрения второй камеры (номер выделен красным).

Рассмотрим типовые сценарии работы многокамерной системы в местах массового пребывания людей.

Интерактивный режим

Возращение объекта 1548 в поле зрения первой камеры
Рис. 5. Возращение объекта 1548 в поле зрения первой камеры.

Предположим, что сотрудник службы безопасности обращает внимание на подозрительное поведение субъекта в зоне паспортного контроля международного аэропорта. Сотрудник выделяет субъекта на дисплее, отображающим видео с одной из камер, и мгновенно получает траекторию движения этой личности на трехмерной модели здания. Траектория показывает несанкционированный доступ через служебное помещение. Оперативное задержание нарушителя также производится при поддержке системы сопровождения.

Автоматический режим

Сигнал о подозрительном поведении может быть автоматически сформулирован на основе правил о штатных моделях движениях человека или группы по контролируемому объекту с учетом текущего времени и режима работы. Примерами простых правил являются:

  • отклонение от стандартного маршрута пассажира;
  • пребывание свыше указанного времени;
  • перемещение с повышенной скоростью;
  • праздношатание, повторное появление.

Анализ статистических данных

Правила могут быть подобраны оптимальным образом на основе статистических данных о перемещении людей, собранных на любом промежутке времени. Возможно полностью автоматическое обучение системы "паттернам" поведения для последующего обнаружения нестандартных перемещений.

Для транспортной отрасли многокамерные системы позволяют отслеживать поведение пассажиров и точно измерять загрузку каждого направления на различных участках. В Лондоне и Стокгольме системы распознавания регистрационных знаков используются для контроля платы за въезд в город и при необходимости могут производить многокамерное сопровождение автомобилей в городе или вдоль трассы для спецслужб.

В области маркетинга и розничных продаж многокамерные системы позволяет исследовать поведение покупателей в торговых центрах и супермаркетах. В случае интеграции системы сопровождения и системы транслирования рекламы на цифровых панелях появляется возможность оценивать эффект рекламы на индивидуальных покупателей, а также показывать посетителю взаимосвязанные видеоматериалы в процессе его перемещения по торговому центру.

Современный уровень развития технологии

Ряд западных университетов создали опытные системы многокамерного сопровождения и продемонстрировали их работоспособность на территории своих кампусов. Разработки состоят из нескольких камер и рабочей станции, производящей обработку поточного или записанного видео. В зоне действия камер свободно перемещаются студенты. Плотность потока низкая (один человек на несколько квадратных метров), но объекты регулярно перекрываются. Результатами обработки являются координаты и траектория движения людей на двухмерном плане контролируемой области. Опытные системы показали неплохую точность сопровождения, вполне достаточную для обоснования практической ценности разработки.

Коммерческое внедрение сдерживается следующими факторами:

  • недостаточная универсальность компьютерных алгоритмов видеоанализа – сложная настройка разработчиками, нет возможности эффективно использовать многокамерные системы повсеместно;
  • плохая масштабируемость системы по числу камер из-за сложностей децентрализации;
  • проблемы с совместимостью и системной интеграцией – особенно, если инфраструктура охранного наблюдения уже построена.

На уровне однокамерного сопровождения возникает проблема сегментирования людей в плотном потоке на различном масштабе. Так, алгоритмы машинного зрения часто "ошибаются" на этапе отделения объекта от фона (например, когда люди находятся близко друг к другу, частично или полностью перекрываются, перестают двигаться, выглядят нестандартно). В то время как разнообразие внешнего вида и поведения человека безгранично, простые отклонения от модели (скажем, перемещение на инвалидном кресле или раскрытие газеты) могут "ввести" компьютерную систему в "заблуждение".

Люди появляются на различном расстоянии от камеры, следовательно, фрагменты изображения имеют различную детализацию и информативность. Зачастую трудно обеспечить однородное освещение на большом пространстве. Эти факторы существенно повышают вычислительную сложность алгоритма обработки видео.

Дополнительную неопределенность создают физические преграды сцены, ограничивающие обзор камеры, такие как колонны и ларьки. Если программа "теряет" объект в какой-то момент времени, то происходит разрыв траектории и утрачивается возможность проследить движение объекта от начальной до конечной точки.

На уровне многокамерного сопровождения центральная техническая проблема состоит в обеспечении инвариантности (постоянства) признаков, по которым ведется сопоставление объектов после их временного исчезновения из зоны контроля всех телекамер

Сопровождаемый объект (человек) может наблюдаться под различными ракурсами, на различном расстоянии и в любом состоянии (сидит, стоит, идет, бежит). Разные типы освещения (естественное, искусственное) затрудняют использование цветовых признаков, поскольку они существенно зависят от спектра излучения осветителя. Подобные факторы приводят к нестабильности численных значений признаков и к ошибкам сопоставления объектов при переходе из зоны действия одной камеры к другой.

Точная калибровка камеры в трехмерном пространстве контролируемого объекта позволяет повысить эффективность системы многокамерного сопровождения, особенно, если области наблюдения камер перекрываются.

Способы преодоления технических проблем в многокамерных системах сопровождения

стратегия

технический подход

повышение качества входного изображения

сенсоры и оптическая система, обеспечивающие широкий динамический диапазон, высокие чувствительность и разрешающую способность; адаптивные алгоритмы сжатия динамического диапазона и шумоподавления

совершенствование однокамерных алгоритмов детектирования и сопровождения

комбинирование различных подходов сегментирования, использование априорных данных о форме сопровождаемых объектов (модельное сегментирование) и модели сцены (благодаря калибровке); накапливание данных об объекте во времени

совершенствование многокамерных алгоритмов детектирования и сопровождения

выделение наиболее стабильных признаков сопровождаемых объектов; применение вероятностных алгоритмов расчета траектории; физические ограничения пространства поиска решения; повышение точности и автоматизация трехмерной калибровки системы телекамер

совершенствование архитектуры

встраивание алгоритмов обработки изображения непосредственно в камеру, что позволяет исключить артефактов сжатия и обеспечить масштабируемость; реализация обмена информаций между камерами, зоны контроля которых перекрываются

повышение точности за счет увеличение объема сбираемых данных и сбалансированной избыточности

установка дополнительных камер для устранения «слепых зон», увеличения числа ракурсов и регистрации видео на более высоком увеличении; повышение частоты кадров

 

Оценка точности

Для оценки точности системы многокамерного сопровождения необходимы специальные технические средства, обеспечивающие автоматическое тестирования, так как ручное тестирование слишком трудоемко и не обеспечивает достаточно хорошей повторяемости экспериментов. Автоматическое тестирование предполагает наличие канонического набора видеосюжетов, достоверно размеченных экспертами. Например, набор MCTS (Multiple-Camera Tracking Scenario) разработан Научным подразделением Министерства внутренних дел Великобритании и содержит 140 часов видео, которое было одновременно записано с пяти камер, установленных в международном аэропорту.

Разработка многокамерной системы сопровождения является актуальной научно-инженерной задачей, решение которой сегодня востребовано пользователями различной категории. Появляется возможность анализировать поведение множества людей в масштабе всего охраняемого объекта, а не только в поле зрения одной камеры. По мере совершенствования математической теории машинного зрения и вычислительной мощности аппаратного обеспечения приложения систем многокамерного сопровождения будут расширяться в новые отрасли.