Корпоративный блог

Интеллект в IP-камере: горизонты возможностей


Дата публикации: 18.09.2009 16:04
Сетевые камеры класса HI-END могут сегодня похвастаться мегапиксельным разрешением, поддержкой стандарта HD и встроенным видеодетектором. Каких интеллектуальных функций может не хватать в такой IP-камере для построения сбалансированных систем безопасности? Зачем вообще нужен камере собственный интеллект? Предлагаемая статья содержит обзор перспективных направлений развития встроенного ПО камеры.

Под словосочетанием «интеллект IP-камеры» часто понимается встроенная видеоаналитика, то есть алгоритмы машинного зрения, способные детектировать, сопровождать и распознавать объекты в поле зрения камеры, а также принимать решения более высокого уровня, например, автоматически определять незаконные действия людей или аварийные ситуации. Наряду с термином "видеоаналитика" используется термин "система видеоанализа".

Говоря об интеллектуальной IP-камере, хотелось бы также рассмотреть ряд важных программных функций, таких как цифровая обработка видео для повышения его качества в зависимости от различных условий окружающей среды; автоматическое определение физических повреждений или саботажа камеры; криптозащита от несанкционированного доступа через IP-сеть и подмены; автоподстройка параметров сжатия поточного видео с учетом насыщенности сцены и доступной пропускной способности канала.

На рис. 1 представлен оптимальный конвейер цифровой обработки видео внутри камеры. Рассмотрим подробно каждый компонент этого конвейера и другие интеллектуальные функции IP-камеры.

Конвейер обработки видео интеллектуальной IP-камеры
Рис. 1 Конвейер обработки видео интеллектуальной IP-камеры

Видеофильтры

Качество изображения – главное потребительское свойство камеры – определяется не только совершенством оптики и сенсора, но и в существенной степени эффективностью встроенных в нее цифровых фильтров. Именно видеофильтры позволяют «вытянуть» важные детали изображения в сложных условиях наблюдения, когда не хватает «физики». Интеллектуальный фильтр подготавливает сигнал к оптимальной компрессии: усиливает полезную информацию и удаляет шумы. При этом хороший фильтр сохраняет естественный вид изображения.

Таким образом, видеофильтры не только повышают информативность сжатого видеосигнала и эффективность видеоаналитики, но и снижают нагрузку на каналы связи (IP-сеть) и устройства хранения видео (DVR) в несколько раз за счет удаления бесполезных, но наиболее объемных данных. Важно применить фильтр непосредственно в камере до сжатия видео и до применения видеоаналитики (рис. 1).

Рассмотрим наиболее важные фильтры интеллектуальной IP-камеры:

  1. Адаптивный шумовой фильтр очищает изображения от яркостного и хроматического шума, вносимого фотосенсором. Шумовой фильтр имеет нежелательное побочное действие - размывание изображения. Поэтому интеллектуальная камера должна автоматически подбирать оптимальные параметры фильтра в зависимости от условий видеорегистрации и минимизировать побочные искажения. Наиболее качественные результаты достигаются при комбинировании методов фильтрации в пространстве и во времени (3D фильтр). В случае фильтрации во времени желательно маскировать движущиеся объекты, что создает обратную связь с детектором движения из блока видеоаналитики.
  2. Алгоритм сжатия динамического диапазона обязателен при работе с сенсором широкого динамического диапазона и рекомендован для сенсоров стандартного диапазона. Хороший алгоритм сжатия позволяет уменьшить разрядность до 8 бит на канал без потери информации и без визуальных искажений (рис. 2).
  3. Цифровой стабилизатор изображения (антишейкер) компенсирует дрожание кадра, обусловленное воздействием ветра и источников вибраций на камеру. Антишейкер необходим в первую очередь для снижения ложных срабатываний видеодетектора движения и уменьшения объема данных. Функциональность и сложность антишейкера может существенно варьироваться. Так, он может быть оптимизирован для работы на статических или мобильных камерах, компенсировать не только параллельный перенос, но и вращение, интерполировать изображение с пиксельной или субпиксельной точностью, восстанавливать информацию по краям изображения на основе предшествующих кадров. Движущиеся объекты в поле зрения камеры не должны приводить к ложным компенсациям антишейкера, что может быть выражено в неприятном дергании картинки. По этой причине в камере возникает обратная связь от детектора движения к антишейкеру.

p style="text-align: center;">Видеофильтр: адаптивное сжатие динамического диапазона

Рис. 2 Видеофильтр: адаптивное сжатие динамического диапазона (алгоритм Iridix) в условиях сильно неравномерного освещения, исходное (слева) и обработанное (справа) изображение.

Примеры работы цифровых видеофильтров представлены на сайте www.compression.ru компании YUVSoft и компании Синезис.

Титрование и графическая аннотация

Титрование в большей степени востребовано в аналоговых системах видеонаблюдения, где иного механизма передачи текстовых данных и графической аннотации (метаданных) вместе с видео не существует. Например, поверх видео с POS-терминала, где кассир осуществляет прием платежей от клиентов, полезно отображать наименование товаров, услуг и цены. В системах периметрального наблюдения хорошо иметь перед глазами траекторию движения потенциального нарушителя.

В системах IP-наблюдения метаданные могут передаваться в цифровом виде отдельно от видео в соответствии со стандартом MPEG-7 или подобным. Такое разделение данных предпочтительно, так как происходит более эффективное сжатие информации, и метаданные потом могут быть использованы для поиска по видеоархиву. Архив метаданных позволяет оперативно анализировать данные о перемещениях людей, появлениях или пропаданиях предметов и т.п.

Для аутентификации камеры-источника на видео можно наносить водяные знаки, как в явной, так и в скрытой форме.

Компрессия

Современные IP-камеры ориентированы на поддержку стандарта H.264 / AVC / MPEG-4 Part 10, позволяющим значительно повысить эффективность сжатия видео по сравнению с предыдущими (такими, как MJPEG) стандартами и обеспечивающим большую гибкость применения в разнообразных сетевых средах. Важно иметь в виду, что стандарт H.264 регламентирует только процесс декодирования, в то время как качество кодирования может существенно варьироваться в различных его реализациях. Большинство IP-камер, например, производства компании Axis, сейчас поддерживают только базовый профиль (BP) стандарта, а самые существенные преимущества стандарта проявляются в основном (MP) и более старших профилях.

Перспективное расширение стандарта H.264 SVC позволяет кодировать видео одновременно с различными уровнями качества. В условиях ограниченных полосы пропускания или размера архива, поток меньшей детализацией можно получить путем отбрасывания части пакетов из полного потока SVC. Камера с кодером SVC может одновременно передавать видео с оптимальным качеством для каждого сетевого устройства, такого как рабочее место оператора, видеорегистратор (DVR) и мобильный телефон.

Таким образом, важное направление развития интеллекта камера состоит в совершенствовании встроенных видеокодеров, внедрения старших профилей, а так же алгоритмов управления режимами кодирования в зависимости от загруженности каналов связи и содержания наблюдаемой сцены.

Видеоаналитика (видеоанализ)

Алгоритмы машинного зрения и распознавания образов постепенно становятся неотъемлемой частью системы мониторинга. Ряд задач наблюдения эффективно решается только с помощью видеоаналитических технологий, например, оперативные розыск автомобиля в городе, измерение его средней скорости на протяженном участке дороги, подсчет пассажиров в общественном транспорте, охрана протяженных объектов. Аналитика необходима так же для оперативного поиска лиц или событий по видеоархиву.

В сравнении с визуальным (ручным) контролем поточного видео, аналитика значительно повышает эффективность распознавания объектов и ситуаций, а так же снижает психологическую нагрузку на операторов. В результате уменьшается общая потребность в численности операторов в залах наблюдения и ситуационных центрах.

Видеоаналитика, встроенная в IP-камеру, имеет потенциально более высокую точность в сравнении с серверной аналитикой за счет обработки несжатого поточного видео на выделенном процессоре. Многие задачи, такие как распознавание лиц и номерных знаков, на сжатом видео практически не решаются. Встроенная аналитика лучше интегрируется с фильтрами камеры и обеспечивает масштабируемость сети наблюдения. В частности, она позволяет минимизировать нагрузку на IP-сеть и устройства записи, а также позволяет использовать каналы мобильной связи с узкой полосой пропускания и хостинговые (внешние) системы управления. Недостатками встроенной аналитики, как и всякой новой технологии, являются сложность разработки и адаптации, а также более высокая стоимость аппаратно-программного обеспечения.

Рассмотрим основные типы встроенной аналитики:

Сервисный детектор, встроенный в IP-камеру Сервисный детектор, встроенный в IP-камеру

Рис. 3 Сервисный детектор, встроенный в IP-камеру: автоматическое распознавание расфокусировки и загрязнения объектива камеры, нормальное качество (слева) и размытое изображение (справа).

Универсальный детектор Универсальный детектор

Рис. 4 Универсальный детектор: успешное сопровождение грузовой машины и человека (слева); сопровождение пары человек как один объект, для разделения пары необходим специализированный детектор (справа).

  1. Cервисные детекторы ведут непрерывный контроль качества изображения и автоматически регистрируют нарушения в работе камеры, обусловленные техническими сбоями или преднамеренными действиями нарушителя. Детекторы определяют затемнение в случае закрытия или загрязнения объектива, поломку осветителя, засветку, расфокусировку, разворот и другие формы саботажа системы мониторинга (рис. 3). Автоматический контроль качества сигнала особенно важен, когда видео непрерывно записывается на DVR без постоянного присмотра оператора. Сервисные детекторы позволяют существенно повысить оперативность реагирования при саботаже системы безопасности или выходе из строя оборудования.
  2. Универсальный видеодетектор работает на сценах с редкими событиями, когда форма и поведение объекта непредсказуемы. Универсальная детектор подходит для охраны периметра, подсчета редких объектов, разметки (индексирования) видео для оперативного поиска событий. Преимуществом такой аналитики является способность регистрировать объекты неопределенного типа, например, ползущего нарушителю в камуфляжной одежде. Недостаток – невозможность отслеживать траекторию объектов в группе (потоке) и различать перекрывающиеся объекты (рис. 4).
  3. Специализированный видеодетектор реагирует только на объекты определенной формы и поведения (вертикальная человеческая фигура, лицо, автомобиль, номерной знак). В отличие от универсального, специализированный детектор может анализировать оживленные сцены и сопровождать перекрывающиеся объекты в группе (рис. 5). Недостатком спецдетектора является более высокая ресурсоемкость и нечувствительность к объектам, которые не соответствуют стандартной модели. Например, детектор ходящих людей может пропустить человека в инвалидной коляске. Расширение диапазона чувствительности специального детектора снижает его точность и повышает вычислительную ресурсоемкость.

Оптимальный конвейер цифровой обработки видео внутри камеры

Рис. 5 Специализированный детектор: сопровождение ходящих и стоящий людей, в том числе перекрывающихся.

Универсальными и специализированными детекторами часто снабжаются системы трекинга (сопровождения) объектов, которые позволяют повысить точность распознавания и исключить повторяющиеся тревоги.

Детекторы интеллектуальной камеры передают метаданные в систему управления видео, которая может их использовать для формирования сигнала тревоги или для разметки архива. Задача разработчика встроенной аналитики – оптимально распределить вычислительную нагрузку между камерой и сервером так, чтобы одновременно воспользоваться преимуществами каждой архитектуры. Например, детектирование и сопровождение объектов (лиц, людей, номерных знаков) можно эффективно реализовать внутри интеллектуальной камеры. Сопоставление найденных лиц с черным или белым списками, а так же распознавание символов (OCR) иногда выгодней сделать на сервере.

Видеобуфер

Распределенная архитектура обработки и хранения в сетях часто создает потребность в видеобуфере. Функция сдвига во времени (time shift), использующая видеобуфер, особенно полезна для регистрации высококачественного видео по событию от внешнего датчика или видеоаналитики. Востребован режим, когда IP-камера в нормальном режиме «молчит», но по событию передает небольшой фрагмент видео или JPEG-изображение через мобильный канал связи со слабой полосой пропускания. Таким образом, видеобуфер позволяет более эффективно использовать сетевую и дисковую подсистемы, а также разворачивать наблюдение в сложно доступных точках.

Стандартизация протоколов обмена данными

Главным барьером широкого внедрения IP-камер является проблема совместимости и сложности системной интеграции. Появление промышленных ассоциаций, таких как ONVIF и PSIA, развивающих открытые стандарты сетевого видео, позволяет надеяться на упрощение процесса интеграции, а также на повсеместное использование интеллектуальных возможностей камеры.

Спецификация ONVIF, разрабатываемая одноименным консорциумом во главе с компаниями Axis, Bosh и Sony обретает большую популярность в Европе и России, чем конкурирующий стандарт PSIA. Разработчики ONVIF выбрали наиболее перспективные технологии и адаптировали их для IP-видеонаблюдения. В частности, спецификация ONVIF построена на современных веб-сервисах, описываемых языком WSDL, протоколах RTP/RTSP, SOAP (XML), стандарте видеосжатия H.264, MPEG-4, MJPEG. Стандартом определяются следующие аспекты взаимодействия IP-камеры с системами управления или видеозаписи (DVR):

  1. конфигурирование сетевого интерфейса;
  2. обнаружение устройств по протоколу WS-Discovery;
  3. управление профилями работы камеры;
  4. настройка поточной передачи медиа-данных;
  5. обработка событий;
  6. управление приводом PTZ;
  7. видеоаналитика;
  8. защита (управление доступом, шифрование).

Ведущие производители систем управления видео, такие как Miltestone и Genetec уже заявили о поддержке сразу двух стандартов: ONVIF и PSIA. К концу 2009 года основатели стандарта ONVIF компании Axis, Bosh и Sony планируют выпустить совместимые камеры. На российском рынке первое оборудование на базе спецификации ONVIF представлено компаниями Байтэрг, Синезис и Агрегатор. Общая программная архитектура этих разработок представлена на рис. 6.

Типовая архитектура интеллектуальной IP-камеры на платформе DaVinci компании Texas Instruments

Рис. 6 Типовая архитектура интеллектуальной IP-камеры на платформе DaVinci компании Texas Instruments.

Аппаратно-программная архитектура

Рассмотренные функции интеллектуальной камеры, а именно: компрессия H.264 в стандарте высокой четкости, цифровые фильтры, видеоаналитика, http-сервер и все вспомогательные протоколы сетевого видео в совокупности предъявляют значительные требования к аппаратной платформе устройства. По сути, такая камера является автономным устройством, по вычислительной мощности не уступающим современной рабочей станции. Но, в отличие от настольного компьютера, в камере существуют жесткие ограничения по энергопотреблению, тепловыделению и общим габаритам.

Платформа интеллектуальной IP-камеры

Рис. 7 Платформа интеллектуальной IP-камеры на базе однокристальной системы Texas Instruments DaVinci TMS320DM6467 с частотой от 594 до 729 МГц. Платформа содержит ядро ARM9 с операционной системой Linux, сигнальный процессор C64x+, сопроцессор HDVICP для цифровой обработки видео высокой четкости, ОЗУ типа DDR2 до 256 Мбайт, флэш-память типа NAND до 2 Гбит, сетевой адаптер 10/100/1000 Mbs, CMOS-сенсор 2 MP

Системы на кристалле (SoC), специализированные для обработки видео, позволяют в существенной степени устранить это техническое противоречие. Они потребляют меньше энергии, стоят дешевле и работают надёжнее, чем наборы отдельных микросхем с той же функциональностью.

Наиболее распространенными операционными системами камеры являются Linux и другие unix-подобные ОС благодаря их открытому коду, надежности и компактности. Широкий набор программного обеспечения, доступного на этих платформах, позволяет относительно быстро реализовать сложные сетевые протоколы, заложенные в спецификациях ONVIF и PSIA.

Как правило, системы на кристалле содержат несколько процессорных ядер различной архитектуры. Например, в семействе DaVinci компании Texas Instruments на ядре ARM может работать основная операционная система (ОС) и промежуточное программное обеспечение (middleware). На сигнальных процессорах (DSP), расположенных на том же кристалле, производится поточная обработка видео, включая цифровую фильтрацию, видеоаналитику и сжатие (рис. 6-7). Сильными сторонами семейства DaVinci являются хорошая вычислительная мощность, большой ассортимент кодеков и модельных плат. К недостаткам стоит отнести повышенное энергопотребление и тепловыделение, а также более высокую стоимость, чем у конкурентов.

Перспективной аппаратной платформой интеллектуальной камеры является система на кристалле S6xxx, разработанная компанией Stretch (рис. 8). У архитектуры Stretch как и у DaVinci есть две подсистемы: управляющее ядро ARM и быстро перепрограммируемая вентильная матрица (software reconfigurable FPGA). Каждый блок конвейера (рис. 1) или его компоненты могут быть мгновенно загружены в матрицу кристалла (4096 вентилей за 27 микросекунд) и обеспечить значительный прирост быстродействия. Частота памяти DDR2 до 667 Мгц более чем в два раза выше, чем у конкурирующей платформы DaVinci DM6467. К недостаткам платформы стоит отнести слабый управляющий процессор ARM, ограниченное число вентилей и недостаточную зрелость технологии в целом.

Платформа интеллектуальной IP-камеры на базе однокристальной системы S6105

Рис. 8 Платформа интеллектуальной IP-камеры на базе однокристальной системы S6105 компании Stretch c процессором Xtensa LX 167MHz, ОЗУ типа DDR2 64 Мбайт, сетевой адаптер 10/100 Mbs, CMOS-сенсор 2 MP

Открытость платформы

Важным качеством интеллектуальной камеры с точки зрения системного интегратора является открытость ее внешних и внутренних интерфейсов. Наличие встроенных блоков цифровой фильтрации и видеоанализа предполагает специализацию устройств под различные вертикальные решения. Поставщику камеры сложно предложить универсальную видеоаналитику для всех возможных приложений. У системного интегратора должна быть возможность заказать или самостоятельно разработать дополнительные модули, встраиваемые в камеру.

Заключение

Интеллектуальные способности IP-камеры должны быть сконцентрированы на формировании качественного видео и точных метаданных, описывающих это видео. Встроенная видеоаналитика необходима не только для подготовки метаданных, но и для интеллектуального (адаптивного) улучшения и сжатия потока, то есть с учетом условий внешней среды.

Тесная интеграция блоков видеофильтрации, анализа сцены и компрессии может обеспечить наилучший результат с точки зрения качества изображения и эффективности использования вычислительных ресурсов. Интеграция позволит всем алгоритмическим блокам совместно использовать такие данные как градиенты, многомасштабные текстурные признаки, маски и вектора движущихся объектов, показатели зашумленности и стабильности сцены.

На практике соединение кодека H.264 и видеоаналитики затруднено тем, что разработкой этих двух компонентов, как правило, занимаются различные организации. Кодек в определенной степени стандартизирован, а видеоаналитика – нет, поэтому разработчики предпочитают избегать зависимостей.

Поддержка сетевой камерой промышленных стандартов, таких как ONVIF и PSIA, является ключевой для полноценного внедрения и защиты инвестиций в будущем