FPGA를 이용한 비디오 보안 시스템상의 지능성 추가
상태바
FPGA를 이용한 비디오 보안 시스템상의 지능성 추가
  • CCTV뉴스
  • 승인 2010.10.04 00:00
  • 댓글 0
이 기사를 공유합니다

차세대 지능형 비디오 보안 시스템은 이미지 품질과, 무수한 가용 이미지로부터 중요한 요소 추출을 위한 개선된 분석과 뛰어난 이미지 비주얼 성능을 위해, 높은 동적 범위(HDR) 알고리즘이 향상된 현대적인 메가픽셀 해상도 카메라 이용이 활성화 되고 있다. 이러한 시스템들은 자동적으로 에러와 위험성 평가부분을 개선하여 생성할 수 있고, 운영자의 효율성을 매우 높인다. 

이러한 시스템에서의 이미지 처리에 대한 요구사항들은 기존의 CPU 혹은 DSP기반의 디자인 이상을 요구한다. 하드웨어 가속기로 혹은 독립적인 기능 구현으로서 사용되는 FPGA는 이러한 문제점들을 해결할 수 있고, 이미지 생산 능력과 지능형 비디오 시스템이나 또 다른 비슷한 픽셀 처리 프로그램의 유연한 수요를 제공한다.

지능형 영상 보안 시스템

기존의 보안과 감시 비디오 체인은 아래의 그림 1로 보여주고 있다. 정보는 디지털 이미지 생성을 대표하는 센서 캡처를 시작으로 왼쪽에서 오른쪽으로 처리된다. 이 부분은 이미지 품질을 높이기 위해 이미지 신호 생성기술을 사용하여 진행된다. 이미지는 표준 코덱을 이용하여 압축되고 일반적인 케이블 기반의 인프라를 통해, 네트워크 인터페이스로 전송된다. 비디오 전송은 이미지를 더 압축할 수 있는 저장장치에 의해 수신되고 디지털 영상 레코딩 유닛에 저장한다. 비디오 내용 분석은 이벤트와 행동 기반의 알람 생성을 위해 저장 전후의 이미지상에서 수행될 수 있다. 몇 가지의 핵심적인 지능형 보안 비디오 체인의 특정한 요구사항은 몇 가지의 중요한 시장 동향을 주도한다.


그림 1. 전형적인 보안 및 감시 영상 체인
센서 캡처
이미지에서 특정 요소(번호판, 얼굴, 통화값)를 인식하기 위한 필요성들로 인하여 VGA로부터 메가픽셀 수준의 카메라 해상도를 높이도록 요구하는데, 이는 많은 VGA 카메라들이 애플리케이션에 따라 요구하는 해상도에서 전체적인 영역을 수용할 수 없기 때문이다. 높은 동적 범위(HDR) 센서는 이미지에서 밝고 어두운 영역을 보다 균일하게 잘 보기 위해 그 필요성이 발생하였으며, 이러한 센서 출력은 센서 단계 자체에서 추가적인 처리과정이 요구된다.

이미지 신호 처리

밝고 어두운 영역을 균일하게 보기 위해서는 초기 이미지에 추가적인 신호 처리가 필요하다. 예를 들면, 초기 이미지상에서 높은 동적 범위(HDR) 알고리즘 구현은 이미지의 어두운 부분에서 섬세함을 더할 수 있고, 반면에 빛의 과다 노출 이미지에서 밝은 영역을 포기하는 것 이다. 이는 헤드라이트 반사로 인한 번호판 혹은 상단의 불빛 반사로 인한 안면 인식에 대한 섬세함이 떨어져 놓칠 수 있는 야간에 매우 중요하다.

압축
이미지가 커짐에 따라, 이미지를 손실 없는 상태로 저장하고 전송 대역을 유지할 수 있는 압축 기술의 이용은 매우 중요하다. 뛰어난 이미지 캡처와 처리 단계는 비효율적인 압축에 의해 저하될 수 있다. 미래 표준안에 쉽게 적용할 수 있는 H.264와 같은 현대적인 표준을 지원하는 것은 제품 수명 연장에 있어서 매우 중요하고, 보안 설치 기준에 있어서 중요하다.

전송
대부분 보안과 감시 시설들은 기존의 아날로그 케이블 형태는 물론 더 효율적인 IP네트워크에 쉽게 대응할 수 있어야 한다. 시스템은 시장 진출 확대를 위해 이러한 요구 사항들을 충분히 지원할 수 있을 만큼의 유연성을 지녀야 한다.

저장 장치
비디오 체인의 저장 요소는 검사와 분석을 위한 비디오 데이터의 보관을 지원해야 한다. 저장 장치는 더 큰 이미지 사이즈뿐만 아니라 DVR당(4에서 8, 16 혹은 32)채널 수 확장으로 변화에도 효율적이어야 한다. 오프-사이트 저장 장치 선택사항은 시스템 대역상에서 추가적인 압박 요인이 될 수 있으며, 암호화 혹은 추가적인 보안 전송 규격이 요구된다.

비디오 분석
폭발적인 카메라 수 증가와, 그 모두를 효율적으로 감시하는 것에 있어서 자동화 처리는 중요한 역할을 한다. 비디오 분석은 이벤트/행동 기반 알람 혹은 재생 우선 순위 관리를 위해 실시간 이미지 분석들로 인하여 사람의 작업부분이 증대하고 있다.

오늘날 시장에서 중요한 세가지는 메가픽셀 센서, 높은 동적 범위(HDR), 그리고 영상 분석의 출현이다. 

비디오 보안 영상 처리 개요

전형적인 비디오 처리 블록 다이어그램은 아래의 그림2에서 보여지고 있다. 원 디지털 이미지는 다이어그램의 상단 좌측에 있는 CMOS 이미지 센서로부터 공급된다. 센서 포트상에서 출력되고 예를 들어 12에서 24비트로 확장 되는 것처럼 비트 범위로 확장할 수 있도록 선형화/디-컴팬드(linearized/decompanded)된다. 결함 보정 알고리즘으로는 전형적으로 근접한 픽셀 값의 분석에 의한 카메라 픽셀 결함 조정이 이용된다. 컬러 정보는 'de Bayering'이라 불리는 처리과정을 통하여 컬러의 농도 결정 과정에 추가된다. 이 처리는 컬러 정보 복원을 위해 빨강, 녹색 그리고 파랑 픽셀 센서의 Bayer 필터 패턴의 빨강, 노랑, 파랑색을 이용한다. 추가적인 처리로 빨강, 녹색 그리고 파랑 픽셀간의 크로스-토크의 보정을 하기 위해 컬러 보정 매트릭스(CCM)를 이용한다. 이는 다른 밝기 상태에 따른 카메라를 조정하는 자동 노출의 통계에서 얻어진다. 높은 동적 범위(HDR) 알고리즘은 이미지의 밝기의 양을 조절해 과다노출로 의해 지워진 부분을 더 볼 수 있게 처리한다. 자동 화이트 밸런스(AWB)는 이미지에서 흰 부분 요소를 이용하여 조절한다. 감마 보정은 재생기기의 응답곡선의 보충을 위해 센서 이미지를 기존의 일그러짐과 같은 현상을 적용해 조절을 한다. 최종적 오버레이 과정은 개선된 감시를 위해 문자, 포인터 혹은 아이콘을 캡처된 이미지상에 첨가될 수 있도록 한다.

 그림 2. 일반적인 영상 처리 블록 다이어 그램
 
메가픽셀 센서

메가픽셀 센서는 비디오 시스템을 위해 방대하게 증가된 양의 원 이미지 데이터를 공급한다. 이미지 해상도나 적용 영역 제한이 없기 때문에, 비디오 시스템 나머지는 상당히 제한된다. 예를 들면, 전형적인 교통 보안 시설에서 카메라는 번호판 인식을 위해 약 인치당 30픽셀 정도가 필요하지만,  금전 등록기에서는 통화가치를 분별하기 위해서는 약 인치당 150픽셀이 요구된다. 메가픽셀 센서는 VGA 카메라에 비하여 4배 이상의 해상도를 가지기 때문에, 상당히 넓은 영역에 대해 요구되는 해상도를 제공할 수 있다. 다양한 여러 메가 픽셀 센서(예를 들면 1.2~12MP) 와의 연결성은 센서 해상도 증가에 따른 지원과 디자인 수명 연장에 있어서 매우 중요하다.

높은 동적 범위의 이미지

높은 동적 범위(HDR)은 밝은 영역뿐만 아니라 어두운 영역의 객체를 보여주고 분별할 수 있는 시스템의 척도이며, 이는 일반적으로 dB로서 표기된다. 주어진 이미지 사이즈에 대하여 시스템에 의해 지원되는 동적 영역이 크면 클수록 HDR결과는 더 좋아질 것이고, 좀 더 좋은 품질의 시스템이 된다. 센서 데이터 출력은 컴팬드되고, 이는 이미지 dB에 상당히 영향을 준다.

예를 들면 Aptina(A-1000, 혹은 MT9M033)의 720p HD센서 출력은 로가리듬(logarithmic)센서 응답 곡선에 12비트 데이터를 출력하지만, 120dB(1비트는 6dB)의 장면 동적 범위를 공급하기 위해 픽셀마다 20비트 정보를 부호화한다. 선형모드(Linear)에서, 센서는 12비트 인트라 장면 동적 범위(이는 72dB)를 갖는다.

A-1000은 읽을 때 마다 3가지 내부 다중 노출과 같은 3배 분할 방식을 이용한다. 각 연속적인 분할 시간은 한번에(+24dB) 4비트 동적영역을 이동하며, 72+24+24=120dB의 인트라 장면 동적 영역을 이끌면서 이전보다 16배 이상 짧아진다. 결과적으로 이미지 품질은 디컴팬딩 알고리즘(12비트에서 20비트 전환)과 선형화 알고리즘에 결정된다.

보안과 감시 카메라는 종종 상호-장면 동적 범위 혹은 시스템 동적 범위 개선을 위해 빠른 빛의 상태 변화에 적응할 필요가 있다. 예를 들어 출입자에 의해 불이 꺼지면서 갑자기 어두워지거나, 창고 문이 열리며 갑자기 빛이 들어와 밝아지는 것 과 같이 갑작스런 빛의 변화가 있을 시 넓은 동적 범위는 이미지의 디테일을 잃지 않게 도와준다. 전형적인 시스템은 어둠에서 밝음으로 장면이 전환될 때 자동 노출 조절을 통하여 이미지상의 흰 부분을 보여줄 것이다. 이 부분이 짧으면 짧을수록 시스템의 품질은 더욱 좋아진다. 빛의 변화에 기초를 둔 인트라-장면 동적 영역 이동을 위한 자동 노출 성능은 150dB 이상의 인터-장면 동적 영역을 구동할 수 있도록 위에서 언급한 3가지 노출 방식에서 첫 번째 노출을 빠르게 조절할 수 있는데, 이는 자동차 메이커 BMW나 Audi와 같은 자동차 카메라로써 특화된 요구사항이기도 하다.

비디오 분석

비디오 분석은 장면에서 요소의 분류 및 감지를 위한 이미지 분석학을 이용함으로써 발생할 수 있는 위험을 인지할 수 있다. 예를 들면 분석은 짧은 시간에 걸쳐 하나의 이미지에서 또 다른 이미지로의 어떤 부분이 변화가 있었는지를 자동적으로 검색할 수 있다. 이것은 이미지 저장장치가 필요하고 새로운 이미지에 대한 비교가 필요하다. 픽셀 단위의 가중치 평균은 총 변화량과 운영자가 지정한 높은 우선 순위 목표에 따른 이미지에 따라 측정될 수 있다.

그림 3은 이러한 기능들이 어떻게 수행되는지를 보여주는 예이다. 카메라(상단)로 부터의 연속된 두 개의 이미지는 촬영 환경(푸른 부분의 하단 좌측)의 차이를 계산하는데 이용된다.  오버레이 목표(검은 부분)는 최우선 순위를 장면의 중요한 부분의 움직임에 부여하고 있는 가중치를 보여주고 있다. 이렇게 가중치 평균은 계산된다. 만약 결과가 미리 프로그램 된 한도를 초과한다면, 운영자에게 이를 알리게 될 것이다. FPGA는 수치 연산 리소스는 그림3의 우측에 요약된 것처럼 계산에 이용된다. 뺄셈 블록은 이미지간의 차이를 위해 이용되고, 곱셈은 가중 평균을 위해 이용된다.  



그림 3.  이미지 우선 순위를 결정하기 위해 필요한 비디오 이미지 처리
FPGA 구현 : IP코어 검증의 중요성과 레퍼런스 디자인

FPGA에서 비디오 보안 시스템의 비디오 처리 부분을 효율적으로 구현하기 위해서, 중요 기능을 위한 검증된 IP 코어를 갖고 있느냐는 중요한 부분이다. 검증된 표준 IP의 이용은 디자이너가 차별화된 디자인 요소에 대하여 더 집중할 수 있도록 한다. 예를 들면 래티스 반도체는 최대 12MP 까지의 센서로, 완전한 60fps의 1080p를 외부 프래임 버퍼없이 지원하고, 검고 흰 부분이 없는 4프래임 이하의 빠른 자동 노출 지원, 170dB의 시스템 동적 범위와 0.1에서 0.5ms의 시스템 지연시간(IP블록 적용에 따라서)을 지원한다. 코덱 기능(H.264와 같은)을 위한 표준 IP코어, 비디오 전송 기능(DVI,SDI,CVBS)과 카메라 링크 또한 이용 가능하다. 지능형 비디오 모션 감지, 불법 침입 감지, 대상물과 사람 수, 카메라 온도와 카메라 파손 감지를 위한 비디오 분석 기능 이용은 디자인의 가치 있는 부분 또한 빠르게 개발 되고 있다. 

레퍼런스 디자인은 지능형 비디오 보안 시스템의 타임-투-마켓에 도움을 준다. 예를 들면 래티스와 맥심(Maxim)은 DVR/NVR 레퍼런스 디자인을 제공한다. 이 디자인은 완벽한 보안 감시 비디오 체인을 지원하기 위해 여러 채널(4채널 DI, 16채널 CIF), 바이트를 인터리빙 데이터방식을 적용한 프래임을 만들고, 오디오와 함께 16xCIF 프리뷰 비디오 구성등이 포함되어 있다.



래티스 반도체(Lattice Semiconductor Corp)  Niladri Roy


 

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.