220420_유명조달기업
영상 객체인식기법을 활용한 지능형 영상검지 시스템
상태바
영상 객체인식기법을 활용한 지능형 영상검지 시스템
  • CCTV뉴스
  • 승인 2012.03.05 00:00
  • 댓글 0
이 기사를 공유합니다


대진대학교 컴퓨터공학과 정상진 객원교수
 
무인감시시스템은 무선 칩 같은 기초적인 센서를 이용하는 분야는 많이 연구 되어 왔으며. 카메라를 주요 센서로 하는 영상감시체계 연구 분야가 활성화 되고 있다. 본 고에서는 다양한 영상검지기법을 조사 분석한 결과를 토대로 영상 객체 인식 기법을 적용한 지능형 영상검지 시스템을 제안하였다. 이 지능형 영상검지 시스템은 사건 전후의 상황을 쉽게 추적 판단 할 수 있으며, 확실한 증거와 다양한 정보를 확보 할 수 있다. 따라서 본 고에서 제안하는 지능형 영상 검지 시스템은 교통상황 관리, 재난 경보 등 다양한 무인감시시스템에 활용 될 것이다. 

  무인감시시스템은 다양한 방법을 통해 해법을 제시하고 다방면의 적용을 통해 많은 기술들이 적용되어져 왔다. 무인감시시스템은 무선 칩 같은 기초적인 센서를 이용하여 구축하는 분야는 많이 연구 되어 왔으며 카메라를 센서로 하여 카메라 자체 감지기능을 이용한 무인감시체계를 구축하는 분야에 대한 연구가 최근 활성화 되고 있다. 카메라를 센서로 하는 영상검지시스템은 기존 감시체계보다 확실한 증거 확보와 더불어 인지 능력이 우수한 체계를 구축할 수 있다.
영상검지 시스템은 정확한 자료획득 차원에서 기술적 우위를 차지하지만 오경보율을 낮춰야 한다는 과제를 안고 있다. 영상검지 방식에서 오경보율을 최소화하기 위해서는 영상에 포착된 객체에 대하여 정확한 분석이 있어야 하며 포착된 객체들의 행동에 대하여 분석 가능하고 분석된 데이터가 실증적으로 확증되어야 한다.
본 연구의 목적은 무인감시시스템에 영상검지시스템 응용 방법을 제시하는 것으로 영상 이벤트 검지 방식을 이해하고 이를 무인감시시스템으로 확대적용 하는데 있다. 교통상황에서의 객체 인식은 관심영역내의 모든 차량에 대하여 100% 객체 인식률을 가진다는 장점이 있고, 차량의 사고를 추적해 가는 탁월한 기능이 증명되어 이를 활용하는 것이 영상감시시스템을 확립하는 주요한 방법이다.


영상 처리 및 영상 분석 기술

디지털 영상처리
디지털 영상 처리는 컴퓨터를 이용하여 영상을 처리하는 일련의 과정을 통칭한다. 영상처리란 사람에게 친숙한 영상을 카메라나 스캐너 등을 통하여 전자적으로 얻은 후, 여러 가지 목적에 따라 컴퓨터와 여러 가지 알고리즘을 적용하여 처리하는 것이다.
영상분석 분야는 정적인 정지화상을 처리하는 분야와 동영상을 처리하는 분야로 나뉠 수 있다. 본 연구에서 다루고자 하는 분야는 영상분석분야로 감시, 보안, 기타 정보 습득 등 다양한 응용분야로 확대되어 가고 있다.[1]

Jeffrey E 기법
이 기법은 다양하고 복잡한 상황에서는 각각의 객체를 인식하고 그들을 트래킹하는 어려움이 많아 그에 대하여 대체적으로 긴 시간이 요구되는 상황변화를 관찰하기 위해서 동영상의 이전 그림과 비교하여 객체를 인식하고 정해진 영역으로 다음 영상에서 인식될 객체의 위치를 추적했다.

Andrea Prati기법
이 기법은 배경화면과 전화면 사이에서 연관성에 의하여 배경화면에 영향을 주는 영상을 거르고, 인식된 객체들끼리 시간에 따른 연관성을 가지고 지속적인 모니터링으로 다음화면에서 같은 객체임을 구분지어 주는 기법이다[2].


지능형 영상검지 시스템 설계

본 연구에서 활용된 영상 분석기술은 다양한 객체의 출몰이 잦고 영상에서 발생할 수 있는, 이벤트의 형태가 다양한 상황을 모델로 설정하였다. 하나의 입력 영상을 경계시스템에서 활용한다면 검지되는 객체의 수는 가능한 많은 수의 객체를 인지하고 분석하는 것이 유리하다. 따라서 본 연구에 이용된 영상의 표준 객체 수는 평균 50∼200개 내외의 객체를 분석해내는 교통사고검지 기술에 적용된 이벤트 추출 방법을 이용하였다[3]. 영상검지 방법을 활용하여 교통사고를 인식하기 위해서는 환경적 요인에 따른 오인식율의 증가가 가장 큰 문제점으로 대두된다.[4,5]. 이러한 문제점을 개선하기위해 본 연구에서는 객체인식, 학습인지시스템과 유체근사 알고리즘을 사용하여 영상 자동검지의 성능을 개선하였다.

객체인식
본 기술에서 이동하는 물체(Object)들을 효과적으로 관측하여야 하며, 물체들을 설정하는 시간적인 빈도수와 변화를 측정하는 것이 가장 중요하다[4,6]. 변화가 측정되는 것은 위치, 크기, 영상 속에서의 속도, 이동경로 등이다. 객체 인식을 통해 얻을 수 있는 변수는 위치, 크기, 속도, 방향으로 볼 수 있고, 이러한 값들은 각각의 변수들 마다 독립적이거나 종속적으로 나타난다. 각각의 변화량을 시간에 따른 값들로 비교하여 모니터링을 하는 중에 연속적인 변화가 끊어지는 순간에는 영상에서 특별한 이벤트가 발생했다고 볼 수 있다.

학습인지 시스템
학습인지 시스템에 대한 기본적인 이론은 관련된 두 함수들 간의 연관성을 찾아내어 추후 동일한 연산과정에 있어서 연관 함수식을 가중 값으로 활용하는 것이다. 이에 대하여 단순 비례관계로 다음과 같은 수식으로 표현 할 수 있다[7].



하지만 실제 시간에 따라 변화하는 물리량을 실시간 측정하여 누적하면 변화 값 때문에 1차원 선분으로 비례식이 성립되지 않는다. 따라서 위 수식에서 계수 a를 상수가 아니라 실제 입력되는 시간에 대한 함수로 표현하여 시간의 함수호로 나타난다.


[그림 1]은 신호주기 내에서 가중치를 구하는 것으로 교통량의 크기에 따라 곡선의 기울기가 증가하고, 각 신호 주기별로 각각 다른 기울기 값을 가진다.
실제 가중치 적용을 통한 사고인식 방법은 다음과 같이 시간에 대한 함수의 기울기 변화 값들에 대하여 다음과 같이 세 가지 경우로 표현할 수 있다.

 ; 누적량 둔화


; 기준값과 동일 (가중치없음)


; 누적증가


[그림 1] 가중치적용

유체근사 방식

교통에 관련된 연구에서 교통의 흐름을 유체의 흐름으로 묘사하여 연구하였다[5,8-10]. 이러한 유체 흐름 분석은 움직이는 양들의 학습인지를 위한 누적계산과 더불어 주요한 이벤트를 추출하는 방식이다. 유체 운동에서 각각의 객체들을 인식하여 객체들 간에 상호 유기적인 관계를 적용하여 충돌 및 사고 상황에 대한 정확한 분석을 할 수 있다. 비교적 작은 입자의 개수를 파악하는 기본적인 유체 근사 연속 방정식은 다음과 같다.
 
           (1)
   
ρ : 물리량(밀도)

 t : 시간
   
: 공간에 대한 흐름변화

수식(1)은 단위 공간 내에서 운동량 혹은 에너지 보존 법칙에 의하여 일정 시간 동안에 유입되는 양과 유출되는 양이 같음을 나타내는데, 이는 교통흐름의 이상 상황이 발생하지 않을 때 정해진 구획 구간을 통과하는 차량의 대수, 차량의 속도 변화, 전체 화면에서 나타난 움직임의 변화량이 같아야 한다는 가정에서 시작하였다. 물리량들의 구획 내 공간 변화량은 전체 물리량의 시간 변화량과 같아야 한다. 그러나 연속방정식이 로 성립되지 않을 때 화면상에서 인식 객체의 변화에 따른 이벤트가 발생한다.

영상이벤트 특화를 위한 필터링

영상검지에 있어서 기본 영상처리를 통하여 발생한 이벤트는 환경적인 요인을 얼마나 적용하여 필터링 하였느냐에 따라 이벤트의 취득율을 정의 할 수 있다. 적절하게 적용된 환경인자들은 사용자가 정의한 이벤트의 내용과 가장 적합하게 일치되는 조건을 만족 시킬 수 있다. 이에 대하여 다양한 방법과 영상처리의 혼합 기법으로 이벤트의 순도를 높일 수 있다.

노출 필터

영상 분석 상황에서 노출과 관련된 필터는 갑작스런 변화와 원치 않는 환경에 의한 변화를 들 수 있다. [그림 2]에서 a)는 소등에 의하여 노출부족이 발생되었을 때 적용된 필터다. 노출이 적게 되면 노이즈의 양이 증가하고 실제 객체 구분이 어려우며, 노이즈가 지역적으로 모여 있는 곳을 객체로 인식하는 오류를 가질 수 있다. 이러한 노출의 환경을 5분 이상 지속시켜 카메라의 노출 보정을 충분히 이행하게 하여 차량의 미세한 색변화를 추출하는 방식으로 오류를 줄이는 방법을 적용했다.

[그림 2] 노출 보정 필터적용 그림

b)는 순간적으로 점등되는 경우이다. 이러한 노출 보정은 카메라의 특성으로 발생되는 노이즈 값들과 유사하여 비교적 쉽게 수정되어 능동적으로 동작할 수 있게 된다. c)는 우천 시 바닥의 습기에 의한 반사 환경 보정이다. 이러한 경우 배경을 인식하는 배경의 초기화 과정을 정상상태 상황보다 자주 하도록 설정한다. 정상적인 상황에서의 노면 배경화면 초기화는 매 15초 마다 갱신되는데, 위와 같은 상황에서는 매 10초마다 배경을 초기화한다. d)는 급격한 명도차이에 대한 필터링이다. 그러나 CCTV 상황은 서서히 노출의 상태 변화가 발생하는 단순한 과정으로 보여 진다. 정확한 배경화면 추출을 해내는 것이 이러한 문제점을 극복하는 방법이다. 또한 카메라의 Day- Night 기능의 임계치에 설정되는 주요한 시점이기도 하다. 따라서 영상의 축적방법을 달리하여 오류를 해결한다. 본 연구에서 영상검지를 위해 7개 프레임 축적에 3개 프레임을 전후로 제거하고 축적하는 방식으로 분석하지만, 이 경우는 5개 프레임에서 전후 3개의 제거와 축적을 반복하여 객체를 인식하고, 배경을 제거하는 방식으로 전환하여 영상을 분석한다.

객체의 영상 주파수 분석

영상으로 입력되는 객체들은 운동의 특성상 주기성을 가지는데 그 주기성은 영상 주파수의 형태로 표현한다.
일반적인 CCD CCTV(charge-coupled device closed-circuit television)는 초당 30프레임을 찍는다고 하면 1/30초 영상 주파수의 특성으로 분류 할 수 있다. [그림 3]과 같이 곤충이나 새들은 그들의 행동에 나타나는 영상변화의 주기는 날개 짓이나 기타의 환경에 따른 이동형태에 따라 비교적 짧은 주기를 가지고 영상변화를 반복한다.
이러한 경우 사람의 행동이 아닌 작은 동물이나 식물의 떨림으로 인식 할 수 있다. 또한 사람의 경우 달리기에 해당되는 운동은 1초에 2∼3회의 주기로 반복 운동을 한다. 느린 걸음이라 해도 1초에 1∼1.5회의 주기를 가진다. 기타 날씨 및 구름의 이동에 의한 변화와 일조에 따른 시간 변화는 충분히 긴 주기를 갖는다는 특성이 있다. 이러한 주파수의 특성들은 이벤트를 발생 시키는 객체의 주체가 무엇인지 정의 내릴 수 있으며, 더불어 사용자의 요구에서 제외되는 이벤트 발생 상황을 구분해 낼 수 있다.

지능형 영상검지 시스템 모듈

영상검지 절차

[그림 3] CCTV 입력되는 영상들의 주파수 분류내용


[그림 4] 영상검시 절차도

[그림 4]는 본 연구에서 개발한 지능형 영상검지 시스템의 처리절차이다. 입력 영상을 처리하고 1차적으로 환경 변수에 해당되는 기초 주기 및 배경에 대한 데이터를 처리하고 병렬로 화소의 그룹화를 통하여 객체를 인식한다. 종합적으로 인식된 객체들은 환경정보와 더불어 이벤트 조건에 대한 판별을 통하여 출력한다. 이벤트 조건 판별을 위해서는 사용자의 요구조건이 중요하게 작용하는데 이를 통하여 다양한 검지 기능을 선택할 수 있게 하였다. 사용자의 조건에 따라 교통시스템에 적용할 수도 있고 일반 보안 시스템에 적용할 수도 있다. 교통에 관련한 사고 정의를 사용자 조건을 통하여 입력이 가능하도록 하였으며 1차적인 관심영역을 설정할 수도 있게 하였다 그리고 보안 모듈에 있어서 감시 지역을 설정하거나 객체의 선택적 구분을 설정할 수 있으며 관심영역의 검지에 대한 차별성을 부여하기도 한다.


이벤트 자동기록장치

본 연구에서는 감시 대상의 이벤트를 기록하기 위한 모델로 교통사고 자동기록장치 시스템을 활용하였으며, 활용된 교통사고 자동기록장치의 시스템 구성은 그림 5와 같다. 지역에 설치된 카메라로부터 입력된 영상을 현장에서 직접 분석하고 그 자료와 분석 상황을 서버에 전송하는 방식으로 실시간 운용이 가능하도록 구성하였다. 교통상황을 이해하기 위하여 지상 16미터 높이 정도에서 윤곽을 확인하여 그 안에서 구분되는 객체들을 분석하고 각 객체들에 대한 분석과 이벤트들에 대한 분석이 지역장치 서버(검지 알고리즘내장)를 통하여 종합한다. 이벤트가 발생하면 지역서버에서 곧바로 이벤트 발생 영상 클립과 더불어서 현장상황에 대한 위치(현재 장치의 위치 및 지명)를 비롯한 사고시간, 사고 발생 상황에서의 신호 환경, 기타 지역장치의 녹화 상태 등 정보들을 융합하여 [그림 5]와 같이 종합 상황 시스템에 전송한다.



[그림 5] 이벤트 자동기록장치 구성도

이러한 시스템의 구성요건과 방식은 교통상황이 아닌 일반 경계시스템이나 특수 목적으로 설계된 감시체계 내에서도 동일하게 적용될 수 있다. 감시 및 경계시스템에서 지역 장치는 좀 더 다양한 위치와 선택적인 방법으로 위치를 설정하여 설치 할 수 있다. 또한 보안이 유지되는 상황 하에서는 지역 장치를 함몰하거나 카메라의 형태를 위장 또는 은폐하여 설치 할 수 있고 다양한 전송 방법을 통하여 영상을 송수신 할 수 있도록 하였다.

영상 검지시스템 모듈

[그림 6] 무인영상 감시시스템 모듈

[그림 6]은 무인경계시스템에 적용된 기술로 객체 인식 기술 및 필터링 기술을 적용한 영상검지 모듈이다. 단위 영역을 설정하고 영역내로 진입하거나 탈출하는 객체를 인식하여 검지하는 내용이다. 각 구역은 차등을 두어 알람 및 경보의 수준을 달리하여 정의 할 수 있다. 녹색 구역은 일반 주의 구역으로 지나는 행인이나 객체의 수를 카운트하고 이에 대한 경로를 추적하며 구역 내 경유 시간에 대한 자료를 확보한다. 또한 영역 내에서 객체들 간의 이상행동으로 정의되는 상황을 포착한다.

이상 행동의 정의는 사용자가 정의하는 것으로 일정시간 배회, 사물의 방치 및 도난 등을 감시 할 수 있다. 황색 지역은 경계 지역으로 1차적인 침입을 규정하고 이에 대한 경계 태세를 준비하는 영역이다. 일반적으로 녹색지역과 동등한 검지 능력을 가지지만 이 구역 내에서는 특별히 방송이나 전광판을 통하여 구역 내 대상에게 이탈 명령 등 감시 내용을 전파 할 수 있다. 또한 배회시간 조정 및 제한을 두어 경계의 효율을 높인다. 적색 지역은 침입하는 대상에 대하여 즉각적인 현장 반응을 요구하는 단계로 기본 검지 및 정보 획득은 녹색지역과 동일하지만 감시 관리자에게 즉각적 행동을 요구하는 위급상황으로 전파한다. 차등적인 영역은 다수의 등위로 구분 할 수 있으며, 하나의 화면에서 다수의 영역이 혼재하여 존재할 수 있게 하였다. 이상과 같이 영상 시스템을 통하여 발생하는 다양한 정보들은 필요에 따라 전송 및 보안이 되어야 한다. 위와 같은 경계 시스템에서 취득되는 정보는 [표 1]과 같다.


이러한 영상감지 관련 취득 정보는 이웃 카메라와 연동될 때 다양한 대응방법이 마련 될 수 있다. 이웃 카메라에 객체의 이동 경로를 전달해주고 특이한 객체 특징을 전달하므로 이벤트 및 객체 추적의 연속성을 부여 할 수 있다. 각각의 카메라와의 통신 또는 현장 관측자에게 즉각적인 정보 전달은 보안이 필수적으로 따라야 하며, 정보 보안 사항은 따로 연구하여야 할 것이다.



지능형 영상검지 시스템 검증

기존의 무인감시시스템에서 카메라의 기능은 시스템 내의 센서가 어떤 검지정보를 알려 줄때 원격에서 조작, 사람이 관찰하여 분석하거나, 경계자가 24시간 응시해야 되는 단순하고 보조적인 기능으로 활용하거나 사건 후 영상저장기능을 활용하여 사건 결과를 확인하는 정도로 활용하였다. 그러나 본 연구에서 제시한 지능형 영상검지 시스템에서는 기초적인 센서 없이도 객체를 인식, 검지 정보로 활용 할 수 있어, 무인감시스템에 적용할 수 있음을 보여주었다.
본 고에서 제안하는 지능형 영상검지 시스템은 경찰청 교통사고자동기록장치 사고 검지율 분야에서는 92.3%의 이벤트 검지율을 가진 시제품으로 개발되었다[3]. 이는 [표 3]과 같이 월등한 이벤트 검지 성능을 가진 기술로 검증 되었다.
[표 3]에서 보여주는 기존의 영상검지기법은 입력 영상에서 발생하는 전후 화면의 픽셀 비교를 통한 단순한 변환 내용을 인식하는 기술이었다. 이러한 변환기술을 통하여 변환된 영역을 표시하고 인식하는 방법을 영상 동작 검지(Video Motion Detection, VMD)라 한다. 이는 아주 간단하게 침입검지 및 움직임을 포착하는 기술로 적용 되어져 왔다.
따라서 본 연구에서 제안한 지능형 영상검지기법은 객체를 정의하고 정의된 객체에 따라 이벤트의 정의를 유도함으로써 오경보율을 최대한 줄이고 신뢰성 있는 데이터를 확보하는데 성공하였다. 이를 지능형 영상 검지시스템(IVEDS, Intelligent Video Event Detection System)이라 칭하며, 일반 영상동작감지기(VMD)와 성능비교를 표 3에서 제시하였다.



무인감시시스템에서 기초 물리센서와 대등한 자료를 획득함과 동시에 경계를 위한 보다 선명한 영상자료를 가질 수 있다는 장점을 만족시키기 위해 객체인식을 통한 지능형 영상검지기법을 연구하였다. 영상검지 시스템에서 얻어지는 객체 관련 정보와 이벤트 관련 정보는 기존의 기본센서에 의존한 무인감시시스템 보다 더 유리한 장점을 가진다. 영상 무인감시시스템은 확실한 증거 확보와 사고 전후에 추적 상황을 쉽게 판단 할 수 있으며, 다양한 정보를 확보 한다는 점에서 무인감시시스템의 주요 기술요소라 판단된다.
객체 인식에 의한 영상 검지 기법을 통하여 사용자 및 관리자가 이해하기 쉬운 신뢰성 있는 데이터를 얻을 수 있다고 판단되며, 다양한 물리적 센서의 설치 및 운용상의 난점을 극복하는 방법으로 고려될 만한 가치가 있다고 판단한다. 물론 영상 검지 시스템의 오검지율에 대한 논점이 존재하지만 이를 해결하기 위하여 교통에서 운용된 다객체 운동을 추적하는 방법으로 충분히 오검지율을 개선 할 수 있다. 유효 이벤트 검지율은 교통사고 자동기록장치에 대하여 교통이벤트 검지 율 90% 이상의 신뢰성을 보여 무인감시시스템에 적용할 경우에는 보다 더 높은 이벤트 검지를 할 것으로 기대 된다.
영상검지 방법은 무인감시시스템에 독립적으로 동작하거나 기타의 이웃하는 영상검지시스템과 연동하기 좋은 확장성을 가지고 있고, 유사 감시시스템과의 연동으로 그 효율을 극대화 할 수 있다.


 [참고문헌]

[1] 전준철. Digital Image Processing 개정판, 정익사, 2009.
[2] Andrea Prati et al., "Detection Moving Shadows : Algorithm sand Evaluation," I EEE Transactions on pattern analysis and machine intelligence Vol.25. No.7, JULY 2003.
[3] 도로교통안전관리공단, "교통사고 자동기록장치 효과분석 및 DB 구축방안 연구," 2004. 12.
[4] Basu-Mallick, B.; Kundu, A. PHYSICS LETTERS A 2001; Vol.279, No.1-2, 29-32.
[5] L. M. Bruce, N. Balraj, Y. Zhang, Q. Yu, "Automated Accident Detection in Intersections via Digital Signal Processing," Presented at 83nd Annual Meeting of the Transportation Research Board, 2004.
[6] Moshinsky, M.; Nikitin, A. REVISTA MEXICANA DE FISICA Nuclear Physics Symposium; 27th Selected papers Taxco, Mexico 2004; Jan
[7] 구현모, 유체의 운동학적 이론과 비평형 분자동력학에 관한 연구, 1992.
[8] 박상언, 유체흐름과 차분해석에 관한 연구, 속도, 압력 동시 묘사법. 1990.
[9] C. Harlow, Y. Wang, "Automated Accident Detection System," In Transportation Research Record. No.1746, pp. 90-93, 2001.
[10] H.M. Koo, "Analytic solution for the nonequilibrium pair-correlation function and the non-Newtonian viscosity coefficients of simple liquids, thesis," {Fed,Rep,Germany}. University of Erlangen-Nuernberg. 1986.


<본 내용은  '멀티미디어학회 논문지 제 13권 제 2호'에 개재된 논문을 바탕으로 정리한 것임을 알려드립니다>

 

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.