실시간 지능형 감시 시스템을 위한 방치, 제거된 객체 검출에 관한 연구
2010-07-01 CCTV뉴스
제안된 방법은 CCTV 카메라의 입력 영상에 대하여 PC 및 DSP 칩을 이용하여 실시간 처리를 하였으며 DSP 칩을 활용하였기 때문에 수정이 용이하다. 제안된 시스템에 대한 성능을 검증하기 위해 저, 중, 고의 복잡도에 따라 실험하였으며, 신뢰성 있는 검증을 위해 각 10회의 반복 수행을 하였다. 실험 결과, 복잡도가 낮거나 보통인 경우는 높은 객체 변화 검출률을 보였으며 매우 혼잡한 경우에는 환경적인 요인의 이유로 검출률이 상대적으로 조금 낮은 것을 확인할 수 있었다. 이 원인은 복잡도가 높아짐에 따라 검출률이 낮은 것은 이동하는 객체들로 인해 방치된 객체의 폐색이 반복되기 때문이었다. 향후 이러한 문제의 해결을 위해 매우 복잡한 환경에서의 폐색에 대한 추가적인 연구와 강건한 정적 영역의 판단 방법에 대해 연구할 것이다.
전 세계적으로 테러, 전쟁 등과 같은 고도의 범죄가 발생함에 따라 각국은 보안에 대한 중요성을 인식하고 그에 대한 대책을 강구하고 있다. 최근에는 공공장소에서의 주요 시설물의 도난과 같은 범죄에서부터 폭발물을 비롯한 위험물 투기 및 방치 등 다양한 특수 범죄들이 빈번하게 발생하고 있다. 이러한 이유로 유동인구가 많이 밀집하는 공항, 버스정류장, 지하철역과 같은 공공 교통 시설 구역에서의 보행자 안전 문제가 크게 대두되는 실정이다. 특히 911테러 발생 후, 전 세계적으로 많은 나라들이 보안 분야에 대해 지속적으로 연구와 투자를 진행하고 있다.
보안 감시 시스템 분야가 주목받으면서 다양한 연구가 진행되고 있지만 인력만으로는 감시하는 데 한계점을 발견하게 되었다. 많은 곳을 감시하다 보면 영상을 저장하지 못한 순간에 사람이 놓치거나 잘못 판단하는 경우가 발생하기 때문이다. 이러한 경우 큰 범죄나 인명 피해가 발생할 수 있다. 따라서 자동화, 무인화 구성이 가능한 지능형 종합감시시스템에 대한 수요와 관심이 급증하는 추세이다.
표 1은 지능형 감시 시스템 연구 개발 관련 해외 선두 업체를 정리한 것이다. 대부분이 모션 검출(motion detection)을 통하여 객체를 자동 추적(auto-tracking)하거나 보안 감시하는 데 사용하고 있다. 이렇게 국외에서의 다양한 연구에도 불구하고 국내에서는 지능형 감시 시스템은 이제 시작 단계에 불과하기 때문에 시스템으로 제품화된 경우는 드물다.
특히, 방치되거나 제거된 객체 검출에 대한 지능형 알고리즘은 그 중요성만큼이나 구현 난이도가 높기 때문에 많은 연구가 필요하다.
본 고에서는 제품화가 가능하도록 방치되거나 제거된 객체에 대해 검출하는 시스템을 설계 및 구현하였다. 제안된 시스템은 CCTV 카메라의 입력 영상을 이용하여 PC 기반 또는 DSP 모듈을 이용하여 영상에 대해 분석할 수 있도록 두 가지 방안으로 설계하였다. 본 시스템은 관심영역(region of interest, ROI) 설정을 기준으로 처리하게 되며 가우시안 혼합 모델(GMM)을 이용하여 배경과 전경을 분리하여 저장한다. 가우시안 혼합 모델의 업데이트 시간에 따라 방치되거나 제거된 객체의 영역을 검출하여 그 지역에 대해 히스토그램을 구한 후 방치된 물건인지 제거된 물건인지에 대한 프로세스로의 이벤트 발생이 주요 내용이다.
제안된 시스템은 DSP 모듈을 사용해 처리속도가 빠르고, GMM 알고리즘을 기반으로 하여 정적인 영역을 검출하였기 때문에 실시간 처리가 용이하고, 다른 방법으로 객체 검출을 할 때 보다 적응적이며 정확도가 높은 장점을 가진다. 또한 저가의 구성이 가능하고 수정이 간편하다.
다양한 환경에서의 인명 피해 방지에 대해 큰 효과를 기대할 수 있으며, 무인화가 가능한 지능형 알고리즘의 구성으로 관리자가 놓치기 쉬운 감시 구역에 대해 편리하게 감시할 수 있다.
기존 연구의 분석
표 2와 같이 방치, 제거된 객체 검출 알고리즘에 대한 연구가 지속적으로 진행되어 왔다. 대부분의 연구는 크게 두 가지로 분류할 수 있다.
첫 번째는 전경과 배경을 분리하는 데 있어서 차영상과 GMM을 이용하는 것이다. Sadiye는 차영상을 이용하여 복잡한 환경에서의 움직이는 객체와 정적인 객체를 구분하여 이전 영상과 차이를 구하여 방치된 객체를 검출하는 알고리즘을 구성하였다. 차영상은 빠른 계산량과 쉽게 구현이 가능하다는 장점을 갖고 있지만 객체 상태가 정적일 경우 판단의 모호함을 가진다. GMM을 이용한 방법은 Lin이 제안한 방법으로 모드-I, 모드-II를 이용하여 객체의 상태를 파악하는 알고리즘을 구현하였다. GMM에 저역필터를 이용한 방법은 차영상과는 달리 정적인 영역의 구분 및 판별이 명확하고, 환경적 잡음에 강건한 특성을 가진다.
두 번째는 객체 검출 후 추적 방법의 적용 여부에 따라 객체를 판별하는 방법이다. Tian이 제안한 알고리즘에서는 추적 방법을 적용하여 움직임 및 정적인 영역을 검출하여 판별하도록 제안하였다. Vanetianer도 추적 방법을 이용하여 객체 판별 및 분류 방법에 대해 제안하였다. Miguel 역시 배경 업데이트 및 추적 방법을 이용한 알고리즘을 제안하였다. 추적을 이용한 방법은 복잡한 환경에서 향상된 특성을 지니고 있지만 계산량의 문제와 폐색 발생 시 정확한 판별 문제를 가진다.
단일 차영상을 사용할 것인지 다중 차영상을 사용할 것인지에 따라 기존에 연구된 자료들을 분석할 수 있다. 크게 두 카테고리 모두 프레임 대 프레임 해석과 부 샘플링된 해석으로 나눌 수 있다. Liao가 제안한 단일 차영상에서 부 샘플링 평활화는 전체 프레임을 다 사용하지 않고 마스크 영상만을 이용하여 'AND' 연산하여 남는 방치된 객체만을 검출하는 원리이다. Porikli의 다중 차영상 처리 방법에서도 마찬가지로 움직임의 여부에 따라 동적 객체, 후보 객체, 모호한 객체 또는 정적 객체 검출이 이루어지는 방법을 사용한다.
본 고에서는 추적방법을 적용하지 않고, GMM을 이용하여 전경과 배경을 분리하고 갱신하는 방법을 활용한 알고리즘을 기반으로 하였다.
제안한 방치되거나 제거된 객체 검출 알고리즘
가우시안 혼합 모델(Gaussian mixture model)
가우시안 혼합 모델은 가우시안 커널(kernel)을 다수 혼합하여 입력 영상 내 각 화소별로 커널을 적용해서 밀도가 높아지는 정도를 이용하여 배경과 객체를 분리, 검출하는 방법이다. 이러한 가우시안 혼합 모델은 확률 분포를 사용하는 영상 처리 분야에서 유용하게 사용되는 방법으로서 다양한 환경적인 변화를 갖는 입력영상을 처리할 때 효과적이다.
가우시안 혼합 모델에서의 화소별 평균과 분산은 매 프레임 별 학습이 이루어진다. 따라서 시간에 따라 화소 값이 변화해 학습에 따라 환경적으로 적응하는 구조를 가진다. 임의의 시간 t에 대해 측정한 한 화소가 X라고 하고, 이 X가 M개의 가우시안 확률 분포를 따른다고 하면, 가우시안 혼합 모델은 식 (1)과 같다.
여기서 θ는 가우시안 혼합 모델의 파라미터 벡터로 θ = π1,…, πm, μ1,…, μm, C1,…,Cm이며, μm과 Cm은 m번째 가우시안 분포의 평균과 공분산 행렬이다. 또한 πm은 m번째 가우시안 분포의 혼합 가중치를 나타낸다. t의 다음 시간인 t+1에 대해 새로운 화소 값 X(t+1)이 주어지면 가우시안 파라미터 모델은 적응적으로 새롭게 학습된다. 새롭게 학습된 t+1에서의 모델링은 아래의 식 (2), (3), (4)와 같다.
이 때, α는 학습률 변수로서 상수 1/T(T는 혼합 모델에 사용하는 화소 데이터 총 수)로 근사화 한다. οm(t)은 ownership 변수로써 화소 값이 m 번째 가우시안 분포에 근접한 값을 갖는지 판단한다. 판단할 때, 마할라노비스(Mahalanobis)의 거리를 이용하여 측정하고 가우시안 혼합 모델의 출력 값을 구분한다. 단, 배경과 전경을 분리해 낼 때에는 둘의 구분을 위하여 배경이 전경에 비해 혼합 가중치가 높은 것과 적은 분산 값을 가지는 특징을 파악하여 처리해야 한다. 이러한 배경과 전경의 분리를 위해 사용되는 배경 분포 모델은 식 (5)와 같다.
1 - Tf는 배경 모델에게 주어지는 가중치의 값을 의미한다. 새로운 화소 값이 배경에 속하게 되려면 식 (6)에 의해 프레임이 경과하면 속하게 된다. 즉, 새로운 화소 값이 배경으로 포함될 때까지의 경과하는 프레임을 의미한다.
그림 1은 차영상과 가우시안 혼합 모델을 이용한 영상을 비교한 것이다. 영상은 PETS의 데이터를 사용하여 비교하였으며 두 영상 모두 처리 후 모폴로지 연산을 실행하였다. (a)와 (c)는 입력 영상이고 (b)는 차영상 처리를 한 이진 영상, (d)는 GMM 처리를 한 이진 영상이다. 차영상은 현재 프레임과 이전 프레임의 차를 이용하여 나타내기 때문에 객체의 윤곽을 쉽게 나타낼 수 있는 것이 특징이다. 하지만 차영상은 객체가 순간적으로 잠시 멈춘 경우 사라짐으로 표시하거나 다시 움직일 경우 새로운 객체로 오 인식할 수 있다. 가우시안 혼합 모델을 이용한 방법에서는 입력 파라미터를 조절하여 움직임이 존재하는 객체의 내부적인 부분까지 명확하게 나타낼 수 있다. 이러한 이유로 객체 표현에서는 가우시안 혼합 모델을 이용한 방법이 더 좋은 결과를 가진다.
이러한 성능을 갖는 가우시안 혼합 모델을 기반으로 일정 시간만큼의 학습을 통해 입력 영상의 배경과 전경 분리 및 객체의 유무를 판단할 수 있다.
제안한 알고리즘의 소개
본 고에서는 앞에서 소개한 가우시안 혼합 모델을 기반으로 정적인 영역의 검출 방법을 이용하여 방치되거나 제거된 객체 검출 알고리즘을 설계 및 구현하였다. 그림 2는 제안된 방법을 블록 다이어그램으로 나타낸 것이다.
감시 카메라로부터 입력 영상을 받아온 후, 그 입력 영상에 대해 가우시안 혼합 모델을 적용한다. 배경 업데이트 비율 등의 입력 파라미터를 조절하여 적용하면 영상에서의 배경과 전경을 분리할 수 있다. 배경과 전경의 분리 과정을 거치게 되면 전경에서 객체를 검출할 수 있게 되는데, 이렇게 검출된 객체는 정확성을 높이기 위하여 모폴로지 연산을 적용하였다. 그 후 영상에서의 움직이는 객체를 ID 별로 구분하여 각각의 정보를 저장하게 되는 라벨링(labeling) 과정을 거쳐 검출된 객체들 중 관심영역 안으로 들어온 객체만 정보를 판별한다.
그 후 사이즈 필터링을 통하여 관심 객체만을 선별한 후 영상 히스토그램을 구하게 되는데, 객체의 위치 정보에 따라 현재 영상, 배경 영상, 정적인 영상을 비교하여 방치된 객체 또는 제거된 객체를 판단하게 되는 것이 제안된 알고리즘의 흐름이다.
제안된 알고리즘의 주요 핵심은 GMM을 이용한 전경, 배경 분리 부분에서 정적인 영역을 검출하는 것이 특징이다. 정적인 영역의 검출은 전경과 배경 분리 시 객체가 방치되거나 제거될 때 그 지역의 멈춰져 있는 순간을 입력 파라미터의 조절을 통해 파악하는 방법이다. 제안한 알고리즘에서 이 방법을 이용하는 것은 크게 두 가지 이유가 있다.
첫 번째, 분리된 전경에서 검출하고자 하는 객체가 방치되거나 제거되었을 때 파라미터의 조절만으로 쉽게 이벤트의 오 경보(false ala rm)을 줄일 수 있다. 예를 들어, 입력 영상에서 방치되거나 제거된 객체가 검출된 경우, 또는 사람이 움직이다가 순간적으로 멈춘 경우 파라미터에 의한 이벤트 발생 시간 내에서는 정적인 영역으로 대기하게 된다. 하지만 이벤트 발생 시간 내에 방치되거나 제거된 객체의 상황이 변하거나 멈춘 사람이 다시 움직이게 되면 이 경우는 정적인 영역에서 이벤트가 해제되었음을 새롭게 갱신하여 판단해야 한다. 따라서 정적인 영역을 이용한 검출 방법에서는 이벤트 설정 시간 내에서 상태가 변화한다 해도 갱신이 되어 정확하게 판단할 수 있기 때문에 오 경보를 줄일 수 있다.
그림 3은 제안한 알고리즘에서 사용한 정적인 영역 검출 및 모니터링을 나타낸 것이다. t는 이벤트 설정 시간을 의미하고 사용자가 자유롭게 설정할 수 있다. tevent는 입력 영상에서 정적인 영역이 검출되는 시간을 나타내며 이 시간은 입력 파라미터에 의해 검출 속도를 조절할 수 있는 것이 특징이다. tmonitoring은 정적인 영역 검출 후 이 영역에 변화가 생기는 지의 여부를 감시하는 시간을 나타낸다. 정적인 영역이 검출되면 이벤트 설정 시간에 도달하기 전까지는 내부적으로만 정보를 가지고 있고 표출하지 않는다.
따라서 이벤트 설정 시간이 될 때까지 검출된 정적인 영역이 잘 유지되어 정상적으로 방치(제거) 이벤트를 발생할 것인지 아니면 상태가 변화하여 이벤트 발생을 해제할 것인지를 tmonitoring시간 동안 감지하여 이벤트에 대한 최종 판단을 할 수 있다.
두 번째, 정적인 영역을 검출하는 방법은 기존의 차영상을 이용하는 방법에 비해 환경적인 요소나 움직이는 객체에서 나타나는 잡음(Noise)에 강건한 것을 알 수 있었다. 입력 영상에는 많은 잡음이 발생하는데 일정 시간을 업데이트 하는 GMM을 이용한 정적인 영역의 검출방법은 이러한 노이즈를 효과적으로 제거할 수 있는 것이다. 제안한 방법은 GMM을 이용한 객체 검출에 기반을 두었으며 추가적으로 학습률 및 검출 시간 특성을 결정하는 파라미터들에 대한 조절에 따른 정적인 영역 검출도 고려함으로써 객체 방치 및 제거에 대한 이벤트 발생 시간을 조절할 수 있다.
그림 5는 GMM만을 이용한 방법과 제안된 정적인 영역 검출 모니터링 방법을 이용하였을 때의 차이점을 나타낸 것이다. 실험은 동일한 조건과 영상을 이용하였다. 검출률은 비슷하지만 정확도 면에서 차이가 있다는 것을 확인할 수 있다. 그림 5의 (a)는 객체를 검출하되 사람이 가져다 놓은 영상이기 때문에 사람의 영역까지도 검출하여 광범위하게 영역을 검출하는 것을 확인할 수 있다. 제안한 방법인 그림 5의 (b)는 정확한 객체만을 검출하고자 이벤트 시간 동안의 변화까지도 모니터링을 하였기 때문에 우리가 원하는 객체 영역만을 정확히 검출할 수 있는 것이다.
실험 결과 및 분석
앞에서 제안한 알고리즘을 바탕으로 이번에는 여러 입력 비디오에 대해 실험을 하였다.
실험 환경은 Intel Core2Quad CPU의 Q6600 2.4GHz, 2GB RAM의 PC 환경에서 OPEN CV를 이용하여 구현하였다. 실험에 대한 영상은 실내, 실외 경우를 대상으로 하였으며 복잡도를 낮음(low), 보통(midium), 혼잡(high)으로 구분하였다. 영상의 출처는 직접 촬영한 영상을 비롯하여 PETS 2006, AVSS 2007의 영상을 이용하였다. 표 3은 5개의 영상을 복잡도 정도로 구분하여 검출 유형과 정리한 것이다.
그림 6은 영상 S1과 S2의 실험 결과를 나타낸 것이다. 본 장의 실험에서 공통된 사항은 입력 영상에서 사각형으로 설정된 영역이 관심 영역이며 이 영역 내 발생하는 방치(제거)된 물체를 검출하는 것이다. 실내 영상 S1과 실외 영상 S2 모두 복잡도는 '낮음'으로써 비교적 간단하고 단순한 환경에서 촬영되었다.
그림 6의 (a)-(c)는 제거된 객체를 검출할 수 있는 S1에 대한 결과이며 각각 입력 영상, 정적인 영상, 결과 영상을 나타낸 것이다. 관심 영역 내 3개의 액자에서 1개씩 사라지는 것이 (a)의 입력 영상인데 사라질 때마다 정적인 영역 검출 시간인 tevent를 지나서 (b)와 같이 정적인 영역이 생성되고 이벤트 설정 시간이 경과하면 (c)와 같이 'Removal'이라는 경고문과 함께 객체가 없어진 지역을 표시하게 된다. 그림 6의 (d)-(f)도 마찬가지로 관심 영역 내 가방이 방치되는 경우의 입력 영상 (d)를 이용하여 (e)와 같이 방치된 가방 위치에서의 정적인 영역을 검출한 후 (f)의 결과처럼 'Abandon'의 문구와 객체를 표시하게 된다. 두 가지 경우 모두 입력 파라미터를 동일하게 두고 실험을 진행하였으며 알고리즘의 신뢰성을 확인하기 위하여 10회 반복 수행한 결과 평균 9회의 성공률을 보여 매우 안정적으로 동작하는 것을 확인할 수 있었다.
그림 7은 영상 S3과 S4의 실험 결과를 나타낸 것이다. PETS 영상 S3와 실외 영상 S4 복잡도는 그림 6보다 한 단계 높은 수위인 '보통'으로 단순한 환경에서 벗어나 군중에 의해 복잡하거나 조도의 영향을 미칠 수 있는 환경이다. 그림 7의 (a)-(c)는 S3에 대한 결과이며 각각 입력 영상, 정적인 영상, 결과 영상을 나타낸 것이다. 지하철 바리게이트 앞에 가방을 방치하는 (a)의 입력 영상으로부터 사람이 관심 영역 내 가방을 놓고 가는 시점에서부터 정적인 영역 검출 시간인 tevent를 지나서 (b)와 같이 정적인 영역이 생성되고 이벤트 설정 시간이 경과하면 (c)와 같이'Abandon'이라는 경고문과 함께 객체 방치 지역을 표시하게 된다.
그림 8은 복잡도가 제일 높은 AVSS 2007 영상인 S5에 대한 실험 결과를 나타낸 것이다. 실험 방법은 앞의 그림 6과 7과 동일하며 입력 영상 (a)를 가지고 (b)와 같이 정적인 객체인 가방을 검출하여 (c)와 같이 검출 결과를 얻는다. 결과적으로 복잡도가 제일 높은 상태이기 때문에 다른 '낮음'과 '보통'의 경우에 비하여 정적인 영상 곳곳에 객체가 오래 머무르는 경우의 흔적들이 일부 남게 되며 관심 영역 내 물체 검출 빈도도 다른 경우 보다 낮은 편이었다. 10회 반복 수행한 결과 평균 6회 정도 검출되었으며 관심 영역의 크기 정도에 따라서도 일부 영향이 있다는 것을 확인할 수 있었다.
복잡한 영상일수록 검출 정확도가 낮아지는데, 이것은 각 영상에서의 실내, 실외 환경적 요인이 다르기 때문에 객체 크기 및 GMM의 업데이트 비율에 따라 조금씩 차이가 생기는 것과 객체의 지속적인 폐색의 정도 때문이다. 이러한 문제를 개선하려면 환경적 잡음에 대한 잡음 필터 처리 과정을 추가하거나 영역의 히스토그램, 움직임 검출 등에 의한 폐색 판별 및 처리 과정을 적용하여 개선 해야할 것이다. 본 실험에서는 이러한 문제로 인해 복잡도에 따라 성능의 차이는 있었으나 일반적인 경우에서의 정적인 영역 검출에 따른 방법을 적용하여 방치되거나 제안된 객체 검출 알고리즘에 대한 향상된 성능을 보여주었다는 점에서 의미가 있다.
결론
기존에 제안된 알고리즘은 방치되거나 제거된 객체를 검출함에 있어서 판단에 대한 오 경보의 발생률이 높고 잡음에 대한 영향을 많이 받으며, 알고리즘 평가에 대해서도 다양한 환경에서의 분석이 이루어지지 않았다.
본 고에서는 이러한 기존의 알고리즘의 문제점을 해결하기 위해 이벤트 설정 시간 동안에서의 정적인 영역 검출과 모니터링 기간을 두어 안정적이고 오 경보율을 줄일 수 있는 알고리즘에 대해 제안하였다. 제안한 알고리즘은 GMM 기반의 저역 필터를 사용하므로 기존의 차영상을 이용한 방법보다 잡음에도 보다 강건하다. 앞서 확인할 수 있듯이 본 고에서는 복잡도 및 다양한 환경에 따라서 알고리즘에 대한 실험 및 검증이 진행되었으며 실험 결과 향상된 성능을 확인할 수 있었다. 성능을 확인하기 위하여 5개의 영상을 바탕으로 세 단계의 복잡도에 대해 실험이 진행되었으며 각 10회의 반복 수행을 따라 알고리즘의 신뢰성을 검증하였다. 실험 결과, 복잡도가 낮거나 보통인 경우는 높은 객체 변화 검출률을 보였으며 매우 혼잡한 경우에는 환경적인 요인의 이유로 검출률이 상대적으로 조금 낮은 것을 확인할 수 있었다.
향후 연구 계획으로는 모든 환경에서 더욱 안정적인 알고리즘의 성능을 위해 복잡도가 높은 환경에서도 잘 적응할 수 있도록 폐색에 대한 문제점 분석 및 개선을 위해 추가적인 실험을 진행할 예정이며 정적인 영역의 검출 후 모니터링 과정에서의 알고리즘 보완을 통해 정적 영역에 대해 더욱 강건하게 판단할 수 있는 방법에 대해 연구를 진행할 것이다.
박구만 교수 전지혜 연구원
(gmpark@snut.ac.kr) (jhjeon@hitron.co.kr)
서울산업대 매체공학과 (주) 하이트론씨스템즈 지능형시스템팀