이중카메라를 이용한 실시간 도난방지 시스템의 구현
상태바
이중카메라를 이용한 실시간 도난방지 시스템의 구현
  • CCTV뉴스
  • 승인 2009.12.02 00:00
  • 댓글 0
이 기사를 공유합니다

웹 카메라를 이용한 실시간 도난 방지 시스템은 움직임 객체를 구분하고 행동에 대한 분석을 통해서 그에 상응한 대응을 실시간으로 하여야 한다. 카메라를 통한 실시간 영상에서 객체의 움직임 검출은 불필요한 잡음, 조명의 변화, 가려짐 현상 등에 따라 정확한 움직임을 검출하는 것이 어렵다.

본 고에서는 이중카메라와 초음파 센서를 이용하여 특정객체의 정확한 움직임검출을 위한 향상된 검출방법인 실시간 도난방지 시스템을 제안한다. 즉, 초음파 센서를 위치변화 측정을 위한 요소로 사용하고, 전면과 상단의 카메라의 정보를 통해 특정객체를 지속적으로 추적할 수 있음을 실험을 통해 검증하였다. 실험결과 제안한 시스템은 97.4의 객체 추출률을 얻을 수 있었으며, 객체의 가려짐 현상에서 지속적이고 정확한 추적을 할 수 있었다.

최근 정보통신기술의 발전은 컴퓨터 비전 시스템의 발전을 가져왔으며 디지털 영상처리 분야에 많은 연구가 이루어지고 있다. 비전 시스템의 한 분야인 카메라를 통한 영상 감시 기법들은 교통현황의 파악, 건설 현장이나 상가 매장의 모니터링, 무인시설물감시, 항성 탐사 로봇, 출입자 관리 등 산업 전반에 활용되고 있다.
과거의 영상 감시 시스템은 영상내의 상황을 관리자가 지속적으로 감시하여야했지만 현재는 영상처리 기술의 발달로 영상내의 움직임이나, 특징을 가지고 있는 객체가 영상 내에 진입하였을 때 경보 또는 영상의 저장이 이루어지는 무인감시 시스템이 활용되고 있다.

영상감시 시스템은 카메라로 부터 입력된 영상에 대한 시공간적 분석을 통하여, 이동객체를 추출하고 추출된 객체를 분석하여 이동객체의 위치, 속도, 정보 등을 추출하거나, 객체의 색상, 윤곽선, 질감 등의 분석을 통하여 객체의 인식, 자동분류, 검색 등이 가능하다. 카메라를 이용한 영상 감시방법은 단일 카메라를 이용하여 이동객체를 추출하고 추적하는 방법과 동일한 영역을 다중 카메라를 이용하여 각각의 카메라로 영역을 나누어 이동객체를 지속적으로 추적하는 방법, 다중영역에 다중 카메라를 설치하여 이동물체를 감시하는 방법 등이 있다. 특정영역을 감시하는데 있어서 다중 카메라를 이용하는 방법은 카메라의 영상이 중첩되게 설치하여 이동하는 객체를 영상에서 사라지지 않게 추적할 수 있다.

그러나 이 방법은 이동객체를 추적하기 위하여 각각의 카메라에 입력되는 영상이 중첩되어야 하므로 비경제적일 뿐만 아니라 동일한 객체에 대한 각각의 카메라에 입력된 영상을 처리해야 하므로 감시능률의 저하를 초래할 수 있다. 다중영역에 설치된 다중 카메라를 이용한 방법은 이동방향을 갖는 객체에 대해 인접한 카메라에 정보를 공유하면서 객체를 추적하는 방법으로 저 비용으로 넓은 영역을 감시할 수 있다는 장점을 가지고 있으나, 추적대상 객체가 현재 추적중인 카메라로부터 사라져서 인접된 카메라로 입력될 때 추적대상 객체인지 판별하기가 쉽지 않다. 또한 각각의 카메라에 입력되는 배경이 동일하지 않기 때문에 배경의 색상분포, 조명 등의 영향을 많이 받아서 동일객체의 추적이 매우 어렵다.

본 고에서는 특정 물체를 감시하여 도난으로부터 보호될 수 있도록 사전 경보 조치가 가능한 영상 보안 시스템을 구축 하고자 한다. 첫 번째로 감시대상이 되는 물체에 움직이는 객체가 유입되었는지 판단하는 초음파센서를 장착한 후 객체가 유입되면 전면과 상단의 카메라를 작동시켜 실시간으로 물체의 도난을 감시하고 추적하는 기능을 두었다.

특히 물체의 이동 중에 또 다른 객체의 유입에 의한 겹침으로 추적하고자 하는 특정객체가 가려진 환경에서도 계속적으로 추적할 수 있는 알고리즘을 제안하여 객체의 입체적 추적을 위해 객체 인식시간을 단축하고자 한다. 이를 통해 객체 환경의 제한성을 극복하여 특정 물체가 놓여 있는 일반적인 다중객체 환경에 적용 가능한 시스템을 구축할 수 있게 된다.

본 고에서는 먼저 단일객체와 다중 객체 추적 시스템의 관련 연구에 대해서 기술하고, 그 다음으로 제안하는 이중카메라에 의한 객체 추적 시스템에 대해 기술하고 이중카메라 객체 추적 시스템을 실험하여, 그 결과를 바탕으로 한 성능평가에 대해 기술한다. 마지막으로 이중카메라에 의한 객체 추적 시스템의 성능 분석 결과를 토대로 결론과 함께 향후 연구방향에 대해 기술하고자 한다. 

그럼 먼저 객체 추적 시스템에 대해서 살펴보고 객체추적시스템 중 단일카메라를 이용하는 방법과 다중카메라를 이용한 기존 연구에 대해 살펴보자.

객체 추적 시스템의 개요

객체 추적 시스템은 추적 객체의 특징을 다양한 각도에서 해석하여 연속된 비디오 시퀀스 시간의 흐름에 따라 변화를 감시하고 추적정보를 변환하는 기법을 통해 객체의 위치를 추적하게 되는데, 이 시스템은 <그림 1>과 같이 크게 영상 입력부, 객체 추출부, 객체 추적부로 구성된다. 
                  

                      <그림 1>  객체 추적 시스템의 구성도

영상 입력부는 객체 감시를 위한 실제 장면을 카메라를 통해 시스템으로 입력한다. 카메라를 통하여 입력되는 영상데이터는 색상, 텍스쳐, 모양, 경계 등으로 표현을 하게 된다.

객체 추출부는 입력된 영상을 분석하여 특정 객체를 식별해낸다. 객체를 추출하기 위해서는 시간 정보와 공간 정보를 사용한다. 객체 추적부는 객체 추출부에서 추출된 객체가 움직이는 도선을 좇아 궤적을 추적하게 된다. 특정 객체의 이동을 추적하기 위해서는 시간적으로 갱신되는 영상에서의 색상 정보, 에지 정보, 윤곽선 정보 등을 사용하게 된다.
객체 추적 시스템은 위와 같이 3단계의 과정을 반복적으로 수행하며, 카메라를 통한 영상의 입력을 소프트웨어로 처리하는 경우와 영상보드를 이용하여 처리하는 방법이 있다.

>> 단일객체 추적시스템

단일 객체 추적에 대한 연구는 움직임 객체가 단일해야한다는 제약 조건을 가지고 있다. 즉, 특정객체의 추적 알고리즘이 동작하는 동안, 유입되는 다른 객체에 대해 동시에 추적할 수 없게 된다. 또한, 초기 객체 추출 시, 시간이 많이 소요된다는 단점을 지니고 있다.

기존의 단일 객체 추적 알고리즘의 특징은 전체영상 영역을 대상으로 객체를 추출하고, 주변사물에 의한 객체의 가려짐 현상 발생 시 더 이상의 추적이 불가능하게 된다. 카메라 영역내의 움직임 객체가 주변의 사물에 의해 가려졌을 때 지속적인 추적이 어렵다는 단점을 지니고 있다.

단일 카메라를 사용한 이동물체 검출 및 추적 연구가 지니는 제약 사항은 동향평면적인 영상만을 획득하기 때문에 다중 객체 환경에서 사용하기 적합하지 않고, 겹쳐짐 현상을 해결하지 못하며 추적하고자 하는 객체의 원근감 표현이 어렵다.
특히, 객체의 크기가 커졌을 때(가까워진 경우), 객체 크기를 잡아내기 위해 연산을 많이 해야 한다는 단점을 지니고 있다. 또한, 객체가 겹쳐졌을 때, 객체의 움직임 방향에 대해 신속히 알아내기가 어렵다.

>> 다중객체 추적시스템
다중 객체에 대한 추적방법은 영상 내, 각각의 객체에 대해 레이블을 부여하여 객체를 구분하는 방법으로서, 다중객체 추적 시, 각각의 객체마다 단일 객체 추적 알고리즘과 동일한 알고리즘을 사용하기 때문에 전체 객체에 대한 처리시간이 많이 소요된다는 단점을 지니고 있다. 또한, 명확히 분리된 객체에 대해서만 추적이 가능하고, 두 객체가 겹쳐졌다가 분리된 후에, 겹쳐짐 현상 이전에 동작하던 레이블에 의한 객체 구분이 불가능해진다.

다중 카메라를 사용한 이동물체 검출 및 추적 법은 동일 영역 일부를 겹쳐서 연속된 공간에서 객체를 추적하는 경우와 인접 카메라 간, 분리된 영역에서 객체를 추적하는 경우로 구분되어진다. 동일 영역 일부를 겹쳐서 연속된 공간에서 객체를 추적하는 방법은 추적하는 객체를 잃어버릴 위험이 없으나, 자원의 양이 많아, 처리시간이 길어지는 단점을 지닌다.
인접 카메라 간, 분리된 영역에서 객체를 추적하는 방법은 하나의 카메라가 색상 정보와 모양 정보를 다른 영역의 카메라로 넘겨주기 때문에 카메라간의 객체 추적 영역이 분리되어 있고, 사각지대가 존재하기 때문에 객체를 잃어버릴 위험이 있다.
그러나, 같은 영역 일부를 겹쳐서 연속된 공간에서 객체를 추적하는 방법은 보다 더 넓은 영역을 감시할 수 있게 된다.

이중카메라를 이용한 실시간 도난방지 시스템

먼저 이중카메라에 의한 객체 추적 시스템의 구성도를 중심으로 부분별 기능을 살펴보자. 그리고 이중 카메라에 의한 객체 추적 알고리즘에 대해 기술하는데, 감시 대상 객체의 특징 정보를 추출하고 감시 영역의 객체 유입을 검사하는 감시 대상 객체의 감시 알고리즘을 알아본다. 또한, 특정 객체 영역을 추출하고 특정 객체를 추적하는 특정 객체 추적 알고리즘을 논한다. 특히 전면카메라와 상단카메라의 상호협업으로 가려진 객체를 추적하는 알고리즘에 대해 기술한다.

>> 이중카메라에 의한 객체 추적 시스템의 구성

이중카메라에 의한 객체 추적 시스템은 <그림 2>와 같이 크게 입력부, 처리부, 출력부로 구성된다. 


                            
                         <그림 2> 전체 시스템 개요

입력부에서는 감시하고자 하는 물체의 후면에 위치한 초음파 센서와 상단과 전면에 설치된 감시 카메라로 구성되어 진다. 처리부는 입력부의 초음파 센서로부터 유입된 객체정보를 받게 되면 상단과 전면에 설치된 감시카메라가 작동하게 되고 전면의 카메라는 유입된 특정객체의 얼굴영역을 캡쳐와 움직임을 감지하게 되고 상단의 카메라는 전면카메라와 협업을 통하여 객체를 추적한다. 출력부는 감시대상객체에 특정객체가 유입되었을 경우 경보를 출력하고 전면카메라와 상단카메라로부터 입력된 영상을 분석하고 저장하는 부분이다.

>> 이중카메라에 의한 객체추적 알고리즘

제안한 이중카메라에 의한 객체 추적 알고리즘은 감시영역 내의 대상물체 후면에 초음파센서를 설치하여 일정주기로 감시대상 물체가 제자리에 있는지 거리를 측정한다. 초음파센서의 값이 일정한 값을 유지하지 않으면 감시대상 물체에 특정객체가 유입되었음을 인식하고, 초음파센서에 의해 특정객체의 유입이 확정되면 시스템은 출력부에 경보발생 신호를 보내게 되고 전면과 상단의 카메라를 작동하게 된다. 전면의 카메라는 작동과 동시에 감시대상물체의 중앙좌표를 기준으로 움직임이 있는 특정객체의 영역을 검출하여 저장하고 추적한다. 상단의 카메라는 감시대상 물체의 위치의 수직으로 움직임 객체의 이동을 감시한다. 특정객체의 움직임을 최적화하기 위해서 객체의 움직임방향을 설정하여 객체의 크기와 움직임 방향에 의해서 최적의 추적영역을 설정 한다.
유입된 특정객체의 인식과 추적에 관한 흐름은 <그림 3>과 같다. 




                 <그림 3> 시스템 흐름도



>> 특정객체의 추적

실시간으로 입력되는 영상에서 움직임이 있는 객체는 짧은 시간에 많이 발생하지 않는다. 따라서 영상 내에서 특정객체의 움직임을 추적하기 위해서 본 고에서는 향상된 차영상 기법을 제안한다.
향상된 차영상 기법은 감시기에서 특정객체의 최소범위를 선택하고 이전프레임과 현재의 프레임만을 가지고 객체의 이동방향과 최소범위를 갱신하면서 추적하는 방법이다.
<그림 4>는 연속된 프레임의 영상정보에서 객체를 추출하는 과정을 보이고 있다. 


 


                          <그림 4> 차 영상 기법의 객체 추적 방법

연속된 영상에서 움직임 객체의 추출은 배경영상이 없더라도 인접한 프레임의 차이를 구하여 추출할 수 있다. 하지만 객체의 움직임이 전혀 없는 영상이 연속적으로 나타나게 되면 더 이상 객체를 추적할 수 없게 된다. 실시간 객체의 추적에서 처리되는 영상의 시간이 오래 걸리면 이러한 오류를 찾아 낼 수 없게 된다. 본 고에서는 움직임이 오랫동안 없더라도 이전 움직임이 있었던 영역에 추적 대상객체가 존재함으로 객체의 최소영역을 계속적으로 감시한다. 그 결과 객체의 최소영역에서 최소의 움직임이 발생하더라도 추적객체의 윤곽을 재설정할 수 있다.
객체의 추적시간도 추적객체의 최소영역만을 검색하게 되고, 객체영역 전체를 검색하는 것이 아니라  만큼의 간격을 두고 스캔하므로 연산량을 줄일 수 있으며, 시간을 단축 할 수 있다.
결국 빠른 시간에 객체영역을 스캔하여 추적객체의 조그마한 움직임을 이용해서도 움직임 객체의 인식이 가능하다.

>> 감시시스템의 상호 절차 및 협업

상단카메라는 초음파센서로부터 유입된 특정객체의 영역을 계산하고 최소 객체영역을 획득한 후 객체의 x축 정보를 전면의 카메라에 전송한다. 전면카메라는 상단카메라로부터 전송되어진 정보를 이용하여 특정객체의 x좌표를 계산하지 않고 획득할 수 있으며, y좌표의 정보 또한 상단카메라로부터 전송되어진 z좌표를 이용하여 전면카메라 영상내의 특정객체에 대한 높이를 계산할 수 있다. 전면카메라는 특정객체의 정면영상을 저장과 동시에 실시간 추적한다. <그림 5>는 전면카메라와 와 상단카메라의 상호절차 및 협업 과정을 순서적으로 나타내고 있다.
   

                                     <그림5> 감시시스템의 상호 협업

>> 가려진 객체의 추적

움직임 객체가 많은 상황에서의 객체추적은 가려짐 현상을 동반하게 된다. 추적하고자 하는 객체 앞으로 다른 움직임 객체가 이동하고 있을 때 전면카메라에서 전송하는 x좌표 데이터와 z축 정보를 이용하여 상단카메라에서는 가려진 상태에서도 계속 추적할 수 있다. 즉, 전면카메라와 상단카메라가 상호 정보 교환 없이 전면카메라 독자적으로 추적을 행하게 되면 추적 대상 객체가 추가 유입된 객체에 의해 가려졌을 경우 추적 객체를 식별할 수 없게 된다.
그러나 이러한 경우에도 상단카메라는 추적 대상 객체의 정보를 유지할 수 있으므로, 전면카메라로부터 유지되는 추적 대상 객체 정보를 넘겨받으면 추적 대상 객체와 유입 객체를 구분하여 계속된 추적이 가능하다. <그림 6>은 가려진 객체를 추적하고 있는 전면카메라와 상단카메라의 상태를 나타내고 있다.
① 가려진 객체의 추적 1
② 가려진 객체의 추적 2
③ 가려진 객체의 추적 3




             <그림 6> 전면카메라와 상단카메라의 상호협력에 의한 가려짐 객체의 추적


시스템의 구현 및 실험


>> 구현환경

본 연구는 고가품에 대한 감시 및 도난방지를 위한 감시 및 이중 카메라를 이용한 객체추적시스템이다. 구현환경은 고가품들을 진열해 놓는 상가나 박물관 같은 실내 환경이며, 조명은 카메라에 입력되는 영상처리에서 민감하게 반응하므로 빛의 밝기 변화가 거의 없는 환경으로 제한한다. 본 연구에 사용되는 감시기기로는 초음파를 발사하고 그 반사음을 받아 거리를 측정할 수 있는 송수신 겸용 초음파 센서 와 특정객체를 추적하기 위한 전면과 상단에 설치된 카메라이다. 카메라의 추적에 관한 제한은 상단에 위치한 카메라가 감시하는 x 영역과 전면의 카메라가 감시하는 x영역을 같이 맞추어 주어야 한다. 이는 상단카메라의 x축 정보를 전면카메라에서 사용하기 때문에 같은 감시영역을 가져야 한다.

제안하는 시스템의 소프트웨어적인 환경은 MS-Windows XP, Delphi 6.0 프로그래밍 언어를 사용하였고, 영상처리 컴포넌트로 DSPACK2를 사용하였다. 하드웨어사양으로는 초음파 센서 1개와 영상을 실시간으로 입력하기 위한 Logitech PC camera 두 대를 사용하였고, 영상처리를 위한 시스템 사양은 Intel(R) P-Ⅳ CPU 2.4GHz, 512M RAM의 PC를 사용하여 구현하였다.

>> 이중카메라에 의한 객체추적
이중카메라에 의한 객체추적 시스템은 <그림 7>과 같이 메인화면, 상단카메라 처리화면, 그리고 전면카메라 처리화면으로 이루어져 있다. 메인화면은 이중카메라에 의한 객체 추적 시스템의 전체적인 상황을 한눈에 파악할 수 있도록 분할된 화면에 상단카메라 정보와 전면카메라 정보를 같이 나타낸다. 그리고 상단카메라 처리 화면은 상단카메라의 처리정보와 상단카메라가 추적하는 영상의 진행 정보를 나타낸다. 또한, 전면카메라 처리 화면은 전면카메라의 초기 영상 정보부터 특정 객체를 추적하는 과정 정보를 나타낸다.
 
       
                                           <그림 7> 시스템 전체화면


실험 및 평가

1) 실험환경

제안 시스템의 실험은 실내 환경에서 이루어진다. 실험에 사용하는 이미지는 320 × 240 크기의 영상으로 하고, 실험은 20회에서 500회 까지 반복 처리하여 샘플을 얻는다. 본 연구에 사용되는 카메라의 위치는 감시영역의 상단의 카메라와 전면에 위치한 카메라이며, 상단카메라가 감시하는 x영역과 전면카메라가 감시하는 x영역을 같이 맞추어 주어야 한다.

객체추적의 정확성은 추적대상객체의 이동속도를 서로 다르게 하여 실험하여, 속도에 따른 강인함 여부를 분석하고, 같은 환경에서 상단카메라 단독 추적과 상단카메라와 전면카메라의 상호정보교환에 의한 추적의 정확성을 실험한다.
기존시스템과의 비교에서 객체추출 시간은 감시대상영역에 유입된 객체 일부의 인식과 객체의 크기설정 시간을 비교분석하고, 객체 추적의 정확성에 대한 실험은 전면카메라와 상단카메라 간의 상호정보교환에 의한 객체추적성공 횟수를 기존 방법을 이용한 객체추적성공 횟수와 비교분석한다.

2) 객체 추적의 정확성

제안시스템의 객체추적 정확성을 실험하기 위하여 추출된 객체의 이동속도를 다르게 하여 실험하였으며, 특정객체 이외에 주변에 이동하는 객체를 두고 실험하였다.
추적대상 객체의 추출에서부터 카메라의 영역 안에서 추적하고 있을 때를 나타내었으며, 객체의 인식된 시간부터 카메라 영역을 벋어나 인접한 카메라로 정보를 전송하기까지의 시간을 나타내었다. 총 20회의 실험결과 <그림 8>과 같은 결과를 얻을 수 있었다. 


                                    <그림 8> 객체추적의 정확성

3) 움직임 추출의 정확성 비교

실험에 사용하는 움직임 추출 방법은 차영상 방법, 블록정합 기법, Three Step Search, 그리고 제안하는 방법이다. 움직임 추출의 정확성 분석은 일정한 시간과 장소를 설정하고 움직임 추출 시 저장되는 BMP 이미지 파일을 분석한다. 저장된 BMP 파일 중 배경만을 포함하는 이미지는 오류검출 하였다고 판단하고, 배경 이외에 다른 객체가 포함되어 있으면 움직임 추출로 판단한다. 기존의 움직임 추출방법에서 움직임 유무를 판단하는 기준은 배경영상과 비교되는 영상에서 배경영상 이외의 객체가 있을 경우 움직임으로 판단하지만, 제안방법은 객체감시영역에 유입되는 특정객체가 추출 되었을 때 움직임 객체가 있는 것으로 판단한다. 실험결과, [표 1]과 같이 움직임 추출 오류가 적게 나타났다.



  4) 움직임 추출 소요시간 분석
움직임 추출 소요시간 분석을 위해 차분영상 방법, 블록정합 방법, Three Step Search 방법과 제안방법인 다차원 객체추적 시스템을 비교하여 실험하였다. 움직임 소요시간의 측정은 객체를 유입시켜 각각의 방법을 적용하여 움직임을 추출하는 소요시간을 측정하며, 그 결과는 <그림 9>와 같다.
        


                  <그림 9> 움직임 추출 소요시간



결론


제안 시스템은 박물관, 보석상 등 고가의 상품 도난에 대한 사전 예방 감시가 가능하며, 짧은 시간으로 객체추출과 추적을 실행하므로 실시간 영상보안 시스템으로의 활용이 기대된다.
향후 연구 방향으로는 제안하는 시스템을 병렬로 구성하여 넓은 환경에서의 특정객체를 추적할 수 있도록 시스템의 개선이 요구되어 진다. 이를 위해서는 병렬로 구성된 각각의 상단의 카메라와 상호간의 객체정보에 대한 공유방법과 감시 영역을 벗어났을 때 인접한 감시시스템 에서의 특정객체를 인식하는 연구가 필요하다. 

  

 

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.