이중 배경모델을 이용한 카메라의 평면 이동 시 실시간 이동물체 검출
2010-10-05 CCTV뉴스
배경형성 알고리즘
영상 감시 시스템 또는 자율주행 로봇 시스템 등을 구현하기 위한 움직이는 물체의 검출 및 이해는 비전 연구에서 중요한 과제가 된다. 움직이는 물체를 검출하는 가장 일반적인 방법은 배경차 연산이다. 배경차 연산은 고정 카메라의 경우 움직이는 물체를 쉽게 검출할 수 있다. 하지만 움직이는 물체의 정확한 검출을 위한 강인한 배경모델의 재구성은 오랫동안 많은 연구자들이 노력해왔음에도 불구하고 여전히 부정확성을 가지며 특히 카메라가 움직일 경우 더욱 노이즈에 민감해진다.
본 고에서는 고정된 카메라가 아닌 불안정한 상태의 카메라를 이용한 배경 재구성 방법을 제안한다. 현재까지 배경을 생성하는 알고리즘은 아주 다양하게 제안되어왔다. 이들 가운데 가장 기본적인 방법으로는 일정 시간 동안의 영상계열에서 각 픽셀의 평균을 취하는 평균 배경 모델(mean back ground model)이다. 이것은 아주 간단한 방법이지만 영상계열에서 움직이는 물체가 드물게 출현할 때 효과적으로 배경을 생성할 수 있다. 그러나 일반적인 외부환경은 다양한 물체가 움직이고 때때로 제자리에서 머물다가 다시 움직이는 물체도 빈번히 나타난다. 이러한 경우 움직이는 물체는 잘못된 평균 배경 모델을 형성하는데 큰 영향을 준다. 한편, 배경형성 알고리즘으로 Hou가 제안한 픽셀 밝기 분류법(PIC: Pixel Intensity Classification)이 있다. PIC의 주된 착상은 영상계열에서 임의의 픽셀이 가지는 밝기값 분포에서 배경에 해당하는 픽셀의 밝기값이 가장 높은 분포확률을 가진다는 것이다. 이 방법 또한 배경을 추정하기에 효과적인 방법이기는 하지만 물체의 출현빈도가 배경에 비해 같거나 크다면 물체가 배경으로 선택되는 단점이 있다. 이와 유사한 방법으로는 Wren이 제안한 단일 가우시안 배경 모델이 있다. 이것은 통계적 변량으로 표현되는 확률 배경 모델이지만 건물 앞에 바람에 나부끼는 현수막이 놓인 것과 같은 다중 계층구조를 가진 배경해석에 단점을 가진다. 이러한 문제점들은 Stauffer이 제안한 혼합 가우시안(MOG: Mixture of Gaussian)에 의해 해결 가능하다. 혼합 가우시안에 의한 배경 모델은 배경이 다중 계층구조를 가지더라도 효과적으로 움직이는 물체를 검출할 수 있다. 또한 혼합 가우시안 모델은 조도 조건이 느리게 바뀌거나 영상계열에서 주기적인 움직임이 나타나더라도 움직이는 물체를 추출할 수 있다. 그렇지만 MOG의 경우 파라미터(평균, 분산, 가중치)의 추정이 반드시 필요하다. Elgammal은 커널 밀도 추정을 이용하여 배경을 형성하였다. 이 알고리즘은 영상의 각 픽셀에 대하여 다중 군집의 배경을 형성하고, 가우시안 모델을 이용하여 각 군집의 커널을 형성한다. 커널의 대역폭은 현재 영상을 포함한 최근 프레임에서 연속인 두 영상간의 순시적 절대차를 구하고 이 절대차들의 중간값을 시계열로 가지는 분포의 분산으로 결정된다. 이 알고리즘의 장점은 영상계열에서 발생할 수 있는 다양한 환경변화에도 빠르게 배경을 생성하고 경신할 수 있다는 점이다. 하지만 물체가 일정 시간 동안 하나의 픽셀에 계속 존재한다면 물체가 해당 픽셀의 중간값으로 편성되어 배경으로 결정되는 단점이 있다. Xiao는 각 픽셀의 밝기값 변화를 여러 클러스터들로 분류하는 확률적 다중 배경 모델을 제안하였다. 이것은 배경 모델을 생성하는데 효과적이며 MOG와 유사한 빠른 이동물체의 검출능력을 가지지만 MOG가 필요로 하는 가우시안 파라미터의 추정이 불필요하므로 상대적으로 계산량이 적다는 장점이 있다. 그러나 Xiao의 다중 배경 모델은 픽셀 기준의 배경 모델이므로 카메라가 움직이는 경우 배경 형성에 오차를 가진다.
카메라의 움직임 검출
환경변화에 강인한 배경 모델을 갖는다면 움직이는 물체를 보다 쉽게 검출할 수 있다. 최근 배경 모델 생성방법에 대한 연구가 많이 이루어지고 있지만, 대부분 카메라의 떨림, 흔들림 또는 단속적인 움직임에 대해 취약하다. 이와 같은 문제를 해결하기 위해 본 연구에서는 연속적인 프레임 사이의 유사도 검출을 수행하고 그 결과에 따른 다중 배경모델을 형성한다. 연속적인 영상간의 유사도는 현재와 이전 영상내의 각 영역에 대한 상관계수를 이용한다. 이를 위해 먼저 현재 영상에서 선택영역(selected region)을 선정한다. 이전 영상에서는 선정된 선택영역의 영상좌표를 포함하는 검색범위(searching area)를 결정한 뒤 이 검색범위 내부에서 선택영역과 동일한 크기를 가진 검색창(searching window)을 이동하며 매 과정마다 상관 계수를 구한다. 선택영역, 검색범위, 검색창의 관계는 그림 1에서 볼 수 있다.
식 (1)에서 m은 검색영역에 존재 가능한 모든 검색창의 개수이다. 이것은 선택영역과 검색범위의 크기에 의존적이다. 따라서 검색창 k와 선택영역간의 상관 계수 pt(k)는 각 검색창과 현재의 선택영역간의 유사도를 나타낸다. 여기서 E는 주어진 두 요소간의 기대치를 나타내며 ( μ tS , σts )와 ( μ tk , σtk-1 )는 각각 현재와 이전 영상 내의 선택영역과 검색창에 대한 평균과 표준편차를 나타낸다.
k = 1, …, m
m = {(wp - wc +1)·(hp - hc +1)}
It (s) : 선택영역 내의 픽셀값
It-1(k) : 검색창 내의 픽셀값
wp, hp : 검색범위의 높이와 너비
wc, hc : 선택영역의 높이와 너비
검색범위 전체에 걸친 유사도 판별이 끝나면 식 (2)에 따라 현재 시간 t 의 선택영역과 가장 유사하게 판별된 검색창 kt 를 찾는다.
kt = argkmax(pt(k)) (2)
현재의 선택영역과 가장 유사하게 판별된 kt를 이용하여 변위 벡터는 식 (3)에 따라 쉽게 구할 수 있다. 식 (3)에서 vk 와 θk 는 각각 변위 벡터의 크기와 이동 방향을 나타내며, (ic , jc)와 (ip , jp)는 각각 현재 영상내의 선택영역과 가장 유사하게 판별된 이전 영상 내의 검색창 kt 의 중심 픽셀을 나타낸다.
(ic , jc ) : 현재 영상 내 선택영역의 중심 픽셀
(ip , jp ) : 이전 영상 내 검색창의 중심 픽셀
하나의 선택영역에 대해 반드시 하나의 변위 벡터가 존재하며, 현재 영상에 속한 선택영역의 수에 따라 여러 개의 변위 벡터 집합을 얻게 된다. 이 변위 벡터들은 그림 2에서 볼 수 있다. 카메라의 움직임은 그림 3에서 볼 수 있듯이 이 변위 벡터 집합이 이루는 히스토그램에서 가장 높은 밀도를 가지는 벡터를 선택하여 카메라의 이동벡터로 결정한다.
그림 2. 이동하는 카메라에 의한 영상들과 두 영상 사이에서 검출된 변위 벡터들
다중 배경 모델
일반적인 외부 환경에서 배경은 시선 방향에 대하여 하나의 공간에 하나의 물체만이 존재하는 단층 구조가 아니라 여러 물체가 공존할 수 있는 복층 구조를 이룬다. 외부환경의 대표적인 배경 형태는 다음의 3가지로 정의할 수 있다.
1. 이동물체에 의한 가림 현상이 발생하지 않는 건물 벽 등의 상단부분
2. 이동물체에 의해 불규칙하게 가림 현상이 나타나는 건물 벽 또는 도로 등의 부분
3. 네온사인과 같은 계속 변화하지만 규칙성을 가지는 부분
이상의 3가지 배경들은 서로 상이한 밝기값 분포를 나타낸다. 따라서 밝기값의 변화에 대한 군집 분류 및 해석이 반드시 필요하다. 본 고에서는 이 대표적인 세 가지의 배경을 모두 포함하는 배경 모델을 구현하기 위해 K-means 알고리즘에 기반한 다중 배경 모델을 사용하여 다양한 밝기값 변화에 따른 군집의 분류 및 해석을 수행한다.
밝기값 변화의 다중 군집화 및 다중 배경 모델 생성
고정된 카메라에 의해 획득된 배경이라 하더라도 움직이는 물체나 배경 자체의 변화 또는 갑작스런 조도의 변화 등에 의한 노이즈가 정형화된 배경모델 형성을 어렵게 할 수 있다. 우리는 카메라 이동 벡터에 의해 시계열로 연결되는 픽셀의 밝기값 변화를 다중 군집화하여 구분, 분류한 뒤 각 군집의 가중치를 이용하여 소규모 군집을 제거함으로써 노이즈가 배경에 섞이는 것을 차단한다.
다중 군집의 형성에 이용되는 연속적인 프레임들 내의 각 픽셀들은 2장에서 밝히 바와 같이 연속적인 프레임들 간의 유사도 상관계수를 이용하여 구한 카메라의 이동 벡터에 의해 시계열로 연결된다.
It (p), t = 1, 2, …, N (4)
M i (p) : p 픽셀이 가진 i번째 군집의 구성원소 수
C i (p) : p 픽셀이 가진 i번째 군집의 평균 밝기값
N : 전체 영상열의 수
전체 영상열은 식 (4)로 표현되며, M i (p)와 C i (p)는 각각 p번째 픽셀의 i번째 군집을 이루는 개수와 해당 군집의 평균 밝기값을 나타낸다.
본 고에서 사용한 군집 알고리즘은 초기 조건을 필요로 한다. 그러므로 영상열의 첫 번째 프레임에 있는 모든 픽셀에 의해 각 픽셀의 첫 번째 군집과 군집의 평균값을 형성한다. 두 번째 프레임부터는 먼저 카메라 이동벡터에 의해 시계열로 연결되는 픽셀을 찾고(Step 1.ii) 해당 픽셀이 가진 군집의 평균과 현재 픽셀의 밝기값 사이의 절대차를 구한다(Step 1.iii). 군집의 평균과 현재 픽셀간의 절대차가 문턱치 δ 보다 작은 경우 가장 차이가 적은 군집의 파라미터를 경신하고, 큰 경우는 새로운 군집을 발생시킨다(Step 1.iv). 영상에 속한 전체 픽셀에 대하여 Step 1. ii~iv과정을 반복하여 다중의 군집 형성이 이루어지며 이 과정은 Step 1과 같다. 군집 분류에 사용한 문턱치 δ 는 실험에 의해 10으로 결정하였다.
배경 모델의 갱신
일반적으로 배경은 시간에 따른 밝기값의 변화가 없다고 간주되지만 영상에서의 배경은 복층 구조를 가질 수 있으며 시간에 따라 변화할 수 있다. 예를 들면 장시간 주차되어 배경으로 분류된 차량이 이동할 때 새롭게 나타나는 영상내의 영역 역시 배경일 가능성이 높다. 이 경우 각 픽셀에 대해 장시간의 밝기값 변화만을 고려하면 주차된 차량의 이동 후 나타나는 영역이 배경 모델에 속할 때까지 시스템은 잘못된 이동물체 검출 결과를 가진다. 따라서 배경의 갱신은 움직이는 물체의 검출뿐만 아니라 시간에 따른 환경 변화의 이해를 위해서도 필요하다. Ellas는 장시간(long-term)과 단시간(short-term) 간격을 가진 두 개의 배경 모델을 이용하여 배경을 갱신하는 알고리즘을 제안하였다. 이 방법은 먼저 순시적 중앙값 필터를 이용하여 초기 배경 모델을 생성하고 장시간 동안 안정적으로 나타나는 정보와 단시간 동안 변화하는 정보들을 이용하여 배경 모델을 갱신한다.
이와 다르게 본 고에서 사용한 다중 배경 모델은 군집을 형성하는 동안 안정적인 정보를 이용하여 배경 모델을 형성하고 변화하는 정보를 움직이는 물체로써 검출할 수 있다. 하지만 일정 시간 이상 제자리에 머물고 있던 물체가 위치 이동하거나 영상에서 사라지는 경우 새롭게 나타나는 공간이 다중 배경 모델로 갱신되기까지 시간이 걸린다는 단점이 있다. 이를 해결하기 위해 우리는 순시적 중앙값 필터를 이용하여 새롭게 나타나는 공간이 배경으로 빠르게 자리잡을 수 있도록 하였다. 순시적 중앙값 필터를 이용한 배경 모델은 식 (5)에 의해 결정된다. 식 (5)에서 BSt (p)는 임의의 픽셀 p에 대하여 다중 배경 모델과 현재 영상간의 차연산 결과이다.
BSt (p) = MBN (p) = It (p) (5)
이 배경 차연산 결과는 장시간 동안 배경의 변화영역을 나타낸다. 또한 Itdiff (p)는 임의의 픽셀 p에 대하여 현재 영상 It (p)와 이전영상 It-1 (p)간의 순시차로 단시간 동안 배경의 변화영역을 나타낸다. 그러므로 Itdiff (p)와 BSt (p)의 교집합을 제외한 나머지 영역은 장시간 동안의 변화를 제외한 단시간 동안의 변화영역을 나타낸다. 이것은 식 (6)과 같다.
TVt (p) = (Itdiff (p) ∩ BSt (p))c (6)
장시간의 변화량을 제외한 단시간내의 변화량은 짧은 시간 동안의 배경 변화를 나타내며, 본 고에서는 현재를 포함한 총 11프레임의 변화량 중 중앙값을 선택하여 순시적 중앙값 배경 모델로 사용한다. 또한 11프레임 동안의 표준편차에 가중치를 곱하여 필터의 대역폭으로 사용한다. 이것은 식 (7)에서 볼 수 있다.
TMBM(p) = median(TVk(p)) k = t - 10, t-9, …, t (7)
bandwidth = 1.96σ
실험
본 고는 평면적으로 움직이는 카메라를 이용하여 획득한 영상열에서 카메라의 움직임을 추정하고 이를 이용하여 각 픽셀 별로 다수의 군집을 가지는 다중 배경 모델 형성을 제안한다. 실험을 위해 획득한 전체 영상은 320×240, 24bit의 속성을 가진 8438장이며, 계산량을 줄이기 위해 실험에서는 320×240, 8bit의 그레이(gray) 영상을 이용하였다. 카메라의 움직임은 이 영상들 중 시계열로 연속적인 두 영상들 간의 유사도 판별을 이용하여 획득한다.
그림 2의 (a)와 (b)는 두 연속적인 영상의 예이다. 두 영 상간의 변위 벡터들을 구한 결과는 그림 2(c)에서 볼 수 있다. 이 변위 벡터들의 히스토그램은 그림 3과 같으며 이 히스토그램의 전역 최대치를 본 고에서는 두 영상간의 카메라 움직임을 나타내는 카메라 이동 벡터로 추정한다. 두 영상 간의 카메라 이동 벡터에 의해 이전 영상과 현재 영상내의 각 픽셀들이 상호 연결되어 시계열 밝기값 변화 분포를 가진다.
각 픽셀의 다중 배경 모델은 픽셀의 시계열 알고리즘을 이용하여 생성된다. 이것은 다음의 결과에서 볼 수 있다. 먼저 그림 4는 영상열에서 선택된 일부 영상이다.
그림 4. 연속된 100장의 각 영상 열에 속한 예제 영상
그림 4(a)열은 삼각대에 고정시킨 카메라를 천천히 수평 회전하면서 획득한 영상이고 (b)와 (c)열은 삼각대 없이 카메라를 손으로 들고 획득한 영상들이다.
이 영상들은 우리가 제안한 알고리즘에 의해 각 영상마다 다중 배경 모델들을 가진다.
이 다중 배경 모델은 Xiao가 제안한 모델로서 카메라의 움직임이 없는 경우 강인한 배경 모델을 생성할 수 있는 장점이 있으나 카메라의 움직임이 나타날 경우 쉽게 노이즈를 가진다. 이 단점에 대한 예는 그림 5에서 볼 수 있다.
그림 6. 카메라의 평면적 움직임을 고려한 (그림 4)의 첫 행 영상들 각각의 다중 배경 모델
그림 5는 그림 4의 예제 영상을 Xiao가 제안한 움직임이 없는 카메라로부터 획득한 영상으로 가정하여 다중 배경 모델을 생성한 결과이다. 그림 5에서 볼 수 있듯이 Xiao가 제안한 알고리즘은 평면적으로 움직이는 카메라를 이용한 영상에 적용할 경우 심각한 노이즈를 가진다.
그림 7. 안정적으로 느리게 회전하는 카메라에 의한 영상열에서 움직이는 물체의 검출결과
이에 반해 본 고에서 제안한 카메라 움직임 벡터를 이용하면 평면적으로 움직이는 카메라로 획득한 영상에서도 강인하게 다중 배경 모델을 생성할 수 있음을 그림 6에서 볼 수 있다. 그림 5와 그림 6의 각 열은 그림 4의 첫째 행에 속한 각 영상들이 가지는 다중 배경 모델이다. 이 다중 배경 모델은 영상 내의 각 픽셀이 가지는 군집들의 가중치 크기에 따라 순차적으로 나열되었다. 따라서 그림 5와 그림 6의 첫째 행은 영상 내 각 픽셀들이 가지는 군집 중 가장 큰 가중치를 가진 군집의 평균 값에 의해 얻은 영상이고 아래 행으로 내려가면서 순차적으로 낮은 가중치의 군집이 나타난다.
앞서 언급했듯이 그림 4(a)열은 삼각대를 이용하여 카메라를 느리고 안정적으로 회전시켜 획득한 영상이다. 이 영상열은 아주 천천히 카메라를 회전시켜 얻은 결과로 연속인 두 영상간의 움직임 벡터는 그림 3에서 볼 수 있듯이 최대 크기가 5이고, 평균적인 크기는 2이다. 따라서 각 영상간의 차이가 거의 없으며, 움직임을 고려한 다중 배경 모델 생성 결과가 그림 6(a)열이다. 이 다중 배경 모델을 이용하여 획득한 움직이는 물체의 검출 결과는 그림 7과 같다.
하지만 그림 4(b)와 (c)열은 카메라를 손으로 들고 촬영한 영상들이어서 그림 6(b)열과 (c)열처럼 가장 가중치가 높은 군집의 집합이라고 해도 다중 배경 모델의 결과가 마치 영상이 번진 것처럼 나타난다. 따라서 평면적으로 움직이는 카메라 기반의 영상에서 다중 배경 모델만을 이용한 움직이는 물체의 검출 예는 그림 8과 같이 노이즈가 포함된 결과를 가진다. 그림 8에서 나타난 노이즈를 제거하기 위해 앞에서 설명한 알고리즘을 이용하여 생성한 순시적 중앙값 배경 모델은 그림 9와 같다.
최종적으로 본 고에서 제안한 두 개의 배경 모델을 이용한 움직이는 물체의 검출 예는 그림 10과 같다.
이것은 배경과 명확히 구분되는 색상이기에 움직이는 물체의 검출 결과로 나타나야 하지만 그림 11의 결과에서는 검출되지 않았다. 이것은 전체 계산량을 줄이기 위해 픽셀값을 그레이(gray) 색상으로 변환함에 따라 나타나는 문제이다. 이를 해결하기 위해 현재는 HSI 칼라 모델을 이용한 다중 배경 모델 형성을 진행하고 있다. 이러한 문제점들에도 불구하고 제안한 알고리즘을 이용하여 움직이는 물체 자체를 검출하는 것에는 전혀 지장이 없음을 결과를 통해 알아볼 수 있다.
그러므로 우리가 제안하는 알고리즘은 움직이고 떨리는 카메라를 이용한 경우에도 다중의 배경 모델 형성과 움직이는 물체 검출을 동시에 할 수 있음을 알 수 있다. 실험의 각 단계별 계산 시간은 표 1과 같다.
본 고는 평면적으로 움직이는 카메라로 획득한 영상열에서 다중 배경 모델을 형성하고 움직이는 물체를 검출하는 알고리즘을 제안하였다. 이를 위해 먼저 카메라의 움직임 검출 부분에서 설명한 방법에 따라 카메라의 이동 벡터를 추정하였다. 추정된 카메라 이동 벡터는 연속적인 두 영상내의 픽셀들간의 연결성을 가지며 연결된 각 픽셀들은 앞의 다중 배경 모델의 과정을 통해 시계열 밝기 변화의 군집을 가진다.
각 픽셀의 군집은 가중치의 경중에 따라 순차적으로 나열되며 나열된 군집들은 그림 6과 같은 다중 배경 모델을 형성한다. 다중 배경 모델은 각 프레임에서 배경을 효과적으로 형성할 수 있다. 그러나 일정시간 이상 주차 중이던 차가 사라지고 난 후 새롭게 나타나는 배경이 다중 배경 모델에 포함되려면 새로운 배경에 의한 군집들의 가중치가 충분히 커질 때까지 시간이 걸리는 단점이 있다. 이를 해결하기 위해 우리는 그림 9와 같은 순시적 중앙값 배경 모델을 이용하여 다중 배경 모델을 보완하였다. 이를 이용한 움직이는 물체의 검출 결과는 그림 11에서 볼 수 있다. 그렇지만 보다 효과적으로 3차원 공간에서의 자유운동을 가지는 카메라로부터 다중 배경 모델을 형성하려면 카메라의 움직임 속도, 카메라의 이동 방향 검출 그리고 검출된 카메라 방향에 따른 유사도 측정 방법에 대한 고려가 반드시 필요하다. 이에 대한 연구는 현재 진행 중이며 더불어 형성된 배경과 전경 자체의 이해에 대한 연구도 동시 진행 중이다. 우리가 제안한 알고리즘은 배경과 전경의 형성과 검출이 동시에 진행되므로 현재 진행중인 우리의 연구 목표를 훌륭히 수행할 수 있다. 실험 결과를 통해 우리가 고에서 제안한 알고리즘이 카메라의 움직임에 상관없이 안정적인 배경을 형성할 수 있다는 것을 알 수 있다. 3차원 공간의 자유운동에 대한 문제는 향후의 과제가 되겠다.
조강현 공학박사 김태호 공학박사
(acejo@ulsan.ac.kr) (thkim@islab.ulsan.ac.kr)
울산대학교 전기전자정보시스템공학부 교수 ㈜청강크린텍 기술이사