MRF 프레임워크 기반 비모수적 배경 생성
상태바
MRF 프레임워크 기반 비모수적 배경 생성
  • CCTV뉴스
  • 승인 2011.05.04 00:00
  • 댓글 0
이 기사를 공유합니다

기존의 배경 생성방법은 주로 시간에 따른 context만을 이용해 복잡한 환경에서는 적용하기 힘들다. 이러한 단점을 해결하기 위해 본 고에서는 움직이는 물체를 포함하지 않는 배경 영상을 생성하기 위해 시간에 따른 context와 공간에 따른 context를 융합한 새로운 배경 생성 방법을 제안한다. 제안한 방법은 먼저 샘플링된 프레임 이미지를 m*n의 블록으로 나누고 각각의 블록을 고정 블록과 비고정 블록으로 나눈다. 비고정 블록에 대해서 각 블록의 시간적 context와 공간적 context를 모델링하기 위해 MRF 프레임워크를 이용한다. MRF 프레임워크는 영상 픽셀과 연관된 특징과 같은 context에 독립된 entity를 모델링하는데 많이 이용되는 방법으로 본 고에서는 비고정 블록에 대한 시간적 context와 공간적 context를 모델링하기 위해 이용된다. 실험결과는 제안한 방법이 기존의 시간에 따른 context만을 이용했을 경우보다 더 효율적임을 보여준다. 

비디오 감시 시스템이나 모니터링 시스템과 같이 다양한 컴퓨터 비전 응용분야에서 물체 검출과 추적은 매우 중요한 요소로서 현재도 활발한 연구가 이루어지고 있는 분야이다. 많은 검출 및 추적 시스템에서 움직이는 물체가 포함되어 있지 않은 배경 영상은 물체 검출 및 추적을 위한 참조 정보로서 이용된다. 하지만 대부분의 경우 이러한 배경 영상을 획득하는 것은 어려운 일이다.

많은 배경 생성 방법들이 제안되었지만 대부분의 방법들이 시간적 context만을 이용함으로써 시간적으로 움직임이 적은 물체가 배경으로 인식되는 경우가 많다.

이러한 문제점을 해결하기 위해 본 고에서는 시간적 context와 공간적 context를 융합한 새로운 배경 생성 방법을 제안한다. 제안한 방법은 먼저 누적 이미지 차 방법을 이용해 비디오 프레임 이미지의 각 블록을 고정 블록과 비고정 블록으로 나눈 후 고정 블록으로 분류된 블록들은 배경 블록으로 설정한다. 비고정 블록 그룹에 속한 블록들 중에 배경 블록을 검출하기 위해 각 블록의 시간적 context와 공간적 context를 이용한다. 제안한 방법에서는 참조 배경에서의 이웃 블록들 사이의 공간적 관계를 모델링하기 위해 context에 독립된 entity를 모델링하는데 많이 이용되는 MRF(Markov Ran dom Field) 프레임워크를 이용한다.

관련 연구

배경 차를 위해 배경 모델을 만드는 방법은 매개변수적(parametric) 방법과 비매개변수적(non-parametric) 방법으로 구분할 수 있다.

매개변수적 방법은 화소의 확률밀도함수가 가우시안 혹은 혼합 Gaussian(mixture of Gaussian : MOG)과 같이 특정 모델이라는 가정을 하고 그에 따른 매개변수를 추정하는 방법이다. 매개변수적 방법은 가우시안이나 혼합 가우시안과 같은 특정 분포를 가정하기 때문에 학습 단계가 요구되지만 모델이 간결하여 효율적인 평가 단계를 갖는다. Stauffer와 Grimson은 적응적 배경 차에 기반한 모션 분할 문제를 다루었다. 그들은 각각의 화소를 혼합 가우시안으로 확률밀도함수를 모델링하고, 모델을 갱신하기 위해 온라인 근사화를 사용했다. Toyama 등은 조명 스위칭과 같은 현존하는 많은 배경 유지에 대한 문제점을 해결하기 위해 Wallflower scheme를 제안했다. Haritaoglu 등은 각 화소에 대해서 최대값(M), 최소값(N), 최대 inter-frame 절대차값(D)을 이용한 W4라는 방법을 제안했으며, W. Wren 등은 단일 가우시안 모델을 이용한 Pfind라는 방법을 제안했다.

비매개변수적 방법은 매개변수적 방법과는 달리 특정 모델이 필요치 않아서 임의의 데이터 분포에 적용할 수 있는 장점이 있다. 하지만 높은 계산 복잡도로 인해 매개변수적 방법보다는 비효율적이라는 단점이 있다. Elgammal 등은 커널 밀도 추정을 이용해 각각의 화소에 대한 화소값을 이용 확률밀도 함수를 추정하고 이를 통해 임의의 화소값에 대한 확률을 구하는 비매개변수적 배경 모델을 만드는 방법을 제안했다.

Yazhou Liu 등은 mean-shift를 이용한 비매개변수적 배경 생성 방법을 제안했다. 그들은 영상의 각 위치별로 시간에 따른 화소값 분포에 대해 mean-shift를 이용해 화소값의 최빈값을 추정함으로 배경을 생성했다. D. Sidibe 등은 quasi-continuous histogram을 이용해 배경을 생성하는 방법을 제안했다. 이들의 방법은 기존의 방법에 비해 간단하고 효율적이면서도 고품질의 배경 영상을 얻을 수 있는 장점을 가지고 있다. 하지만 이들의 방법은 시간에 따른 화소값만을 고려하여 장시간 정지해 있는 물체가 존재할 경우에는 물체까지도 배경에 포함되는 단점을 가지고 있다.

Y. Zhou는 시공간 피라미드(spatial-temporal pyramid)의 각 화소 위치에서의 전경과 배경의 상태를 표현하기 위해 MRF를 이용했다.

본 고에서 제안한 방법은 비매개변수적 방법으로 이미지 영상들의 시간적 공간적 관계를 융합해 모델링하기 위해 MRF 프레임워크를 이용한다. 제안한 방법은 Y. Zhou의 방법과는 다르게 화소 단위가 아닌 블록 단위로 MRF를 구성한다. 블록 단위가 픽셀 단위로 MRF를 구성했을 경우에 비해 계산이 간단할 뿐만 아니라 영상의 공간적 관계를 잘 반영할 수 있기 때문이다. 각 블록은 MRF 프레임워크에서 노드로 표현되고, 각 블록의 칼라분포는 관측치로 표현된다. 각 블록의 포텐셜은 MRF 프레임워크에 의해 계산되어지는데 본 고에서는 효율적인 포텐셜의 계산을 위해 수정된 가중치 포텐셜 함수를 이용한다. 본 고에서 이용한 포텐셜 함수는 시간적 빈도수의 합, 고정된 블록의 속한 정도, 이웃 블록 사이의 유사도로 구성되어 있어 다양한 경우에서 효율적으로 포텐셜을 계산할 수 있다.

MRF 프레임워크 기반 비모수적 배경 생성

개요
그림 1은 제안한 방법의 개요를 보인 것이다. 본 고에서 제안한 방법은 블록단위를 이용하므로 먼저 모든 비디오 프레임을 적절한 크기의 블록으로 나누고 각각의 블록을 누적 이미지 차 방법을 이용해 고정 블록과 비고정 블록으로 분류한다. 고정 블록으로 분류된 블록들은 배경영상에서 고정된 영역을 구성하며 비고정 블록들은 각 위치별로 블록 메모리에 저장된다. 블록 메모리에 저장되어진 비고정 블록들의 포텐셜은 고정 영역 정보에 의해 구성된 MRF 프레임워크 포텐셜 함수에 의해 계산되어 진다.


시간적 context를 이용한 블록 분류
먼저 그림 2와 같이 각각의 샘플링된 프레임 이미지를 m*n개의 블록으로 분할한다.
를 프레임에서의 i번째 행과 j번째 열에 속하는 블록이라고 하자.


시간간격에 따라 비고정 블록을 추출하기 위해 다음과 같은 누적 이미지 차 값을 이용한다.

각 블록 B에 대해서




여기서 임계값 TDI는 시퀀스의 길이나 노이즈 정도에 의존해 경험적 실험에 의해 결정된다. 그림 3은 추출된 고정 영역들과 누적 이미지 차에 의해 계산된 고정 블록들을 보인 것이다.

각 블록의 시간에 따른 변화를 저장하기 위해 본 고에서는 블록 메모리를 도입한다. 현재 블록이 블록 메모리 안에 앞서 저장되어 있던 블록들과 차이가 나면 현재의 블록을 블록 메모리에 저장하게 된다. PB를 블록 B의 다음과 같은 칼라 분포라 하자.



여기서
는 kronecker delta 함수, h는 x위치에서의 칼라를 양자화된 bin 공간으로 매핑해주는 함수, fHB는 정규화 상수 그리고 Wu는 가중치 인수이다.

두 블록의 비유사도를 측정하기 위해 다음과 같은 Bhatta charyya 계수를 이용한다.





그림 4는 블록 메모리의 한 예를 보인 것이다.


시공간적 context를 이용한 MRF 구성
블록들 사이의 시공간적 관계를 모델링하기 위해 본 고에서는 MRF 모델을 이용한다. MRF 모델은 확률변수가 무방향 그래프에 의해 설명되는 마르코프 성질을 갖는 확률변수들의 집합으로 구성된 그래프 모델이다.


본 고에서는 MRF를 구성하기 위해 비고정 블록 Bij를 노드로 놓고, 8-이웃 시스템(8-neighborhood system)을 이용한다. 그림 5는 8-이웃 시스템을 이용한 MRF 모델을 나타낸 것이다. 각각의 노드 Bij에 대한 칼라분포
는 식 (2)를 이용해 계산한다.

블록 메모리에 저장되어 있는 블록들 중에서 배경 블록은 포텐셜 함수 E에 의해 결정된다. 즉, 배경 블록은 포텐셜 함수 값이 최소가 되는 블록을 의미한다. 본 고에서는 단일 노드 포텐셜 함수
와 쌍 정점(pair-wise) 노드 포텐셜 함수
는 다음과 같이 정의한다.





여기서 은 고정 영역이다.

 


단일 노드 포텐셜 함수
는 블록이 고정 영역에 속하는 정도를 나타내고, 쌍 정점(pair-wise) 노드 포텐셜 함수
는 블록과 그 블록 이웃 블록간의 유사도를 나타낸다.

따라서 MRF 모델의 포텐셜 함수 E는 다음과 같이 정의할 수 있다.




여기서 는 블록 B의 이웃노드 집합이다.

식 (6)을 보면 포텐셜 함수 는 블록의 고정 영역과 블록의 이웃들과의 유사도로 구성되어 있다. 만약 블록의 이웃들 중 벤치와 같은 고정 물체가 포함되어 있다면 단일 노드 포텐셜 함수
와 쌍 정점 노드 포텐셜 함수
 값이 높게 나오게 되어 잘못된 블록이 배경 블록으로 선택될 가능성이 높다. 그림 6은 이와 같은 상황을 보인 것이다.


이러한 문제점을 해결하기 위해 본 고에서는 다음과 같이 포텐셜 함수에 가변 가중치를 도입한다.




여기서,
는 단일 노드 포텐셜 함수
에 대한 가중치이다.
는 블록의 이웃들과 고정 영역사이의 유사도를 나타내며 다음과 같이 정의된다.



또한 블록의 시간적 빈도수를 반영하기 위해 다음과 같은 블록의 시간적 빈도수 항을 다음과 같이 정의한다.



따라서 제안한 모델의 포텐셜 함수는 다음과 같이 표현할 수 있다.



는 블록의 시간적 빈도수에 대한 가중치이다. 본 고에서
는 경험적 실험에 의해 결정되었다.

실험

제안한 방법은 마이크로 소프트사의 visual C++와 Open CV 라이브러리를 이용해 구현했다. 본 고에서는 양적인 해석(quantitative analysis)을 위해 다음과 같은 절대차 에러 측정치(absolute difference error measure)를 이용했다. 이미 알고 있는 ground truth 배경을
라고 하고 생성된 배경을
라 하자. 생성된 배경의 에러는 다음과 같이 정의된다.





그림 7은 200 프레임 길이의 테스트 시퀀스 1에 대한 실혐 결과를 보인 것이다. 그림 7 (a)~(c)는 선택된 프레임 이미지를 보인 것이고 그림 7 (d)는 프레임 이미지들의 평균법에 의해 생성된 배경 생성 결과를 보인 것이다. 그림 7 (e)는 시간축에 따른 각 픽셀값의 최빈값을 mean-shift 방법을 이용해 추정하여 배경을 생성한 결과를 보인 것이다. 그림 7 (f)는 제안한 방법의 결과를 보인 것이다. 그림 7에서 볼 수 있듯이 테스트 시퀀스에서 두 남자는 오랫동안 움직임이 없어서 그림 7 (d)와 (e)에서 배경으로 나타난다. 이것은 두 남자의 위치에 있는 픽셀값들이 오랫동안 변하지 않았기 때문에 이 위치의 픽셀값들이 픽셀값의 최빈값으로 나타났기 때문이다. 하지만 그림 7 (f)의 경우에는 앞의 두 결과와는 다르게 두 남자가 포함되어 있지 않다. 이것은 비록 높은 빈도수로 인해 블록의 시간적 포텐셜이 적게 나오더라도 공간적 포텐셜에 의해 전경을 포함하는 블록의 포텐셜이 블록을 포함하지 않는 블록에 비해 포텐셜이 높기 때문이다.


그림 8은 테스트 시퀀스 1의 각 방법에 대한 추정 에러를 나타낸 것이다. 여기서도 또한 제안한 방법이 기존의 다른 방법들에 비해 적은 에러율을 나타내는 것을 확인할 수 있다.


그림 9는 테스트 시퀀스 2에 대한 실험결과를 보인 것이다. 그림 7과 마찬가지로 그림 9 (a)~(c)는 선택된 프레임 이미지를 보인 것이고, 그림 9 (d)는 프레임 이미지들의 평균법을 이용해 배경을 생성한 결과이다. 그림 9 (e)는 mean-shift 방법에 의해 배경을 생성한 결과이며 그림 9(f)는 제안한 방법에 의해 배경을 생성한 결과를 보인 것이다. 그림 7과 마찬가지로 평균법과 mean-shift에 의해 생성된 배경에는 전경인 사람이 포함되어 있지만 제안한 방법에 의해 생성된 배경에는 전경인 사람이 포함되어 있지 않다. 그림 10은 테스트 시퀀스 2의 각 방법에 대한 추정 에러를 나타낸 것이다. 여기서도 또한 제안한 방법이 기존의 다른 방법들에 비해 적은 에러율을 나타내는 것을 확인할 수 있다.




그림 11은 다양한 환경에서 제안한 방법을 이용해 배경을 생성한 결과를 보인 것이다. 그림 11 (a)와 (b)는 PETS 2009와 PETS 2003 데이터 시퀀스를 이용했으며 그림 11 (c)와 (d)는 AVSS 2007의 데이터 시퀀스를 이용했다. 제안한 방법이 다양한 환경에서도 좋은 성능을 보임을 확인할 수 있다.


하지만 제안한 방법은 인접한 영역이 유사하지 않을 경우와 식 (10)에서 각 가중치값인
,
,
의 값이 적절하게 적용되지 않을 경우에는 바람직하지 않은 결과를 보일 수 있는 단점을 가지고 있다.

결론

본 고에서는 MRF 프레임워크를 이용한 새로운 배경 생성 방법을 제안했다. 많은 기존의 배경 생성 방법은 오직 비디오 프레임의 시간적 context만을 이용했기 때문에 움직임이 적은 경우 좋은 성능을 가지기 어려웠다. 많은 경우에 배경의 영역은 시간적으로나 공간적으로 높은 상관을 가지고 있기 때문에 이러한 시간적 공간적 관계를 모델링하기 위해 제안한 방법에서는 MRF를 이용했다.

제안한 방법은 MRF 프레임워크를 이용해 블록들 사이의 시간적 공간적 관계를 모델링했으며 전경의 이웃들과 배경 블록의 빈도수를 포텐셜 함수에 반영하기 위해 포텐셜 함수에 가변 가중치를 도입했다.

앞서 보였듯이 시간적으로 움직임이 적은 물체가 있을 경우 기존의 방법들은 그 물체가 생성된 배경에 포함되었지만 제안한 방법은 그 물체가 포함되지 않고 바람직한 배경을 생성함을 볼 수 있었다.

하지만 제안한 방법은 인접 영역이 유사하지 않을 경우와 포템셜 함수의 가중치가 적절치 못할 경우 잘못된 결과를 얻을 수 있으므로 이를 개선할 수 있는 방법을 연구하는 것이 필요하다. 





댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.