김태효 교수(hyo@kyungnam.ac.kr)
경남대학교 정보통신공학과
옥외 감시시스템의 어려운 처리 과정들 중 하나는 배경화면을 효과적으로 갱신하는 것이다. 배경 영상에는 건물, 나무들, 이동하는 구름 및 기타 다른 물체들의 그림자를 포함하기 때문에 시간과 조명광에 따라 변화한다.
이는 옥외에서의 감시시스템의 성능을 저하시킨다. 따라서 본고에서는 배경 영상을 효과적으로 갱신하기 위해 적응 혼합 가우시안 필터와 컬러불변성을 화소레벨에서 적용하여 옥외에서도 강인한 영상 감시 알고리즘을 제안하였다. 그 결과, 다양한 그림자가 있는 옥외에서 움직이는 대상 물체를 검출할 수 있음을 확인하였다.
최근에 영상정보를 기반으로 하는 감시시스템은 고속의 영상전송, 컬러 영상분석, 사건 별 처리 및 모델기반 처리 등에 실시간 영상해석기술을 적용하고 있다. 특히 여러가지 센서들을 결합한 저렴하고 고속의 하드웨어는 복잡한 구조의 시스템으로 구현되고 있다. 이러한 기술이 다중 카메라 시스템으로 확장하여 적용할 수 있게 되었다.
진보된 영상기반 감시시스템 개발에서는 몇 가지의 핵심 사항을 해결해야 한다. 여러 형태로 변화하는 복잡한 장면, 구름에 의한 조명의 변화 및 그림자의 형태에 대한 처리 능력이 필요한데, 이는 변하는 장면에 적응할 수 있는 영상획득, 카메라 교정, 잡음제거 및 이동물체검출 등의 전문화되고 세련된 알고리즘을 요구한다.
주위 환경이 좋지 않은 상태에서의 처리는 강인한 패턴인식과 통계적 방법을 적용할 필요가 있다. 고정된 카메라의 경우 색상 범위의 차분 보상, 획득 데이터의 동기화(중첩 영역과 비중첩 영역), 중첩 부분 사이의 추정 및 국부적 좌표계의 기준 구조 등을 적용해야 한다.
움직임 검출 알고리즘은 종종 각 프레임과 배경 영상 사이의 차분을 이용하고 있다. 배경 영상은 해당 장면에서 움직임이 없는 정지된 데이터이다. 그러나 점차적인 광량의 변화 및 움직일 수 있는 배경 물체(예를 들면 시간의 경과에 따른 빌딩의 그림자, 주차된 차량 및 바람에 흔들리는 나뭇잎) 등은 대상 물체가 아니므로 배경 영상을 연속적으로 갱신해야 할 필요가 있다.
고정된 카메라에 대하여 다양한 변화성분을 검출하는 알고리즘이 제안되었다. 그 중에서도 Kapur, Otsu, Ridler, Rosin 및 Sindaro/Foresti 등이 제안한 2개의 영상 차분을 구한 후 문턱치 처리에 의한 이진영상으로 변화성분을 검출하는 방법이 널리 알려져 있다.
그러나 이러한 방법은 가장 간단하고 처리속도가 빠르지만, 잡음과 조명변화에 민감하고, 장면에 나타나는 그레이레벨에 직접 영향을 주게 된다. 이런 민감한 잡음 문제를 해결하기 위해 미분법을 이용할 수 있는데, 이는 2개의 영상에서 n×n 화소 영역을 고려하여 평균과 분산을 이용하는 것이다.
그러나 이 방법은 조명이 급작스레 변화하는 경우에는 영상 전체에 밝기가 급변하기 때문에 효과적으로 대상물체를 검출하기 어렵다. 이러한 경우에는 배경화면의 영상을 주기적으로 갱신 해야 할 필요가 있다.
따라서 본 고에서는 이러한 문제점을 해결하기 위해 영상의 화소 단위에서 컬러불변의 성질과 혼합 가우시안 모델을 적용하여 효과적인 배경화면의 갱신과 조명 광의 변화에 강인한 감시시스템 알고리즘을 제안하였다.
옥외 환경에서의 광 반사 특성과 화소의 컬러 모델
그림 1. 물체의 광 반사 특성
광반사특성
물체에 조명을 비추면 물체의 표면에서 바로 반사되는 표면반사와 물체 내부로 흡수되는 내부 반사를 거쳐 물체 밖으로 반사되는 물체 내부 반사가 발생하는데 그림 1은 이와 같은 현상을 나타낸 것이다. 따라서 영상의 각 화소에서 색상은 표면반사에 의한 표면반사 컬러와 물체 반사에 의한 물체 내부 반사 컬러로 구성된다.
이러한 반사 특성을 반영하는 반사 모델은 강한 빛에 의해 생성하는 밝은 정도와 장애 물체 그늘에 의해 생성되는 어두운 정도에 의해 물체 색상의 변화를 모델링 할 수 있다.
밝은 영역을 포함하는 물체의 화소 컬러 값은 RGB의 3차원 컬러공간에서 표면반사 컬러와 물체 내부 반사 컬러에 의해 각각 임의의 위치를 중심으로 산포되며, 이로부터 주성분을 통해 조명의 색상을 나타내는 표면반사 벡터와 물체의 색상을 나타내는 물체 내부 반사 벡터를 구할 수 있다. 그러므로 두 반사 벡터에 의해 형성되는 평면상에 모든 화소 값이 분포하게 되고, 표면 반사 벡터와 물체 내부 반사 벡터의 선형 조합으로 물체 화소 값을 나타낼 수 있다.
이러한 개념을 기반으로 광원 조사 방향 변화에 따른 카메라로부터 획득되는 영상에서의 각 컬러 채널 밝기값을 생각하면, 임의의 위치에서 카메라의 RGB 채널의 스펙트럼 반응, 표면 반사계수 및 광원 스펙트럼이 모두 동일하다 할지라도 광원의 방향 벡터가 서로 다른 경우에는 RGB 각 채널의 밝기 값 변화가 발생한다.
즉, 광원의 위치가 변하게 되면, 광원 방향 벡터가 변하게 되어 동일한 물체라 할지라도 밝기 값 변화가 크게 발생할 수 있다. 광원의 방향 변화는 주로 영상의 무채색 영역인 음영 영역을 결정하게 되는데, 광원 방향의 변화가 아주 크게 되면 영상 전체에서 음영 영역이 차지하는 비율이 크게 차이가 나게 된다.
따라서 이러한 모델을 외부 환경에 적용하여, 주변 환경 및 조명 변화에 적응적으로 대처하기 위해 물체의 표면에서 반사 되는 물체의 일정한 색상의 변화를 모델링하고, 분석한다.
외부 환경에서 영상 화소의 컬러 모델
카메라와 같은 영상 장비를 통해 획득된 컬러 영상에서는 주변 환경 및 조명에 따라 동일한 물체임에도 불구하고 각기 다른 색상으로 나타나는 왜곡이 발생한다. 또한, 물체의 색상은 조명과 물체의 반사계수에 의해 결정되는데, 서로 다른 컬러영상에서 동일한 물체가 다른 색상으로 나타나는 것은 조명의 변화 때문이다. 따라서 주변 환경 및 조명에 의해 다른 색상으로 나타나는 왜곡 현상을 포함한 특정한 컬러 모델을 구성한다.
컬러 카메라는 배열로 구성된 CCD 센서에 의해서 컬러 영상을 획득한다. 따라서 컬러 카메라는 다음 식(1)과 같이 센서의 응답으로 표현 할 수 있다.
여기서, 각각 λ, Ι, ρ는 파장, 조명도, 물체 표면의 반사이다. 그리고 SK는 카메라의 민감도를 의미 한다. 또한 컬러 카메라로부터 획득한 영상의 명암도는 단지 물체로부터 반사된 빛에 의존하고, 식(2)와 같이 물체가 조명도와 반사도 사이의 상호관계에 의한 결과이다.
그러므로 영상에서 물체 또는 조명 변화의 발생은 영상의 명암도가 원인이 되며, 변화하는 광원 아래서 동일한 물체 표면을 추적하고 인식하기 위해서 표면 반사로부터 조명의 변화를 구분하는 것이 바람직하다.
본 고에서는 우선 외부 환경에서 빠른 조명 변화에 대한 정확한 영상을 모델링 및 분석하고 외부 환경에서, 빠른 조명 변화가 그림자의 출현과 사라지는 영역에서 일어날 것이라 가정한다. 여기서 그림자는 특정 영역을 가진다. 따라서 그림 2는 그림자 모델을 표현한 것으로 태양처럼 빛나는 물체와 구름처럼 빛의 차단과 반사하는 물체에 의해 지면에 생성되는 그림자 모델이며, 관찰되는 물체가 지면 위에서 그림자 영역과 밝은 영역의 두 조건 안에 있게 된다.
그림 2. 물체의 그림자 모델
식(3)과 같이 그림자 영역은 전체적으로 어둡지 않고 주위 물체의 반사에 의해 광량이 표현된다.
식(4)와 식(5)는 밝은 영역과 어두운 영역에 대한 표현이고, 이들 영역으로부터 반사된 빛은 동일 스펙트럼 분포를 가진다. 또한 물체의 색차 평균이 회색조에 가깝다고 가정한다. 그 이유는 빛은 모든 가시광선에 관대하여 균형을 가지며, 어두운 영역 대부분은 구름 및 다른 물체에 의해 생성되기 때문이다. 그러므로 외부환경에 대하여, 식 (6)과 같이 컬러 모델링을 구성할 수 있다.
따라서 이 모델은 조명의 원천이 태양 빛이고 빛을 차단하는 주된 원인이 회색조의 구름일 경우 효과적으로 적응 할 수 있는 표현이다.
제안한 알고리즘
본 고에서는 외부 환경에서 조명이 변화하는 문제점을 해결하기 위하여 영상의 화소 단위에서 RGB 컬러성분을 정규화 된 컬러 rgb 성분에 다중 가우시안 모델을 적용하여 최적의 이동물체를 검출하는 알고리즘을 제안한다. 이는 어둡고 밝은 두 영역에 존재하는 물체 표면의 특성으로부터 결정되어지는 RGB 값을 구하기 위해, 가우시안 모델을 적용함으로써 물체로 판단되는 잡음과 화소의 컬러 값을 모델화 하는 것이 가능하게 된다.
만약 두 영역이 시간의 흐름에 의해 광의 양이 점차적으로 변한다면, 다중 가우시안 모델을 사용함으로써 두 영역에 해당하는 각각의 화소에 대한 RGB 성분을 모델화하는 것이 가능하다. 이는 배경의 예측 값으로써 새로 관찰 한 것과 이전 예측 한 값 사이에서 결정되어 진다.
그럼에도 불구하고, 다중 가우시안 모델은 빠르게 변화하는 두 영역에서 RGB 성분의 구성을 즉시 따라 갈 수 없다. 그에 반해서, 주어진 물체를 검출하기 위해 정규화된 컬러 rgb 성분은 두 영역에서 불변되는 경향이 있다. 그리고 그것은 다중 가우시안 모델을 적용하기에 충분하다.
본 기술의 실험에서, 다중 물체는 흔들리는 나무가 존재하는 배경과 같이 배경으로 결정 되어진다. 그러므로 다중 가우시안 모델은 각각의 화소를 대상으로 적용되어야 한다.
컬러성분의 정규화
앞서 제시한 컬러 모델링은 구름이 빠르게 움직이는 영상일 경우에 알맞은 표현이다. 여기서 반사되는 빛은 밝은 영역과 그림자 영역에 영향을 준다. 그리고 각각의 영역은 특정 물체에 대하여 일정 크기를 가진다고 가정한다. 이것은 모든 컬러에 대한 일정한 물체의 크기에서 영상 명암도 를 구성하다는 것을 의미하며, 이들 영역에 대하여, 식(7) 같이, 영상으로부터 획득된 RGB 컬러 성분을 정규화함으로써 보다 좋은 특성을 얻을 수 있다.
여기서, fk의 각각의 구성은 변화되는 조명에 의해 주어진 물체의 컬러 변화가 상수로 유지 된다.
적응 혼합 가우시안 모델의 적용
연속적으로 입력되는 영상에서, 시각 t의 화소 값 Χt=(fr, gf, fh)T이 특정 분포들로 이루는 확률밀도함수 형태라고 가정한다면, 복수 개의 가우시안 확률밀도함수로 특정 분포들을 모델링할 수 있다. 따라서 관찰되는 화소 값의 확률은 다음 식(8)과 같이 N개의 가우시안 확률밀도함수의 선형 결합으로 표현 할 수 있다.
여기서, p(x,ωi,θi)는 배경B의 ωi번째 성분 파라미터 θi로 이루어진 확률 밀도 함수를 의미하며, P (ωi)는 혼합 가중치(mixture weight)로 각 확률밀도함수의 상대적인 중요도를 의미한다. 혼합 가중치를 사전확률과 같은 형태로 αi라고 두면 다음 식 (9)와 같은 제약 조건에 따른다.
그리고 확률밀도 함수가 가우시한 분포를 따를 경우 θi는 다음 식 (10)과 같은 파라미터의 집합이 된다.
그러나, 배경 B에 대한 가우시안 분포의 가정은 대각 혹은 정방형 공분산 형태 등 여러 가지로 나타날 수 있으며, 이와 같은 혼합 성분의 계수는 학습 데이터의 집합의 크기에 따라 조절 할 수 있다. 여기서 각 혼합 가우시안 성분들은 가우시안 파라미터 집합을 이루는 각 성분의 평균과 분산 그리고 가중치를 통해 추정 할 수 있다. 그러므로 식(8)로부터 개별 가우시안 확률 밀도 함수를 이루는 파라미터에 따르는 다음 식(11)과 같이 표현 할 수 있다.
여기서, 와 는 배경B의 i번째 가우시안 확률 밀도함수에서 평균과 분산이며, ai는 혼합 가중치(mixture weight)이다. 여기서, 화소 값 x는 시각 t의 배경 B에서 관찰 되어진 N 가우시안 혼합 분포를 따르며, μ±3σ 에 의해 관찰되는 것과 같이 정의된다.
만약 관찰된 화소가 i번째 가우시안 분포의 현재 화소 값을 따르면, 그 μi번째 가우시안 분포는 새롭게 관찰된 화소 값과 재구성되어 진다. 따라서 i번째 가우시안 분포를 위해, 그 파라메타는 다음 식(12)와 식(13)과 같이 갱신된다.
그리고 가중치는 다음 식 (14)와 같이 갱신한다.
여기서, ф 그리고 φ 는 갱신 율을 나타내며, t는 연속적으로 입력하는 시각을 의미한다. 만약 관찰된 화소가 i번째 가우시안 분포의 현재 화소 값을 따르지 않으면, μi,t 그리고 σi,t는 동일하게 남기고 가중치만을 다음 식 (15)과 같이 갱신 한다.
다시 말해서, 가중치 α에 의해서 배경 B를 추정 할 수 있으며 배경 B는 다음 식 (16)에 의해서 결정된다.
여기서, T는 배경 B를 결정 할 수 있는 최소의 척도 값이다.
실험 및 결과
컬러 불변 특성을 적용하는 움직임 검출의 중요성을 평가하기 위해서, 연속 영상을 프레임 레벨의 시간적 측면과 화소 단위의 공간적 측면에서 평가한다.
여기서, 실제 연속 영상은 Pentium(R) Dual-Core CPU 2.5GHz에서, 10Hz의 프레임 율을 가졌다. 또한 연속 영상은 MPEG2 포맷을 사용하므로 압축 손실을 가지며, 그리고 720*480의 프레임 사이즈이다. 이 실험에서 사용되어지는 연속 영상은 실외에서 낮을 대상으로 빛이 있는 환경의 여러 제약 조건들을 포함하고 있다.
그 조건들은 각각 빠르게 변화하는 조명(빛)의 밝기 변화, 나뭇잎들과 나무 가지가 바람에 흔 들리는 물결현상, 구름과 나무의 그늘, 건물의 창문에 반사되어 새롭게 생성되는 밝은 빛, 보행자와 같은 이동 물체가 존재하는 환경에서 실험하였다.
화소 레벨의 물체 검출
그림 3은 시간적으로 변화 하는 프레임에서 선택된 특정 화소들의 정규화 된 rgb 컬러 성분들과 절대치 RGB에 대한 비교치를 나타내고 있다. 그림 3에서 (a)는 도로표면, 건물의 벽 등 균일한 조명의 분포를 가지는 영역에서 진한 세 라인의 RGB변화와 얇은 세 라인의 rgb변화를 보여주며 (b)는 나뭇가지가 많은 영역, 복잡한 구조물 등으로 불균일한 조명의 분포를 가지는 영역에서 진한 세 라인의 RGB변화와 얇은 세 라인의 rgb변화를 보여준다
(a) 변화가 적은 영역에서 RGB와 rgb(위)
(b) 변화가 많은 영역에서 RGB와 rgb(아래)
그림 3. 배경 영상에서 환경조건에 대한 화소 변화분포
(a) 그림 3(b)의 RGB축에 대한 칼라 분포
(b) 그림 3(b)의 rgb축에 대한 칼라 분포
그림 4. 그림3(b)에서 RGB와 rgb의 칼러성분의 분포
그림 4에서 (a)는 그림 3의 (a)에 대한 연속으로 입력된 화소 분포에 대한 그래프이다. 그리고 (b)는 그림 3의 (b)에 대한 연속으로 입력된 화소 분포를 위한 그래프이다. 이들 그래프에서 분포도를 보면 RGB축에 대각으로 일정하게 분포하고 있는 것을 알 수 있으며 균일한 영역과 불균일한 영역에 대한 차이점은 폭의 변화와 분포의 길이임을 알 수 있다. 즉, 제안된 조건에서 조명의 변화나 반사에 대하여 회색조를 따라 변화함을 볼 수 있다.
그림 5은 균일한 광 분포를 가지는 경우에 대하여 (a)는 밝은 영역에서 화소 값의 변화를 보여주고 (b)는 어두운 영역에서 화소 값의 변화를 보여주고 있다. 여기서, 어두운 영역에서 화소의 변화는 밝은 영역에서 변화하는 것보다 더욱 높다는 것을 알 수 있다. 그림 6은 배경 화소들에 대한 대상 물체의 화소가 발생 했을 경우의 절대 값 RGB와 정규화 rgb의 비교를 보여주고 있다.
그림 5. (a)밝은 영역, (b)그림자 영역
그림 6. (a)절대 RGB, (b)정규화 rgb
그래프에서와 같이 배경과 대상 물체 화소들에 대하여 정규화 컬러 구성은 빛의 변화에 보다 강인성을 가진다. 여기서 배경 화소에 대한 정규화 컬러 구성 rgb는 스파크와 같이 확실한 형태의 값을 나타낸다.
그림 7은 대상 물체가 출현 하였을 때의 상태 그래프들을 보여주고 있으며 그림 8은 이에 대한 화소의 분포를 나타낸다. 그림 8에서 보는 것과 같이 대상 물체 물체가 출현 했을 때 분포도가 RGB축의 대각 방향이 아닌 방사형으로 나타남을 알 수 있다.
그림 7. 대상 물체 출현의 경우
그림 8. 그림7에 대한 분포
이의 예측 허용 범위는 가우시안 확률 분포에서 각각 μ±3σ 을 적용하였다. 그 이유는 일기변화 특히 바람에 의한 나뭇가지의 흔들림이 있을 경우에 많은 잡음이 발생하므로 이를 효과적으로 필터링하기 위해 일정 범위 내의 변화성분은 제거해야 할 필요성이 있기 때문이다.
그림 9는 선택된 임의의 rgb 화소를 적응적 가우시안 모델에 기반하여 생성한 것으로 적응적으로 영상을 갱신하는 파라메터를 보여준다. ф그리고 φ는 0.2에 설정되어 졌다. 그리고 중간과 상(하) 라인 정보는 예측 허용 범위를 결정한다. 이 예측 허용 범위는 가우시안 확률 분포에서 각각 [μ-3.5σ, μ+3.5σ]을 적용하였다.
그 이유는 배경 화소들이 바람 등에 의해 흔들려서 발생되는 오차를 무시하기 위해 적용한 범위이다.
여기서 스파크 부분은 대상 물체의 출현을 의미한다. 그림 (a)는 조명이 변화하고 있는 조건에서 대상 물체 가출현하고 있는 상태를 보여주고 있다. (b)는 조명 변화가 없을 경우의 대상 물체 출현 상태를 보여준다.
(a) 주위 광이 변화하는 경우(위)
(b) 주위 광이 일정한 경우(아래)
그림 9. 화소 레벨의 대상 물체 검출
프레임 레벨의 대상 물체 검출
(a) RGB 검출(RGB detection) (b) rgb 검출(rgb detection)
그림 10. 프레임 레벨의 대상 물체 검출 예
원 영상(original image) 원 영상(original image)
RGB 검출(RGB detection) RGB 검출(RGB detection)
rgb 검출(rgb detection) rgb 검출(rgb detection)
(a) 직접 광에서의 물체 검출 결과 (b) 그림자 속 물체의 검출 결과
그림 11. 프레임 레벨의 대상 물체 검출 결과
그림 10와 그림 11은 연속 영상의 두 프레임에서 움직임 검출의 결과를 보여준다. 영상의 변화에 대하여 대상 이 동물체를 최적으로 검출하기 위해 설정한 임계 값보다 높은 값을 가지는 화소 값들은 대상 물체를 검출하는 목적화소로 사용되었다. 여기서 그림(a)는 RGB에 대한 적응적 가우시안 처리의 결과를 보여주고 그림(b) rgb에 대한 적응적 가우시안 필터의 처리 결과를 보여준다. 여기서, 표현 방법은 처리된 그레이 레벨의 명암도 영상을 식(17)을 적용한 결과이다.
그림(a)에서 보는 것과 같이 나뭇가지에서 반사되어지는 은빛 잡음은 적응적 가우시안 처리에 있어서도 많은 오차를 발생시킨다. 그럼에도 불구하고 그림 (b)는 많은 잡음을 제거한 상태에서 대상 물체를 정확히 검출할 수 있음을 알 수 있다.
그리고 그림 11은 다른 영상에서 같은 과정을 수행한 결과이며 미소한 잡음을 제거하기 위해서 열림 닫힘 연산을 수행한 결과이다.
결론
본 고에서는 혼합 가우시안 모델과 컬러 불변 특성을 적용하여 움직이는 대상 물체를 최적으로 검출하는 알고리즘을 제안하였다. 제안된 알고리즘은 정규화 컬러 모델을 기반으로 적응적 혼합 가우시안 특성을 이용하여 조명이 변하는 환경에 적응적으로 대응하도록 고안되었다.
이 연구에서 제안된 알고리즘을 이용한 결과 영상의 잡음이나 열화 현상, 광 반사 등, 다양한 그림자의 변화 및 비교적 급격한 조명변화에 강인한 특성을 보였고 높은객체 인식률을 얻을 수 있었다.
다시 말해서, 실외 환경에서 나무에 의해 생성되는 여러 가지 잡음과 그림자, 구름 등에 기인하는 변화 성분에 비교적 강인한 특성을 보였다. 그러므로 조명이 점차적으로 변화하는 영상에 대하여 본 고에서 제안한 알고리즘을 병행하면 높은 인식률을 얻을 수 있을 것으로 판단된다. 향후 연구 과제는 감시시스템에 있어서, 카메라 특성에 따라 잡음 성분이 많이 존재하는 어두운 조명 영역에 대한 강인한 개선 알고리즘 연구가 이루어져야 할 것이다.
<자료협조 : 신호처리 시스템학회>
저작권자 © CCTV뉴스 무단전재 및 재배포 금지
