가시 스펙트럼 대역 카메라를 사용하는 PDS를 위한 야간 보행자 검출
2010-03-04 CCTV뉴스
본 고에서는 흑백 카메라 한 대만을 사용하는 PDS를 위한 보행자 영역 검출 기법을 제안한다. 몇몇 다른 환경에서 촬영된 야간 동영상에 대해 실험한 결과, 제안 알고리즘이 기존 알고리즘보다 더 빠르면서도 보행자 후보 영역을 더 정확하게 검출함을 관찰할 수 있었다.
보행자 감지란 traffic scene에서 자동으로 보행자를 검출하는 행위를 뜻한다. 주요 응용 분야는 자동차에 장착되어 운전자가 보행자를 인지하는 것을 도와주는 운전자 보조 시스템(DAS, driver assistant system)과 자율 운전 차량 등이며, 그의 목적은 위험 상황 발생시 운전자에게 경보를 보내거나, 만일 대응 시간이 충분치 않은 경우에는 적절한 보호 수단(예: 자동 브레이킹)을 작동시키는 것이다.
교통사고의 많은 부분을 대인사고가 차지하고 있으며, 주요 자동차 생산국인 우리나라의 보행자의 교통사고 사망 위험이 OECD 중 가장 높은 10만 명 당 5.28명(2005년 통계기준)으로 발표되었다. 이는 0.34명으로 가장 낮은 아이슬란드나, 1.9명인 일본에 비해서도 훨씬 높다. 또한, 전체 교통사고 사망자 가운데 보행자가 차지하는 비율도 39.96%로서 OECD 평균인 16.44%에 비해 월등히 높다. 보행자 교통사고는 야간에 발생하는 비율이 더 높으며, 미국의 경우 2003년도 보행자 교통사고 사망 건수의 65%가 야간에 발생했다.
따라서 운전자에게 미리 경고를 줄 수 있거나 자동 브레이킹 같은 비상조치를 취할 수 있는 보행자 감지 시스템(PDS)이 개발되어, 대인 사고를 줄이거나 충격을 완화시켜줄 수 있다면 그 가치는 충분하기 때문에 유럽과 일본의 유수 자동차 회사에서 앞 다투어 PDS 시스템을 장착하고 있다. 보행자 감지는 DAS 뿐만 아니라 자율 운전 차량에도 필요하며, DAS는 현재 일반 차량에 보급되고 있다.
본 고에서는 가시 대역의 일반 모노 카메라를 사용하는 야간 보행자 영역 검출 기법에 초점을 둔다.
보행자 감지 기술의 연구 및 개발 현황
보행자 감지 기술 개발의 문제점
PDS를 위한 알고리즘 설계 시의 주요 문제점은 센서 위치가 고정되어 있지 않고 이동한다는 것이며, 그로 인한 문제 복잡도 및 난이도 증가는 매우 크다.
즉, 알고리즘이 ego motion을 다룰 수 있도록 설계되어야 한다. 또한, 운전자가 위기 상황에 반응할 시간을 줄 수 있도록 보행자 검출은 신속히 이루어져야 한다. 그리고 진로에서 어느 정도 벗어나 있는 보행자도 조만간 도로로 진입할 가능성이 있으므로 검출할 수 있어야 한다. 또 다른 요소는 보행자의 모양, 크기, 칼라, 복장, 자세, 액세서리, 조명 조건 등이 매우 다양하다는 것이다. 그리고 도시의 복잡하고 예측 불가능한 도로 상태 및 배경 시나리오도 보행자 검출을 어렵게 만든다.
PDS의 요건
안전장치로서 사용될 수 있으려면 PDS는 다음과 같은 요건을 충족해야 한다. 첫째, 시스템이 실시간으로 동작하여야 한다. 둘째, 차량 근처 또는 주행 경로상의 모든 보행자를 검출하여야 한다. 셋째, 그와 동시에 낮은 허위 긍정 경보(false positive alarm)을 내야 한다. 넷째, 보행자의 일시적 자세나 액세서리 등에 영향 받지 않고 검출해야 한다. 그리고 마지막으로, 환경 조건에 영향 받지 말아야 한다.
PDS의 센서
보행자 검출 용도로 가장 많이 쓰이고 있는 센서는 가시 스펙트럼 센서와 적외선(IR) 스펙트럼 센서이다. 가시 스펙트럼 센서는 다시 흑백 카메라와 칼라 카메라로 나뉘며, 적외선 스펙트럼 센서에는 대표적으로 원적외선 카메라와 근적외선 카메라가 있다.
또한, 카메라 수에 의해서도 분류할 수 있는데, single vision 시스템, 스테레오 비젼 시스템, 그리고 테트라 비젼(tetra vision) 시스템도 존재한다. 드물게 사용되지만, 기타 센서로는 레이다, 레이저 레인지 스캐너 등이 있다.
관련 연구
보행자 감지는 컴퓨터 비젼의 다른 연구 분야들(예: 감시, 휴먼 모델 추출, 얼굴 검출)에서 사람을 찾는 것과 밀접한 관계가 있다. 이 분야에 대한 연구는 제법 오래 전에 시작되었으나, 실질적인 약진은 1997년도에 Oren, 1998·1999년도에 Papageorgiou 등, Papageorgiou 등에 의해 이루어졌으며, 1999년도에 Curio 등, 2000년도에 Zhao 등, 2007년도에 Gavrila 등으로 이어져 오고 있다. 이 분야는 객체 검출에 그 뿌리를 두고 있으나, 안전성 확보를 위한 하드 실시간성이 특히 강하게 요구된다. 대부분의 접근 방법은 주간용은 가시 스펙트럼 대역에서의 컴퓨터 비젼을 이용하고 있으며, 처리의 간편성으로 인해 최근에는 IR 스펙트럼 센서를 사용하는 시스템들도 다수 발표되고 있다.
보행자 검출 분야의 주요 기법들을 특징별로 분류하여 요약하면 다음과 같다. 참고로, Curio 등은 biomechanical 연구에 기반해서 인간의 걷는 자세에 대한 워킹 모델을 구축하고 워킹 패턴을 분석해서 검출에 사용했다. 그러나, 워킹 패턴 결정에 필요한 다중 프레임 조건에 따른 시간 지연 같은 근본적인 제한과, 다리가 보여야 하고 옆으로 이동하고 있어야 하는 등의 제약 때문에 이 분야에 대한 연구는 부진한 상태이다.
Zhao 등은 전경과 배경을 분리하기 위하여 스테레오 카메라를 사용했고, 분류에는 뉴럴네트웍을 사용했다. 스테레오 영상으로부터 불일치 지도(disparity map)를 만들어 영상을 분할하고, 각 영역은 뉴럴네트웍에 입력되어 보행자 여부가 결정된다. Oren 등, Papageorgiou 등, Papageorgiou 등도 스테레오 카메라를 사용했다.
웨이블릿(Haar)과 SVM(support vector machine)을 이용한 Papageorgiou 등, Grubb 등은 모양 기반 기법에 속한다. Papageorgiou 등의 영향을 받아 Elzein 등, Grubb 등, Xu 등 같은 여러 연구 그룹들이 분류기로 SVM을 채택하기 시작했다. Urban Traffic Assistant (UTA) 시스템에 참여한 Gavrila도 모양 기반 보행자 검출 시스템을 개발했으며, 템플릿 매칭을 사용하고 있는데, occlude된 보행자를 검출하지 못 하는 단점이 있다. Gavrila 등은 계속해서 영상 검색 공간을 좁혀가고 견고함과 효율성의 균형을 갖추기 위하여, 스테레오 기반 ROI 설정, 모양 기반 검출, 텍스쳐 기반 분류, 스테레오 기반 확인 등 단계별로 다른 모듈을 사용했다. 예를 들면, 이 모양 기반 검출기는 각각 특정 자세에 동조되어 있는 가중된 텍스쳐 기반 분류기들을 기동시킨다.
Tsuji 등은 IR 기술을 이용하는 나이트비젼 시스템을 개발했다. 보행자의 위치는 영상에서 밝은(온도가 높은) 영역을 찾아내는, 간단한 밝기 문턱치에 의해 찾아진다. 문턱치를 통과한 영역들은 크기에 의해 걸러진다. Nanda 등은 저해상도 IR 카메라를 사용하는 시스템을 개발했다. 보행자를 검출하기 위해서 영상을 스캔할 때 확률 템플릿이 사용되었다. 탐색 윈도우가 영상 전체에서 이동되면서, 보행자에 속하는 각 화소의 확률을 더함으로써 확률 지도가 만들어지게 된다.
이제까지 소개된 알고리즘들은 일반적으로 차량의 자이로스코프, 속도계 등으로부터 받는 회전, yaw, 속도 정보 등으로부터 차량의 ego motion을 추정하거나, 나이트비젼, 스테레오 카메라 등 비교적 고가 또는 복잡한 시스템을 위한 것들이다. 추정된 ego motion 정보는 scene에서의 상대적 움직임을 계산하는데 이용된다. 스테레오 카메라를 사용하는 경우 거리 계산이 가능한 장점이 있으나, 나이트비젼과 마찬가지로 가격면에서 모노 카메라 센서 경우보다 불리하다. 아래는 단일, 가시 스펙트럼 카메라를 사용하는 기존의 PDS용 알고리듬들을 소개한다. 이들을 이용한 시스템은 가격면에서 유리하나 알고리즘이 복잡해질 수 있다.
Ma 등과 Tian 등은 단일 흑백 카메라 기반 시스템을 제안했다. Ma 등의 보행자 감지 알고리즘은 검출 단계에서 다양한 과정을 거쳐서 후보 대상을 축소시키는데, 우선, 차량으로부터 속도와 yaw 정보를 제공 받아서 현재 프레임을 이전 프레임과 시간 축에서 일치시키고 역 원근법 매핑을 적용한 후 차영상을 구한다. 그렇게 함으로써 결과 차영상에서는 돌출 객체들이 강조된다. 도로 표면의 단순한 특성을 이용하여, 발 부위를 먼저 검색하고, 다시 다리의 대칭성 검사에 의해 후보 영역을 좁힌다.
그러나, 수직 경계선만을 찾아내려는 Hough 변환을 이용하는 발 부위 검출 기법은 차량과 평행으로 이동하는 보행자를 검출하는데 더 적합하고, 히스토그램의 대칭성을 이용하는 다리 부위 검출 기법은 도로를 횡단하는 보행자 검출에 더 적합할 것이기 때문에 구성 기법 들이 조화를 이루지 못하며, 계산속도 개선을 위해 지나치게 좁은 수평 스트립(30 화소 높이)으로 ROI를 제한하고 있기 때문에 비실용적이다.
Tian 등도 가시 스펙트럼 대역의 단일 카메라를 이용해서 야간 보행자 검출을 시도하는데, 인접 프레임 간 정보를 이용하지 않고 프레임별로 처리하기 때문에 다른 센서로부터의 정보를 필요로 하지 않는다. 이들은 야간에 헤드라이트에 가까이 위치한 보행자 영역은 상대적으로 더 밝고, 멀리 위치한 배경은 상대적으로 더 어둡다는 가정에 기반을 둔 적응적 문턱치 처리 방식, 즉, 보행자 영역의 가장 어두운 밝기로 판단한 90과 마스크가 위치한 영역의 평균값의 1.1배 중 더 작은 값을 문턱치로 사용해서 보행자 후보 영역을 검출한다.
이렇게 해서 검출된 영역에 대해 모양을 분석하여 보행자 여부 판정을 시도한다. 이 알고리즘은 한적한 교외가 아닌 도시와 같이 배경이 밝거나 복잡한 경우에는 보행자 후보 영역과 배경이 분리되어 나타나지 않으며, 어두운 옷을 입은 보행자는 검출되지 않는 단점이 있다.
현재의 PDS 시스템들의 문제점
대부분 보행자 모양에 관한 가정을 사용하고 있다. 보행자 모양에 관한 가정의 경우 보행자의 높이와 폭 비율을 가정하고 있는데, 그로 인해, 바이커, 유모차를 밀고 가는 사람, 그룹, 일부가 가려진(occluded) 보행자 등의 검출에 실패하는 경향이 있다.
템플릿 기반인 Bertozzi 등과 보행자 전체를 한 단위로 다뤄서 특징을 추출하는 Papageorgiou 등, Grubb 등은 일부가 가려진 보행자들에 대해 취약하다. 일부가 가려진 보행자에 대해서는 Nanda 등 같은 IR 접근 방식이 특히 견고하다. 대부분의 시스템들이 우산이나 큰 백을 든 경우 같이 전형적인 보행자 모양에서 벗어났을 때 취약하다.
일반적으로 보행자 감지 알고리즘은 다중 센서, 칼라, 나이트 비젼을 사용하며, 인접 프레임 간의 움직임 정보를 이용하고 있으나, 본 고에서는 한 대의 WDR(wide dynamic range) 카메라와 그레이 정보만을 이용하고, 속도를 향상시키기 위해 프레임별로 처리하는 야간용 PDS를 위한 보행자 영역 검출 기법을 제안한다. 제안 알고리즘은 다음과 같은 단계를 거쳐서 수행된다.
단일, WDR 카메라를 사용하는 야간 보행자 감지 알고리즘 및 실험 결과
적응적 문턱치 처리 - 큰 마스크 사용
[그림 1] WDR 카메라로 야간에 촬영된 동영상으로부터 캡쳐된 프레임
그림 1이 넓은 가시 스펙트럼 범위를 커버하는 120dB의 WDR 카메라로 야간에 촬영한 흑백 비디오의 한 프레임 f를 보여준다. 프레임의 크기는 512 × 256이다. 이 영상은 식 (1)의 로그 변환과 식(2)의 정규화에 의해 콘트라스트가 개선된다.
g(x,y)=log(1f(x,y)) ∀(x,y) (1)
h(x,y)=255×(g-gmin)/(gmax-gmin) ∀(x,y) (2)
위 식들에서 x={1,…,N}, y={1,…,M}이며, 식 (2)의 gmin과 gmax는 각각 식 (1)로부터 얻은 결과 영상 g의 최저 및 최고 밝기 값이다. 이 그림에서 관찰할 수 있듯이 야간 영상은 일반적으로 거리가 멀수록 어두우며, 질감 등이 단순한 특징을 가진다. 또한, 도로 영역도 영상에서 단조로운 특징을 보인다.
제안 알고리즘의 첫 단계에서는 이러한 야간 영상 특징들을 이용하여 후보 영역(또는 ROI)을 축소시킨다. 이를 위해, 관심 객체에 비해 비교적 큰 마스크를 사용하는 적응적 공간 필터링을 수행한다. Tian 등에서는 31 × 31 크기의 고정된 단일 마스크를 사용하고 있으나, 제안 알고리즘에서는 우선 25 x 25 크기의 마스크를 사용하고, 마스크 영역에서 4 화소 간격으로 규칙적으로 샘플링된 36개의 화소 값만을 사용한다.
즉 마스크 영역 내 이웃 화소들의 약 5.8%만을 사용한다. 샘플링되는 화소 수는 PDS의 하드 실시간성이 충족되는 한 CPU의 계산 속도에 따라 유연하게 조절될 수 있다. 각 화소는 이 이웃 화소들의 평균 밝기 및 분산 등의 통계를 이용하는 적응적 문턱치 처리에 의해 이진화된다. 식 (3a)와 (3b)가 이때 사용되는 두 개의 문턱치를 구하는 공식을 보여준다.
TL=max(K1*μ,C1) (3a)
TH=min(K2*μσ,C2) (3b)
여기서, μ와 σ는 각각 위에 언급된 방식에 의해 이웃에서 샘플링된 화소들의 평균 밝기 및 표준 편차이며, C1과 C2는 각각 촬영된 영상들에서의 보행자 영역의 밝기 값들을 분석하여 결정되는 보행자 영역의 최저 및 최고 밝기 값이며, 계수 K1과 K2는 야간 영상에서의 보행자 영역의 밝기 값의 특성에 기반하여 결정된다. 이 식들에 의해 계산되는 TL 보다 어둡거나 TH 보다 밝아서 보행자에 속할 가능성이 낮은 화소들은 결과 이진 영상의 ROI에서 배제된다. 또한 이 식들에 의해, 표준 편차가 작은, 단조롭고 부드러운 영역(예 : 원거리 배경, 도로 등)에 속한 화소들도 ROI에서 제외된다. 이 과정을 알고리즘 1이 자세히 보여준다.
Begin initialize m, (x, y)
Repeat for every (x, y) ← (x 1, y 1)
Compute block statistics, μ and σ
Compute TL=max(K1*μ,C1),
TH= min(K2*μσ,C2)
if f(x, y)< TL | f(x, y)> TH
then g(x, y) = 0
else if σ is too small
then g(x, y) = 0
else g(x, y) = 255
end
end
[알고리즘 1] 적응적 공간 필터링. m, r, c, μ, σ, f, g는 각각 마스크 크기, 행 인덱스, 열 인덱스, (x, y)를 중심으로 하는 블록의 평균 및 표준 편차, 입력 영상, 그리고 결과 영상을 나타낸다. Ki와 Ci는 실험을 통해 정해지는 계수 및 값이다. TL과 TH는 문턱치이다.
알고리즘 1을 적용한 결과를 그림 2가 보여준다. 도로와 원거리 배경, 그리고 단조롭거나 어두운 영역이 제거되었음을 볼 수 있다. 가장자리의 화소 값들이 0으로 처리된 이유는, 차량으로부터 멀거나(상, 좌, 우) 지나치게 가까운(하) 영역들을 기본적으로 ROI에서 배제시켜서 계산량을 줄이기 위해서이다.
[그림 2] 관심 객체에 비해 비교적 큰 마스크를 이용해서 그림 1에 대해 적응적 문턱치 처리를 적용한 결과
(a) 25 × 25 이웃의 모든 화소를 사용한 결과
(b) 25 × 25 이웃의 36개 화소만을 사용한 결과
그림 2(a)는 25 × 25 이웃의 전체 화소를 사용했을 때의 결과를 참고로 보여주며, 그림 2(b)가 이 이웃에서 36개 화소만을 사용했을 때의 결과이다. 규칙적 샘플링으로 인해 마스크가 놓인 영역의 특성에 따라 차이가 있으나 중요한 차이는 없음을 관찰할 수 있다.
대략적 거리 정보에 의한 원거리 도로 영역 제거
제안 기법의 두 번째 단계는 그림 2(b)의 이진 영상에서 후보 영역(또는 ROI)을 더욱 축소하기 위한 것이며, 이를 위해서 우선 도로가 시작하는 부분을 영상의 밑 부분에서부터 찾아내고(그림 2(b)에서 쉽게 결정될 수 있음을 관찰할 수 있다), 거기서부터 시작해서 도로 영역의 깊이를 측정해서 도로가 수렴하는 끝 부분을 찾아낸다. 그런 후 그 너머 열들을 후보 영역에서 제거한다. 일반적으로 PDS 시스템의 관심거리가 최대 약 60 또는 80 미터까지이므로, 원거리에 존재하는 객체들을 무시할 수 있다. 그림 3이 그 결과를 보여준다.
[그림 3] 그림 2(b)의 영상에서 도로 영역의 끝 부분을 찾고, 그 뒤의 후보 영역을 제거한 결과
중앙 행을 기준으로 한 ROI 축소
제안 기법의 세 번째 단계는 그림 3의 이진 영상에서 후보 영역을 더욱 축소하는 단계로서, 몇 가지 일반적 현상과 시스템 운용 환경 등에 기반을 둔다.
즉, PDS 카메라는 차량의 가능한 한 높은 부분(예 : 후면경 높이)에 설치되며, 관심 밖인 원거리 보행자를 배제하면, 관심거리 내의 보행자는 평탄한 도로에서 대체로 영상의 중앙 행에 걸쳐서 나타나며, 중앙 행의 아래쪽에 더 길게 나타날 것으로 가정할 수 있다.
이러한 가정에 기반하여, 그림 3의 결과에 대해서, 영상의 중앙 행을 기준으로 아래쪽보다 위쪽으로 더 길게 검출된 열을 찾아 위 부분을 제한시킨다. 즉, 중앙 행의 인덱스를 yc라고 할 때, 임의의 열 x′에서 중앙 행 위에 있는, 즉 y〈yc인 ROI 화소 f(x′,y)(=255)는 그 열에서 가장 밑에 있는 ROI 화소의 행 좌표를 ye라고 할 때, 만일 |y-ye|>|ye-yc|이면 f(x′,y)=0으로 리셋된다. 즉, ye, yc, x′이 위의 설명에서와 같을 때, y〈yc인 ROI 화소들(f(x′,y) = 255)에 대해
f(x′,y)=0 for y〈2yc-ye (식4)
이다. 그림 4가 이 공식에 의해 ROI가 더 축소된 결과 영상을 보여준다.
[그림 4] 그림 3의 영상에서 중앙 수평선을 기준으로 식 (4)에 의해 위쪽 후보 영역을 축소한 결과
적응적 문턱치 처리 - 작은 마스크 사용
제안 기법의 네 번째 단계에서는 우선 그림 4의 축소된 ROI 화소들에 국한하여, 관심 객체에 비해 비교적 작은 마스크(5 x 5)를 이용하여 알고리즘 1의 적응적 문턱치 처리를 반복한다. 이때 계수 K1과 K2는 큰 마스크를 사용했을 때와 다르게 설정될 수 있다. 또한 이 마스크의 요소들도 계산량을 줄이기 위해 서브 샘플링되어 사용될 수 있다.
이 실험에서는 이웃의 25개 점들 중 9개를 규칙적으로 샘플링하였다. 적용한 결과를 그림 5(a)가 보여주며, 이 그림에서 보듯이 경계선 영상과 비슷한 영상을 얻게 된다. 그림 5(b)는 그림 5(a)의 ROI 화소들에 대해 수직 Sobel 에지 연산자를 사용하고 이진화시킨 결과이다. 이 그림의 밑 부분의 막대그래프는 다음 절에서 설명할 Sobel 에지의 수직 투영 히스토그램이며, 바운딩 박스는 이를 이용해서 검출된 보행자 영역이다.
[그림 5] (a) 그림 4의 후보 영역에 대해, 관심 객체에 비해 비교적 작은 마스크를 사용해서 적응적 문턱치 처리를 수행 한 결과와 (b) (a)의
ROI 화소들에 대해 수직 Sobel 연산자를 적용하고 이진화 시킨 결과
히스토그램 모양 및 객체 크기 분석에 의한 ROI 축소
제안 기법의 다섯 번째 단계에서는, 그림 5(b)의 밑 부분과 같이 ROI 화소들로부터 히스토그램을 만들고, 그를 분석하여 ROI를 더욱 축소한다. 이를 위해 (i) 우선 히스토그램을 계곡에 의해 그룹들로 분리하고, (ii) 분리된 각 히스토그램 영역(즉, 해당 열들)에 대해 객체를 분리하고, (iii) 분리된 객체들 각각에 대한 히스토그램을 얻고, (iv) 식 (5)와 (6)을 이용하여 각 히스토그램의 비대칭도(skewness)와 첨도(kurtosis)를 측정한다.
Skewness = {∑i=1n (xi-x)2}3 (5)
Kurtosis = {∑i=1n (xi-x)2}2 (6)
식 (5)에 의한 비대칭도는 대칭에 가까울수록 0에 가깝고, 왼쪽 또는 오른쪽으로 치우치는 정도에 따라 각각 음 또는 양의 값으로 커지게 된다. 식 (6)에 의한 첨도는 정규 분포에 대해서는 3, 균등분포에 가까울수록 3보다 작아지며, 밀집 분포일수록 3보다 커지게 된다. 이 식들의 값에 기반해서 보행자가 존재할 가능성이 낮은 히스토그램 그룹들을 제거한다.
그런 다음, (v) 남은 히스토그램 그룹들을 이용해서 아래의 방법과 같은 간단한 모양 판정에 의해 ROI를 더욱 축소한다. 모노 카메라를 사용하므로, 차량으로부터 영상에 나타난 객체까지의 대략적 거리(d)를 다음과 같은 방법으로 도출한다. 남아 있는 히스토그램 그룹 각각에 대해, 우선 해당 열 범위에서 객체가 나타나는 행(즉, 해당 열 범위에서의 최대 ye)을 찾아낸다. 그러면, 객체까지의 대략적 거리는 ye에 반비례한다. 거리 d와 보행자의 폭(=w)도 반비례 관계를 가지므로, 추정된 객체 거리에 비해 폭이 너무 좁거나 넓은 히스토그램 그룹을 제거한다.
그런 다음, (vi) 다시 남아 있는 히스토그램 그룹들에 대해, 객체의 높이(h)를 찾아낸다. 높이 h와 폭 w의 비가 적당한 범위 k1〈 h/w 〈 k2 이내인 히스토그램 그룹은 남겨두고 그렇지 않은 히스토그램 그룹은 제거한다. 이때, k1은 일반적으로 1 이상의 값을 사용한다. 이러한 과정을 거쳐서 검출된 최종 보행자 영역을 그림 5(b)의 바운딩 박스가 표시한다.
실험 결과 분석 및 토의
그림 2에서는 단순화된 원거리 배경과 단조로운 노면이 적응적 문턱치 처리에 의해 예상대로 쉽게 ROI에서 배제될 수 있음을 볼 수 있다. 계산 시간을 줄이기 위해, Ma 등이 사용한 소위 보행자 감지 띠(pedestrian detection strip)에 의해 ROI를 단순 축소시킬 수 있으나, 실험 결과들에서 보듯이 본 고에서는 실용성을 위해 그들이 사용한 폭(32 화소)보다 훨씬 더 넓은 폭을 사용하였다. 이 띠의 설정은 앞에서 언급되었듯이 보행자가 항상 영상의 중앙 행에 걸쳐서 나타날 것이라는 가정에 기반하고 있는데, 다음의 실험 예들에서와 같이 실제와 차이가 있으며, Ma 등과 같이 너무 좁게 설정하면 실용성이 결여된다.
제안 알고리즘은 도로의 단조로운 특징을 이용하기 때문에 도로에 들어선 보행자를 비슷한 부류의 기존 알고리즘 보다 잘 감지해낼 수 있다. 그림 6~9가 제안 알고리즘 성능을 Tian 등의 알고리즘(이하 TLH 알고리즘)의 성능과 비교해서 보여준다. 참고로, Tian 등은 TLH 알고리즘이 거의 모든 경우에 보행자 영역을 분할해낼 수 있다고 주장하고 있다.
그림 6(a)는 TLH 알고리즘에서 사용된 영상, 그리고 (b)는 TLH 알고리즘을 재현해서 검출된 보행자 후보 영역, (c)는 시행착오에 의해 선정된 최적의 문턱치 값을 사용해서 TLH 알고리즘에 의해 검출된 보행자 후보 영역을 보여준다. 그림 6(c)의 결과가 TLH 알고리즘에 보인 결과와 비슷하다. 각 그림의 흑색 테두리는 패딩을 사용하지 않았기 때문에 발생한 현상이다.
[그림 6] TLH 알고리즘과 제안 알고리즘의 비교 1 (a) 원영상 (b) Tian 등에서의 실험을 재현해서 검출된 후보 ROI (c) Tian 등의 실험을 시행착오를 통해 선정된 최적 문턱치로 수행해서 검출된 후보 ROI (d) 제안 알고리즘에 의한 후보 ROI (e) (d)의 ROI에 대한 수직 Sobel 에지 검출 결과
그림 6의 (d)와 (e)는 각각 제안 알고리즘에 의해 검출된 후보 영역(그림 5(a) 참조)과 이 후보 영역에서의 수직 Sobel 연산자 적용 결과(그림 5(b) 참조)를 보여준다.
비록 이 예에서와 같이 보행자의 크기가 영상에 작게 나타나는 경우에는, TLH 알고리즘이 제안 알고리즘에 비해 보행자 모양과 더 가깝게 보행자 후보 영역을 검출함을 볼 수 있으나, 제안 알고리즘이 훨씬 더 적은 수의 보행자 후보 영역을 제공함을 볼 수 있다.
[그림 7] TLH 알고리즘과 제안 알고리즘의 비교 2(그림 6의 제목 참고)
그림 7은 그림 1에 대한 TLH 알고리즘과 제안 알고리즘의 결과를 비교해서 보여준다. 즉, 그림 7(a)는 그림 1과 같으며, 그림 7의 (b)와 (c)는 그림 6에서와 같이 각각 [20]의 실험을 재현한 결과와 시행착오를 통해 선정된 최적 문턱치를 사용했을 때의 결과이며, 그림 7의 (d)와 (e)는 제안 알고리즘에 의한 결과로서 그림 5의 영상들을 다시 표시하였다. 그림 7(c)의 TLH 알고리즘의 검출 결과는 보행자의 상체만 검출된 상태이다. 그림 7(e)의 제안 알고리즘에 의한 검출 결과는 히스토그램 등의 분석에 의해 최종적으로 그림 5(e)에 표시한 바운딩 박스 부분만 남게 되고 전신을 포함하고 있다.
[그림 8] TLH 알고리즘과 제안 알고리즘의 비교 3(그림 6의 제목 참고)
그림 8은 또 다른 환경에서의 예를 보여주는데, 그림 8(a)는 캡쳐된 프레임이고, 그림 8(b)는 TLH 알고리즘에 그림 6~7의 예에서 선정된 최적 문턱치인 190을 사용해서 얻은 결과이며, 그림 8(c)는 제안 알고리즘에 의한 결과이다. 그림 8(b)에서 보듯이 TLH 알고리즘에 의해 검출된 보행자 영역은 보행자 여부의 결정이 쉽지 않은 반면에, 제안 알고리즘은 각 객체에 대한 히스토그램 및 바운딩 박스의 모양에 기반한 분석에 의해 그림 8(c)의 사각형 영역으로 최종 후보 영역을 좁혀준다.
이 최종 바운딩 박스 안의 에지의 모양이 보행자를 닮지 않아 보이는 이유는 보행자의 크기가 마스크에 비해 작은 편이며, 수직 Sobel 연산자만을 사용해서 수직 에지만을 검출했기 때문이다. 수직 에지만을 검출하는 이유는 자원이 제한된 임베디드시스템을 위해 계산량을 줄이기 위한 방편으로서, 보행자의 모양이 일반적으로 수평 보다는 수직 방향으로 길다는 데 기반한다. 향후 인식 단계에서 허위 경보 등을 줄이기 위해 바운딩 박스 안의 영상을 분석하게 될 것이므로, 에지 모양은 본 고에서 중점을 두고 있는 후보 영역 검출 단계에서 중요하지 않다.
참고로, Ma 등이 다리 부분을 찾아서 보행자 영역을 검출하기 위해 Hough 변환을 이용하고 있는데, 보행자의 모양, 자세, 복장 등뿐만 아니라, 이 실험 예들에서 보듯이, 보행 동작에서 다리의 각도, 길이 등이 매우 다양하며 야간 영상에는 노이즈가 심하기 때문에, 차량과 평행으로 이동하는 보행자가 아닌, 길을 건너는 보행자에 대해서는 특히 효과가 적을 것임을 그림 8(c)의 에지 영상에서 알 수 있다.
이 결과들에서 보듯이 보행자 크기가 작은 경우에는 TLH 알고리즘이 더 정확한 모양으로 보행자 영역을 검출하나, 전반적으로 제안 알고리즘이 훨씬 축소된 검출 영역을 제공한다. 특히, TLH 알고리즘에서는 문턱치를 블록의 밝기 값에만 기반해서 결정하기 때문에, 그림 7(b)에서와 같이 차량 헤드라이트에 가까워서 밝게 나타나는 도로 부분에 대해 오검출 현상이 두드러진다.
그 반면, 제안 알고리즘은 질감도 고려하기 때문에, 복잡하거나 단조로운 배경 영역으로부터 상대적으로 더 정확하게 보행자 영역을 분리시켜준다. 제안된 알고리즘은 각 단계를 거칠 때마다 ROI가 더욱 축소되며, 또한 임베디드 시스템의 카메라 해상도와 CPU 계산속도 등에 따라 유연하게 마스크 서브 샘플링 등에 의해 계산량을 조절할 수 있기 때문에 임베디드 시스템에도 적합하다.
실제로 본 고의 실험들에서 25 × 25 크기의 625 점 마스크를 사용해서 실험 결과를 얻을 때 서브 샘플링된 점수는 36개에 지나지 않았으며, 5 × 5 마스크에서도 일정한 간격의 9개 점만을 서브 샘플링하여 사용하였다. 즉, 검출 계산에 사용된 이웃의 점 수의 비가 기존 방식의 7.2%(= 45/625)이며, 에지 검출을 위한 과정도 검출된 후보 영역에 제한되어 수행되기 때문에 실시간성도 향상되었다.
또한, 향후 허위 긍정 경보(false positive alarm) 축소를 위해, 이 에지 검출 결과를 인접 프레임 간의 움직임 분석에 이용하면, 이 부분에 대해서만 움직임 벡터를 계산하면 되므로, 적은 추가 계산량으로 높은 효율성 및 검출 정확도를 달성할 수 있을 것으로 기대된다.
결론 및 향후 연구
본 고에서 제안된 점진적 ROI 축소 방법과 히스토그램 및 객체 모양 등을 이용한 야간 보행자 영역 검출 알고리즘은 서로 다른 환경에서 촬영된 야간 동영상들에 대해 기존 알고리즘에 비해 검출 정확도 및 실시간성에서 우수함이 확인되었다. 또한, 시스템의 처리 속도에 따라 이웃의 분석에 사용하는 화소 수를 유연하게 결정할 수 있어서 기존 방법에 비해 임베디드 시스템에 더 적합하다.
향후, 무수히 다양할 실제 환경에 대비해서 허위 긍정 경보를 최소화하기 위해서 최종 검출 영역에 대한 객체 인식을 추가할 계획이다. 이를 위해, 이전 프레임들에서 검출된 후보 영역과의 중첩 정도, 인접 프레임의 후보 영역 간의 움직임 벡터 분석 등에 기반한 추적을 시도한다면 정확도가 높은 야간 PDS 알고리즘을 달성할 수 있을 것으로 판단된다.