220420_유명조달기업
색상분할 및 객체 특징정보의 계층적 적용에 의한 신호등 및 속도 표지판 인식
상태바
색상분할 및 객체 특징정보의 계층적 적용에 의한 신호등 및 속도 표지판 인식
  • CCTV뉴스
  • 승인 2011.06.03 00:00
  • 댓글 0
이 기사를 공유합니다

본 고에서는 실제 도로환경의 신호등 및 속도 표지판 영역 검출 및 인식 방법을 제안한다. 밝기정보 및 HIS 컬러모델에 기반한 색상정보를 이용하여 신호등을 인식하였다. 또한 HSI 컬러정보로부터 적색강도를 추정함으로써 속도 표지판을 검출하였다. 표지판의 경사여부를 판단하여 시계방향, 반시계방향으로 각각 표지판을 회전시켜 기울기를 보정한 후 인식을 행함으로써 인식률을 제고하였다. 도로환경의 동영상을 대상으로 인식을 행한 결과 신호등과 속도 표지판이 혼합된 영상에서도 매우 강건한 인식 결과를 보인다.

오늘날 자동차의 보유량은 급격하게 증가하고 있고 이것에 비례하여 교통사고 역시 급격하게 증가하고 있다. 교통사고의 원인으로는 교통 혼잡, 운전자의 노령화, 운전자 계층의 다양화 등이 있다. 과거에는 교통사고 방지를 운전자 개인의 능력에만 의존했다면 현대에는 자동차와 기계, 전자, 통신, 제어, 인공지능 등 각종 첨단 기술을 접목시켜 운전자에게 부담을 덜어주어 운전 미숙에 대한 교통사고를 방지하기 위한 연구인 지능형 교통 시스템(ITS : Intelligent Transportation Systems)이 활발히 진행되고 있다. 이러한 지능형 교통 시스템 서비스 중 AVHS(Advanced Vehicle and Highway System)란 서비스는 차량에 교통상황, 장애물 인식 등의 고성능 센서와 자동제어장치를 부착하여 운전을 자동화하며, 도로상에 지능형 통신시설을 설치하여 일정간격 주행으로 교통사고를 예방하고 도로소통의 능력을 증대시키는 서비스이다. 본 고에서는 이러한 AVHS 시스템을 위한 신호등 및 표지판 인식 시스템을 제안한다.

본 고에서는 실제 도로상황에서 운전자의 안전에 영향을 주는 것이 신호 및 속도라고 판단하여 신호등 및 속도 표지판 인식 시스템을 제안한다. 이 시스템은 도로 주행 중에 차량에 장착된 카메라로부터 도로에 있는 신호등 및 속도 표지판 영상을 수집하여 운전자 대신 인지해줌으로써 이러한 요구를 충족시킬 수 있는 시스템이다. 이 시스템으로 운전자의 시각 및 지각의 한계를 보완하여 운전자의 과실로 인한 사고발생을 줄일 수 있을 것이다.

관련 연구

신호등과 표지판 영역 검출 및 인식의 기존 연구는 색상 정보와 형태 정보를 이용하여 검출하는 방안들이 제시되었다.

Blancard는 신호의 색상정보와 소벨을 이용하여 경계점을 찾고 신경망회로를 이용하여 특징들을 추출하여 인식하였고, Michael은 RGB 색의 비를 이용하였으며, Zhuowen은 마코브 체인과 깁스 분포를 이용하였다. Piccioli는 흑백 영상을 이용하여 경계점을 추출하고 형태정보를 이용하였다. Akatsuka와 Imai는 Normalized- rgb 컬러모델과 원형 정합 방법을 이용하였으며, Chiung-Yao는 HSI 컬러모델과 기하학 모델을 이용하였다. Kehtarnavaz와 Griswold는 HSI 컬러 모델에서 통계적 처리로 색, 채도, 명도의 범위를 결정하고 허프변환 알고리즘을 이용하였으며, Yasuo도 HSI 컬러모델과 에지를 병합 이용하였다.

이러한 색상정보와 형태정보는 몇 가지 한계점이 있다. 색상정보는 날씨 변화나 빛의 상태에 민감하고 복잡한 환경에서 신호등 및 표지판과 유사한 색의 건물이나 간판들은 표지판을 인식하는데 어렵게 만들 수 있다. 또한 형태정보도 복잡한 환경을 대상으로 할 경우 외부 환경에 의해 신호등 및 표지판 형태를 정확히 검출하지 못하거나 다른 영역을 오검출할 수 있으며, 알고리즘의 복잡도도 높은 편이다. 그러므로 색상정보만을 이용하여 검출 및 인식을 행하거나 형태정보만을 이용하여 검출 및 인식을 행하는 것은 매우 불안정하다고 할 수 있다. 그래서 색상정보와 형태정보를 함께 이용함으로써 알고리즘의 성능을 제고할 수 있다.

본 고에서는 신호등과 속도 표지판을 검출 및 인식하기 위해 색상정보와 형태정보를 계층적으로 이용하였다. 색상정보를 이용하여 신호등과 속도 표지판의 영역을 검출하고 형태정보를 이용하여 신호등은 원형을 표지판은 숫자영역을 인식하였다. 실제 도로상의 신호등의 모양과 속도 표지판의 숫자 형태가 일정하다는 점에 착안하여 실시간 처리를 위해 비교적 연산과정이 단순한 템플릿 매칭을 이용하였다. 단, 템플릿 매칭방법은 비교영상의 크기가 변하거나 기울어져 있으면 인식률이 저하되는 문제점이 있다. 신호등의 경우 모양이 원형이므로 큰 문제점이 없지만 속도 표지판의 숫자영역은 기울어져 있으면 인식률이 매우 저하될 수 있다. 이 문제점을 보완하기 위해 숫자의 크기 정규화 및 기울기 보정을 하여 인식률을 제고하였다. 

전체 시스템 개요

본 고에서 제안하는 전체 시스템 흐름도는 그림 1과 같으며, 보는 바와 같이 CCD 카메라에 영상이 입력되면 먼저 신호등의 경우는 HSI 컬러모델로 색상정보와 밝기정보를 이용하여 신호등의 후보를 검출하고 미리 정의된 임계값으로 빨간색, 주황색, 초록색을 판단하고 이진화, 형태학적 열림연산, 선명화 연산을 통해 신호등의 후보 모양을 추출하여 미리 정의된 템플릿과 정합을 해보는 것으로 신호등을 인식한다.

또한 속도 표지판의 경우는 RGB 컬러모델과 HSI 컬러모델을 이용하여 적색의 임계값을 구하고 형태학적 열림 연산으로 잡음을 제거한 뒤 정해진 임계값으로 속도 표지판의 후보를 검출한다. 검출된 속도 표지판에서 속도 표지판 내부의 숫자영역만을 다시 검출하고 검출된 숫자영역을 신호등의 인식 과정과 마찬가지로 미리 정의된 템플릿과 정합 시키는 것으로 어떤 숫자인지를 인식한다. 마지막으로 연속된 프레임에서 조도와 자동차의 흔들림 등으로 오검출 되는 프레임이 있을 수 있으므로 프레임들의 히스토리 정보를 이용하여 종합적으로 신호등 및 속도 표지판 인식의 유무를 판단하고 인식되었다면 내용을 문자와 그림으로 출력한다.


신호등 및 속도 표지판 인식

계층적 적용에 의한 신호등 인식
도로주행 시 신호등의 위치는 운전자의 전방과 상단에 위치한다. 그리고 주행 시 신호등의 위치는 전방에서 상단으로 이동하는 것에 착안을 하여 입력영상의 상단영역을 관심영역으로 지정하였고 알고리즘은 이 관심영역 안에서 수행하도록 제한하였다. 입력된 영상에서 교통 신호등을 검출하는 알고리즘의 흐름도는 그림 2와 같다.



신호등을 검출하기 위해서 색상 정보를 이용하였는데 색상(Hue), 채도(Saturation), 명도(Intensity)로 구성된 HSI 컬러모델을 이용하였다. HSI 컬러모델을 이용한 이유는 신호등은 광원이므로 밝기정보가 매우 중요한데 HSI 컬러모델은 명도 속성이 따로 분리되어 있어 밝기 정보를 비교적 쉽게 제어할 수 있기 때문이다.

표 1은 신호등의 색상정보 및 채도, 명도를 정의하였으며 색상은 0부터 360이고 채도, 명도는 0부터 1사이로 하였다.

그림 3은 원 영상을 나타내며 원 영상에서 적색의 사각영역은 관심영역을 나타낸다. 그림 4는 관심영역 안에서 밝기정보 즉, 명도와 채도 분포를 이용하여 필터링을 수행한 결과를 나타낸다.


필터링을 한 관심영역에서 표 1의 HSI 임계치 테이블을 이용하여 유효 색상의 픽셀을 검출한다. 유효 색상 픽셀이 검출되면 그림 5의 유효값 판정 마스크를 이용하여 유효한 색 정보인지 아니면 잡음인지를 판단하였다.


유효값 판정 마스크의 수행 방법은 검출된 픽셀을 X라 하고 X를 기준으로 마스크 모양의 주변 픽셀의 색상정보를 파악하여 유효하지 않은 픽셀을 잡음으로 간주하여 제거하게 된다. 마스크를 통해 필터링 후 픽셀의 시작점(x1, y1)과 끝점(x2, y2) 좌표를 이용하여 사각영역을 그리는 것으로 신호등을 검출하였다. 그러나 신호등은 원형이므로 사각영역으로 검출하면 신호등의 형태를 온전히 보존할 수 없으므로 그림 6과 같은 작업을 수행하여 신호등 모양을 온전히 보존할 수 있게 하였다.


좌표변환 유도과정은 그림 7과 식(1)로 설명할 수 있다. 




                                 (1)



인식을 하기위해 템플릿 매칭방법을 사용하는데 템플릿과 정합을 하기 위해서는 검출된 신호등의 크기와 미리 정의된 템플릿의 크기를 같게 해줘야 한다. 정의된 템플릿은 이진영상이며 해상도는 50×50픽셀로 하였다. 그러므로 검출된 신호등 역시 50×50픽셀로 크기 정규화 하였다.
여기서 검출된 신호등의 해상도는 50×50픽셀 보다 작다. 작은 영상에서 큰 영상으로의 확대과정은 픽셀단위의 영상에서 깨짐 현상을 가져온다. 영상이 깨지게 되면 왜곡이 심해질 수 있으므로 영상의 확대과정에서 보간법(Interpolation)을 사용하여 왜곡현상을 최소화하였다. 보간법을 사용하여 50×50픽셀로 크기 정규화한 신호등 영역을 템플릿 영상과 같게 이진영상으로 변환하였다. 이진영상까지 변환한 후 미세한 잡음 제거를 위해 형태학적 열림 연산을 수행하였다. 형태학적 열림 연산 후 확인한 결과 신호등의 원뿐만 아니라 외곽 부분이 많이 검출되는 것을 확인할 수 있었다. 최대한 신호등의 원 모양만을 검출하기 위해서 다시 마스크 필터링과 좌표 변환을 수행하였다. 원 모양만을 검출하면 크기가 또 작아지게 되어 다시 크기 정규화 및 형태학적 열림 연산을 하였다. 여러 연산을 반복하다보면 경계영역이 흐려지게 되므로 경계영역을 명확하게 하기 위해 선명화(Sharpening)연산을 수행하였다. 그림 8은 지금까지 설명한 신호등 영역 안에서의 검출 과정을 보여준다.


위의 과정을 모두 수행한 다음 신호등이 아닌 가로등이나 전광판 등과 같은 다른 물체와 구별하기 위해 최종적으로 얻어진 신호등 영상을 미리 정의된 템플릿과 정합을 통해 마지막으로 신호등인지 아닌지 판단하였다. 템플릿 매칭 방법을 사용한 이유는 도로상의 신호등의 모양이 모두 원 모양이라는 것과 크기가 일정하기 때문이다. 또한 연산과정이 비교적 단순하여 실시간에 적합하다고 판단하였다. 

계층적 적용에 의한 속도 표지판 인식
신호등과 마찬가지로 속도 표지판 역시 관심영역 안에서 수행하였다. 그림 9는 속도 표지판을 검출 및 인식하는 알고리즘의 흐름도를 보여준다.


신호등과 마찬가지로 속도 표지판 역시 색상 정보를 이용하여 검출하였다. 속도 표지판의 테두리는 빨간색이므로 빨간색의 특징을 이용하여 RGB 컬러모델과 HSI 컬러모델을 각각 이용하였다. HSI 컬러모델과 RGB 컬러모델 두 컬러모델을 사용한 이유는 색상 분할에 대한 대부분의 기존 연구들이 HSI[6, 7, 8, 9, 10] 컬러모델 또는 RGB[5,11] 컬러모델을 사용하기 때문에 각 컬러모델로 실험을 하여 어떤 컬러모델이 속도 표지판 검출에 적합한지 알아보기 위함이다.

HSI 컬러모델은 신호등과 마찬가지로 표 1의 임계치 테이블을 이용하여 빨간색을 검출하였고, RGB 컬러모델은 Red 속성을 이용하여 검출하였다. RGB 컬러모델의 임계값은 식(2)와 같다.
 

             Rt = 빨간색 픽셀의 Red 값.                  (2)

 P1(x,y) = 1 이면 적색으로 판단하였다. 또한 속도 표지판 말고도 다른 곳에서 임계값에 맞는 부분이 있어 잡음이 생길 수 있으므로 잡음을 제거하기 위한 연산을 하였는데 신호등과 마찬가지로 잡음제거에 용이한 형태학적 열림 연산을 사용하였다. 또한 검출된 사각영역은 거의 정사각형 형태를 갖게 되는데 x축의 길이가 y축에 비교해 현저히 길거나 y축이 x축에 비해 현저히 길게 되면 표지판이 한 개 이상으로 보고 복수 표지판의 처리를 따로 해주었다. 한 개 이상의 표지판이 있다는 판단은 식(3)과 같다. 

  
X = x좌표간의 길이를 뜻하며, Y = y좌표간의 길이를 뜻한다.  T1(x,y)= 1이면 가로로 복수의 표지판이 존재하며,  T2(x,y)=1이면 세로로 복수의 표지판이 존재한다고 보고   T1(x,y)=1이면 x축을 y축 길이만큼 나눠서 검출을 행하였고,  T2(x,y)=1이면 y축을 x축 길이만큼 나눠서 검출을 행하였다. 그림 10은 속도 표지판 영역 검출 및 형태학적 열림 연산 처리를 보여준다.

그림 10의 (a)는 속도 표지판을 사각영역으로 검출하는 것을 보여주고 있는데 여기서 (b)를 보면 주위에 잡음이 많은 것을 볼 수 있다. 이 잡음들은 적색 임계값에 들어가는 잡음들이다. 그래서 (c)와 같이 형태학적 열림 연산을 사용하여 잡음들을 제거하였다.


카메라의 시야에서 가까워질수록 속도 표지판의 사각영역의 크기는 변하게 된다. 영역의 크기가 변하면 원근 왜곡 때문에 제대로 인식할 수 없게 된다. 그러므로 신호등과 마찬가지로 크기 정규화 연산이 필요하게 된다. 속도 표지판은 80×80픽셀로 크기 정규화 하였다. 인식 대상은 속도 표지판이 아닌 속도 표지판 내부에 있는 숫자이므로 크기 정규화 된 속도 표지판 사각영역에서 숫자영역만 다시 검출한다. 숫자영역을 검출하는 방법도 HSI 컬러모델과 RGB 컬러모델을 각각 이용하였다. 각각 사용한 이유는 위에서 속도 표지판을 검출할 때와 같은 이유이다.
즉, 속도 표지판의 숫자영역은 검정색으로 표준화 되어있으므로 이 검정색의 특징을 이용하여 숫자를 추출할 수 있는데 여기서도 역시 HSI 컬러모델과 RGB 컬러모델을 비교할 수 있기 때문에 각각 사용하였다.

HSI 컬러모델로 검정색의 임계값을 정의하기 위해서 색상(H)값을 사용하지 않고 명도(I)값을 사용하였다. 이유는 HSI 컬러모델의 검정색은 명도의 어두운 부분으로 구하기 때문이다. HSI 컬러모델의 검정색 임계값은 식(4)과 같이 정의하였다. 
 

여기서  Hr=정의한 빨간색 임계값이라고 할 때  Ti = Hr 보다 작은 픽셀의 명도 값이며,  Ki = Hr 보다 큰 픽셀의 명도 값이다. N은 검출된 속도 표지판 사각영역 안의 총 픽셀들의 수를 의미한다. 검출된 속도 표지판 사각영역 안에서 빨간색 임계값보다 작은 픽셀들의 명도 합을 총 픽셀의 수로 나눈 값과 빨간색 임계값보다 큰 픽셀들의 명도 합을 총 픽셀의 수로 나눈 값의 차를 절대값 한 것이 검정색의 임계값이 된다.

RGB 컬러모델의 검정색은 Red, Green, Blue 속성이 각각 (0, 0, 0)이 된다. 그러므로 RGB 컬러모델로 검정색의 임계값을 정의하기 위해서 RGB 필드들의 수치가 전체적으로 낮아지는 양상을 이용하였다. RGB 컬러모델의 검정색 임계값은 식(5)와 같이 정의하였다. 


 P2(x,y) = 1 이면 검정색으로 판단하고 숫자를 사각영역으로 검출하였다. 검출된 숫자영역은 미리 정의된 숫자 템플릿과 정합하는 방법으로 인식을 할 것이므로 템플릿과 같은 크기로 정규화 하였다. 그림 11은 속도 표지판 및 숫자영역 검출의 예를 보여준다.


숫자 템플릿은 35×35 픽셀로 크기 정규화 하였다. 그러므로 숫자영역 역시 35×35 픽셀로 크기 정규화 하여 정합하는 방법으로 인식하였다. 표지판 인식 방법에 있어 기존 연구는 인간의 뇌구조를 모델링 하여 구현한 신경망 알고리즘과 패턴인식 방법 등을 이용한다. 이러한 알고리즘은 인식률에 있어 높은 인식률을 나타내고 있지만 알고리즘의 복잡도가 매우 크기 때문에 처리 시간이 긴 단점이 있다. 속도 표지판 인식을 신호등 인식 방법과 같은 템플릿 매칭 방법을 사용한 이유는 도로상에 속도 표지판의 숫자 형태가 일정하다는 점에 착안하였고, 또한 신호등 인식과 같은 이유인 연산과정이 단순하여 실시간 처리에 용이하기 때문이다.

속도 표지판이 대부분 반듯하게 되어있지만 반듯하지 않고 기울어져 있는 경우도 있을 것으로 판단하였다. 속도 표지판 인식에서 사용하는 템플릿 매칭 방법은 비교영상이 기울어져 있으면 취약하다. 그러므로 기울기 보정 시뮬레이션을 하였다. 기울기 보정은 템플릿과 정합하는 동시에 입력영상을 시계방향과 반시계방향으로 각각 씩 회전을 반복하여 정합도를 알아보는 방법으로 수행하였다. 시계방향과 반시계방향으로 동시에 한 번씩 회전하는 이유는 속도 표지판이 처음에 어느 쪽으로 기울어져 있는지 확인할 수 없기 때문이다. 또한 검색 속도를 빠르게 하기 위하여 1。, -1。, 2。, -2。...로 검색하는 지그재그 방법을 사용하였다. 실제 도로상에 속도 표지판이 심하게 기울어져 있는 일은 드물기 때문에 보정대상의 기울기는 ±20。로 제한하였다. 그림 12는 기울기 보정 방법 및 지그재그 스캔을 그림 13은 기울기 보정 수행 과정을 보여준다. 



 


실험 및 결과 고찰

실험에 사용된 영상은 실제 도로에서 디지털 카메라로 동영상 촬영을 한 실영상이다. 그리고 실험 환경에 밝기를 임의로 설정할 수 없고, 측정을 하는데 있어서도 변수가 많이 존재하기 때문에 임의의 환경 영상을 가지고 실험을 진행하였다. 전체 프레임 수는 3,747 프레임이며 이는 취득된 영상에서 실험 시나리오에 해당하는 구간의 프레임이다. 전체적인 실험은 크게 단일 신호등 영상, 단일 속도 표지판 영상, 신호등과 속도 표지판 복합 영상으로 나뉘어 진행하였다. 각 실험 환경에서 취득된 영상을 입력하여 실시간으로 신호등과 속도 표지판을 검출 및 인식하여 인식한 내용을 문자 및 그림으로 출력한다. 사용된 이미지 해상도는 320×240이다. 그림 14는 여러 가지 사례의 실험 영상들을 보여주며 표 2는 각 실험 영상의 특징에 대해 정리하였다. 표 2에서 야간에 속도 표지판이 없는 이유는 야간에는 처음 입력 영상부터 속도 표지판이 제대로 나타나지 않기 때문이다. 그러므로 야간 환경에서의 속도 표지판 검출 및 인식은 제외하였다.



 
그림 15는 그림 14 (a)의 영상을 이용하여 속도 표지판과 신호등의 검출 영역을 프레임별로 나타내고 있다. 위에서 설명하였듯이 속도 표지판의 경우는 RGB 컬러모델과 HSI 컬러모델을 각각 이용하여 속도 표지판 검출에 있어서 어떤 컬러모델이 더 적합한지 실험하였다. 그림 15의 (a)와 (b)는 각각 HSI와 RGB 컬러모델을 이용하여 속도 표지판 영역과 숫자영역을 검출한 프레임들을 나열한 것이다. (a)를 보면 70프레임 이전에는 속도 표지판과 숫자영역을 제대로 검출하지 못하지만 70프레임 이후부터는 비교적 속도 표지판 영역과 숫자영역을 충실하게 검출하는 것을 볼 수 있으며 관심 영역에서 벗어나는 마지막까지도 명확히 검출해 내지 못하지만 범위 안에서는 비교적 흔들림 없이 검출되는 것을 볼 수 있다. 또한 (b)를 보면 (a)보다는 늦은 100프레임 이후부터 속도 표지판을 비교적 충실히 검출하는 것을 볼 수 있으며 숫자영역 역시 비슷한 시점인 100프레임 이후부터 명확히 검출하는 것을 볼 수 있다.



관심 영역에서 벗어나는 마지막에서는 제대로 검출하지 못하며 숫자영역을 놓치는 프레임도 있다. 현재 앞으로 진행하는 영상이므로 프레임의 번호가 커지는 의미는 속도 표지판과 신호등이 가까워지고 있다는 것을 뜻한다. (a)가 (b)보다 속도 표지판이 더 멀리 있을 때도 검출해 내고 있다는 것을 알 수 있다. 또한 (a)는 (b)보다 마지막까지도 검출에 강인하다는 것도 볼 수 있다.

이 결과를 볼 때 속도 표지판 검출에 있어서 RGB 컬러모델 보다는 HSI 컬러모델이 더 적합하다는 판단을 내렸다. 또한 너무 멀리 있으면 제대로 검출하지 못하고 속도 표지판 및 신호등과 카메라의 거리가 약 50m에서부터 제대로 검출하는 것을 알 수 있었다. 신호등의 경우는 속도 표지판 보다는 비교적 더 멀리 있는 상황에서도 검출이 제대로 되고 있는 것을 볼 수 있다. 또한 프레임의 번호가 연속되다가 갑자기 바뀌는 이유는 현재 신호등은 점멸 중이므로 꺼진 상태에서는 검출이 되지 않기 때문이다.

인식을 수행하는데 있어서 속도 표지판 및 신호등의 한 프레임 당 인식 기준은 식(6)과 같다. 

 

여기서 Th1은 정합 된 픽셀의 수이며, nt1는 총 픽셀의 수이다. D1= 1 즉, 속도 표지판 및 신호등이 템플릿과의 정합률이 90%가 넘으면 인식하였다고 판단하였다. 이렇게 한 프레임씩 인식을 하여 인식된 프레임의 수로 인식률을 측정하였다. 인식을 수행하는 동안 빛에 의한 밝기변화, 잡음, 카메라의 흔들림 등으로 각각의 프레임에서 정합에 성공하지 못하는 경우가 발생할 수 있다. 정지 영상이 아닌 동영상에서 순간 몇 개의 프레임을 인식하지 못하였다 하더라도 나머지 프레임에서 인식하였다면 그것은 인식에 성공했다고 판단할 수 있다. 그러므로 이것을 보완하기 위해 세 가지 방법으로 실험하여 인식의 성공 실패 여부를 판단하였다. 첫째, 총 인식률을 구하였다. 둘째, 식(7)과 같이 Th2은 30프레임 중 D1= 1인 프레임 수이고, nt2은 30프레임이다. 즉, 연속되는 30프레임 중  D1= 1인 프레임의 수를 판단하여 인식률을 구하였다. 셋째, 식(8)과 같이 Th3 = D1 = 1인 프레임이 연속적으로 몇 회 일어나는지를 판단하여 인식률을 구하였다. 
      

                 
이러한 방법으로 전체 실험 영상의 인식률을 알아보았다. 표 3은 전체 실험 영상의 인식률을 정리한 것이며, 실험 결과 RGB 컬러모델 보다는 HSI 컬러모델이 더 좋은 인식률을 보였다. 50 제한 표지판의 경우 실험 환경의 갑작스런 변화로 인해 RGB 컬러모델이 HSI 모델 보다 높게 나왔다. 또한 전체적인 총 인식률은 비교적 낮은 수치의 인식률을 보였지만 연속 인식률과 30프레임 인식률에서는 높은 인식률을 나타내었다. 전체 평균 처리시간은 0.14초로 나타났으며 처리시간은 RGB와 HSI 컬러모델이 거의 비슷한 수치를 보였다. 본 고에서는 연속 인식률을 통하여 시스템의 성능을 판단하였다. 이유는 신호등 및 속도 표지판이 존재하는 실제 도로상황에서 몇 개의 프레임이 인식에 실패하더라도 나머지 프레임에서 인식이 되었다면 제대로 인식하였다고 볼 수 있고 또한 연속되는 프레임에서 반복적으로 10회 이상 동일한 인식을 보인다면 그것은 의미 있는 수치이기 때문이다.


결론

본 고에서 제안된 알고리즘은 신호등 및 속도 표지판의 영역 검출과 인식의 두 단계로 구분할 수 있다. 검출 단계에서 신호등은 HSI 컬러모델을 이용하여 사각영역으로 검출하였고 속도 표지판은 RGB 컬러모델과 HSI 컬러모델을 각각 이용하여 역시 사각영역으로 검출하였다. 속도 표지판을 검출할 때 RGB 컬러모델과 HSI 컬러모델을 각각 사용한 이유는 어느 컬러모델이 속도 표지판을 검출할 때 더 적합한지를 실험하기 위해서였다. 신호등 검출에서 HSI 컬러모델만 사용한 이유는 신호등은 광원이므로 명도 속성이 따로 분리되어있는 HSI 컬러모델이 RGB 컬러모델보다 더 적합하기 때문이다. 인식 단계에서는 신호등과 속도 표지판 모두 미리 정의된 템플릿과 정합하여 정합률을 알아보는 템플릿 매칭 방법을 이용하였다.

제안된 알고리즘을 실제 도로 영상에 대하여 적용한 결과 총 인식률에서는 비교적 낮은 수치가 나타났지만 연속 인식률과 30프레임 인식률에서는 높은 수치를 나타내었다. 또한 속도 표지판의 경우 RGB 컬러모델과 HSI 컬러모델을 비교하여 실험하였는데 실험 결과 속도 표지판에서는 RGB 컬러모델 보다는 HSI 컬러모델이 더 적합하다는 결과가 나왔다. 또한 평균 처리시간이 0.13초로 실시간에는 다소 떨어지는 결과이지만 연속 인식률과 30프레임 인식률을 이용한다면 실시간에도 사용될 수 있을 것이다. 신호등의 경우 빛의 산란과 속도 표지판의 경우 빛이 거의 없는 밤이나 빛 반사가 심한 환경에서 오류가 발생하는 경우도 있었다.

향후 과제로는 급격한 조도의 변화, 야간에도 강건한 인식이 이루어 질 수 있는 동적인 임계치 적용에 대한 고려가 필요하며, 또한 장래의 지능형 교통 시스템 발전을 위해 반사판 또는 야광 표지판 등을 이용하여 도로 환경을 개발하면 더욱더 강건한 시스템을 개발할 수 있을 것이다.

마지막으로 운전자의 졸음운전, 운전 미숙 등의 사고예방에 이용될 수 있으며, 무인 자동차 시스템 연구 발전 응용에 활용될 수 있을 것으로 기대된다.




댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.