휴대단말기 영상에서의 기하학적 정보를 이용한 차량 번호판 인식
상태바
휴대단말기 영상에서의 기하학적 정보를 이용한 차량 번호판 인식
  • CCTV뉴스
  • 승인 2011.03.07 00:00
  • 댓글 0
이 기사를 공유합니다

현재 카메라로 입력된 문자 영상 처리를 위한 기술 개발이 국내외에서 활발히 이루어지고 있으나 정확도나 처리 시간이 많이 걸리는 문제점 등으로 실용화 비율은 현저히 낮다. 본 고에서는 휴대단말기 카메라에서 얻은 영상으로 기하학적 정보를 이용한 차량 번호판 인식 방법을 제안한다. 우선, 일반 영상과 휴대폰 영상의 해상도 차이나 손 떨림 각도 차이 등을 고려한 전처리 작업을 수행한다. 두 번째로, 투영에지 누적 계산을 통해 차량 번호판을 검출한다. 세 번째로, 추출된 번호판 영역에서 체인코드와 Thickness 정보를 이용하여 문자를 인식한다.

제안된 알고리즘은 기존의 차량 번호판 인식 알고리즘의 문제점과 휴대단말기 영상 처리라는 점 등을 고려하여 가볍고 처리 시간을 단축시켜 효과적이고 비교적 정확하게 인식하며, 실험 결과에서 문자 인식 성공률 95%를 얻었다. 향후 연구로 원거리 영상이나 모션블러가 가미된 영상에서의 번호판 인식 알고리즘을 모색할 예정이다. 

사람이 기계에 필요한 것을 명령하는 것이 아니라 기계가 알아서 사람이 원하는 서비스를 제공하는 것이 유비쿼터스 컴퓨팅 서비스이다. 이를 위해서는 기계가 사람이 원하는 것을 파악하도록 하는 기술이 필요하며, 최근 인식 기술들이 활발히 개발되고 있다. 그 중 영상 인식 기술을 이용한 차량의 번호판 인식은 현재 많은 연구가 이루어지고 있는 분야이며, 무인 주차관리 시스템, 체납 차량 번호판 자동 인식 시스템 등에서 사용되고 있다.

또한 최근 카메라 문자 인식 기술은 휴대폰 카메라 및 디지털 카메라의 대중화로 일반 사용자 편의와 현장으로부터 관련 영상 자료의 빠르고 정확한 입력 및 업무 처리 시간 단축 등의 업무 효율성 향상 등의 효과로 필요성이 증대되고 있다.

따라서 본 고에서는 장소와 시간에 제한을 받지 않는 스마트폰, PDA나 휴대폰과 같은 휴대단말장치의 휴대형 카메라에서 얻은 영상을 이용한다. 현장에서 찍은 문자영상으로부터 문자를 인식하여 컴퓨터나 휴대단말장치에서 다양한 응용 프로그램에 활용할 수 있는 휴대단말기용 카메라 기반 문자영상 인식 기술을 이용하여 현장에서 찍은 차량 영상으로부터 번호판 문자를 인식하여 자료의 정보화, 정보검색 등의 기능과 결합하여 사용자의 실생활 환경에서도 보다 편리하고 유익하게 할 수 있도록 한다.

현재 카메라로 입력된 문자 영상 처리를 위한 기술 개발이 국내외에서 활발히 이루어지고 있으나 정확도나 늦은 처리 시간 등의 문제점으로 실용화 비율은 현저히 낮다. 본 고는 이러한 기존의 휴대단말기 문자 영상 처리와 차량 번호판 인식 알고리즘의 문제점을 해결하고자 기하학적 정보를 이용한 차량 번호판 인식 알고리즘을 제안하고자 한다. 제안 알고리즘의 성능평가 결과 95%의 정확도로 별도의 학습이 필요한 기존 신경망 방법에 비해 효율적으로 처리가 되어짐을 검증하였다.

관련 연구

휴대단말기용 카메라 기반 문자 영상 인식기술
현재 문서 영상 개선과 영상의 이진화를 위하여 비선형 영상 복원 기술 및 다중 이진화 방법을 사용하고 있으나 카메라 문자 인식을 위한 기술로는 아직 미흡한 상태이다. 또한 각종 필터를 통한 입력 영상의 잡영 제거, 문자획 복원 및 문자 영역 추출 기술이 개발되고 있으나 배경이 복잡한 영상에서의 문자 추출률은 아직 저조하다. 이 밖에도 칼라 문서에서 문자 영역을 추출하는 기술 및 다양한 폰트를 인식할 수 있는 기술은 아직 미흡하다.

PDA 카메라를 이용하여 단어 수준의 각종 외국어를 서버로 전송하여 인식한 다음 번역 또는 정보 검색용으로 활용할 수 있는 인식 시스템이 실용화되기도 하였으나 처리 시간이 많이 걸린다는 단점이 있다.

일반 영상 차량 번호판 인식
기존의 차량 번호판 인식에 관한 연구로는 색상모델에 의한 번호판 영역 분할 방법, 색상의 밝기 값을 이용하는 방법 등이 있다. 그러나 이러한 방법들은 차량의 색상이 번호판의 색상과 유사할 경우나 또는 빛의 강도가 높거나 낮을 경우에는 색상 구분이 어렵다는 단점이 있다.
또한 윤곽선 이진영상에 Hough 변환을 적용하여 번호판의 수직 및 수평 경계선을 검출하는 방법은 메모리의 양과 Hough 변환에 처리 시간이 많이 소요된다는 단점이 있다.

이를 보완하기 위해 영역제한 Hough 변환법도 제안되었으나, 이 방법 역시 전체 영상을 처리하기 때문에 처리 시간의 측면에서는 문제점이 있다. 또한 밝기 차를 이용하여 사전에 알려진 문자 및 문자 폭을 갖는 영역을 검출한 후 크기를 확장해 나가는 방법은 인식률은 높으나, 영상 데이터의 훼손과 잡음에 민감하다는 단점이 있다.

히스토그램을 이용한 번호판 추출의 경우 히스토그램 누적치의 비교만으로는 라디에이터 등 다른 영역을 포함하는 오류가 발생한다. 게다가 신형 번호판의 경우 가로 세로 비율이 520mm×110mm로 가로 길이는 길어졌지만 세로 길이는 짧아졌기 때문에 그에 따라 문자의 크기도 줄어들었다. 또한 번호판 색상이 하얀색으로 변함에 따라 적용되는 기법도 변화되어야 한다.

한편 대비가 낮은 영상에 대해서는 전반적으로 인식률이 현저히 떨어진다는 단점이 있기 때문에 이러한 환경적인 요인 또한 고려 대상이 되어야 한다. 본 고에서는 이러한 다수의 고려사항들을 감안하여 휴대용 기기에서 효율적으로 처리되면서 높은 정확도를 얻고자 에지 정보와 체인 코드 그리고 간단한 특징 정보만을 통하여 차량 번호판을 효과적으로 인식하는 알고리즘을 제안한다.

제안 방식

기존 관련 연구들의 문제점과 휴대용 기기의 사용 등 다수의 사항들을 고려하여 가볍고 효과적으로 처리될 수 있는 알고리즘을 제안한다. 이는 에지 정보를 이용한 번호판 영역 추출과 패턴 매칭을 통한 번호 인식으로 구성되며, 그림 1과 같이 크게 3부분으로 나누어진다. 1단계는 영상의 전처리 작업으로 각도의 보정, 잡음 제거, 대비 개선으로 구성된다. 2단계는 번호판의 인식 작업으로 에지 정보를 이용한 추출 작업을 한다. 3단계는 추출된 번호판 영역의 문자를 인식하는 단계로 체인 코드와 각 문자별 특징 정보를 이용하여 인식하는 작업이다.
 

영상 전처리
휴대폰으로 촬영한 영상은 일반 카메라와 비교해서 해상도의 차이가 있을 수 있으며 손 떨림 혹은 각도의 틀어짐 등 다수의 문제점들이 발생할 수 있다. 이는 번호판 인식에 있어 정확도 저하를 가져올 수 있다. 이러한 문제를 해결하기 위해 전처리 작업을 통하여 영상의 보정작업을 수행한다. 우선 각도의 보정을 위해 라돈 변환을 이용하여 처리한다.

라돈 변환은 주어진 선이나 에너지 전달 경로를 따라 대상 물체의 물성을 적분하는 것으로 선적분이라 한다. 라디안 선을 따라서 이미지 농도의 라돈 변환의 계산적 영상은 구체적인 각도의 중심이 된다. 2차원 f(x, y)함수의 영상은 일정한 방향의 선적분이다. 영상은 어떤 각도를 따라서 계산할 수 있다. 일반적으로 f(x, y)의 라돈 변환은 축에 평행한 f축의 선적분이다. 이는 다음 수식 1을 통해 계산되어 진다. 


영상 이미지에서 라돈 변환은 0°~180° 입력 이미지에서 계산된다. 이진 에지 이미지를 계산하는데 에지 검출을 사용한다. 라돈 변환은 매트릭스에서 최대 피크 위치를 찾는다. 원영상의 이미지에서 수직선의 위치와 최대 피크의 위치는 같다. f(x, y)는 선적분하고자 하는 대상 함수이다. 이를 통해 입력 영상의 각도를 보정한다. 이에 따른 차량 영상의 각도 보정 결과는 다음 그림 2와 같다.

각도 보정 후 명암 대비 개선 작업을 수행한다. 이는 차량과 번호판과의 확실한 구분을 주기 위해 수행하는 것으로 히스토그램 스트레칭과 모폴로지 작업을 수행한다.

모폴로지 작업은 Tophat연산과 Bottomhat연산을 통하여 이루어진다. 그리고 대비 작업 후 생길 수 있는 불필요한 잡음을 제거하기 위해 스무딩 필터를 사용한다. 일반 가우시안 필터를 통하여 잡음을 제거하며, 가우시안의 분산 값의 조정으로 해당 스무딩의 강도를 조절한다.

차량 번호판 검출
번호판 영역 검출을 위해 에지 연산자를 이용한다. 번호판의 수평, 수직 영역 계산을 위해 각도가 보정된 영상에서 수평 에지를 검출하고 이를 Y축으로 누적한 투영 에지를 계산한다. 해당 투영 에지의 임계값 조정을 통하여 수평 영역을 검출한다. 그다음 검출된 수평 영역에서 수직 에지를 검출하여 이를 X축 방향으로 투영시킨다. 수평 영역 계산과 마찬가지로 투영 에지 값을 이용해 수직 영역을 검출한다. 누적치 값을 이용한 것은 번호판의 특성상 가로 부분이 더 넓기 때문에 먼저 수평영역의 누적치를 계산한 것이다. 이와 같은 번호판 검출 과정은 그림 3과 같다.

또한 해당 번호 영역 추출을 효과적으로 처리하기 위해서 검출된 번호판 영역의 개선 작업을 수행한다. 라플라스 필터를 이용해 샤프닝 작업을 수행한 후 샤프닝으로 생길 수 있는 임펄스 잡음을 미디언 필터를 사용해 제거하여 효과적으로 영상 개선을 수행한다. 그리고 검출된 수평, 수직 영역을 이용하여 이진화를 수행해 번호를 인식하는 작업을 수행한다.

번호 인식

1. 번호판 영역에서의 문자 추출
계산된 번호판 영역의 투영 에지 누적을 계산하여 번호를 추출한다. 먼저 이진화를 통해 객체를 추출한다. 이진화 방법은 OTSU 방법을 통하여 계산한다.

OTSU 방법은 클래스가 두개로 구분되어질 때 해당 클래스의 분산을 최대로 하는 문턱치를 계산하는 방법이다. 번호판의 특성상 바탕색과 문자색 2개로 구성이 되어 있어 적합하다고 판단하여 OTSU 방법을 사용하여 문턱치를 계산해 이진화하는 것이다.

이진화 후 문자 영역만 제외하고 불필요한 잡음들을 제거한다. 여기서 생성되는 잡음은 대체로 번호판 영역의 경계선에 인접한 잡음으로 이를 제거한다. 그리고 검출된 문자 영역의 구분이 필요하다. 이를 위해 전 단계에서 작업하였던 방법과 동일하게 수직 영역의 누적치 값을 계산한다. 이를 통해 해당 누적치 값을 특정 문턱치를 통해 해당 구분선을 생성함으로써 각 문자별로 객체를 구분할 수 있게 된다.

2. 기하학적 정보를 이용한 문자 인식
최종으로 구분된 문자들의 인식을 위해 패턴 매칭 작업을 수행한다. 사용되는 매칭 작업은 객체의 기하학적 정보를 이용하여 처리되어진다. 본 고에서 언급한 기하학적 정보는 체인 코드를 이용한 방법과 Thickness 정보를 말한다.

첫 번째 체인 코드를 이용한 인식은 벡터의 방향 정보를 이용하여 얻은 부호화 값을 표준 패턴에 대한 부호화 값과 매칭하여 오차율을 계산한다. 오차율이 낮은 샘플 영상과 기존의 매칭 과정에서 추출된 영상이 일치할 경우 해당 문자를 인식하고, 다른 경우에는 분포도, 일치율, 오차율을 측정하여 최적의 결과 값을 선택한다. 다음 그림 4는 체인 코드의 개념을 나타낸 것이다.



두 번째 기하학적 정보는 Thickness 정보를 이용한 것으로 해당 객체의 문자별 고유 특징을 정의하고 이를 통해 매칭한다. 문자별 고유의 특징은 다음 그림 5와 같이 추출된 문자 영상에서 계산된 Thickness 영상의 픽셀 형태와 위치 정보를 이용해 경계 인접, 객체 수 및 기타 특징에 대한 Thickness 탬플릿 정보를 얻는다. 이에 대한 문자별 Thickness 템플릿은 표 1과 같으며 샘플 중 일부를 나타냈다.

특히, 본 고에서 제안된 Thickness 정보를 이용한 방법은 기존 방법과 가장 큰 차이점을 가지도록 한다.

실험 결과

본 고에서 제안한 휴대단말기 영상에서의 기하학 정보를 이용한 차량 번호판 인식을 위한 실험을 위해 320*240 해상도의 총 60장의 차량 영상을 이용했으며, 해당 실험 영상은 20장씩 서로 다른 휴대폰 카메라로 촬영된 영상이다. 상기에 제안한 영상 처리 기법들을 적용해 차량 번호판의 각도 차이나 위치에 관계없이 대부분의 차량 영상에서 번호판 영역을 인식할 수 있었으며, 번호판 영역에서의 문자 추출 후 기하학적 정보를 실제 번호판 특징 표현에 적용하고 추출된 특징 추출 결과를 이용해 문자를 인식하는 실험을 하였다.

다음 표 2와 같이 일반 자동차 영상에서 기존 Feng의 방법을 이용한 차량 번호판 인식에서는 전형적인 신경망 알고리즘을 기반으로 한 방법으로 숫자와 알파벳에 대한 94.1%의 문자 인식 성공률을 나타냈다. 그리고 본 고에서 제안한 휴대단말기 영상에서의 기하학적 정보를 이용한 차량 번호판 인식에 대한 실험결과로 문자 인식 성공률 95%를 얻었다.




또한 본 고에서 제안한 방법을 이용한 문자 인식 처리 시간에 대한 비교 평가를 하기 위한 실험을 수행하였다. 먼저 휴대 단말기 영상에서 상기에 제안한 영상 전처리와 차량 번호판 검출 알고리즘을 수행한다. 이 후 기존 Feng의 방법과 본 고에서 제안한 방법을 이용한 문자 인식을 각각 수행한다. 실험 결과 차량 번호판 인식에 소요된 처리 시간은 그림 6의 그래프와 같이 나타났다. 이에 따른 평균 처리 시간은 표 3과 같이 기존 Feng의 방법이 0.84초, 그리고 본 고에서 제안한 방법은 0.71초를 기록했다.

결론 및 향후 연구

본 고에서는 휴대단말기 카메라에서 얻은 영상으로 기하학적 정보를 이용한 차량 번호판 인식 방법을 제안하였다. 특히 문자의 특징 추출을 위하여 체인 코드와 Thickness 정보와 같은 기하학적 정보를 이용한 알고리즘을 적용함으로써, 평균 0.71초의 처리 시간과 95%의 문자 인식 성공률의 실험결과를 얻었다. 이로써 기존의 카메라로 입력된 문자 영상 처리 기술의 처리 시간을 개선하는 효용성과 문자 인식 정확성을 검증하였다.

그러나 제안된 방법의 실험 결과 문자인식의 실패인 경우 대부분 초기 번호판 영역 검출 부분에서 문제가 발생하였다. 이는 본 제안 방법의 번호판 영역 검출 작업이 수평에지의 누적계산으로 이루어지기 때문에, 그림 7의 왼쪽 영상과 같은 경우 부정확한 번호판 영역이 검출된다. 향후 이러한 문제점을 보완하기 위해 에지정보 뿐만 아니라 위치, 복잡도, 패턴 정보 등의 추가적인 정보를 활용하여 개선시킬 예정이다. 그리고 더 나아가 원거리 영상이나 모션블러가 가미된 영상에서의 번호판 인식 방법도 모색할 예정이다.


<본 내용은 염희정, 은성종, 황보택근 연구, 2010년도 경원대학교 지원으로 수행된 연구 결과물이다>




댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.