CCTV 기반 얼굴 검출 기법 이해
상태바
CCTV 기반 얼굴 검출 기법 이해
  • CCTV뉴스
  • 승인 2009.11.30 00:00
  • 댓글 0
이 기사를 공유합니다

연재순서

1. CCTV 환경에서의 개인 프라이버시 정보보호의 필요성
2. CCTV 시스템 구축시 고려사항 및 구축사례에 대한 종류별 분류
3. CCTV 기반 얼굴 검출 기법 이해
4. CCTV 기반 얼굴 인식 기법 이해
5. CCTV 기반 바이오 정보 위협 요소
6. CCTV 기반 바이오 정보 보안 대책
7. CCTV 시스템에서의 보안 위협 요소
8. CCTV 시스템에서의 보안 대책
9. CCTV 시스템 구성요소별 보안 위협 및 방어 대책
10. CCTV 기반 얼굴검출 및 인식시스템 보안 프레임워크 구현방법

얼굴 검출(Face Detection)과 얼굴 인식(Face Recognition)?

CCTV와 생체인식 등 다양한 분야에서 사용되고 있는 얼굴 검출 기술은 얼굴인식 이전에 실행되어야 하는 과정으로 영상에서 얼굴이 있는 곳을 찾아내는 기술이다. 일반적으로 사람의 얼굴은 조명, 사람의 얼굴이 응시하는 방향과 각도, 표정, 카메라와 사람 간 거리에 따른 얼굴의 크기, 배경과 얼굴의 색상 차이 등과 같이 환경적인 조건에 따라 민감한 반응을 하기 때문에, 영상으로부터의 얼굴 검출 및 얼굴 인식에 관한 연구는 실제 많은 어려움을 포함하고 있다.
그럼에도 불구하고, 고성능의 얼굴 인식 기술을 위해 얼굴 검출 기술은 많은 연구를 통해 개선 및 발전되고 있다. [그림 1]은 얼굴 검출 및 얼굴 인식 기술이 응용되고 있는 다양한 활용 분야를 보여준다. [그림 2]는 얼굴 검출과 얼굴 인식의 관계에 대한 개요도를 보여 준다.


                  [그림 1] 얼굴 검출 및 얼굴 인식의 다양한 응용 분야



         [그림 2] 얼굴 검출과 얼굴 인식의 개요도
 

얼굴 검출(Face Detection) 기술 분류?

얼굴 인식 이전에 처리되어야 하는 다양한 얼굴 검출 기술들에 대해 살펴보자.
얼굴 검출 기술은 보통 검출하는 방법에 따라 지식 기반 방법(Knowledge-based Methods), 특징 기반 방법(Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods), 외형 기반 방법(Appearance-based Methods)으로 나눠진다.
[표 1]은 각 검출 방법들 중 자주 사용되는 알고리즘을 나타낸 것이다.


1. 지식 기반 얼굴 검출 방법(Knowledge-based Face Detection Methods)


지식 기반 방법은 사람의 얼굴이 눈썹, 눈, 코, 입 등 각각의 얼굴 성분들은 서로 일정한 거리와 위치 관계를 이용하여 얼굴을 검출하는 방법이다. 이 방법에서는 얼굴 영상의 중앙영역에 부분적인 명암도 집중이 나타나 얼굴영상과 영상의 명암도 분포를 비교를 통해 검출하며, 주로 하향식 접근법을 사용한다.

규칙기반 알고리즘
규칙기반 알고리즘의 첫 번째 과정으로 얼굴영역을 크게 왼쪽/오른쪽 눈, 코, 입 4개의 부분에서 명암도가 높게 나타나는 것을 바탕으로 후보영역을 지정한다. [그림 3]은 샘플이미지에서 평균 명암도를 추출하는 과정을 나타낸다.


           [그림 3] 평균명암도 추출 과정  

평균명암도 추출 이후, 두 번째 과정으로 히스토그램 평활화(Histogram Equalization)에 의한 외각선 검출하게 된다. [그림 4]는 히스토그램 평활화 과정을 거쳐 이미지의 외곽선을 검출한 것이다. 검출한 정보를 이용하여 마지막 과정으로 DB에 저장되어 있는 자료의 눈과 입을 찾아 매치시킴으로 얼굴 검출을 수행한다.


[그림 4] 히스토그램 평활화(Histogram Equalization)에 의한 외각선 검출
  
하지만 위와 같은 지식기반 검출 방법은 얼굴의 기울기, 카메라를 바라보는 각도, 표정 등과 같은 얼굴의 다양한 변화가 있는 영상에서는 얼굴의 검출이 어렵게 되기 때문에 변화가 없거나 특별한 경우에만 적용이 가능하다는 단점이 있다. 


2. 특징 기반 얼굴 검출 방법(Feature-based  Face Detection Methods)

특징 기반 방법이란 얼굴 특징 성분(눈, 코, 입, 외곽선, 명암도)들의 크기와 모양, 상호 연관성, 얼굴의 색상과 질감(texture) 정보와 성분들의 혼합된 형태의 정보를 이용해서 얼굴을 검출하는 방법이다. 특정 기반 방법에서는 상향식 접근법을 사용하여 얼굴의 부분적인 특징을 찾고 후보영역(얼굴 특정 성분)을 통합하여 얼굴을 찾는 방법이다. 특징 기반 방법에서는 얼굴 특징, 질감, 피부 색, 다양한 특징들을 이용한 검출 알고리즘이 있다.

얼굴 특징을 이용한 알고리즘

얼굴 특징을 이용한 알고리즘들은 얼굴 특징을 잘 찾아 주는 효율적인 고유한 수식들을 이용하여 얼굴의 특징을 찾게 된다. 이를 위한 첫 번째 과정으로 Multi orientation, Multi scale Gaussian derivative filters를 이용하여 필터링 과정을 통한 특징 값을 찾는다. [그림 5]는 필터링하는 과정의 예이다.


           [그림 5] 필터링 과정

두 번째 과정으로 가우시안 분산을 이용하여 특징에 대한 상호거리를 구하고, 비교할 이미지에 가우시안 필터를 처리하고 Multi orientation, Multi scale Gaussian derivative filters의 방법에서 후보영역을 추출한다. [그림 6]은 얼굴 특징에 대한 상호거리를 계산한 예제이다.


       [그림 6] 얼굴 특징에 대한 상호거리 계산

마지막 과정으로 각 후보영역 간에 랜덤 그래프 매칭 기법을 이용하여 상호거리와 유사성을 비교한다. [그림 7]은 각 이미지에 대해 랜덤 그래프 매칭 기법으로 상호거리를 비교하는 예이다.


        [그림 7] 랜덤 그래프 매칭

피부색을 이용한 알고리즘

[그림 8]은 특징 기반 방법 중 피부색을 이용한 알고리즘의 수행한 예를 보여준다. 이 방법은 사람의 피부색 영역을 최대한 정확하게 추출할 수 있는 효율적인 수식을 이용하여 영상으로부터 얼굴 영역을 검출하여 얼굴 인식에 활용하게 된다.


       [그림 8] 피부색을 이용한 얼굴 검출 알고리즘의 예

특징 기반 얼굴 검출 방법들은 처리 시간이 빠르고 쉽게 얼굴을 찾을 수 있다고 포즈나 얼굴의 방향에 민감하지 않는 장점을 가지고 있다. 하지만, 피부색과 유사한 배경이나 개체에 대해 착오인식 할 수 있으며, 조명의 밝기 변화에 따라 얼굴의 색상 및 질감 정보를 잃을 수도 있다. 또한 얼굴의 기울어진 정도에 따라 얼굴의 특징 성분들을 검출하지 못할 수 있는 단점이 있다.


3. 템플릿매칭 기반 얼굴 검출 방법(Template matching-based Face Detection Methods)

템플릿 매칭 기반 얼굴 검출 방법은 대상이 되는 모든 얼굴에 대한 표준 템플릿을 만든 후, 입력 영상과 유사상관도를 비교하여 얼굴을 검출하는 방법으로 종류로는 사전 정의 템플릿알고리즘과 변형 템플릿 알고리즘이 있다. 템플릿 매칭 기반 얼굴 검출 방법은 준비된 이미지 자료에서 부분영역이나 외곽선을 이용하여 정보를 생성한 후, 만들어진 정보들은 각각의 알고리즘을 통해 변형시켜 유사 정보의 양을 늘려 얼굴 검출에 활용하게 된다.

변형 템플릿 알고리즘


첫 번째 과정으로 [그림 9]와 같이 얼굴영역의 명암을 이용하여 대칭관계를 계산한다.


        [그림 9] 명암을 이용한 얼굴의 특징 대칭

두 번째 과정으로 [그림 10]과 같이 절대 픽셀(pixel) 값보다 평균 면적 명암 값을 이용하여 템플릿(template)을 생성한다.



      [그림 10] 평균 면적 모양

마지막 과정으로 점분산 모델(Point Distribution Model : PDM)을 이용하여 [그림 11]과 같이 얼굴을 매치시킨다.


          [그림 11] 점분산 모델을 적용

[그림 12]는 변형 템플릿을 이용한 눈동자 검출방법의 예를 나타낸다.


       [그림 12] 변형 템플릿을 이용한 눈동자 검출

변형 템플릿 방법은 수식이 간단하여 쉽고 얼굴의 특징 성분이 검출이 용이하도록 존재해야 할 필요가 없기 때문에 조명 변화나 배경의 영향을 덜 받게 되고, 복잡한 배경에서도 얼굴의 검출이 가능하다는 장점을 가지고 있다.
하지만, 거리에 따른 얼굴의 크기 변화와 응시 방향에 따른 얼굴의 회전각도, 기울어짐 등에 민감하며, 지식기반 방법과 같이 각각 다른 포즈에 대하여 템플릿을 정의하기 어려운 단점이 있다.

4. 외형 기반 방법(Appearance-based Methods)

외형 기반 방법이란 패턴 인식을 이용하여 학습 영상 집합에 의해 학습된 모델을 이용해서 얼굴을 검출하는 방법이다. 얼굴 검출 분야에서 가장 많이 사용되는 방법 중 하나로 주성분 분석(Principal Component Analysis: PCA)에 의해 생성되는 고유 얼굴(eigenface), 선형판별식 해석(Linear Discriminant Analysis: LDA), 신경망(Neural Network: NN), 아다부스트(Adaboost), 서포트 벡터 머신(Support Vector Machine: SVM)을 이용하는 방법 등이 있다.

알고리즘 동작 과정

첫 번째 과정으로 학습시킬 얼굴 영상을 수집하고 negative와 positive 얼굴 영상으로 분류시킨다. 분류하는 이유는 positive 얼굴 영상에 랜덤하게 mirrored, rotated, translated, scaled 과정 등을 수행하게 되면 효과적으로 학습영상을 늘릴 수 있고 얼굴 검출 에러율을 낮출 수 있기 때문이다. [그림 13]과 [그림 14]는 학습시킬 영상을 positive와 negative로 분류한 얼굴 영상들의 예를 보여준다.


     [그림 13] positive 얼굴 영상들



       [그림 14] negative 얼굴 영상들

두 번째 과정으로 명암 값의 벡터를 이용하거나 이미지 스캔을 이용하는 holistic 방법과 이미지를 overlapping, non-overlapping 하는 가에 따르는 Block-based 방법을 이용하여 각 영상에 대한 표현 방법을 정의한다. 세 번째 과정으로 Masking, Illumination gradient correction, histogram equaliz
ation 등을 이용한 이미지 전처리과정을 수행한다.
마지막 과정으로 분류기를 통해 패턴인식 방법 등을 이용하여 학습시키고, 검색 방법들을 결정한다. [그림 15]는 분산 기반 알고리즘을 통해 분류된 모델을 보여준다.


        [그림 15] 분산 기반 알고리즘

뉴럴 네트워크(Neural Network) 기반 알고리즘은 데이터의 표현 적용 시 positive와 negative로 분류하며, 아다부스트(Adaboost) 알고리즘은 결정트리를 이용하여 어느 정도의 깊이(depth)를 만족하면 positive로 분류하게 된다. [그림 16]은 뉴럴 네트워크 알고리즘의 분류 처리 과정을 보여주고 있다.


      [그림 16] 뉴럴 네트워크 알고리즘

외형기반 방법들은 복잡한 영상에서 얼굴영역을 검출하기 위해 기존의 얼굴 영역과 얼굴이 아닌 영역의 학습 데이터 집단을 이용해서 학습되어진 고유 벡터들을 만들어내고 이를 이용해 얼굴을 찾는다. 이 방법은 다른 검출 방법들에서 언급된 여러 제약 조건들이 학습을 통해 극복되어지기 때문에 높은 인식률의 장점을 가진다. 하지만, PCA나 NN, SVM 등 외형기반 방법들은 데이터베이스 학습에 많은 시간이 필요하게 되고, 또한 데이터베이스가 변하게 되면 다시 학습을 시켜야 하는 단점이 있다.


<다음호에서는 개인의 프라이버시 제공을 위해 위와 같이 다양한 방법들에 의해 검출 및 획득된 얼굴 정보를 활용한 CCTV 기반 얼굴 인식 기법들에 관해 살펴보도록 하겠다.>


자료 협조:한국인터넷진흥원 




 

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.