CCTV기반 얼굴 인식 기법 이해
상태바
CCTV기반 얼굴 인식 기법 이해
  • CCTV뉴스
  • 승인 2010.01.04 00:00
  • 댓글 0
이 기사를 공유합니다

연재순서
1. CCTV 환경에서의 개인 프라이버시 정보보호의 필요성
2. CCTV 시스템 구축시 고려사항 및 구축사례에 대한 종류별 분류
3. CCTV 기반 얼굴 검출 기법 이해
4. CCTV 기반 얼굴 인식 기법 이해
5. CCTV 기반 바이오 정보 위협 요소
6. CCTV 기반 바이오 정보 보안 대책
7. CCTV 시스템에서의 보안 위협 요소
8. CCTV 시스템에서의 보안 대책
9. CCTV 시스템 구성요소별 보안 위협 및 방어 대책
10. CCTV 기반 얼굴검출 및 인식시스템 보안 프레임워크 구현방법


얼굴 인식(Face Recognition) 시스템의 분류?

얼굴 인식은 멀티미디어 영상을 통하여 얼굴을 검출한 뒤, 검출된 얼굴의 신원을 밝히기 위해 사용하는 방법이다.
영상으로부터 얼굴을 인식하는 알려진 방법들은 [그림 1]과 같이 크게 전체론적인 방법(Holistic methods), 특징값 기반의 방법(Feature-based methods)과 하이브리드 방법(Hybrid methods) 등  3가지 형태로 분류된다.




전체론적인 방법(Holistic methods)

전체론적인 얼굴 인식 방법에서 얼굴 인식 시스템의 입력은 얼굴 전체 영역을 사용한다. 일반적으로 전체론적인 얼굴 인식 방법은 쉽게 구현할 수 있는 장점을 가지고 있지만, 얼굴의 자세한 부분까지 고려하지 않기 때문에 충분한 결과를 얻기는 힘든 단점을 가진다.
전체론적인 얼굴 인식 방법은 주성분 분석(PCA), 선형판별 분석(LDA), 독립성분 분석(ICA), 텐서 얼굴(Tensorface)과 확률론적 결정 기반의 신경망(PDBNN) 방법 등을 포함한다.

1. 주성분 분석(PCA) 기반의 얼굴 인식?
PCA 방법은 주요한 구성요소라 불리는 아주 적은 수의 관계되지 않는 변수를 약간의 관계되는 변수로 변경을 하는 수학적인 절차를 이용한다. PCA는 주로 얼굴 이미지 사이에서의 핵심 특징을 식별 및 결정하기 위해 많이 사용되고 있다. 일반적으로 PCA 시스템은 학습과 인식 두 단계로 구성된다. 학습 단계에서는 얼굴 이미지들을 하나의 집합으로 모은 뒤 PCA를 이용하여 고유한 값과 고유한 벡터를 찾은 후 m개의 고유한 얼굴을 선택하고, 얼굴 영역에 얼굴 이미지를 투영한다.
[그림 2]는 PCA를 이용한 얼굴 학습 단계의 과정을 보여준다.



인식 단계에서는 각 각의 새로운 얼굴에 대하여 PCA를 사용하여 학습단계와 동일한 얼굴 영역에 투영한다. 그리고 모든 알려진 얼굴 집단의 간격을 찾는다.  [그림 3]은 PCA를 이용한 얼굴 인식 단계를 보여준다.



2. 선형판별 분석(LDA) 기반의 얼굴 인식?
LDA를 사용하게 되면 비슷한 얼굴 이미지들은 가깝게 모여서 투영되면 다른 얼굴 이미지들은 위치가 아주 먼 곳에 투영된다.

또한 서로 다른 부류의 얼굴 이미지들은 모두 섞여서 투영된다. Fisher 판별 분석이라고도 불리는 선형판별 분석은 클래스 사이(between-class) 분포와 클래스 내(within-class) 분포의 비율을 극대화하여 사용한다.
이러한 결과로 [그림 4]에서와 같이 동일한 얼굴 이미지들은 가깝게 이동시키고, 서로 다른 얼굴 이미지들은 멀게 이동시킨다.


투영하는 방법은 다음과 같다. 첫 번째로 얼굴 이미지는 PCA 방법을 통하여 얼굴의 부분 영역에 투사되어진다. 두 번째로 PCA 투영 벡터들은 부분 공간 안에 선형 분류를 만들기 위하여 LDA를 사용하여 투영되어진다. 마지막으로 LDA 방법의 고유한 값에 의해 유도되어진 측정된 가중 거리를 기반으로 국부 영역에 대한 성능을 개선시켜 활용하게 된다.
[그림 5]는 LDA 방법의 전체 처리 과정을 보여준다.



3. 독립성분 분석(ICA) 기반의 얼굴 인식?
ICA는 PCA를 일반화한 방법이다. ICA는 픽셀값들 사이의 우선순위 관계 인식을 통해 보다 우수한 기본 이미지를 찾는 방법이다.
[그림 6]과 같이 ICA의 투영은 PCA 투영보다 넓은 분포를 가진다. [그림 7]은 PCA, ICA 그리고 LDA 방법에 의해 추출된 서로 다른 고유한 얼굴 정보를 보여주고 있다.





ICA 방법의 가장 중요한 단계는 PCA와 동일한 방법을 사용하는 얼굴 인식 단계이다. 얼굴 이미지 데이터베이스는 ICA에 의해서 얼굴 영역에 투영되어진다.
또한 입력 얼굴 이미지는 동일한 얼굴 공간에 투영되어진다. 최종적으로 입력된 얼굴 사이의 거리와 얼굴 공간 안의 얼굴 데이터베이스에 있는 서로 다른 얼굴들은 인식을 위해 사용되어지게 된다.

4. 텐서 얼굴(Tensorface) 기반의 얼굴 인식?
텐서(Tensor)는 벡터 공간들의 집합상의 다중선형 매핑이다. 얼굴 이미지는 사람에 의한 다양한 요소(위치변화, 빛, 표정 등)들 때문에 차이점이 나타난다. Tensorface 방법은 요소들의 변화에도 인식하기 유리하게 만들기 위해 다중선형 분석을 사용하여 여러 가지 모델을 생성한다.
Tensorface의 장점은 이미지를 다중선형 분석을 통해 생성된 모델로 변경할 수 있는 것이다. Tensorface 방법에서 가장 핵심 단계는 PCA와 동일하다. 데이터베이스 안의 얼굴 이미지와 입력 이미지는 다중선형 매핑에 의해 동일한 얼굴 공간에 투영되어진다. 그런 뒤 입력 이미지와 다른 얼굴 이미지들 사이에 거리는 얼굴 인식을 위하여 사용되어진다.
[그림 8]은 Tensorface 방법의 전체 처리 과정을 보여주며 이 방법은 다중선형 구조를 사용한다. Tensorface 방법은 얼굴 이미지를 조립하고 분해하기 위하여 하나의 다중선형 프레임워크를(표정, 사람, 광조, 시각) 사용한다.



이로 인해 [그림 8]에서 보여주는 것과 같이 Tensorface 방법이 PCA 방법보다 인식률이 더 좋을 수도 있다.

5. 확률론적 결정 기반의 신경망(PDBNN) 기반의  얼굴 인식?
신경망과 통계학의 장점을 가진 확률론적 결정 기반의 신경망(PDBNN)는 얼굴 검출, 눈 위치 인식 그리고 얼굴 인식 등에 사용되어진다. PDBNN의 처리과정은 세 단계로 구성되어진다. 첫 번째로 PDBNN의 얼굴 검출은 이미지 안에서 얼굴의 위치를 찾는다.
두 번째로 얼굴의 특징요소 중 눈의 위치를 결정한다. 세 번째로 얼굴 특징을 추출한다.
마지막으로 얼굴 인식을 위해 PDBNN의 얼굴 식별자내에 얼굴 특징 벡터를 입력한다.
[그림 9]는 PDBNN의 전체 처리 과정을 보여준다.



특징 기반의 방법(Feature-based methods)

특징 기반 매칭 방법은 공간 특징(눈, 코 그리고 입)을 먼저 추출한 후, 공간 특징들의 위치와 공간 특성(기하학과 외형)이 인식 시스템에 입력된다. 특징 기반 방법은 얼굴에는 다양한 특징 정보들이 존재하기 때문에 얼굴 인식 성능을 높이기 위해 최적의 특징들을 어떻게 선택해야 하는지 등을 결정해야하기 때문에 상당히 복잡하다.
하지만 대표적인 특징 기반의 방법들인 순수 기하학적(Pure Geometry) 방법, 동적 연결 구조(Dynamic Link Architecture) 방법, 은닉 마르코프 모델(Hidden Markov model) 방법 등은 위 전체론적인 매칭 방법보다 더 좋은 성능을 가짐으로 많이 활용된다.

1. 순수 기하학적 방법(Pure geometry methods) 기반의 얼굴 인식?
일반적으로 얼굴 인식은 특징들을 매칭하여 정확도를 측정하는 방법으로 볼 수 있기 때문에, 순수 기하학적(Pure geo metry) 방법에서는 실제적인 얼굴 특징(눈, 코, 입)을 사람 얼굴의 관점과 이런 특징들의 기하학적인 관점의 설계로 정보가 구축하여 매칭에 활용한다. [그림 10]에서는 눈, 코, 입의 위치 관계와 [그림 11]에서는 눈과 코 거리, 눈과 입 거리를 이용하여 얼굴을 인식하는 과정을 보여주고 있다.





2. 동적 연결 구조(Dynamic Link Architecture) 기반의 얼굴 인식?
동적 연결 구조(DLA) 방법은 개별적인 얼굴을 나타내기 위하여 그래프 이미지를 사용하여 동적 연결 구조를 만든다. 하나의 얼굴 이미지를 나타내기 위한 이미지 그래프는 [그림 12]에서와 같이 에지에 의해 다양하게 연결된 노드들이 기하학적으로 구성되며 이러한 복잡한 가보 파형 계수 집합의 각 노드는 공간 특징 정보로 사용되어 진다.



DLA 방법의 처리 결과로 학습 영상 이미지 집합으로 부터 [그림 13]과 같이 최대한 일치하는 이미지 그래프 묶음으로 표현되어지게 된다.


새로운 얼굴 이미지에 대한 얼굴 인식을 수행할 때에는 학습된 집합에 있는 각 그래프 이미지와 매칭 과정을 수행하게 되고, 이때 가장 우수한 매치 결과가 [그림 14]에서 보여주는 것과 같이 인식된 사람임을 확인하게 된다.



3. 은닉 마르코프 모델(Hidden Markov model)  기반의 얼굴 인식?
은닉 마르코프 모델(HMM)은 얼굴 인식을 위하여 먼저 알려지지 않은 얼굴 이미지들로부터 특징 시퀀스 값들을 추출하는 코딩(Coding) 과정을 수행하게 된다. 이 과정에서 실험 조건의 설정은 올바른 특징 값 추출을 위한 핵심 열쇠가 된다. 이후 통계적 분류기(Statistical classifier)를 이용한 개별 클래스 단위 학습, 개별 학습 시퀀스 단위 학습, 혼합 분류(Mixed classification) 과정을 통해 학습 결과 값을 생성하여 얼굴 인식에 활용하게 된다. [그림 15]는 하나의 얼굴에 대해 HMM을 적용한 예를 보여주며, [그림 16]은 HMM의 전체 처리과정을 보여준다.





하이브리드 방법(Hybrid methods)?

하이브리드 방법에서는 위치 특성과 더불어 하나의 얼굴을 인식하기 위하여 얼굴 전체 영역을 사용하기 때문에 매우 복잡하지만 인식률은 전체론적인 매칭 방법과 특징 기반의 매칭방법들에 비하여 월등히 우수하다. 하이브리드 방법에는 선형 특징 분석(LFA), 형태 정규화(Shape-Norm alized) 방법과 컴포넌트 기반(Component-based) 방법 등이 있다.

1. 선형 특징 분석(LFA) 기반의 얼굴 인식?
LFA는 개별적인 특징들을 고려하는 방법으로 각각의 얼굴에 있는 특징들(코, 눈썹, 입)을 선택한 후 이를 인식에 활용한다. 이러한 개별 특징들의 조합은 사람마다 다르게 형성되어 진다.
[그림 17]은 얼굴에 있는 특징들의 예를 보여 주며, 이런 특징 점들과 선들은 다른 얼굴 이미지들과 비교를 할 수 있기 때문에 얼굴 인식에 사용되어 질 수 있다.



이 방법을 이용한 얼굴 인식의 한 예를 들면, 누군가의 얼굴을 인식하기 위해 컴퓨터는 [그림 18]과 같이 하나의 이미지로 부터 LFA를 이용한 얼굴의 평균값 기반의 랜덤한 패턴을 만든 후 데이터베이스 내에 저장된 패턴과 비교를 한다. 만약 매칭되는 패턴이 없다면 다시 새로운 패턴들을 만든 후 일치하는 얼굴 이미지 패턴이 검색될 때까지 매칭을 수행한다.



2. 형태 정규화(Shape-Normalized) 기반의 얼굴 인식?
형태 정규화 방법은 [그림 19]와 같이 모델링(Modelling)과 식별(Identification)의 두 가지 단계로 구성된다.



먼저 얼굴 인식을 위해서 형태 정규화 시스템은 Flexible Shape 모델 학습, Local Grey Profile 모델 학습, Shape-free Gree 모델 학습의 3가지 모델링(Modelling)을 수행하여 학습 결과 값을 유도하게 된다. 이후 식별 단계에서 테스트 이미지로부터 위 3가지 모델링과 비교 분석을 위한 적합한 식별 특징 값들을 유도하여 얼굴인식을 수행하게 된다.

3. 컴포넌트 기반의 얼굴 인식?
컴포넌트 기반 얼굴 인식 방법에서는 [그림 20]과 같이 컴포넌트 기반 검출자에 의해 주어진 입력 이미지안의 얼굴을 검출한 후 얼굴 인식을 위해 사용되어질 개별 얼굴 컴포넌트들을 추출한다.



[그림 21]은 컴포넌트 기반의 얼굴 검출 시스템의 전체 처리과정을 보여준다.



컴포넌트 기반의 얼굴 검출 시스템은 두 가지 단계가 있다. 첫 번째 단계는 14개의 독립된 컴포넌트 분류자(선형 서포트 벡터 머신)들로 구성되어진다. 두 번째 단계는 얼굴에서 최종 검출을 하기 위하여 결합 분류자(선형 서포트 벡터 머신)가 실행되어진다.

<다음호에서는 CCTV 환경에서 개인 인증을 위해 사용되는 얼굴 정보 등의 바이오 정보 보안 위협 요소들에 관해 살펴보도록 하겠다.>



자료 협조:한국인터넷진흥원




댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.