이 시각 주요 뉴스

여백

서베일런스 시스템에서 SVDD와 SRC를 이용한 범죄 용의자 얼굴 식별

CCTV뉴스l승인2011.12.06 00:00:00

크게

작게

메일

인쇄

신고

  
 본 고에서는 비디오 서베일런스 시스템에서 탐지된 얼굴 이미지를 이용하여 범죄자 감시목록에 등록된 범죄 용의자를 식별하는 시스템을 설계 및 구현하였다. 특히 제안된 SVDD와 SRC를 혼합한 계층적 구조의 범죄 용의자 식별 시스템은 다음과 같은 시스템 설계 요구사항들을 모두 만족하는 차원에서 설계 및 구현되었다: 1) SVDD를 이용하여 범죄 용의자만을 빠르게 인식함으로써, 일반인에 대한 불필요한 범죄자 식별 연산을 수행하지 않는다; 2) 식별 성능을 저해하는 다양한 환경에서도 이미 강인한 성능이 검증된 SRC를 범죄 용의자 식별과정에 적용함으로써 안정적이고 정확한 식별 성능을 보장한다; 3) 동일 생체 특징의 반복적 사용을 통한 다수결 투표전략을 취함으로써 시스템의 신뢰도를 보장한다; 4) 점증적 갱신의 학습 능력으로 인하여 범죄 용의자 감시목록 데이터베이스의 변화에도 능동적으로 적응한다. 실제 KUFD(Korea University Face Database)를 자체 제작하고 캠퍼스 내에서 CCTV 환경의 범죄 용의자 얼굴 탐지 및 식별 시스템 환경을 모의 구축하여 실험적으로 제안된 프로토타입 시스템의 성능을 검증한다.

지난 2001년 발생한 9.11 테러 사태는 미국을 중심으로 세계 각국이 개인 및 공공의 안전을 위하여 보다 강화된 국토보안(homeland security) 기술의 개발에 많은 투자를 하게 되는 계기가 되었으며, 이와 더불어 생체 인식을 통한 출입 관리 및 영상 보안 감시에 대한 수요가 급속하게 증가하고 있다[1-2]. 전통적인 CCTV(Close-Circuit Television) 영상 감시 혹은 비디오 서베일런스 시스템(video surveillance system)은 모니터를 이용하여 보안상황을 관리자가 직접 감시하거나 DVR(Digital Video Recorder) 등으로 영상을 저장한 후 사후에 저장된 영상을 검색하여 적절한 대응을 취하는 다소 수동적인 물리적 보안 시스템을 의미한다. 그러나 최근 CCTV 카메라의 급속한 보급에 따른 사람에 의한 직접감시 및 분석의 한계, 사후처리가 아닌 실시간 감시 시스템에 대한 요구 증대 등에 따라 보다 효율적인 영상처리 및 지능적인 분석 방법을 지원하는 영상 감시 시스템을 요구하고 있다[1-2].
얼굴 인식 기반의 영상 감시 시스템에 관한 선행 연구로서, Abbas 등[2]은 뉴스 비디오 영상에서 얻은 얼굴 이미지와 사진을 이용하여 범죄자 감시목록에 등록된 범죄 용의자를 식별하는 시나리오를 제안하였으며, Tsalakanidou 등[3]은 자세와 조명 변화에 강인한 얼굴 인식 시스템을 구현하기 위해 이미지를 3D 이미지로 변환한 뒤 2D 이미지와 합성하여 얼굴 이미지 데이터로 사용하였다. 위 연구들은 모두 CCTV 감시 환경에서 범죄자 감시목록에 등록된 범죄 용의자를 인식하는 시나리오를 기반으로 연구를 진행하였지만, 얼굴 인식 기반의 영상 감시 시스템이 요구하는 다양한 기준들 중, 강인한 얼굴 인식 기술만을 강조하여 연구되었다. 반면, Kang 등[4]은 범죄 용의자의 출입을 제한하는 특정 목적의 얼굴 인식 기반의 출입 관리 시스템을 제안하였다. 그러나 사용된 방법론인 이진트리 구조를 갖는 다중 클래스 SVM(Support Vector Machine)의 성격상, 과도한 학습을 요구하는 기계학습(machine learning)의 문제점 및 계속적으로 변화하는 범죄 용의자 감시목록에 대한 유연한 대응전략의 부재라는 문제점을 갖는다.
본 고에서는 얼굴 인식 기반의 범죄 용의자 탐지 및 식별 시스템을 출입관리 시스템의 부 시스템 혹은 얼굴 인식 연구의 한 아류 연구가 아닌 독립된 연구 대상으로 설정하고 학술적 관점 및 시스템적 관점을 모두 고려하여 시스템을 설계 및 구현하고자 한다. 먼저, 본 고에서는 다음과 같이 얼굴 인식 기반의 범죄 용의자 식별 시스템이 가져야만 하는 4가지 시스템 설계 요구사항들을 설정하고 이를 모두 만족하는 차원에서 새로운 시스템을 제안한다: 1) 신속한 범죄 용의자 인식 및 계산비용의 절감; 2) 조명 및 표정의 변화, 변장 등에도 강인한 얼굴 인식을 보장하는 범죄 용의자 식별; 3) 대용량의 데이터베이스에서 실시간 얼굴 인식이 가능하며 동시에 높은 인식 정확률을 보장하는 안정적인 범죄 용의자 식별; 4) 범죄 용의자 감시목록 데이터베이스의 변화에도 능동적으로 적응하는 점증적 갱신(incremental updating)의 학습 능력.
제안된 시스템은 크게 얼굴 탐지 모듈과 범죄 용의자 식별 모듈로 구성된다. 얼굴 탐지 모듈은 이미지로 전환된 CCTV영상에서 얼굴을 탐지한 뒤, NMF(Non-negative Matrix Factorization)를 이용하여 얼굴 이미지를 얼굴 특징 벡터로 변환한다. 범죄 용의자 식별 모듈은 단일클래스 SVM의 대표적인 모델인 SVDD(Support Vector Data Description)와 최근 얼굴 인식 분야에서 성공적인 업적을 보여주고 있는 신호 처리 분야의 SRC(Sparse Representation Classifier)를 계층적으로 구성한 구조이다. 첫 번째 계층의 SVDD는 탐지된 얼굴 이미지가 범죄 용의자 감시목록 데이터베이스에 등록되어 있는지를 신속하게 판단하여, 범죄 용의자로 분류되면 이를 관리자에게 즉시 통보한다. 두 번째 계층의 SRC는 범죄자 감시목록에 등록된 범죄 용의자의 신원을 강건하게 식별하여 그 결과를 관리자에게 추가 보고한다. 본 고에서 제안한 범죄 용의자 식별 시스템은 자체 제작한 KUFD와 CCTV에서의 얼굴 인식 기반 범죄 용의자 탐지 및 식별 시스템 환경을 캠퍼스 내에서 모의 구축하여 실험적으로 성능을 검증하고자 한다.
본 고의 구성은 다음과 같다. 2장에서는 본 고에서 제안하는 얼굴 인식 기반의 범죄 용의자 탐지 및 식별 시스템의 전체적인 구조에 대해 개괄적으로 설명하고, 3장에서는 범죄 용의자 식별 모듈에 대하여 기술한다. 4장에서는 실험 결과 및 성능 분석을 서술하고, 5장에서는 결론 및 향후 연구과제에 대하여 논한다.

CCTV기반의 범죄 용의자 탐지 및 식별시스템 구조

본 고에서 제안하는 시스템의 구조는 그림 1과 같다.
  


그림 1. 범죄 용의자 탐지 및 식별 시스템의 구조

제안된 얼굴 인식 기반의 범죄 용의자 탐지 및 식별 시스템은 크게 얼굴 탐지 모듈과 범죄 용의자 식별 모듈로 구성되며, 다음과 같은 절차로 수행된다. 1) 특정 지역 감시를 위해 설치된 CCTV에서 영상을 취득한다; 2) 취득한 영상을 이미지로 변환한다; 3) 얼굴 탐지 모듈은 감시 영상에 사람이 포착되면 얼굴 부분을 탐지하고, 얼굴 인식을 위하여 이미지를 NMF 이용하여 특징 벡터로 변환한다; 4) 범죄자 식별 모듈은 SVDD를 통한 범죄 용의자 여부를 판별한 뒤, SRC를 사용하여 범죄 용의자의 신원을 정확하게 식별한다.

범죄 용의자 인식 및 식별 모듈

첫 번째 계층: SVDD를 이용한 범죄 용의자 인식

CCTV를 이용한 범죄 용의자 식별 시스템의 가장 중요한 목적은 감시 영상에 나타난 사람의 범죄 용의자 여부를 신속하게 판별하는 것이다. 범죄 용의자 여부의 판별 문제는 단순히 얼굴 이미지의 범죄 용의자 여부를 확인하는 과정이므로, 이진 클래스 분류 문제(binary classification)가 아닌 단일 클래스 분류(one class classification) 문제로 보는 것이 보다 합리적이다. 이진 클래스 분류를 위해서는 각각 클래스의 훈련 집합에 사용하기 위한 데이터의 양이 일정해야 하나, 범죄 용의자 여부 판별 문제에서는 입력되는 대부분의 얼굴 이미지는 일반인(정상 데이터)인 반면 일부의 데이터만이 범죄 용의자(비정상 데이터)이다. 따라서 훈련 집합의 스팩트럼 및 크기에 많은 차이가 난다. 이로 인하여 이진 분류기인 SVM을 이용하여 일반인 또는 범죄 용의자로 분류(인식)할 경우, 관측되지 않은 영역을 포함하여 결정 경계면을 생성하므로 새로운 테스트 데이터에 대해서 오분류를 할 가능성이 높다. 결국 해당 클래스만을 독립적으로 표현하는 단일 클래스 SVM으로 결정 경계면을 결정하는 것이 보다 효율적이다.
본 고에서는 단일 클래스 SVM의 가장 대표적인 방법론인 SVDD[5]를 사용하여 본 시스템의 첫 번째 계층에서 범죄 용의자 여부를 신속하게 판단하고자 한다. 또한, 첫 번째 계층을 통과한 범죄 용의자에 대해서만 두 번째 계층에서 얼굴 식별을 수행함으로써, 일반인에 대한 식별 연산을 수행하지 않는다. 그 결과 얼굴 식별 계산량을 대폭 줄일 수 있다는 또 다른 장점이 있다.
영상 감시 시스템은 그 목적상, CCTV에 범죄 용의자가 나타나면 이를 반드시 인식하고 식별해야만 한다. 그러나 식별 모듈의 SVDD는 다음과 같은 문제가 존재한다: 1) 범죄 용의자를 일반인으로 오분류하여 감시 시스템의 신뢰성에 큰 문제를 야기하는 치명적인 오류; 2) 일반인을 범죄 용의자로 오인식. 본 시스템에서는 동일 생체 특징을 여러 번 획득하여 사용하는 방법[6]을 이용하여 SVDD의 문제점을 해결하고자 한다. 즉, 얼굴 식별 모듈의 첫 단계인 SVDD에서 개인당 1장이 아닌 3장의 얼굴 이미지를 CCTV 영상에서 연속적으로 취득하여 사용한다. 한 사람당 얼굴 이미지 3장을 사용하여 다수결 투표전략(majority voting strategy)을 취한다면, 1장의 얼굴 이미지에서 인식 오류가 발생한다고 해도 나머지 2장의 다수결 인식결과를 통하여 보다 안정적으로 정확한 인식 결과를 얻을 수 있다.

두 번째 계층: SRC를 이용한 범죄 용의자 식별

신호 처리 분야에서 효과적인 압축과 복원을 위해 전통적으로 연구되었던 SR(Sparse Representation)이 최근 얼굴 인식 분야에서도 성공적인 업적을 보여주고 있다[7-8]. SR을 이용한 교사 학습 방법, 즉 SRC는 저해상도, 다양한 조명 변화, 원 이미지에 다른 이미지가 겹치거나 변질된 이미지, 변장한 경우 등 식별 성능을 저해하는 다양한 환경에서도, 정면 얼굴 이미지를 차원 축소 방법을 사용하지 않고서도 매우 높은 얼굴 인식률을 보장한다고 보고되고 있다[8]. 얼굴 이미지를 SRC에 적용한 결과, 입력 얼굴 데이터가 속하는 클래스에서만 상대적으로 높은 소속값을 가지며, 속하지 않는 클래스에서는 대부분 0 값을 갖거나 낮은 값을 갖는다. 이 때 0 값을 갖는 클래스들의 수가 매우 많으므로 이를 SR이라 한다[8]. 본 고에서는 [8]에서 사용한 알고리즘을 범죄 용의자 얼굴 식별 문제에 적용하였다.

 
  


SRC 기반의 얼굴 식별 모듈의 또 다른 장점은 점증적 갱신이 가능하다는 점이다. SRC 기반의 얼굴 이미지 분류 문제에서 각 얼굴 이미지는 행렬 A의 열벡터(column vector)로 표현된다. 따라서, 범죄자 감시목록에 등록된 범죄 용의자의 얼굴 이미지가 추가되거나 삭제되는 경우에는 해당되는 열벡터들만 행렬 A에서 추가되거나 삭제됨으로써 갱신이 가능하다. 또한 기계학습 입장에서 보았을 때, SRC는 게으른 학습자(lazy learner)로서 선행 학습을 하는 적극적 학습자(eager learner) 와는 달리 풀어야 할 문제가 발생했을 경우에만 반응하는 문제 해결자이다. 결국, SRC는 과도한 학습을 요구하는 기계학습 알고리즘의 고질적인 문제점을 피해갈 수 있을 뿐만 아니라, 점진적 갱신의 특성으로 인하여 계속적으로 변하는 범죄 용의자 감시목록에 유연하게 대처할 수 있다.

실험 및 결과 분석

본 고에서 제안한 범죄 용의자 식별 시스템의 성능을 실험적으로 평가하기 위하여, 제안된 시스템은 MATLAB과 sparse representation solver인 SparseLab[9]을 이용하여 구현하였다. 얼굴 이미지 데이터베이스는 자체 제작한 KUFD를 사용하였다. 컴퓨터 환경은 Intel® Core™ i3 CPU 530 @ 2.93GHz, RAM 2G. 운영체제는 Windows 7 32bit이다.
KUFD는 일정한 조명이 비추는 실내에서 웹캠(webcam)을 이용하여 다양한 얼굴 표정의 영상들 중 정면에 가까운 얼굴 이미지를 수집한 후, 얼굴 영역만을 잘라내어 제작하였다. 28명, 각 30장, 총 840장이며 크기는 90×90의 JPG 형식이다. KUFD 샘플 이미지들은 그림 2와 같다. 얼굴 인식 및 식별 실험 시, KUFD를 8-bit gray scale로 변환한다. 크기의 변화는 없으며, 노름(norm)이 1인 단위 벡터로 정규화하였다.

  


그림 2. KUFD 샘플 이미지들

첫 번째 실험은 얼굴 식별 모듈의 첫 단계인 SVDD에서 범죄 용의자 여부를 판별하는 분류(인식) 성능을 확인하였다. 먼저, SVDD에 입력할 얼굴 이미지의 특징 벡터를 구성하기 위해 열벡터로 변환된 얼굴 이미지 정보를 NMF를 통하여 160차원으로 축소하였다. 28명의 얼굴데이터에서 범죄 용의자 10명, 일반인 18명으로 나누었다. 10명의 범죄 용의자 얼굴 이미지에서 각 27장, 총 270장을 이용하여 범죄 용의자 단일 클래스(SVDD)를 학습 시킨다. 학습에 사용하지 않은 범죄 용의자의 얼굴 이미지 3장과 일반인 18명에서 각 3장씩 총 84장의 이미지로 테스트 데이터를 만들어 실험하였다. 실험 결과 95.2%의 높은 성능으로 일반인과 범죄 용의자를 분류 하였다. 높은 분류 성능에도 불구하고, 범죄 용의자 인식과정에서 범죄 용의자를 일반인으로 오분류 하는 경우는 시스템의 신뢰도에 악영향을 미치는 매우 심각한 문제이다. 이러한 심각한 오류를 방지하기 위해, 한 명의 얼굴 이미지 3장을 연속적으로 평가하였다. 실험에서 범죄자를 일반인으로 분류한 경우를 확인한 결과 범죄 용의자 1장의 이미지는 일반인으로 오분류 되었으나, 나머지 2장은 모두 범죄 용의자로 분류되었다. 결국, 본 시스템은 이미지당 분류율은 95.2%이나, 다수결 투표 전략을 취하여 계산하면 사람 당 인식률이 100%인 안정성을 보장하는 시스템임을 실험적으로 확인하였다. 또한, 일반인을 범죄자로 오인식한 경우에도, 동일 생체 특징을 여러 번 획득하여 다수결 투표 전략을 취함으로써 시스템의 안정적인 신뢰도를 보장할 수 있었다.
두 번째 실험은 KUFD를 이용하여 SRC의 얼굴 식별 성능을 확인한다. 상위 계층의 SVDD는 CCTV에서 탐지된 사람이 범죄자 감시목록에 등록된 범죄 용의자라는 것을 인식할 뿐, 용의자의 신원을 식별할 수는 없다. 따라서 범죄 용의자의 신원을 정확하게 식별하기 위하여 SRC를 이용한다. KUFD 데이터 28개의 클래스에서 한 사람 당 10장을 학습 데이터, 나머지 10장은 테스트 데이터로 사용하였다. 얼굴 식별률 계산을 위해 Top rank에 대한 결과만을 이용하였다. KUFD를 이용하여 기존의 얼굴 식별 방법인 PCA, SVM 와 SRC의 식별 성능을 비교한 결과 각각 97.1%, 97.2%, 99.4%의 식별 결과를 보였으며, SRC는 99.4%라는 높은 성능을 확인하였다. 본 고에서 제안한 범죄 용의자 식별을 위한 계층적 구조 방법론과 다른 고에서 사용된 방법론과의 비교를 종합적으로 표 1에 정리하였다.

  


결론 및 향후 연구

본 고에서는 CCTV 감시 영상에서 취득한 얼굴 이미지를 이용하여, 범죄자 감시목록에 등록된 범죄 용의자를 탐지·식별하는 시스템을 설계 및 구현하였다. 범죄 용의자를 식별하기 위하여 본 고에서 제안된 SVDD와 SRC를 혼합한 계층적 구조는 다음과 같은 특성(시스템 설계 요구사항)을 갖는다. 먼저 SVDD를 이용하여 범죄 용의자만을 빠르게 인식함으로써, 일반인에 대한 불필요한 신원 식별 연산을 수행하지 않는다. 둘째, 식별 성능을 저해하는 다양한 환경에서도 이미 강인한 성능이 검증된 SRC를 범죄 용의자 식별과정에 적용함으로써 안정적이고 정확한 식별 시스템을 보장하였다. 셋째, 동일 생체 특징의 반복적 사용을 통한 다수결 투표전략을 취함으로써 시스템의 신뢰도를 보장할 수 있었다. 넷째, 점증적 갱신의 학습 능력으로 인하여 범죄 용의자 감시목록 데이터베이스의 변화에도 능동적으로 적응할 수 있었다.
본 고에서 제안한 프로토타입(prototype)의 얼굴 인식 기반 범죄 용의자 탐지 및 식별 시스템은 자체 제작한 KUFD와 캠퍼스 내에 모의 구축한 실험환경에서 그 우수성이 검증되었으나, 실 세계에서 구현 및 운용하기 위해서는 여러 가지 실용적 차원의 추가 연구가 요구된다.


참 고 문 헌
[1] J. H. Yu, K. Y. Mun, and H. S. Jo, "Trends in Intelligent Video Surveillance," Trend and Analysis in Electronics and Telecommunications, vol. 23, no. 4, pp. 80-88, 2008. (in Korean)
[2] J. Abbas, C. K. Dagli, and T. S. Huang, "Video Face Recognition Against a Watch List," Proc. of the SPIE, vol. 6741, pp. 67410F. 2007.
[3] F. Tsalakanidou, S. Malassiotis, and M. G. Strintzis, "A 2D+3D Face Identification System for Surveillance Applications," IEEE Conference on Advanced Video and Signal Based Surveillance, pp. 194-199, 2007.
[4] B. S. Kang, H. S. Jung, H. S. Lee, Y. H. Im, Y. H. Chung, and D. H. Park, "Real Time Watch List Identification System using a Hybrid Hierarchical SVM," Journal of Security Engineering, vol. 7, no. 5, pp. 479-493, 2010. (in Korean)
[5] J. Y. Song, H. S. Lee, Y. H. Im, and D. H. Park, "Real-time Face Detection System using Cascade structure and SVDD," Proc. of KIISE Korea Computer Congress, pp.763-765, 2005. (in Korean)
[6] S. Prabhakar and A. K. Jain, "Decision-level Fusion in Fingerprint Verification," Journal of Pattern Recognition, vol. 35, no. 4, pp. 861-874, 2002.
[7] Y. Ji, T. Lin, and H. Zha, "Mahalanobis Distance Based Non-negative Sparse Representation for Face Recognition," International Conference on Machine Learning and Applications, pp. 41-46, 2009.
[8] J. Wright, A. Y. Yang, A. Ganesh, S. S. Sastry, and M. Yi, "Robust Face Recognition via Sparse Representation," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 2, pp. 210-227, 2009.
[9] Stanford SparseLab, http://sparselab.stanford.edu/

<교육과학기술부의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 >
<본 내용은 이종욱, 강봉수, 이한성, 정용화, 박대희 연구, 한국정보과학회 논문지에 게재된 논문을 바탕으로 정리한 것입니다>

 
CCTV뉴스  webmaster@techworld.co.kr
<저작권자 © CCTV뉴스, 무단 전재 및 재배포 금지>

CCTV뉴스의 다른기사 보기
여백
여백
여백
여백
매체소개공지사항보안자료실기사제보광고문의불편신고개인정보취급방침청소년보호정책이메일무단수집거부    [기사ㆍ기고 문의 : desk@cctvnews.co.kr]
(주)테크월드 08507 서울특별시 금천구 가산디지털1로 168, 1012-1호 (가산동, 우림라이온스밸리 C동)  |  제호: 씨씨티브이뉴스  |  발행일: 2009년 2월 19일
대표전화 : 02)2026-5700  |  팩스 : 02)2026-5701  |  이메일 : webmaster@techworld.co.kr  |  청소년보호책임자 : 박지성
통신판매업신고번호 : 제 2008-서울금천-0415 호  |  발행·편집인 : 박한식  |  인터넷신문등록번호 : 서울, 아 00607  |  등록일 : 2008.06.27
Copyright © 2019 CCTV뉴스. All rights reserved .