상용 얼굴인식 기술의 성능분석
상태바
상용 얼굴인식 기술의 성능분석
  • 이광재
  • 승인 2013.02.06 00:00
  • 댓글 0
이 기사를 공유합니다

연 재 순 서

1. CCTV 영상에서의 얼굴 검출 기술 소개
2. CCTV 영상에서의 얼굴 인식 기술 소개
3. CCTV 영상에서의 고성능 얼굴 인식엔진 설계 및 구현
4. 상용 얼굴인식 기술의 성능 분석
5. 얼굴인식 기술의 상용화 동향


김 진 호 경일대학교 전자공학과 교수
anyface2009@gmail.com

-1986.02 경북대학교 전자공학과(공학사)
-1988.02 경북대학교 전자공학과(공학석사)
-1992.02 경북대학교 전자공학과(공학박사)
-1992.03 ~ 현재 경일대학교 전자공학과 교수


 

연구관심분야 : 패턴인식, 영상처리 및 컴퓨터비젼


주요연구내용 : 안면인식관련 국제 공동과제(중동,미국,동남아시아 등)를 수행하고 있으며 차량번호판인식관련 국내 상용화에 성공하고 국외수출을 위한 개발 과제를 진행하고 있다.



1. 서론
최근 국제적으로 고성능의 상용 얼굴 인식 제품들이 많이 발표되고 있다. 지난 2005년부터 지금까지 얼굴 인식관련 학계 및 업계 정보를 지속적으로 제공하고 있는 얼굴인식 홈페이지(FACE RECOGNITION HOMEPAGE:www.face-rec.org)에 따르면 국제적으로 11개의 회사에서 얼굴 인식관련 상용 SDK를 공급하고 있고 12개의 회사에서 얼굴 인식 응용 제품들을 발표하고 있다. 얼굴 인식관련 제품을 공급하는 각 회사들은 오픈 얼굴 인식 데이터베이스를 대상으로 제품의 얼굴 인식 성능을 분석해서 발표하거나 데모버전의 SDK를 제공해 고객들이 직접 테스트할 수 있도록 하고 있다. 

[그림 1] 얼굴 인식 모드 동작 흐름도


본 고에서는 상용 얼굴 인식 기술의 성능 분석을 위해 ① FERET 얼굴 영상 데이터베이스[1]에 대해서 국제 최고 수준이라고 발표된 코그니텍시스템즈게엄바하(Cognitec Systems GmbH) FaceVACS[2]의 얼굴 인식 기술 성능, ② 미국 NIST주관 FRVT2006 [3] 및 MBE2010[4] 상용 제품 성능평가에 참여해서 우수한 성능을 보인 L-1아이덴티타솔루션(L-1 Identity Solution)[5]의 얼굴 인식 기술 수준을 소개하고 ③ 룩샌드(LUXAN D)의 FaceSDK[6] 그리고 누로테크놀로지(NEURO technology)의 베리룩(VeriLook)[7] 등 두 회사 SDK를 실행시켜 본 결과를 소개하고자 한다.

                                                                                         [그림 2] 얼굴 인증 모드 동작 흐름도


시스템의 성능을 분석하기 위해 [그림 1]과 같은 얼굴 인식(identification) 모드에서의 성능과 [그림 2]와 같은 얼굴 검증(verification) 모드에서의 성능을 각각 평가할 수 있었다. 얼굴 인식 모드에서는 임의의 입력 얼굴 영상에 대해서 얼굴 데이터베이스에 등록된 얼굴들과 비교해서 누구인지를 얼마나 잘 알아내는 가에 대한 성능을 평가할 수 있다.

얼굴 인증 모드에서는 각 개인이 자신의 신원을 주장하면서 제시한 얼굴 영상에 대해서 데이터베이스에 등록된 동일 인물의 템플릿과 비교해서 신원이 일치하는지 여부를 얼마나 잘 판단해낼 수 있는가에 대한 성능을 평가할 수 있다.

2. 최근 FERET 데이터베이스에 대해 국제 최고 수준의 성능을 보인 제품
2012년 12월에 코그니텍 시스템즈 게엠 바하사에서 발표한 FaceVACSⓡ 얼굴 인식 엔진의 그레이 스케일(Gray scale) FERET의 Duplicate I 데이터 집합에 대한 인식 결과가 국제 최고 수준의 성능을 보이고 있다.


Juergen Richter 등 공동 설립자 5인이 1995년도부터 각기 다른 회사 소속으로 얼굴인식 엔진 개발에 참여해오던 중 2002년도에 독일에서 코그니텍 시스템즈 게엠 바하를 설립했고, 2003년도에 프랑크푸르트 국제공항에 안면인식 시스템을 시험적으로 설치하면서 유명해지기 시작했다.

 

[그림 3] 코그니텍 시스템즈 게엠 바하사 로고 및 홈페이지 화면


회사 설립이후 단지 안면인식 기술개발 및 사업화에만 초점을 맞춰온 덕분에 최근에 우수한 인식 성능의 제품들을 발표하게 됐다.

독일 드레스덴에 본사를 두고 있으며 미국, 브라질, 홍콩, 유럽 등지에 사무소를 두고 있다. 코그니텍 시스템즈 게엠 바하사의 FaceVACS는 최근까지 발표된 상용 얼굴 인식 SDK 중에서 그 성능이 매우 우수하다고 알려져 있다. 여기서 코그니텍 시스템즈 게엠 바하사의 얼굴 인식 엔진인 FaceVACS에 적용된 B7T8 알고리즘의 성능에 대해서 알아본다.

B7T8 Algorithm Performance
코그니텍 시스템즈 게엠 바하사는 FaceVACS SDK에 사용된 B7T8 알고리즘을 이용해 그레이 스케일 FERET의 Duplicate I 데이터 집합에 대해서 "closed-set identifi cation", "open-set identification" 그리고 "verification" 시나리오에 따라 얼굴 인식 시뮬레이션을 수행하고 그 결과[2]를 발표했다.

"closed-set identification"은 얼굴 인식 시스템이 얼굴 영상 데이터베이스에 등록돼 있지만 현재 누구인지 모르는 사람의 얼굴 영상에 대해서 그가 누구인지를 결정하도록 시도하는 것이다. 성능은 각 개인 영상들에 대해서 시스템의 얼굴 영상 데이터베이스 중에서 가장 최고값으로 매칭된 회수로 측정하게 된다.

"open-set identification"은 얼굴 인식 시스템이 누구인지 모르는 얼굴 영상에 대해서 먼저 그 얼굴 영상이 시스템의 얼굴 영상 데이터베이스에 속해있는지에 대한 여부를 결정한 다음, 데이터베이스에 속해 있다면 데이터베이스 내에서 그 인물이 누구인지를 찾아내는 것이다.

이것은 일반적으로 알려져 있는 "closed-set identification"과는 구분되며 일반 대중을 대상으로 얼굴 인식 기술을 이용해서 수배자 명단에 등록된 범죄자(watchlist)를 찾아내는 것과 동일한 동작을 수행하는 것이기 때문에 좀 더 실제적인 얼굴 인식 성능 평가로 볼 수 있다.

FERET은 1개의 gallery 얼굴 영상 집합과 4개의 probe 얼굴 영상 집합으로 구성돼 있다. 그 중에서  FERET Duplicate I 집합의 테스트는 다음과 같은 방식으로 이뤄진다. 즉, gallery 얼굴 영상 집합은 1181명으로부터 촬영한 1196장(몇 사람은 두 장의 사진을 촬영함)의 사진으로 구성되어 있고 probe 얼굴 영상 집합은 242명으로부터 촬영한 722장의 사진으로 구성돼 있다.

모든 사진은 여권 사진과 같이 완전 정면으로 찍거나 거의 정면으로 찍은 것이다. 영상의 해상도는 비교적 낮고 두 눈 사이의 평균 거리는 65픽셀이다. probe 얼굴 영상 집합에 포함된 722장의 얼굴 사진들은 gallery 얼굴을 촬영한 날짜와 동일한 날에서부터 1031일 이후에 촬영한 것이다.
 
얼굴 사진을 촬영한 날짜들의 중간 값은 72일이고 평균은 251일이다. gallery와 probe 집합 사이의 개인 사진들은 조명, 표정, 안경 착용, 포즈, 나이(최대 34개월 간격), 또는 사진내부 얼굴의 해상도의 변화 등이 반영돼 있다. 그리고 나이는 20대에서 60대까지 분포돼 있으며 다양한 인종 즉, 흑인 9%, 아시안 12% 그리고 미국이나 영국인 79%로 구성돼 있다.

아래의 ISO/IEC 19795-1 성능테스트 규격에 따라 코그니텍 시스템즈 게엠 바하사의 B7T8 알고리즘의 FERET Duplicate I 집합에 대한 얼굴 인식 성능을 분석한 결과[2]를 [그림 4], [그림 5] 및 [그림 6]에 도시했다.

The performance measures applied in the diagrams are defined in the ISO/IEC 19795-1 standard: "Information technology - Biometric performance testing and reporting - Part 1: Principles and framework", 2006.

 

[그림 4] FERET의 Duplicate I 데이터 집합에 대해 "closed-set identificati on" 평가 시나리오에 따라 B7T8 알고리즘의 성능을 테스트한 결과


 

[그림 5] FERET의 Duplicate I 데이터 집합에 대해 "open-set identificat ion" 평가 시나리오에 따라 B7T8 알고리즘의 성능을 테스트한 결과



[그림 6] FERET의 Duplicate I 데이터 집합에 대해 출입제어와 같은 형태로 B7T8 알고리즘의 "verification" 성능을 테스트한 결과


성능 테스트 결과 [그림 4]는 FERET 데이터베이스의 4가지 테스트 집합들[1] 중에서 인식이 가장 어려운 것으로 알려진 Duplicate I 데이터 집합에 대해 "closed-set identific ation" 평가 시나리오에 따라 인식을 수행한 결과를 보인 것이다. B7T8 알고리즘의 FERET의 Duplicate I 데이터 집합에 대한 "closed-set identification" 시뮬레이션에서 97.5% 이상의 인식 성능을 보이고 있다. 이는 최근까지 발표된 논문이나 상용 시스템의 FERET Duplicate I 데이터 집합에 대한 인식 결과들 중에서 세계 최고 수준의 인식 성능으로 판단된다.

[그림 5]에 보인 FERET의 Duplicate I 데이터 집합에 대한 "open-set identification" 평가는 임의의 입력 얼굴 영상에 대해서 먼저 데이터베이스에 등록된 얼굴 영상인지 여부를 매칭 스코어의 임계값(threshold)로 판단하게 된다. 그래프의 가로축은 얼굴 데이터베이스에 등록된 얼굴이 아닌 영상을 등록된 영상으로 잘못 판단해 인식한 비율, FPIE(Fal se Positive Identification Error)를 나타낸 것이고 세로축은 정상적으로 데이터베이스에 등록된 얼굴 영상들에 대해서 올바르게 인식한 비율, TPIR(True Positive Identification Rate)을 나타낸 것이다. 평가 결과 [그림 5]를 보면 데이터베이스에 등록되지 않은 얼굴 영상을 등록된 얼굴 영상으로 잘못 판단해 인식하는 비율을 0.01%로 임계치를 설정한 시스템에서 등록된 얼굴들에 대해 92% 이상 정상적으로 인식하고 있음을 보여주고 있다.

[그림 6]에 FERET의 Duplicate I 데이터 집합에 대해 "verification" 시나리오에 따라 성능을 평가한 결과를 도시했다. 출입제어와 같이 신원을 밝히면서 입력 얼굴 영상에 대해 인증을 요청할 경우 사전에 데이터베이스에 등록된 얼굴 영상과 입력 얼굴 영상이 동일인 인지 여부를 판단하는 성능을 평가한 결과를 도시한 것이다. 동일한 인물이 아닌데 동일 인물로 판단한 비율, FMT(false match rate)를 0.0001%가 되도록 임계치를 설정했을 경우 동일 인물을 정확하게 판단한 비율, TMR(true matching rate)이 96% 이상 돼서 "verification" 성능이 매우 높다는 것을 보여주고 있다.

이상의 결과에서 코그니텍 시스템즈 게엠 바하사에서 발표한 FaceVACS SDK에 적용된 B7T8 알고리즘 성능은 세계적으로 최고 수준임을 보여 주고 있다. 하지만 좀 더 종합적이고 실제적인 성능을 분석하기 위해서는 FERET 데이터베이스의 나머지 테스트 집합, 즉 fb, fc, Duplicate II에 대한 성능도 같이 발표됐으면 좀 더 다양한 경우의 성능을 판단할 수 있었을 것이다.

그리고 위에서 발표한 FERET 테스트가 데이터베이스의 눈 좌표를 이용한 반 자동(semi-automatic) 얼굴 인식 성능을 분석하는 것이기 때문에 완전 자동(fully-automatic)으로 동일한 시나리오에서 인식했을 때의 성능도 같이 발표했다면 좀 더 실제 상황에서의 시스템 성능을 잘 이해할 수 있었을 것이다. 또한 실시간 적용 가능성 여부를 판단하기위해 인식 속도에 대한 정보도 같이 공개됐으며 고객들이 제품의 성능을 판단하는데 좀 더 많은 도움이 될 수 있었을 것으로 판단된다.

3. NIST주관 FRVT2006·MBE2010 상용 제품 성능평가
미국 NIST(National Institute of Standards and Technology)는 FRVT(Face Recognition Vendor Test)를[3] 통해 국제적으로 생체인식 제품들의 성능을 테스트하고 있다. 지금까지 FRVT2000, FRVT2002, FRVT2006 및 MBE2010 등이 개최됐으며 최근에 FRVT2012를 개최해 상용 제품 및 학술연구 결과물들의 생체인식 성능을 평가하고 있다. 여기서 FRVT2006 및 MBE2010에서 매우 우수한 성능을 보인 L-1 아이덴티티 솔루션사의 인식 기술 수준을 소개한다.

[그림 7] L-1 아이덴티티 솔루션사 로고 및 홈페이지 화면


L-1 아이덴티티 솔루션은 펀드회사인 L-1 인베스트먼트 파트너스가 2005년도에 생체인식 전문회사인 비세지(Viis age)의 인수를 통해 개인인증 산업에 전략적으로 투자하면서 설립됐다. 이후에 아이덴틱스(Identix)등 10여 개의 다양한 생체인식 전문 기업들과의 M&A를 통해 글로벌 인식 시장을 주도하고 있다. 특히 미국 표준기술연구소(NIST)에 주관했던 FRVT2006에서 2D 및 3D 얼굴 인식 엔진의 성능이 세계 최고 수준임을 보이고 난 이후에 더욱 유명해지기 시작했다.

2009년도에  L-1 아이덴티티 솔루션의 얼굴 인식 기술이 세계 최대 얼굴 영상 데이터베이스를 보유하고 있는 미국에서 강화된 비자 프로그램의 일환으로서 미국 여권 프로그램에 채택되면서 여러 국가들로부터 출입국 관리를 위한 생체인식 시스템으로서의 도입이 검토되기 시작했다. 

FRVT Algorithm Performance
FRVT2006에서는 [그림 8]과 같이 4개 종류의 영상들을 대상으로 생체인식 시스템의 성능을 평가했다. 즉, 기업들이 개발한 알고리즘을 이용해 ① 연출된 조명에서 촬영한 얼굴 영상, ② 연출되지 않은 조명에서 촬영한 얼굴 영상, ③ 3D 얼굴 영상 그리고 ④ 홍채 영상 등에 대해서 인식 실험을 해보고 그 성능을 발표했다.

L-1 아이덴티티 솔루션의 전신인 비세지와 아이텐틱스들이 FRVT2006에 참여해 최고 수준의 성능을 보여줬다. FRVT 2006의 성능 평가 결과로 발표된 성능 그래프를 분석하기 위해서 먼저 그래프 작성에 사용된 타인 인식율, FAR(False Acceptance Rate), 본인 거부율, FRR(False Rejection Rate) 그리고 동일 에러 비율, EER(Equal Error Rate)에 대해서 설명한다.

                                                                                         [그림 8] FRVT2006 성능평가에 사용된 영상들
 
생체인식에서는 입력 패턴과 데이터베이스에 등록된 템플릿 사이의 닮은 정도를 계산해 얻은 값(score)을 유사도(sim ilarity)라 부른다. 생체인식에서 유사도가 높을수록 두 패턴 사이는 더 닮았다는 뜻이 된다.

얼굴 인식 또는 인증에서는 두 패턴의 닮음 정도를 계산해서 지정한 유사도 이상일 경우 두 패턴이 동일하다고 판단하게 되며 이와 같이 지정한 유사도를 '임계값(threshold)'이라 부른다.

분류 임계값을 높게 설정할수록 생체인식 시스템에 등록되지 않았으면서 거짓으로 등록된 패턴이라 주장하는 거짓 패턴(imposter pattern)들을 많이 걸러 낼 수 있다. 이때 임계값을 어떻게 설정하는가에 따라 거짓 패턴을 잘못 받아들여(false accept) 인식할 수도 있고 아니면 거짓 패턴이라는 것을 알고 인식 대상에서 제외시킬 수도 있다. 특정 임계값에서 거짓 패턴을 잘못 받아들여 인식한 개수를 전체 거짓 패턴의 개수로 나눈 것을 [그림 9]에 보인 타인 인식율, FAR이라 한다.

[그림 9] 타인 인식율, FAR 및 본인 거부율, FRR 개념도


FAR이 1일 때는 모든 거짓 패턴을 잘못 받아들여 인식하는 경우이고 FAR이 0일 때는 모든 거짓 패턴들을 걸러내어서 인식 대상에서 제외시킨다는 것을 의미한다. [그림 9]의 FAR 그래프에서 임계값이 가로축 오른 쪽으로 높아질수록 FAR이 낮아지게 된다.

임계값을 너무 높게 잡으면 생체인식 시스템에 등록된 패턴(client pattern)을 거짓 패턴으로 분류해 인식대상에서 거부될 수도 있다. 특정 임계값에서 등록된 패턴임에도 불구하고 인식 대상에서 잘못 거부된 패턴의 개수를 전체 등록된 패턴의 개수로 나눈 것을 [그림 9]에 보인 본인 거부율, FRR이라 한다. [그림 9]에서 보는 것처럼 임계값이 낮아질수록 등록된 패턴을 인식 대상에서 잘못 거부하는 비율, FRR이 낮아지고 임계값이 높아질수록 FRR도 높아지게 된다.

생체인식 시스템에서는 시스템에 등록되지 않은 거짓 패턴들을 대상으로 계산한 유사도(score) 분포와 시스템에 등록된 패턴(client pattern)들을 대상으로 계산한 유사도 분포 사이에는 [그림 10]과 같이 중복되는 영역이 존재할 수 있기 때문에 전체 인식 에러를 최소화시키기 위해서는 두 유사도 분포의 중간 지점에 임계값을 설정해야 한다. FRR 및 FAR이 동일한 지점에 임계값을 설정했을 때 동일 에러율, EER(equal error rate)이라 한다.

 

                                                                                        [그림 10] 동일 에러율, EER 개념도


상용 생체인식 시스템에서는 허가되지 않은 자들의 출입을 금지(FAR=0)하면서도 출입이 허용된 자들의 출입이 거부되지 않도록(FRR=0) 하는 것을 목표로 하고 있다. 대부분의 실제 출입제어 시스템에서는 FAR을 거의 0으로 설정하게 된다.    

즉, FAR을 낮게 잡을수록 출입이 허가된 자들을 부정확하게 거부할 수 있는 가능성이 높아지지만 출입이 허용되지 않은 자들의 출입을 정확하게 거부할 수 있는 가능성이 높아지기 때문이다. 따라서 FAR이 매우 작게 나타나도록 임계값을 고정했을 때 각 생체인식 알고리즘을 동작시켜 구한 FRR이 더 낮은 알고리즘이 더욱 신뢰성이 높다고 할 수 있다.

FRVT 2006에서 참여한 얼굴 인식 알고리즘들에 대해 조명이 변화되는 상황에서 고해상도로 촬영한 얼굴 사진들을 대상으로 얼굴 인식을 수행한 결과와 인간의 인식 능력을 비교해[3] FAR-FRR 곡선으로 나타낸 것을 [그림 11]에 도시했다. [그림 11]에서 L-1 아이덴티티 솔루션의 전신인 비세지의 알고리즘은 V-norm이고 아이덴틱스의 알고리즘은 Idx1 -norm이다. FRVT 2006에서는 참여 알고리즘들 사이의 인식 성능 비교와 동시에 인간의 인식 능력과도 비교하기 위해  텍사스대학 소속 26명의 학부생이 참가해 인간의 인식 성능 평가 실험을 수행했다.

[그림 11] FRVT2006에 참여한 알고리듬들의 조명변화에 따라 촬영된 얼굴 사진들에 대한 인식 성능과 인간의 인식 능력 비교


 

얼굴 인식 알고리즘들은 1000만명을 대상으로 대해 촬영된 각 두 장의 얼굴 사진을 대상으로 테스트했으며 인간의 인식 성능은 그 중에서 80명에 대한 얼굴 사진을 추출해 이를 대상으로 테스트했다. 인간의 인식 성능에서 가장 낮은 FAR은 0.05이었으며 7개 참여 알고리즘들 중에서 6개 알고리즘들이 인간의 인식 성능보다 같거나 좋게 나타났다.

L-1 아이덴티티 솔루션의 전신인 비세지의 알고리즘의 경우 FAR= 0.1정도에서 FRR=0.2 정도로 나타나 2006년 당시에는 매우 우수한 생체인식 알고리즘으로 판명됐다. 그리고 중국 칭하대학의 Ts2-norm 알고리즘도 상당히 우수한 인식 성능을 보였다. 

L1은 FRVT2006에 참여한 이후에 NIST가 다시 주관한 MBE2010에도 참여해 개선된 알고리즘 성능을 발표했다. NIST에서는 FRVT2006이후에 MBE2010을 주관해 기업들의 알고리즘에 대한 사진 영상 데이터베이스의 검증 및 인식 성능을 평가하고 발표했으며 국제적으로 얼굴 인식 기술 수준이 발전돼 가는 동향도 [그림 12]와 같이 발표했다.

                                                                                      [그림 12] MBE2010까지 얼굴 인식 기술 수준의 발전 동향


[그림 12]를 보면 FAR=0.001일 때, 즉 출입이 허가되지 않은 자들이 1000번 출입을 시도할 때 1번 정도 잘못 출입을 허용하는 수준으로 임계치를 설정했을 때 출입이 허가된 자들을 잘못 거부하는 비율인 FRR의 연도별 개선 현황을 나타내었다. 

FRVT2006이 개최된 2006년도에 FRR=0.01 정도여서 출입이 허가된 자가 출입을 시도할 때 100명 중에 1명 정도 출입이 잘못 거부되는 수준이었으나 2010년도에는 FRR=0.003으로 개선돼 얼굴 인식 기술 수준이 해마다 급속도로 발전하고 있음을 보여주고 있다.  

3. 상용 얼굴 인식 SDK 수행 결과 분석
최근에 얼굴 인식 성능이 비교적 우수하다고 알려져 있는 상용 얼굴 인식 제품인 룩샌드의 FaceSDK와 누로테크놀러지의 베리룩의 경우 데모 버전의 SDK가 제공되고 있다. 본 고에서 두 회사 SDK를 실행시켜보고 얼굴 검출 및 특징점 추출 성능을 비교 분석했다.

룩샌드 FaceSDK
룩샌드는 2005년도에 설립된 개인 하이테크 회사이다. 룩샌드는 인공지능과 생체인식 기술에 관한 연구부터 시작해 완전 자동으로 얼굴 인식을 수행할 수 있는 라이브러리를 개발했으며 최근에 온라인 엔트테인먼트 기업체로 얼굴 특징 인식 솔루션들을 공급하고 있다. 룩샌드 홈페이지에는 한국의 삼성과 LG에도 제품을 공급한 파트너라고 소개돼 있다.

[그림 13] 룩샌드 로고 및 홈페이지 화면

룩샌드에서 발표한 FaceSDK는 다음과 같은 특성을 가지고 있다.

캠에서 얼굴을 인증하는 기능, 얼굴 특징을 인식해 레드-아이(red-eye)를 제거하는 기능, 엔트테인먼트 기업에서 필요한 얼굴 애니메이션 효과 기능 등이 제공되며 디지털 카메라, 스캐너 및 웹캠용 어플리케이션들을 제공하고 있다.




누로테크놀러지 베리룩
리투아니아에서 신경망, 영상처리 및 패턴인식분야에 대한 학술 연구를 수년간 해 오던 엔지니어들이 1990년에 누로테크놀러지를 설립했다. 1991년 지문인식 시스템을 첫 번째 제품으로 발표했다. 그 이후 물체나 사람에 대한 인식 및 인증에 관한 80개 이상의 제품을 발표했으며 계속 그 성능을 업그레이드해 오고 있다. 

                                                                                   [그림 14] 누로테크놀러지 로고 및 홈페이지 화면


누로테크놀러지에서 발표한 베리룩은 다음과 같은 특성을 갖고 있다. 카메라 앞에 있는 얼굴이 사진인지 라이브 얼굴 영상인지를 구분하는 기능, 비디오나 사진으로부터 여러 사람의 얼굴을 검출하고 처리하는 기능, 영상 내에 있는 각 얼굴에 대해서 남녀 구분이 가능하고 특징점들을 추출하는 기능, 웹캠이나 저급 카메라를 사용해 얼굴 영상을 획득하는 기능 등이 제공되고 있으며 다양한 프로그래밍 언어를 지원하는 SDK를 공급하고 있고 감시시스템에 탑재할 수 있는 감시용 SDK도 공급하고 있다.

Feature Extraction Performance
두 회사 SDK를 이용해서 [그림 15]와 같이 웹캠 기반 라이브 얼굴 검출 및 특징점 추출 기능을 실행시켜 봤다. 두 회사 SDK 모두 완전 자동 실시간 라이브 인식이 가능했으며 특징점 추출 결과를 사용자 인터페이스 화면에서 볼 수 있도록 했다. 룩샌드 FaceSDK의 경우 얼굴 사각형 박스와 더불어 얼굴 윤곽선과 내부의 주요 특징점들을 연결해 피쳐가 어떻게 추출됐는지를 볼 수 있도록 했다. 

 [그림 15] 웹캠 라이브 이미지를 대상으로 얼굴검출 및 특징점들을 추출한 예
(a) 룩샌드 FaceSDK                                                                 (b) 누로테크놀러지 VeriLook

 



















누로테크놀러지 베리룩의 경우에는 얼굴의 회전 정보를 잘 알 수 있도록 얼굴 검출 박스를 같이 회전시켰고 두 눈의 중심을 찾아서 이들을 연결한 정보를 화면에서 볼 수 있도록 했다.

룩샌드 FaceSDK 및 누로테크놀러지 베리룩 두 제품 모두 특징점 기반 피쳐추출을 통한 얼굴 인식을 주요 인식 방법으로 하고 있음을 유추할 수 있었으며 영역 기반의 피쳐 추출 여부에 대해서는 확인할 수 없었다. 두 회사 SDK를 이용해서 [그림 16]과 같이 사진 영상을 대상으로 얼굴 검출 및 피쳐 추출 기능을 실행시켜 봤다.

웹캠 기반 라이브 데모에서와 동일하게 얼굴 영상에서 특징점들을 추출한 결과를 사용자 인터페이스 화면에서 볼 수 있도록 했다. 룩샌드 FaceSDK는 사진을 화면의 지정된 크기로 정규화한 다음 추출한 특징점들을 표시했고 누로테크놀러지 베리룩은 원본 크기의 사진을 대상으로 추출한 특징점들을 표시했다.

[그림 16] 사진 이미지를 대상으로 얼굴검출 및 특징점들을 추출한 예
(a) 룩샌드 FaceSDK                                                                 (b) 누로테크놀러지 베리룩


















 

 

두 회사 SDK를 이용해서 [그림 17]과 같이 단체 사진 영상을 대상으로 얼굴 검출 및 특징점들을 추출하는 기능을 실행시켜 보았다. 룩샌드 FaceSDK는 여러 사람의 얼굴 중 한 얼굴만 인식 대상으로 출력했으나 누로테크놀러지 베리룩의 경우 여러 명의 얼굴에 대해서 동시에 특징점들을 추출한 결과를 화면에 출력했다. 얼굴 크기가 80×80 픽셀 정도의 작은 영상에 대해서도 얼굴을 잘 검출했으며 특징점들도 비교적 정확하게 찾아서 출력했다.

[그림 17] 단체 사진 이미지를 대상으로 얼굴검출 및 특징점들을 추출한 예
(a) 룩샌드 FaceSDK                                                                  (b) 누로테크놀러지 베리룩
 

















[그림 18]과 같이 얼굴 검출용 성능 평가 데이터베이스인 CMU-MIT 데이터베이스에서 선택한 단체 사진 영상을 대상으로 두 회사의 SDK를 실행시켜 봤다. 룩샌드 FaceSDK에서는 약간 기울어진 큰 얼굴 영상 하나만 검출해 특징점들을 추출했고 누로테크놀러지 베리룩의 경우에는 작은 정면 얼굴 영상 두 개를 찾았으나 룩샌드 FaceSDK에서 찾은 회전된 큰 얼굴은 검출할 수 없었다.

정면 얼굴이 아닌 기울어진 얼굴을 찾는 기능에 있어서는 두 회사 제품의 성능이 다르게 나타났다.

[그림 18] MIT-CMU 얼굴검출 영상 데이터베이스 단체 사진 영상 대상 얼굴검출 및 특징점들을 추출한 예
(a) 룩샌드 FaceSDK                                                                (b) 누로테크놀러지 베리룩




















CMU-MIT 데이터베이스에서 손으로 얼굴의 일부를 가린 얼굴 영상에 대해 [그림 19]와 같이 두 회사 SDK의 특징점 추출 성능을 비교해 봤다. 두 회사 제품 모두 눈동자나 눈썹 등 가려지지 않은 부분의 얼굴 특징점들의 위치는 정확하게 찾았으나 손으로 가려진 코와 입 때문에 얼굴 아래 부분의 특징점 위치들을 애매하게 찾는 경우가 많이 발생했다.

홍콩 폴리텍대학의 근 적외선 영상 데이터베이스를 대상으로 두 회사 SDK를 이용해서 [그림 20]과 같이 얼굴 특징점 추출 실험을 했다. 비교적 밝고 깨끗한 큰 사이즈의 얼굴 영상들에 대해서는 두 제품 모두 얼굴을 잘 검출할 수 있었으며 특징점들도 비교적 정확한 위치를 가리키고 있음을 확인 할 수 있었다.


[그림 19] MIT-CMU 얼굴검출 영상 데이터베이스 가린 얼굴 영상 대상 얼굴검출 및 특징점들을 추출한 예
(a) 룩샌드 FaceSDK                                                    (b) 누로테크놀러지 베리룩





















하지만 근 적외선 얼굴 영상 데이터베이스에서 어둡거나 작은 얼굴 영상 그리고 안경에 의해 빛이 많이 반사된 영상에서는 두 제품 모두 얼굴을 검출해 내기 어려워 얼굴 특징점들을 추출할 수 없는 경우가 많았다.

하지만 [그림 21]에서 보인 것처럼 특징을 추출하기 어려운 영상들 중에서도 룩샌드 FaceSDK가 누로테크놀러지 베리룩 보다는 특징점들을 좀 더 잘 추출해 낼 수 있다는 것을 실험적으로 확인할 수 있었다.

[그림 20] 근 적외선 얼굴 영상을 대상으로 얼굴검출 및 특징점들을 추출한 예
(a) 룩샌드 FaceSDK                                                                 (b) 누로테크놀러지 베리룩

















이상과 같이 두 회사의 SDK를 이용해서 다양한 환경에서 얼굴 검출 및 특징점 추출을 위한 실험을 수행해 본 결과 정상적으로 입력된 정면 얼굴 영상들에 대해서는 두 제품 모두 얼굴 특징점들을 고속으로 정확하게 잘 찾아낼 수 있음을 확인했다.

그러나 회전되거나 기울어진 얼굴 영상 그리고 근 적외선 영상처럼 어둡거나 작은 얼굴 영상들에 대해서는 얼굴 검출 및 특징점 추출이 어려운 경우가 많이 발생하였으며 두 회사 제품의 추출 성능에도 차이가 있었다.


[그림 21] 근 적외선 얼굴 영상에서 얼굴검출 및 특징점 추출이 어려운 예
(a) 룩샌드 FaceSDK                                                                 (b) 누로테크놀러지 베리룩
















5. 결론
본 고에서는 최근 국제적으로 비교적 성능이 우수하다고 알려진 4개 회사의 제품들에 대해서 FERET 성능분석, FRVT 성능 분석 그리고 SDK 제품을 통한 특징점 추출 실험 결과 등에 대해서 소개했다.

표준 데이터베이스를 통한 얼굴 인식 성능 분석 방법, FRVT와 같은 국제 얼굴 인식 상용제품 성능 평가대회의 결과 해석 방법 그리고 SDK를 이용한 특징점 추출 성능 확인 방법 등에 대해서도 같이 설명했다.
 
위에서 언급한 국제적으로 성능이 뛰어나다고 알려진 상용 제품들의 성능 분석을 통해서 국제적인 얼굴 인식 기술 수준을 소개했으며 특히 본 연구실에서 개발하고 있는 얼굴 인식 엔진의 성능과 자체적으로 비교했을 때 일부 지표에서는 국제적인 기술 수준에 도달되거나 우수한 부분도 있었고 일부 지표의 경우 조금만 더 개선시킨다면 충분히 국제 경쟁력을 가진 제품으로 발표할 수 있을 것으로 예상됐다.


[참고문헌]

1. P. Phillips, H. Moon, S. Rizvi and P. Rauss, "The FERET Evaluation Methodology for Face-Recognition Algorithms", IEEE Trans. on PAMI, Vol. 22, No. 16, pp. 1090-1104, 2000.
2. "코그니텍 시스템즈 게엠 바하: FaceVACS Technology", http://www. cognitec.com
3. "Face Recognition Vendor Test 2006", http://www.nist.gov/itl/iad/ig/frvt-2006.cfm
4. "Multiple Biometrics Evaluation", http://www.nist.gov/itl/iad/ig/mbe.cfm
5. "L1 Identity Solutions: FaceIt", http://www.l1id.com
6. "룩샌드: FaceSDK", http://www.luxand.com/index.php
7. "Neurotechnology: VeriLook", http://www.neurotechnology.com

 



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.