발 명 자 스께가와 히로시
야마구찌 오사무
공개번호 10-2012-0135469
공개일자 2012년 12월 14일
전체 청구항 수 총 10 항
※[도1]~[도12]는 2013년 1월호 참조.
요약
일 실시 형태에 따른 얼굴 화상 검색 시스템은 ▲화상 데이터를 수신하는 화상 수신부 ▲상기 화상 수신부에 의해 수신한 상기 화상 데이터로부터 얼굴 화상을 검출하는 얼굴 검출부 ▲상기 얼굴 검출부에 의해 검출된 상기 얼굴 화상으로부터 얼굴 특징을 추출하는 특징 추출부 ▲상기 특징 추출부에 의해 추출된 상기 얼굴 특징에 기초해 속성을 판별하는 속성 판별부 ▲미리 얼굴 특징을 데이터 베이스로서 기억하고 상기 특징 추출부에 의해 추출된 얼굴 특징을 수신한 경우 상기 데이터 베이스에 부가하며 상기 특징 추출부에 의해 추출된 얼굴 특징과 상기 데이터 베이스에 포함돼 있는 얼굴 특징의 유사도를 산출하고 산출한 유사도에 기초해 검색 결과를 출력하는 복수의 검색부 ▲임의의 속성과 상기 검색부를 나타내는 정보를 대응시켜서 설정 정보를 생성하는 설정부 ▲상기 설정부에 의해 생성된 상기 설정 정보 상기 속성 판별부에 의해 판별된 상기 속성에 기초해 하나 또는 복수의 검색부를 특정하고 특정한 상기 검색부에 상기 특징 추출부에 의해 추출된 상기 얼굴 특징을 송신하는 제어부를 구비한다.
<대표도- 도1>
지난 1월호 특허리뷰에 이어...
'카메라'는 설정 대상이 되는 카메라(10)를 선택하기 위한 항목이다. [0039] 즉 [도3]에 의해 도시되는 설정 항목은 예를 들어 [도1]에 의해 도시되는 카메라(10)마다 설정되는 구성이어도 좋다. 또한 [도1]에 의해 도시되는 모든 카메라(10)에 공통적으로 설정되는 구성이어도 좋다.
'날짜 및 요일'은 상기의 배분 처리를 행하는 날짜 또는 요일 등을 설정하기 위한 항목이다. 날짜 및 요일에서는 예를 들어 날짜 날짜의 범위 요일 및 또는 요일의 범위(예를 들어 평일 토 일 등)가 설정된다.
'시각'의 항목은 상기의 배분 처리를 행하는 시각을 설정하기 위한 항목이다. 시각에서는 예를 들어 시각의 범위가 설정된다. 또한 시각에서 배분 처리의 유무를 제한하지 않는 경우 시각으로서 종일이 설정된다.
'속성 종별'은 배분하는 속성의 종별을 선택하기 위한 항목이다. [도3]에 도시된 바와 같이 속성종별은 예를 들어 '연령(3 클래스)' '연령(7 클래스)' '성별(3 클래스)' '안경(2 클래스)' '모자(2 클래스)' '마스크(2 클래스)' 등의 항목을 포함한다. 또한 속성 종별은 또 다른 속성이 설정되는 구성이어도 좋다.
연령(3 클래스)은 예를 들어 청년 중년 및 고령 등의 클래스를 포함한다. 또한 연령(7 클래스)은 예를 들어 10대 20대 30대 40대 50대 60대 및 70대 등의 클래스를 포함한다. 또한 성별(3 클래스)은 남성 여성 및 불명 등의 클래스를 포함한다.
더불어 안경(2 클래스)은 안경 있음 및 안경 없음 등의 클래스를 갖는다. 이와 함께 모자(2 클래스)는 모자있음 및 모자 없음 등의 클래스를 갖는다. 또한 마스크(2 클래스)는 마스크 있음 및 마스크 없음 등의 클래스를 갖는다.
'송신처 서버'는 인물 정보의 송신처의 검색 서버(40)를 상기의 속성 종별에서 설정된 속성의 클래스마다 설정하기 위한 항목이다. 얼굴 화상 검색 시스템(100)은 속성 판별부(150)에 의해 판별된 속성에 기초해 상기의 클래스를 특정하고 특정한 클래스에 기초하여 인물 정보의 송신처의 검색 서버(40)를 특정한다. 얼굴 화상 검색 시스템(100)은 특정한 검색 서버(40)에 인물 정보를 송신한다.
또한 송신처 서버의 항목에서는 복수의 검색 서버(40)가 송신처로서 설정되는 구성이어도 좋다. 이와 함께 송신처 서버의 항목에서는 인물 정보를 검색 서버(40)에 송신하지 않는 클래스가 설정되는 구성이어도 좋다. 더불어 송신처 서버의 항목은 각 클래스마다 또는 송신처의 검색 서버(40)마다 임계값이 설정되는 구성이어도 좋다. 이 경우 얼굴 화상 검색 시스템(100)은 이 임계값을 인물 정보에 대응시켜서 검색 서버(40)에 송신한다.
상기 각 항목을 설정함으로써 [도4]에 도시된 바와 같은 설정 정보가 생성된다. 또한 '분류 처리'의 항목에서 '분류 있음(자동)'이 선택돼 있는 경우 후술하는 자동 설정 처리에 의해 생성되는 설정 정보에 기초해 송신처가 선택되기 때문에 속성 종별 및 송신처 서버의 항목은 블랭크가 된다.
예를 들어 속성 종별로서 성별(3 클래스)이 선택된 경우 설정부(140)는 클래스 1로서 '남성'을 설정하고 클래스 2로서 '여성'을 설정하며 클래스 3으로서 '불명'을 설정한다. 또한 설정부(140)는 각 클래스마다 송신처의 검색 서버(40)를 설정한다. 예를 들어 설정부(140)는 클래스 1로서 '서버 1'을 설정하고 클래스 2로서 '서버 2'를 설정하며 클래스 3으로서 '서버 1' 및 '서버 2'를 설정한다.
이 경우 얼굴 화상 검색 시스템(100)은 속성 판별부(150)에 의해 남성으로 판별된 인물 정보를 서버 1에 송신한다. 또한 얼굴 화상 검색 시스템(100)은 속성 판별부(150)에 의해 여성으로 판별된 인물 정보를 서버 2에 송신한다. 이와 함께 얼굴 화상 검색 시스템(100)은 속성 판별부(150)에 의해 불명으로 판별된 인물 정보를 서버 1 및 서버 2의 양쪽에 송신한다.
즉 성별이 불명 등의 신뢰도가 낮은 인물 정보를 복수의 서버에 송신함으로써 검색해야 할 인물 정보가 검색 대상으로부터 벗어나는 것을 방지할 수 있다.
또한 상기 예에서는 속성 종별로서 연령 성별 안경의 유무 마스크의 [0051] 유무 및 모자의 유무 등을 나타냈지만 속성 종별은 이들로 한정되지 않는다. 설정부(140)는 또 다른 속성 종별에 기초하여 송신처를 설정하는 구성이어도 좋다.
속성 판별부(150)는 특징 추출부(130)로부터 송신된 얼굴 특징 또는 얼굴 검출부(120)로부터 송신된 얼굴 화상에 기초해 속성을 판별한다. 속성 판별부(150)는 판별한 속성과 얼굴 특징과 얼굴 화상을 대응시켜서 인물 정보로 한다. 속성 판별부(150)는 제어부(160)의 제어에 기초해 검색 서버(40)에 인물 정보를 송신한다.
또한 본 실시 형태에서는 속성 판별부(150)는 연령 성별 안경의 유무 마스크의 유무 및 모자의 유무 등을 속성으로서 판별하는 예를 나타낸다. 그러나 속성 판별부(150)는 또 다른 속성을 판별하는 구성이어도 좋다. 다른 속성의 예는 복장 표정 비만도 유복도 얼굴에의 장식품의 유무 인종 등이 있다.
연령 및 성별 등의 속성을 판별하는 경우 속성 판별부(150)는 연령 및 성별 각각에 적합한 전처리를 행함으로써 높은 정밀도로 속성을 판별할 수 있다.
통상 인물의 얼굴은 연령이 높아질수록 주름이 증가한다. 따라서 속성 판별부(150)는 예를 들어 주름을 강조하는 선분 강조 필터를 얼굴 특징에 대해 중첩함으로써 인물의 연령을 판별할 수 있다.
또한 속성 판별부(150)는 성별 특유의 부위(예를 들어 수염 등)가 강조되는 주파수 성분을 강조하는 필터 또는 골격 정보가 강조되는 것과 같은 필터를 얼굴 특징에 대해 중첩한다. 이에 의해 속성 판별부(150)는 인물의 성별을 판별할 수 있다.
속성 판별부(150)는 성별을 판별하는 경우 판별 결과로서 성별도를 나타내는 하나의 수치를 산출한다. 속성 판별부(150)는 이 수치와 미리 설정되는 기준값에 기초하여 남녀를 판별한다. 그러나 기준값에 가까운 값이 산출된 경우 속성 판별부(150)는 성별을 불명이라 판별한다.
또한 상기 기준값은 설정부(140)에 접속된 조작부에 의해 설정되는 구성이어도 좋다. 이와 함께 상기 기준값은 얼굴 화상 검색 시스템(100)에 의해 실행되는 학습 프로세스에 기초해 설정되는 구성이어도 좋다.
이 경우 설정부(140)는 미리 '남성' 또는 '여성'을 나타내는 속성이 부여된 화상 데이터에 기초해 얼굴 검출 특징 추출 및 속성 판별을 행하고 속성 판별의 결과와 미리 부여된 속성에 기초해 기준값을 설정한다.
또한 속성 판별부(150)는 예를 들어 얼굴 검출 처리에 의해 구해진 얼굴 부위의 위치 정보로부터 눈 눈꼬리 또는 눈시울의 위치를 특정한다. 이에 의해 속성 판별부(150)는 양 눈 부근의 화상을 잘라내고 잘라낸 화상을 부분 공간의 계산 대칭으로 함으로써 안경의 유무를 판별할 수 있다.
속성 판별부(150)는 예를 들어 얼굴 검출 처리에 의해 구해진 얼굴 부위의 위치 정보로부터 입과 코의 위치를 특정한다. 이에 의해 속성 판별부(150)는 특정한 입과 코의 위치의 화상을 잘라내고 잘라낸 화상을 부분 공간의 계산 대칭으로 함으로써 마스크의 유무를 판별할 수 있다.
또한 속성 판별부(150)는 예를 들어 얼굴 검출 처리에 의해 구해진 얼굴 부위의 위치 정보로부터 눈 및 눈썹의 위치를 특정한다. 이에 의해 속성 판별부(150)는 얼굴의 피부 영역의 상단부를 특정할 수 있다. 이와 함께 속성 판별부(150)는 특정한 얼굴의 두부 영역의 화상을 잘라내고 잘라낸 화상을 부분 공간의 계산 대칭으로 함으로써 모자의 유무를 판별할 수 있다.
상기한 바와 같이 속성 판별부(150)는 얼굴 특징 또는 얼굴 화상에 기초해 연령 성별 안경의 유무 마스크의 유무 및 모자의 유무 등의 속성을 판별할 수 있다. 즉 속성 판별부(150)는 얼굴의 위치로부터 추정 가능한 위치에 존재하는 속성이면 어떠한 것이어도 특징 정보를 추출할 수 있다.
또한 인물이 착용하고 있는 착용물을 직접 검출하는 알고리즘도 일반적으로 실용화돼 있다. 속성 판별부(150)는 그러한 방법을 사용함으로써 속성을 판별하는 구성이어도 좋다.
예를 들어 속성 판별부(150)는 안경의 종류 마스크의 종류 모자의 종류 수염 점 주름 상처 머리 모양 머리카락 색깔 옷 색깔 옷 모양 모자 장식품 얼굴 부근에의 착용물 표정 유복도 및 인종 등의 속성을 추가로 판별하는 구성이어도 좋다.
제어부(160)는 속성 판별부(150)에 의해 판별된 속성과 설정부(140)에 의해 설정되어 있는 클래스마다의 송신처에 기초해 인물 정보의 송신처의 검색 서버(40)를 특정한다. 제어부(160)는 특정한 검색 서버(40)에 인물 정보를 송신하도록 속성 판별부(150)를 제어한다.
즉 제어부(160)는 설정부(140)에 의해 설정된 설정 정보를 참조하고 속성 판별부(150)에 의해 판별된 속성에 기초해 설정부(140)에 의해 설정된 클래스를 특정한다. 제어부(160)는 특정한 클래스에 설정돼 있는 송신처의 검색 서버(40)를 특정하고 특정한 검색 서버(40)에 인물 정보를 송신하도록 속성 판별부(150)를 제어한다. 또한 상기한 바와 같이 송신처의 서버에 임계값이 설정돼 있는 경우 제어부(160)는 임계값을 인물 정보에 부가한다.
[도5]는 얼굴 화상 검색 시스템(100)에 의해 실행되는 [00 66] 배분 처리의 예를 나타낸다.
화상 수신부(110)는 카메라(10)로부터 화상 데이터를 수신한다(스텝 S11). 화상 수신부(110)는 수신한 화상 데이터를 얼굴 검출부(120)에 송신한다.
얼굴 검출부(120)는 화상 수신부(110)로부터 송신된 화상 데이터에 기초해 얼굴(얼굴 화상)을 검출한다(스텝S12). 얼굴 검출부(120)는 검출한 얼굴 화상을 특징 추출부(130)에 송신한다.
특징 추출부(130)는 얼굴 검출부(120)로부터 송신된 얼굴 화상에 기초해 얼굴 특징을 추출한다(스텝 S13). 특징 추출부(130)는 추출한 얼굴 특징을 속성 판별부(150)에 송신한다. 속성 판별부(150)는 특징 추출부(130)로부터 송신된 얼굴 특징에 기초해 속성을 판별한다(스텝 S14). 제어부(160)는 속성 판별부(150)에 의해 판별된 속성과 설정부(140)에 의해 설정돼 있는 클래스마다의 송신처에 기초해 인물 정보의 송신처의 검색 서버(40)를 특정한다(스텝 S15). 제어부(160)는 특정한 검색 서버(40)에 인물 정보를 송신하도록 속성 판별부(150)를 제어한다.
예를 들어 설정부(140)의 설정 정보에 있어서 클래스 1로서 '남성'이 설정되고 클래스 2로서 '여성'이 설정되며 클래스 3으로서 '불명'이 설정돼 있다고 가정한다. 또한 설정부(140)의 설정 정보에 있어서 클래스 1의 송신처로서 서버 1이 설정되고 클래스 2의 송신처로서 서버 2가 설정되며 클래스 3의 송신처로서 서버 1 및 서버 2가 설정돼 있다고 가정한다.
[0073] 여기서 제어부(160)는 속성 판별부(150)에 의해 남성으로 판별된 인물 정보의 송신처가 서버 1이라고 특정한다(스텝 S16).
또한 제어부(160)는 속성 판별부(150)에 의해 여성으로 판별된 인물 정보의 송신처가 서버 2라고 특정한다(스텝 S17). 또한 제어부(160)는 속성 판별부(150)에 의해 불명이라고 판별된 인물 정보의 송신처가 서버 1 및 서버 2라고 특정한다(스텝 S18). 속성 판별부(150)는 제어부(160)에 의해 특정된 송신처에 인물 정보를 송신한다.
인물 정보 기억부(171 내지 173) 및 검색부(181 내지 183)는 예를 들어 [도1]에 의해 도시된 검색 서버(40)가 구비하는 구성이다. 그러나 인물 정보 기억부(171 내지 173)와 검색부(181 내지 183)는 각각 개별로 구성된 모듈이어도 좋다. 또한 인물 정보 기억부(171 내지 173) 및 검색부(181 내지 183)의 수는 상기의 배분 처리에 의해 배분되는 클래스의 수에 따라 얼굴 화상 검색 시스템(100) 내에 설치되는 것이다. 즉 얼굴 화상 검색 시스템(100)의 인물 정보 기억부(171 내지 173) 및 검색부(181 내지 183)의 수는 배분 처리에 의해 배분하는 서버의 수에 따라 임의로 증가시킬 수 있다.
또한 본 실시 형태에서는 검색 서버(40A)가 인물 정보 기억부(171) 및 검색부(181)를 구비하고 검색 서버(40B)가 인물 정보 기억부(172) 및 검색부(182)를 구비하며 검색 서버(40C)가 인물 정보 기억부(173) 및 검색부(183)를 구비하는 구성이라고 가정해서 설명한다.
인물 정보 기억부(171 내지 173)는 각각 동일한 동작을 하는 것이기 때문에 여기에서는 인물 정보 기억부(171)의 예에 대해서 설명한다. 이와 함께 검색부(181 내지183)는 각각 동일한 동작을 하는 것이기 때문에 여기에서는 검색부(181)의 예에 대해서 설명한다.
인물 정보 기억부(171)는 속성 판별부(150)로부터 송신된 인물 정보를 기억하는 메모리다. 인물 정보 기억부(171)는 예를 들어 [도6]에 의해 도시된 바와 같이 복수의 인물 정보를 데이터 베이스로서 기억한다. 인물 정보 기억부(171)는 예를 들어 개인마다 ID 얼굴 특징 얼굴 화상 얼굴 좌표 및 속성 등을 대응시켜서 기억한다. 또한 인물 정보 기억부(171)는 인물 정보에 임계값이 부가돼 있었을 경우 임계값을 인물 정보에 대응시켜서 기억한다.
속성은 상기한 바와 같이 예를 들어 성별 연령 신장 모자의 유무 마스크의 유무 안경의 유무 등이다. 또한 인물 정보 기억부(171)가 기억하는 얼굴 특징은 예를 들어 특징 추출부(130)에 의해 추출된 데이터다. 즉 인물 정보 기억부(171)는 m×n의 특징 벡터 부분 공간 KL 전개를 행하기 직전의 상관 행렬 등 중 어느 하나 또는 복수를 기억한다.
이 실시예에서는 하나의 인물 정보 기억부(171)와 하나의 검색부(181)가 대응하는 예를 나타낸다. 그러나 얼굴 화상 검색 시스템(100)은 하나의 인물 정보 기억부(171)와 복수의 검색부(181)가 대응하는 구성이어도 좋다.
또한 얼굴 화상 검색 시스템(100)은 복수의 인물 정보 기억부(171)와 하나의 검색부(181)가 대응하는 구성이어도 좋다. 이와 함께 인물 정보 기억부(171)는 속성마다 정보를 구분해서 기억하는 구성이어도 좋다.
검색부(181)는 속성 판별부(150)로부터 송신된 인물 정보에 포함돼 있는 얼굴 [0080] 특징과 인물 정보 기억부(171)에 기억돼 있는 인물 정보에 포함돼 있는 얼굴 특징의 유사도를 산출한다.
검색부(181)는 예를 들어 속성 판별부(150)로부터 송신된 인물 정보에 포함되어 있는 얼굴 특징과 인물 정보 기억부(171)에 기억돼 있는 복수의 인물 정보에 기초해 유사도를 산출하고 산출한 유사도가 높은 인물 정보를 인물 정보 기억부(171)로부터 검색한다.
예를 들어 검색부(181)는 인물 정보 기억부(171)에 기억돼 있는 인물 정보에 대응시켜져 있는 임계값보다 높은 유사도가 산출된 인물 정보를 인물 정보 기억부(171)로부터 검색한다. 또한 검색부(181)는 산출된 유사도가 높은 순서대로 미리 설정된 수의 인물 정보를 인물 정보 기억부(171)로부터 검색한다. 더불어 검색부(181)는 인물 정보 기억부(171)의 각 인물 정보에 포함돼 있는 속성에 기초해 검색 대상을 좁힐 수도 있다.
검색부(181)는 예를 들어 얼굴 특징으로서의 부분 공간의 유사도를 산출한다. 계산 방법은 부분 공간법이나 복합 유사도법 등의 방법을 이용해도 좋다.
이 방법을 이용함으로써 검색부(181)는 미리 축적된 데이터 베이스 중의 인물 정보의 부분 공간과 특징 추출부(130)에 의해 산출된 부분 공간이 이루는 '각도'를 유사도로서 산출한다. 검색부(181)는 입력 데이터열에 대해 상관 행렬 Cin을 산출한다. 검색부(181)는 Cin=ΦinΔinΦinT로 대각화해 고유 벡터 Φin을 산출한다. 검색부(181)는 Φin과 Φd로 표시되는 부분 공간의 부분 공간간 유사도(0.0 내지 1.0)을 산출해 유사도로서 사용한다.
출력부(190)는 검색부(181) 내지 검색부(183)에 의해 생성된 검색 결과 화면을 표시부(200)에 출력한다. 또한 출력부(190)는 각 서버(40A 내지 40C)마다 설치돼 있어도 좋다.
표시부(200)는 영상 등의 화면을 표시하는 표시 장치를 구비한다. 표시부(200)는 [도1]에 도시된 네트워크에 접속돼 출력부(190)로부터 출력되는 화면을 수취해 표시한다. 또한 표시부(200)의 수는 복수여도 좋다. 이 경우 출력부(190)는 각 서버(40A 내지 40C)로부터 출력된 검색 결과 화면을 원하는 표시부(200)에 출력한다.
[도7]은 얼굴 화상 검색 시스템(100)에 의해 실행되는 검색 처리의 예를 나타낸다.
검색 서버(40)의 검색부(181)는 특징 추출 서버(30) 등으로부터 인물 정보를 수신한다(스텝 S21).
검색부(181)는 수신한 인물 정보의 얼굴 특징과 인물 정보 기억부(171)에 기억돼 있는 인물 정보에 포함돼 있는 얼굴 특징의 유사도를 산출한다(스텝 S22).
또한 검색부(181)는 산출한 유사도에 기초해 표시 후보를 특정한다(스텝 S23). 즉 검색부(181)는 산출한 유사도의 상위 N개 또는 임계값을 초과한 유사도를 특정한다. 뿐만아니라 검색부(181)는 특정한 유사도의 산출에 사용된 인물 정보를 표시 후보로서 특정한다. 검색부(181)는 특정한 표시 후보를 검색 결과로서 출력부(190)에 출력한다. 더불어 검색부(181)는 특정한 표시 후보에 기초해 검색 결과 화면을 생성하고 출력부(190)에 출력하는 구성이어도 좋다.
또한 검색부(181)는 '리얼타임 표시'를 실행할 지의 여부를 나타내는 플래그를 유지한다. 검색부(181)는 표시 후보를 특정한 경우 리얼타임 표시가 ON되어 있는지의 여부를 판단한다(스텝 S24).
[0090] 리얼타임 표시가 ON인 경우 검색부(181)는 검색 결과에 기초해 축차 검색 결과 화면을 생성한다(스텝 S25). 검색부(181)는 검색 결과에 기초해 예를 들어 [도8]에 의해 도시된 검색 결과 화면을 생성한다.
[도8]에 의해 도시된 바와 같이 검색 결과 화면은 입력 화상(화상 데이터)과 얼굴 유사 후보자의 화상을 표시한다. 얼굴 유사 후보자는 예를 들어 상기 의 처리에 의해 특정된 표시 후보와 동일하거나 또는 표시 후보의 일부다. 검색부(181)는 예를 들어 산출한 유사도가 높은 순서대로 얼굴 유사 후보자의 화상을 표시한다.
검색부(181)는 얼굴 검출부(120)에 의해 검출된 얼굴 화상 또는 특징 추출부(130)에 의해 추출된 얼굴 특징 등을 얼굴 유사 후보자의 화상으로서 표시한다. 또한 검색부(181)는 얼굴 유사 후보자의 화상의 근방에 산출한 유사도 및 ID 등을 표시해도 좋다. 더불어 검색부(181)는 입력 화상의 근방에 촬상 장소 일시 등을 표시해도 좋다.
이와 함께 검색부(181)는 얼굴 검출부(120)에 의해 얼굴 화상을 검출한 영역을 직사각형 형상의 프레임으로 둘러싸서 표시해도 좋다. 이에 의해 검색부(181)는 얼굴 화상 검색 시스템(100)의 감시자에 대해 검색 대상을 통지할 수 있다.
또한 예 를 들어 검색부(181)에 대해 입력 화상 중의 다른 인물의 얼굴을 선택하는 조작이 행해진 경우 검색부(181)는 선택된 인물을 검색 대상으로 해서 얼굴 유사 후보자를 표시한다. 또한 이 검색 결과 화면에서 표시되는 얼굴 유사 후보자의 수는 임의로 설정할 수 [0093] 있으며 스크롤 조작에 기초해 또 다른 얼굴 유사 후보자의 화상을 표시하는 구성이어도 좋다.
또한 검색부(181)는 미리 설정된 임계값 이상의 유사도가 산출된 경우 알람 등의 소리를 이용해 얼굴 화상 검색 시스템(100)의 감시자에게 통지하는 구성이어도 좋다.
검색부(181)는 생성한 검색 결과 화면을 출력부(190)에 송신한다. 이 경우 출력부(190)는 검색부(181)로부터 수신한 검색 결과 화면을 표시부(200)에 출력한다(스텝 S26). 이에 의해 얼굴 화상 검색 시스템(100)은 얼굴화상 검색 시스템(100)의 감시자에게 축차 검색 결과를 통지할 수 있다. 또한 검색부(181)는 검색 결과를 이력(검색 이력)으로서 축차 기억한다(스텝 S27).
이와 함께 검색부(181)는 리얼타임 표시가 ON인 경우 미리 설정된 조건에 대응한 검색 결과가 얻어진 경우에 검색결과 화면을 생성하는 구성이어도 좋다.
이와 함께 검색부(181)는 검색 결과를 이력(검색 이력)으로서 기억하고 새롭게 설정된 조건에 대응하는 검색 결과에 기초하여 검색 결과 화면을 생성하는 구성이어도 좋다. 예를 들어 검색부(181)는 리얼타임 표시가 ON이며 검색 결과의 상위의 유사도가 소정의 임계값 이상인 경우에 검색 결과 화면을 생성하도록 설정된다.
이에 의해 인물 정보 기억부(171)에 등록돼 있는 인물의 화상 데이터가 얼굴 화상 검색 시스템(100)에 입력된 경우에 검색 결과 화면을 출력할 수 있다.
또한 검색부(181)는 검색 이력에 상기한 바와 같은 속성 정보 및 인물 정보의 화상을 취득한 카메라의 ID 및 화상의 취득 일시 등을 대응시켜서 기억함으로써 화상 데이터의 촬상 장소 일시 또는 속성 등으로 검색 이력을 좁힐 수 있다.
상기한 바와 같이 본 실시 형태에 따른 얼굴 화상 검색 시스템(100)은 인물 정보를 갖는 데이터 베이스와 이 데이터 베이스로부터 검색을 행하는 검색부를 복수 구비한다. 얼굴 화상 검색 시스템(100)은 화상 데이터로부터 얼굴 화상 및 얼굴 특징을 검출하고 이 인물의 속성을 판별하며 판별한 속성에 따라 인물 정보를 송신하는 검색부를 특정한다. 얼굴 화상 검색 시스템(100)은 특정한 검색부에 인물 정보를 송신하고 데이터 베이스로부터 검색을 행하게 한다.
이 구성에 의해 얼굴 화상 검색 시스템(100)은 복수의 지점에 설치된 카메라(10) 등에 의해 취득된 화상 데이터에 기초해 효율적으로 인물의 검색을 행할 수 있다. 이 결과 보다 효율적으로 얼굴 화상의 검색을 행할 수 있는 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법을 제공할 수 있다. 이어서 설정부(140)의 설정 정보의 자동 설정 처리에 대해서 설명한다.
이 경우 설정부(140)는 [도3]에 도시된 '분류 처리'의 항목에 있어서 '분류 있음(자동)'이 선택된 경우 화상 데이터에 기초해 각 속성마다 가장 빨리 검색이 행해지는 서버에 인물 정보를 송신하도록 설정 정보를 생성한다. 또한 이 경우 설정부(140)는 미리 준비된 복수의 화상을 포함하는 학습용 화상에 기초하여 설정 정보를 생성한다.
[도9]는 설정부(140)에 의한 자동 설정 처리의 예를 나타낸다.
화상 수신부(110)는 예를 들어 메모리 등으로부터 학습용 화상 데이터를 수신한다(스텝 S31). 화상 수신부(110)는 수신한 학습용 화상 데이터를 얼굴 검출부(120)에 송신한다.
얼굴 검출부(120)는 화상 수신부(110)로부터 송신된 학습용 화상 데이터에 기초해 얼굴(얼굴 화상)을 검출한다(스텝 S32). 얼굴 검출부(120)는 검출한 얼굴 화상을 특징 추출부(130)에 송신한다.
특징 추출부(130)는 얼굴 검출부(120)로부터 송신된 얼굴 화상에 기초해 얼굴 특징을 추출한다(스텝 S33). 특징 추출부(130)는 추출한 얼굴 특징을 속성 판별부(150)에 송신한다.
속성 판별부(150)는 특징 추출부(130)로부터 송신된 얼굴 특징에 기초해 속성을 판별한다(스텝 S34).
제어부(160)는 얼굴 화상 검색 시스템(100) 내의 모든 또는 복수의 검색 서버(40)에 인물 정보를 송신하도록 속성 판별부(150)를 제어한다(스텝 S35).
이 경우 각 서버의 검색부(181 182 및 183)는 수신한 인물 정보에 해당하는 [0109] 데이터를 각각의 데이터 베이스로부터 검색한다. 또한 각 서버의 검색부(181 182 및 183)는 검색 결과를 제어부(160)에 회신한다. 이 경우 각 서버의 검색부(181 182 및 183)는 예를 들어 가장 높은 유사도가 산출된 인물 정보 또는 소정의 임계값 이상의 유사도가 산출된 인물 정보를 검색 결과로서 제어부(160)에 송신한다.
제어부(160)는 각 검색부(181 182 및 183)로부터 검색 결과를 수신한다. 제어부(160)는 각 검색부(181 182 및 183)로부터 수신한 검색 결과가 정확한지의 여부를 판정한다. 또한 제어부(160)는 올바른 검색 결과를 송신한 검색부(181 182 및 183) 중에서 가장 빨리 검색 결과를 송신한 검색부를 특정한다(스텝 S36).
제어부(160)는 특정한 검색부에 투표를 행한다(스텝 S37). 이 투표는 예를 들어 설정부(140)에서의 클래스마다 설치된 카운터 등에 의해 실행된다. [도10]은 카운터의 예를 나타낸다. 이 카운터는 클래스마다 각 검색부(181 182 및 183)의 투표수를 각각 카운트한다. 또한 이 카운터는 얼굴 화상 검색 시스템(100) 내의 어느 하나의 모듈 내에 설치되며 [도1]에 도시된 네트워크에 접속되는 구성이어도 좋다.
제어부(160)는 하나의 학습용 화상 데이터에 기초해 투표를 행할 때마다 상기의 해당하는 카운터를 소정수 카운트 업시킨다. 제어부(160)는 모든 학습용 화상 데이터를 처리할 때까지 상기 스텝 S32 내지 스텝 S37의 처리를 행한다(스텝 S38).
또한 제어부(160)는 모든 학습용 화상 데이터를 처리한 경우 가장 높은 투표율을 갖는 검색부를 클래스마다 특정하며 [도10]에 도시한 바와 같이 속성을 정확하게 판별할 수 없었던 클래스 3의 송신처로서 모든 서버를 설정한다. 이에 의해 검색의 누설을 방지할 수 있다.
제어부(160)는 특정한 결과에 기초해 설정부(140)의 설정 정보를 갱신한다. 이에 의해 제어부(160)는 각 클래스마다의 송신처의 검색 서버(40)를 특정할 수 있다(스텝 S39). 이에 의해 얼굴 화상 검색 시스템(100)은 보다 빠르게 검색을 행할 수 있는 검색 서버(40)를 설정부(140)에서의 클래스마다 자동으로 설정할 수 있다.
이와 같은 구성에 의해 얼굴 화상 검색 시스템(100)은 예를 들어 어린이가 다니는 장소에서 수상한 사람을 효율적으로 검색할 수 있다. 예를 들어 얼굴 화상 검색 시스템(100)은 어린이가 액세스하는 시간에 연령의 속성 종별로 배분을 행하도록 설정 정보를 설정한다. 이에 의해 얼굴 화상 검색 시스템(100)은 예를 들어 연령이 어린이에 상당한다고 판별된 인물 정보를 검색 서버에 송신하지 않고 연령이 어른에 상당한다고 판별된 인물정보를 검색 서버에 축적한다.
이에 의해 얼굴 화상 검색 시스템(100)은 검색 서버의 부담을 저감시키고 검색 대상의 인물을 효율적으로 검색할 수 있다. 또한 얼굴 화상 검색 시스템(100)은 소정의 연령 미만으로 판별된 인물을 검출한 경우 경보를 내는 것과 같은 구성이어도 좋다. 이와 함께 실시 형태에서는 얼굴 화상 검색 시스템(100)은 하나의 속성 종별에 기초해 클래스를 판별하는 구성으로해 설명했지만 이 구성에 한정되지 않는다. 얼굴 화상 검색 시스템(100)은 복수의 속성의 조합에 기초하여 클래스를 판별하는 구성이어도 좋다.
[도1]1은 설정부(140)에 의해 생성된 설정 화면의 다른 예를 나타낸다. [도11]에 의해 도시된 설정 화면은 '속성 종별'을 복수 선택 가능한 상태에서 생성돼 있는 점이 [도3]에 의해 도시된 설정 화면과 상이하다. [도11]에 의해 도시된 설정 화면에서 복수의 '속성 종별'이 설정된 경우 설정부(140)는 속성 종별의 각 클래스의 조합을 생성한다. 설정부(140)는 생성한 조합마다 송신처의 검색 서버(40)를 설정할 수 있도록 설정 화면을 생성한다.
예를 들어 '속성 종별'로서 '연령(3 클래스)'과 '성별(3 클래스)'이 선택됐다고 가정한다. 이 경우 설정부(140)는 예를 들어 '남성-청년' '남성-중년' '남성-고령' '여성-청년' '여성-중년' '여성-고령' '불명-청년' '불명-중년' 및 '불명-고령' 등의 9 패턴의 조합을 생성한다.
또한 설정부(140)는 연령의 속성 종별에도 중간급을 설정해도 좋다. 즉 설정부(140)는 '청년' '중년' 및 '고령'의 3 클래스를 '청년' '청년 내지 중년' '중년' '중년 내지 고령' 및 '고령'의 5 클래스로해 다루는 구성이어도 좋다. 또한 설정부(140)는 속성 종별이 다른 것이더라도 동일한 처리에 의해 속성 종별을 조합할 수 있다.
이 경우 속성 판별부(150)는 특징 추출부(130)로부터 송신된 얼굴 특징에 기초해 복수의 속성을 판별한다. 속성 판별부(150)는 설정 정보에서 설정된 '속성 종별'에 대응하는 복수의 속성을 판별한다.
제어부(160)는 속성 판별부(150)에 의해 판별된 복수의 속성과 설정부(140)[0123] 에 의해 설정돼 있는 속성 종별의 클래스의 조합마다의 송신처에 기초해 인물 정보의 송신처의 검색 서버(40)를 특정한다. 제어부(160)는 특정한 검색 서버(40)에 인물 정보를 송신하도록 속성 판별부(150)를 제어한다.
또한 설정부(140)는 [도9] 및 [도10]에 의해 도시한 방법을 사용함으로써 속성 종별의 클래스의 조합마다의 송신처를 자동으로 설정하는 구성이어도 좋다.
이 경우 얼굴 화상 검색 시스템(100)은 속성 종별의 클래스의 각 조합에 대응한 카운터 등을 구비한다. [도12]는 카운터의 예를 나타낸다.
제어부(160)는 얼굴 화상 검색 시스템(100) 내의 모든 또는 복수의 검색 서버(40)에 인물 정보를 송신한다. 제어부(160)는 각 검색 서버(40)로부터 검색 결과를 수신한다. 제어부(160)는 가장 빨리 검색 결과를 송신한 검색 서버(40)를 특정하고 속성 판별부(150)에 의해 판별된 복수의 속성에 대응하는 카운터에 투표한다.
이에 의해 얼굴 화상 검색 시스템(100)은 보다 미세하게 인물 정보를 배분할 수 있다. 또한 상술한 각 실시 형태에서 설명한 기능은 하드웨어를 사용해서 구성하는 데에 그치지 않고 소프트웨어를 사용해서 각 기능을 기재한 프로그램을 컴퓨터에 읽어들이게 해서 실현할 수도 있다.
더불어 각 기능은 적절히 소프트웨어 하드웨어 중 어느 하나를 선택해서 구성하는 것이어도 좋다. 이와 함께 본 발명은 상기 실시 형태 그대로 한정되는 것은 아니라 실시 단계에서는 그의 요지를 일탈하지 않는 범위에서 구성 요소를 변형해 구체화할 수 있다.
뿐만 아니라 상기 실시 형태에 개시돼 있는 복수의 구성 요소의 적당한 조합에 의해 다양한 발명을 형성할 수 있다. 예를 들어 실시 형태에 나타나는 전체 구성 요소로부터 몇 개의 구성 요소를 삭제해도 좋다. 또한 상이한 실시 형태에 걸친 구성 요소를 적절히 조합해도 좋다.
<본 자료는 특허청에서 2012년 12월 14일 공개 공보된 자료임을 알려드립니다.>
부호의 설명
10: 카메라
20: 얼굴 검출 클라이언트
30: 특징 추출 서버
40: 검색 서버
100: 얼굴 화상 검색 시스템
저작권자 © CCTV뉴스 무단전재 및 재배포 금지
