연 재 순 서1. e-JIKEI 카메라 기반 e-JIKEI 네트워크 프라이버시 제공 기법
2. Dairi EYE Lock 프로그램 기반 프라이버시 제공 기법
3. 세미블라인드 핑거프린팅(Semi-blind Fingerprinting) 기반 프라이버시 제공 기법
4. Privacy-Safe See-Through Vision 기반 프라이버시 제공 기법
5. USB 메모리 기반 영상 감시 카메라 시스템 프라이버시 제공 기법
6. 적응적 비쥬얼 개념을 활용한 PriSurv 기반 프라이버시 제공 기법
7. 프라이버시 보호를 제공하는 영상 감시 카메라 이미지 분배 시스템 기법
8. 프라이버시 보호를 위한 H.264/AVC 영상 스크램블링 기법
9. SecST-SPIHT 코딩 및 디코딩 스킴을 적용한 프라이버시 제공 기법
10. 영상 감시 시스템 내의 민감한 프라이버시 정보에 대한 영상 데이터 은닉 기법
11. RFID 기반의 프라이버시 제공 영상 감시 시스템 기법
12. Scalable Video Coding을 이용한 프라이버시 보호 영상 감시 시스템 기법
13. DRM 기반의 프라이버시 제공 영상 감시 시스템 기법
14. 영상 감시 시스템 내의 프라이버시 보호를 위한 주파수 영역 기반 스크램블링 기법
15. 보안 카메라 내의 움직이는 객체 마스킹을 통한 프라이버시 보호 기법
16. 얼굴 검출 및 JPEG2000의 ROI 코딩 기반 프라이버시 제공 영상 감시 시스템 기법
17. Life-log 시스템 영상을 위한 프라이버시 보호 기법
18. 자동화된 영상 감시 시스템을 위한 보안과 프라이버시 보호 기법
19. 접근레벨 기반의 CCTV 영상 프라이버시 보호 기법
20. SPDCM(Stated Preference Discrete Choice Modelling) 기반 프라이버시 보호 기법
21. DWDM 파장 개선을 활용한 CCTV 보안 시스템 기법
22. 구글 스트리트 뷰 서비상에서의 얼굴 블러닝(Face-blurring) 기법
본 기고에서는 Muneyasu 등에 의해 연구된 CCTV 환경에서 영상 내의 다양한 객체들에 대한 프라이버시를 제공하는 방법으로 응용 가능한 얼굴검출 및 JPEG2000의 ROI 코딩 기반 프라이버시 제공 영상감시 시스템 기법에 관해 소개한다.
개요?
영상 감시 카메라는 범죄 예방과 진압을 위해 사용되어 진다. 영상 감시 카메라에 의해 획득된 사람의 얼굴은 중요한 특징적 정보를 가지고 있기 때문에 특정한 응용 환경에서는 비밀 정보(secret information)처럼 다루어져야 할 필요가 있다. 다시 말해 영상 감시 카메라(serveillance camera)의 사용에서 프라이버시 보호(privacy protection)는 반드시 고려되어야 하는 중요한 보안 속성이다.
즉 만약 획득된 영상 내의 얼굴이 은닉되어 질 수 있다면 프라이버시가 보호되어질 수 있음으로 예측할 수 없는 영역에 설치되는 영상 감시 카메라의 활용도는 더욱 높아질 것이다. 실제로 아다부스트(adaboost)와 JPEG2000 PSNR 레이어 구조를 사용한 프라이버시 보호 기법이 최근 많이 연구되어 지고 있으며 효율적인 프라이버시 보호가 가능함을 증명하였다.
하지만 아다부스트는 학습 알고리즘들의 한 종류이기 때문에 얼굴 영역에 대한 학습 데이터를 필요로 한다. 이러한 문제점을 보완하기 위해 Muneyasu 등은 감시 영상(surveillance images) 내에 얼굴 영역을 자동으로 왜곡시켜 주는 새로운 프라이버시 보호 기법을 제안하였다. 제안된 기법은 JPEG 2000의 ROI 코딩과 템플리트 매칭(template matching) 기반의 얼굴 검출 기법으로 구성되어 있다.
제안된 기법에서 사람의 얼굴 영역을 식별하기 위해 윤곽선 기반 템플리트 매칭 기술(outline based template matching technique)을 적용하였으며 얼굴 모델을 임의의 크기를 가지는 템플리트를 생성하기 위해 타원 모양으로 표시되어지게 하였다.
또한 얼굴 영역을 은닉(hiding)하기 위해 JPEG2000의 관심영역(ROI) 응용 기법을 적용하였다. 실험 결과로 제안 기술이 다양한 이동 얼굴 영상에서 효율적으로 얼굴 영역 검출 및 프라이버시 제공이 가능함을 증명하였다.
JPEG2000의 ROI?
ROU 코딩의 목적은 특정 영역의 영상 화질을 높이는데 있다. JPEG2000 파트 1의 ROI 코딩에서는 max-shift 기법이 적용되어졌다. ROI 코딩은 ROI 영역 내에 백그라운드(background) 내에 DWT 계수들보다 높은 DWT 계수들을 이동하는 방식으로 동작한다. ROI 영역의 최하위비트(LSB)는 백그라운드 영역의 최상위비트(MSB)보다 높은 쪽으로 이동한다.
이 기법의 장점은 디코더(decoder) 측에서 ROI 영역의 모양(shape)을 전송할 필요가 없다. 또 다른 장점은 임의의 모양을 가지는 ROI 영역을 설정할 수 있다.
Muneyasu 등은 낮은 비트율(low bit rate)에서 JPEG2000의 ROI 코딩은 백그라운드가 왜곡된 영상을 만들 수 있는 원리를 기반으로 만약 ROI 영역에 대한 백그라운드 영역이 원본 ROI처럼 명시되어지면, 원본 ROI 영역의 품질(quality)은 왜곡되게 할 수 있는 사실을 기반으로 실용적인 프라이버시 제공 기법을 제안하였다.
제안된 기법은?
Muneyasu 등이 제안한 기법은 2개의 처리단계로 구성된다. 첫 번째 처리단계는 획득된 동영상으로부터 얼굴 영역을 자동적으로 검출하는 것이다. 객체의 윤곽선을 기반으로 탬플리트 매칭 기술의 개선된 기법을 이 단계에서 적용하였다.
두 번째 처리단계는 검출된 얼굴 영역을 JPEG2000의 ROI 코딩을 사용하여 블러닝화(blurred)시키는 것이다. Muneyasu 등은 객체의 윤곽선 기반 탬플리트 매칭 기법을 수정한 기술을 사용하였는데 이 기술은 조명 조건(lighting conditions)과 기타 조건들을 고려하여 목표 객체(target object) 내의 색상(color)과 텍스쳐(texture) 변화에 대해 강인성을 가진다.
이 기법은 개별 픽셀과 이에 대응되는 이웃 가장자리(edge) 사이의 거리를 자신의 픽셀 값으로 간주하여 거리 영상(distance image) 상에서의 유사도(similarity)를 측정하게 된다. 해당 위치에 대한 템플리트 유사도는 아래 수식 (1)에 의해 얻어진다.
위 수식에서 |T|는 템플리트의 윤곽선 상에서의 픽셀 수(number of pixels)를 의미하며, e는 거리 영상 상에서의 템플리트의 위치, 그리고 dT(x,e)는 템플리트 위치가 일 때 내의 거리 영상의 픽셀 값을 의미한다. 결론적으로 위 수식(1)은 템플리트와 이에 대응되는 이웃 가장자리 내의 개별 윤곽선 픽셀의 위치들 사이의 평균 거리(average distance)를 보여주게 된다.
만약 이 값이 적으면, 많은 적합한 위치를 가지게 됨으로 객체의 위치를 쉽게 식별할 수 있게 된다. 하지만 이 방법을 영상 감시 카메라에 바로 적용하게 되면 잘못 검출된 영상이 포함된 백그라운드 정보가 이용되어 질 수 있을 뿐만 아니라 동영상 내의 시간별로 다양해지는 객체 크기로 인해 템플리트의 크기를 하나로 고정시키기가 어려운 문제점을 가진다. 이러한 문제점을 해결하기 위해 Muneyasu 등은 거리 영상에 대한 전처리(preprocessing) 과정을 적용하였다.
거리 영상을 위한 전처리 과정?
템플리트 매칭 기법이 가지는 백그라운드 의존적인 문제점을 가진다. 이러한 문제점 해결을 위해 거리 영상은 이동 객체의 가장자리들(edges)에 의해 생성되어져야 한다. [그림 1]의 전처리 과정의 절차를 보여주며 [그림 2]는 입력 영상과 전처리 과정을 거친 결과 영상을 보여주고 있다.
(1) 프레임 차이 계산(Calculation of the defference of frames)
현재 프레임과 이전 프레임들 간의 차이들과 현재완 하위 프레임들 간의 차이들을 계산한다. 이들에 대한 이진화된 차이(binarized difference)를 간의 논리적 프로덕트(logical product)를 얻는다.
(2) 노이즈 제거(Noise removal)
이 과정에서 만약 중앙에 처리되어야 할 픽셀 포인트가 있는 5*5 윈도우 내에 값이 1인 픽셀들이 세 개 이상이면 처리되어야 할 중앙 포인트의 픽셀 값은 1로 바꾸어 준다. 그렇지 않으면 0으로 바꾸어 준다.
(3) 팽창과 침식(Dilation and erosion)
8-neighbors에 대에 팽창과 침식을 5번 적용한다.
(4) 레벨링(Labeling)
영역을 레벨링하여 해당 영역내의 픽셀 수들을 집계하고 최대 픽셀수를 가지는 영역을 선택한다.
(5) 홀 메움(Hole filling)
양쪽 가장자리부터 영상을 스캐닝하여 값이 1인 픽셀을 찾고 양쪽에서 최초로 찾은 픽셀의 수평축을 기록한다.
(6) 가장자리 감지(Edge detection)
가장자리 영상은 획득된 이진화된 영상으로부터 획득한다.
(7) 거리 영상으로 변환(Transform to the distance image)
획득된 가장자리 영상은 거리 영상으로 변환된다. 계산 속도를 빨리하기 위해, 만약 중앙에 처리 포인트를 가지는 21*21 윈도우 내의 가장자리 픽셀이 없으면 처리 포인트의 픽셀 값은 255를 가지게 한다.
템플리트 매칭 과정?
획득된 영상 내의 목표 객체의 크기는 조명 조건, 카메라 위치 등과 같은 여러 가지 이유로 다양하기 때문에 템플리트의 정형화된 크기를 결정하기 어려운 문제점을 해결하기 위해 제안된 템플리트 매칭 과정에는 사람의 머리 모양이 타원으로 표현되어지며 타원형 공식을 사용한 템플리트 생성 기법을 적용함을 가정하였다.
이 방법은 최대 축과 최소 축에 대한 임의의 크기를 가지는 템플리트를 만들 수 있다. 타원형 공식은 다음 수식(2)와 같다.
위 수식(2)에서 a와 b는 최대 및 최소 축의 지름을 의미한다. 위와 같은 템플리트 생성 기법을 기반으로 하는 템플리트 매칭 과정은 다음과 같다.
(1) 템플리트 크기의 대략적인 조정(Rough adjustment of the template size)
템플리트의 모든 윤곽선이 픽셀 값이 255가 아닌 거리 영상의 영역 내에 포함될 때 까지 거리 영상 상에서 템플리트 매칭을 수행한다.
(2) 템플리트 크기의 세밀한 조정 (Detailed adjustment of the template size)
위 수식(2)에 의해 이전 단계에서 얻어진 파리미터 a와 b로부터 템플리트 매칭과 최소 1.5와 최대 2 사이의 거리 축소 과정 등을 수행하여 유사도 측정의 최소 값을 얻는다.
(3) 템플리트 크기의 더욱 세밀한 조정 (Finer adjustment of the template size)
위 수식(2)에 의해 이전 단계에서 얻어진 파리미터 a와 b로부터 템플리트 매칭과 최소 2a-3에서 2a+3과 최대 2b-3에서 2b+3 사이의 거리 축소 과정 등을 수행하여 유사도 측정의 최소 값을 얻는다.
ROI 코딩에 의한 얼굴 영역 은닉 과정?
최종적으로 탐지된 얼굴 영역을 은닉하기 위해 자신의 백그라운드 영역을 JPEG2000 ROI 코딩에서의 ROI로 특정화한다. 이러한 과정은 얼굴 영역을 쉽게 왜곡시킬 수 있게 해준다.
실험 결과?
1]에서 "Frame"은 해당 영상에서의 프레임 수를 의미하며, "Hit"는 얼굴을 올바르게 탐지한 것을 의미하는 히트율(hit rate)을 의미하며, "False"는 얼굴이 아닌 영역을 얼굴 영역으로 잘못 탐지한 오탐률(false alarm rate)을 의미하며, "Mis"는 올바른 얼굴 영역을 탐지하지 못한 오탐률(misdetection rate)을 의미한다. [표 1]을 통해 알 수 있듯이 평균 90%의 올바른 얼굴 탐지율을 가져 우수한 탐지율을 보장함을 알 수 있다.
[그림 3]은 제안된 기법의 실험 영상 1에 대한 실험 결과를 보여준다. 실험 결과로써 제안된 기법이 얼굴 영역을 정확힌 탐지할 수 있으며 탐지된 얼굴 영역에 대한 왜곡도 잘 됨을 알 수 있을 뿐만 아니라 효율적인 프라이버시 보호가 보장됨을 알 수 있다.
<다음호에서는 영상 감시 시스템 내의 프라이버시 보호를 위한 Life-log 시스템 영상을 위한 프라이버시 보호 기법에 관해 살펴보도록 하겠다.>
[참고문헌]
[1] Mitsuji Muneyasu 등. "An Implementation of Privacy Protection for a Surveillance Camera Using ROI Coding of JPEG2000 with Face Detection", IIEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, Volume E92-A, No 11, pp. 2858-2861 (2009).
