연 재 순 서

1. e-JIKEI 카메라 기반 e-JIKEI 네트워크 프라이버시 제공 기법
2. Dairi EYE Lock 프로그램 기반 프라이버시 제공 기법
3. 세미블라인드 핑거프린팅(Semi-blind Fingerprinting) 기반 프라이버시 제공 기법
4. Privacy-Safe See-Through Vision 기반 프라이버시 제공 기법
5. USB 메모리 기반 영상 감시 카메라 시스템 프라이버시 제공 기법
6. 적응적 비쥬얼 개념을 활용한 PriSurv 기반 프라이버시 제공 기법
7. 프라이버시 보호를 제공하는 영상 감시 카메라 이미지 분배 시스템 기법
8. 프라이버시 보호를 위한 H.264/AVC 영상 스크램블링 기법
9. SecST-SPIHT 코딩 및 디코딩 스킴을 적용한 프라이버시 제공 기법
10. 영상 감시 시스템 내의 민감한 프라이버시 정보에 대한 영상 데이터 은닉 기법
11. RFID 기반의 프라이버시 제공 영상 감시 시스템 기법
12. Scalable Video Coding을 이용한 프라이버시 보호 영상 감시 시스템 기법
13. DRM 기반의 프라이버시 제공 영상 감시 시스템 기법
14. 영상 감시 시스템 내의 프라이버시 보호를 위한 주파수 영역 기반 스크램블링 기법
15. 보안 카메라 내의 움직이는 객체 마스킹을 통한 프라이버시 보호 기법
16. 얼굴 검출 및 JPEG2000의 ROI 코딩 기반 프라이버시 제공 영상 감시 시스템 기법
17. Life-log 시스템 영상을 위한 프라이버시 보호 기법
18. 자동화된 영상 감시 시스템을 위한 보안과 프라이버시 보호 기법
19. 접근레벨 기반의 CCTV 영상 프라이버시 보호 기법
20. SPDCM(Stated Preference Discrete Choice Modelling) 기반 프라이버시 보호 기법
21. DWDM 파장 개선을 활용한 CCTV 보안 시스템 기법
22. 구글 스트리트 뷰 서비상에서의 얼굴 블러닝(Face-blurring) 기법

본 기고에서는 Chaudhari 등에 의해 연구된 CCTV 환경에서 영상 내의 다양한 객체들에 대한 프라이버시를 제공하는 방법으로 응용 가능한 Life-log 시스템 영상을 위한 프라이버시 보호 기법에 관해 소개한다.

Life-Log 시스템?

제안된 입는 라이프로그 시스템(wearable life-log system)은 [그림 1]과 같이 어깨에 걸치는 S.C.O.U.T. 카메라, 전방향 마이크, 150시간 분량의 영상을 저장할 수 있는 Archos 휴대용 미디어 지원장치(Portable Media Assistant), 프로세싱 장치인 VAIO 마이크로 PC로 구성된다. 제안된 시스템은 입기 편리성(comfort-to-wear), 고화질 음성과 영상 캡쳐 기능, 무선 접속 기능 등 다양한 장점들을 가지도록 설계되었다.


[그림 1. 제안된 입는 라이프로고 시스템의 핵심 컴포넌트들: 어깨에 걸치는 소형 카메라, 마이크, 소형 배낭 내에 탑재된 프로세싱, 저장, 브라우징 장치들]
 
[그림 2]는 6개의 메인 프로세싱 컴포넌트(main processing components)과 2개의 데이터베이스로 구성된 제안된 라이프로그 시스템의 소프트웨어 구조를 보여주고 있다. 핵심 프로세싱 컴포넌트들은 원시 데이터 캡쳐기(Raw Data Capturers), 특징 추출기(Feature Extractors), 변경 감지기(Change Detectors), 객체 탐지기(Object Detectors), 프라이버시 보호기(Privacy Protectors), 이벤트 마이너(Event Miner)와 뷰 제너레이터(View Generators)로 구성된다.


[그림 2] 라이프로그 시스템의 소프트웨어 구조

[그림 2]에서 프로세싱 컴포넌트는 입력/출력 처리에 관한 고수준 행동 묘사를 담당한다. 원시 데이터 캡쳐기는 하드웨어와의 통신을 담당하며 원시 음성, 영상, 위치 정보를 획득하는 역할을 수행한다. 특징 추출기는 음성과 영상으로부터 잡음을 제거하고 분석을 통한 다양한 속성(attributes)의 종류들을 추출한다. 이들 특징 값들은 변경 감지기와 객체 탐지기로 전달되어 진다. 변경 감지기는 다양한 특징에 대한 온라인 상태 모델을 구축하고 입력 데이터 내에 명확한 변경이 발생하는 시점의 시간 인스턴스를 보고한다. 변경 감지기는 개별 영상 프레임보다 더 효율적인 연산 처리를 수행할 수 있는 논리적 세그먼트들 내의 임의의 차원에 대한 영상 파티션에 유용하게 사용할 수 있다. 객체 탐지기는 개인의 얼굴 또는 음성과 같은 특정 화면과 음성 객체를 감지하고 추적할 수 있다. 이들 정보는 나중에 프라이버시 보호기에 의해 활용되어지게 된다. 프라이버시 보호 모드가 활성화되면 획득된 객체의 음성은 왜곡되어지며 영상 내에 감지된 모든 얼굴 정보는 블록화 되어진다. 이벤트 마이너는 영상이 녹화되는 동안 의미론적 구조(semantic structure)를 추출하는 책임을 진다. 뷰어 제너레이터는 다양한 브라우징 타입들을 지원하기 위해 사용자 인터페이스 뷰를 생성하는 데 사용되어진다.

프라이버시 보호 방법?

제안된 라이프로그 시스템을 위한 프라이버시 보호 스킴은 사람이 입고 있는 라이프로그 시스템을 기반으로 상대적으로 조용한 방에서 단일 객체가 말하는 인터뷰 영상에 초점을 맞추었다. 이러한 시나리오는 개인 정보 보호가 필요한 환경인 의사가 환자와 상담한다거나 경찰이 범죄 증인을 조사하는 환경에 적용되어 질 수 있다.
제안된 프라이버시 보호 메커니즘에는 다음과 같은 3가지 중요한 목적을 가진다.

1) 정확도와 유용성(Accuracy versus usefulness): 미세한 부정확성이 사람을 쉽게 식별할 수 있는 근거를 제공할 수 있음으로 정확도와 유용성은 프라이버시 보호 스킴에서 완벽한 정확성을 보장하기 위해 아주 중요한 조건이다. 또한 프라이버시 보호 스킴은 검토 및 활용을 위한 유용한 정보를 만들 수 있도록 충분한 정보를 제공하여야 한다.
2) 익명성(Anonymity): 프라이버시가 보호된 후에 개인을 식별할 수 있는 가장 적은 정수를 의미하는 k를 기반으로 하는 k-익명성(k-anonymity)은 중요한 보안 속성이다. 예를 들면 1-익명성 프라이버시 보호 스킴은 모든 개별 객체들의 모양과 음성을 동일한 형태로 보이도록 영상 데이터를 왜곡하는 방법이다. 이런 경우 공격자가 하나의 영상 내의 객체를 정식별하여 알더라고 해당 공격자는 다른 영상에 관한 어떠한 정보도 얻을 수 없게 된다.
3) 속도(speed): 보호 메커니즘이 실시간으로 작업을 수행 할 수 있어야 함으로 반드시 필요한 조건이며, 무엇보다도 라이프로그 시스템이 작은 물리적 크기로 인해 제한된 연산 능력을 가지기 때문에 그것은 고도로 최적화된 알고리즘을 설계하기 위해서는 필수적으로 요구된다.

음성 세그먼트와 왜곡 (Voice Segmentation and Distortion)?

제안된 프라이버시 보호 모드에서 객체의 얼굴은 연속적으로 탐지, 추적 및 실시간으로 사각형 상자 형태로 블록화된다. 객체의 음성 식별 정보 보호를 위해 제안된 시스템은 [그림 3]과 같은 음성 세크먼트 알고리즘을 이용하여 객체의 음성을 식별하여 PitchScaleSOLA 알고리즘을 이용하여 왜곡시킨다. [그림 3]에서 만약 신호 Pk가 침묵(silence) 임계치 Ts 보다 적으면 해당 프레임내의 음성에 대한 왜곡을 수행하지 않는다. 만약 신호 Pk가 침묵(silence) 임계치 Ts와 프로듀스(produce) 임계치 Tp 사이에 존재하면 해당 프레임 내의 음성은 왜곡되어 진다. 만약 Pk가 프로듀스(produce) 임계치 Tp 보다 크면 프로듀서의 음성으로 판단하여 음성에 대한 왜곡을 수행하지 않는다.


[그림 3] 음성 세그멘트(Audio Segmetation)



얼굴 검출과 블록화(Face Detection and Blocking)?

    

     

[그림 4] 실험결과 (1)좌측 상단: 원 영상 프레임; (2)우측 상단: 객체가 말을 하지 않을 때 블록화된 얼굴; (3)좌측 하단: 객체가 말을 할 때 블록화 된 얼굴; (4)우측 하단: 배경 벽면의 허위 경보 발생

제안된 얼굴 검출과 블록화 모듈은 OpenCV 소프트웨어 패키지 내의 아다부스트 얼굴 분류자(Adaboost face classifier)를 이용하여 구현하였다. 구현된 모듈은 1초에 15프레임(한 프레임 당 352*288 크기)에 대한 정면 얼굴 식별이 가능하여 마이크로 PC에 효율적이다. 트래킹 컴포넌트는 검출된 얼굴 영역 내의 전체적인 hue 색상을 이용하여 측정된 피부색을 추적하여 활용한다. 마지막 단계는 [그림 4]와 같이 검출된 얼굴 영역을 검은색 또는 빨강색으로 블록킹하여 혼미하게 하는 단계로 이 단계를 통해 프라이버시가 제공된 영상을 최종 생성하게 된다. [그림 4]의 우측 하단 영상은 배경 벽면의 허위 경보가 발생한 경우로 이 경우 객체 프라이버시 보호에 전혀 영향을 주지 않는다,

 

 

<다음호에서는 영상 감시 시스템 내의 프라이버시 보호를 위한 자동화된 영상 감시 시스템을 위한 보안과 프라이버시 보호 기법에 관해 살펴보도록 하겠다.>

  [참고문헌]

[1] Jayashri Chaudhari 등. "Privacy Protection for Life-log Video", Signal Processing Applications for Public Security and Forensics, 2007. SAFE ''07. IEEE Workshop on, pp. 1-5 (2007).