연 재 순 서
1. e-JIKEI 카메라 기반 e-JIKEI 네트워크 프라이버시 제공 기법
2. Dairi EYE Lock 프로그램 기반 프라이버시 제공 기법
3. 세미블라인드 핑거프린팅(Semi-blind Fingerprinting) 기반 프라이버시 제공 기법
4. Privacy-Safe See-Through Vision 기반 프라이버시 제공 기법
5. USB 메모리 기반 영상 감시 카메라 시스템 프라이버시 제공 기법
6. 적응적 비쥬얼 개념을 활용한 PriSurv 기반 프라이버시 제공 기법
7. 프라이버시 보호를 제공하는 영상 감시 카메라 이미지 분배 시스템 기법
8. 프라이버시 보호를 위한 H.264/AVC 영상 스크램블링 기법
9. SecST-SPIHT 코딩 및 디코딩 스킴을 적용한 프라이버시 제공 기법
10. 영상 감시 시스템 내의 민감한 프라이버시 정보에 대한 영상 데이터 은닉 기법
11. RFID 기반의 프라이버시 제공 영상 감시 시스템 기법
12. Scalable Video Coding을 이용한 프라이버시 보호 영상 감시 시스템 기법
13. DRM 기반의 프라이버시 제공 영상 감시 시스템 기법
14. 영상 감시 시스템 내의 프라이버시 보호를 위한 주파수 영역 기반 스크램블링 기법
15. 보안 카메라 내의 움직이는 객체 마스킹을 통한 프라이버시 보호 기법
16. 얼굴 검출 및 JPEG2000의 ROI 코딩 기반 프라이버시 제공 영상 감시 시스템 기법
17. Life-log 시스템 영상을 위한 프라이버시 보호 기법
18. 자동화된 영상 감시 시스템을 위한 보안과 프라이버시 보호 기법
19. 접근레벨 기반의 CCTV 영상 프라이버시 보호 기법
20. SPDCM(Stated Preference Discrete Choice Modelling) 기반 프라이버시 보호 기법
21. DWDM 파장 개선을 활용한 CCTV 보안 시스템 기법
22. 구글 스트리트 뷰 서비상에서의 얼굴 블러닝(Face-blurring) 기법

시스템 구조?

[그림 1] 자동화된 영상감시 시스템 구조

[그림 1]은 제안된  자동화된 영상감시 시스템 구조를 보여 준다.
제안된 시스템의 핵심 이슈는 자동화된 영상 감시 데이터(automated video surveillance data) 내의 보안성과 프라이버시 강화이다. 설계된 시스템은 엔코더(encoder)와 디코더(decoder)의 두 파트로 구성된다. 엔코딩 과정에서 획득된 영상 데이터는 보안과 프라이버시 개선 처리 과정을 거친 후 저장된다. 엔코딩 단계는 모션 탐지(motion Detection), 선택 스크램블링(selective scrambling), 워터마킹(watermarking)의 3개의 핵심 처리 모듈을 가지고 있으며 이들 모듈에 의한 처리 결과로 강력한 보안성과 프라이버시를 제공할 수 있다. 디코딩 단계에서 권한 검증과 처리 비밀 키(key)를 소유하고 있는 인증된 사용자(authorized user)는 언제든지 저장된 영상을 추출 및 볼 수 있으며, 디코딩 처리를 통해 인증 감지(authentication detection), 역스크램블링(descrambling) 과정을 독립적 또는 동시에 수행할 수 있다. 엔코딩 부분은 스마트 카메라 장치 또는 저장 전에 영상을 처리할 수 있는 PC 기반의 영상 시스템 내에 온보드(onboard) 처리 장치로 설계되어있다.

저장 영상 선택을 위한 모션 탐지?

제안된 시스템에서 저장 공간 효율성을 위해 획득된 영상에서 핵심적인 영상만을 추출하여 저장하기 위해 Tian 등이 제안한 실시간 핵심 모션 탐지(real time salient motion detection) 기법을 적용하였다. 핵심 모션 탐지는 필터된 모션 영역(filtered motion image fields)과 함께 임계 시간 차(thresholded temporal difference)에 대한 N 프레임 상에서의 조합을 기반으로 5단계로 처리된다.
연속된 영상에 대한 임계 시간차는 첫 번째 단계로 광학 처리 알고리즘을 사용하여 프레임 대 프레임 모션 추정에 따라 구해진다. 추정된 변위 영역(dx, dy)는 임시적으로 필터링된다. 네 번째 단계에서는 시간 차 뿐만 아니라 시간 필터링 결과를 확장하기 위해 수학적 형태학 처리를 사용한다. 마지막 단계에서 핵심 모션의 바이너리 맵(binary map) 시퀀스가 화장된 결과와의 매칭을 통해 얻어지게 된다. 프레임 변위를 예상하기 위해 Tian 등이 제안한 Lucas-Kanade 광학 처리 방법을 적용하였다.

시간 필터링(temporal filtering)은 핵심 모션의 객체는 미세한 시간 단위 동안 일관된 방향성을 가진다는 가정을 기반으로 변위 벡터 영역으로부터 산란한 모션은 버리는 과정이다. 따라서 시간 필터링의 목적은 탄도가 첫 번째 프레임으로 부터의 주기 N상에서의 일정한 방향성을 가지는 지들 결정하는 것으로 각 픽셀의 움직임을 결정하는 역할을 한다.

핵심 모션의 중요 객체 위치와 모양을 가르키는 최종 바이너리 맵 시퀀스를 얻기 위해서는 결과 조합(result com bination)은 x와 y방향 내에 확장되고 필터링된 모션 필드들 추가하게 된다. 이 처리 과정의 출력 결과는 바이너리 포맷을 가진다. [그림 2]는 핵심 모션에 대한 객체 탐지 예를 보여주고 있다.



[그림 2] 핵심 모션 탐지 (a) 원본 프레임, (b) 시간 차(바이너리), (c) x 변위 영역, (d) y 변위 영역, (e) 시간 필터링 우희 x 변위 영역, (f) 시간 필터링 후의 y 변위 영역, (g) 팽창 후의 필터된 x 변위 영역, (h) 팽창 후의 필터된 y 변위 영역, (i) 핵심 모션에서 최종 탐지된 객체

선택 저장?

모션 탐지 단계에서는 프레임의 공간 해상도, 시간 주기 N, 시간 차 임계치, 변위 추정을 위한 블록 크기, 시간 필터링 임계치 T와 같이 고려해야할 파라미터가 만이 있다. 이들 파라미터 값은 내부 환경 특성들과 동적 객체 속성에 의존하고 있다. 연속된 영상 프레임 획득 과정을 시작으로 하는 모션 탐지는 휘도(luminance) 컴포넌트의 N 프레임 시간 단위 분할에 기반하여 수행된다. 핵심 모션이 감지될 때, 대응되는 영상 시퀀스는 저장을 위해 각 프레임 내의 핵심 이동 객체의 모양과 위치를 지시하는 바이너리 맵 시퀀스와 함께 라벨링되어 하위 처리 모듈에 전달되어 진다. 만약 핵심 모션이 아닌 것이 탐지되면 대응되는 영상 시퀀스는 간단하기 무시되고 거부된다.

프라이버시 보호 개선?

영상 처리 기술을 이용한 프라이버시 보호(privacy-protecting)의 목적은 특정 영상 부분(사람 얼굴, 자동차 번호)에 대한 프라이버시 보장을 위해 삭제 또는 마스킹(masking) 기술들을 사용한다.



[그림 3] 스크램블링 과정의 예 (a) 원 영상; (b) 바이너리 스크램블링 맵 표현(64 픽셀 블록 당 64 비트); (c) 스크램블링 영역을 가지는 최종 영상

[그림 3]과 같은 결과를 얻기 위해 획득된 영상 시퀀스에 대한 제안된 프라이버시 강화 기법은 두 단계로 구성된다. 첫 번째 단계는 프라이버시 보호가 필요한 적합한 영상 영역을 탐지하는 것이다. 두 번째 단계는 스크램블링 기술을 기반으로 하는 정보 은닉 방법을 적용하여 이들 영역에 대해 프라이버시를 적용하는 것이다. 특히 하위 처리 과정을 쉽게 하기 위해 [그림 3]의 (b)와 같이 바이너리 스크램블링 맵 내의 결과에 대해 8×8 픽셀 블록에 대해 패딩(padding)을 사용하게 된다. [그림 3]의 (c)와 같이 프라이버시가 제공된 영역은 쉽게 인식할 수 없는 형태를 가지게 된다.


인증을 위한 워터마킹?

프라이버시가 제공된 영상은 세 번째 모듈인 인증을 위한 워터마킹 모듈로 전달되어 진다. 워터마킹 과정은 (1) 영상 프레임 인증과 (2) 프레임 스크램블링 맵 숨김 단계로 구성된다. 블라인드(blind) 워터마킹 기법이 영상 감시 시퀀스를 인증하기 위해 사용된다. 엔코딩 단계는 내부적으로 워터마킹 생성과 워터마킹 숨김 과정을 가진다. 워터마킹 생성 과정은 각 블록에 대한 서명(signature) 목적으로 현재 프레임에 대한 프레임 획득 날짜 및 시간 정보, 카메라와 위치 식별 정보, 스크램블링 맵, 기타 옵션 정보 등의 128 비트 블록 기반의 메타 데이터 비트 스트림 워터마크를 생성한다. 워터마킹 숨김은 공간 영역에서 수행된다. 생성된 개별 블록 기반 워터마크는 랜덤하게 선택된 프레임 블록의 LSB 2비트에 은닉된다. 디코딩 단계에서 워터마크를 블록 영상의 LSB 2비트로부터 추출하여 비밀키를 기반으로 인증을 하게되어 원 영상에 대한 조작 여부를 판단하게 된다.


<다음호에서는 영상 감시 시스템 내의 프라이버시 보호를 위한 접근 레벨 기반의 CCTV 영상 프라이버시 보호 기법에 관해 살펴보도록 하겠다.>


 [참고문헌]

[1] Nadia Baaziz 등. "Security and privacy protection for automated video surveillance", IEEE International Symposium on Signal Processing and Information Technology, pp. 17-22 (2007).