연 재 순 서

1. e-JIKEI 카메라 기반 e-JIKEI 네트워크 프라이버시 제공 기법
2. Dairi EYE Lock 프로그램 기반 프라이버시 제공 기법
3. 세미블라인드 핑거프린팅(Semi-blind Fingerprinting) 기반 프라이버시 제공 기법
4. Privacy-Safe See-Through Vision 기반 프라이버시 제공 기법
5. USB 메모리 기반 영상 감시 카메라 시스템 프라이버시 제공 기법
6. 적응적 비쥬얼 개념을 활용한 PriSurv 기반 프라이버시 제공 기법
7. 프라이버시 보호를 제공하는 영상감시 카메라 이미지 분배 시스템 기법
8. Scalable Video Coding을 이용한 프라이버시 보호 영상 감시 시스템 기법
9. 프라이버시 보호를 위한 H.264/AVC 영상 스크램블링 기법
10. SecST-SPIHT 코딩 및 디코딩 스킴
11. 영상 감시 시스템 내의 민감한 프라이버시 정보에 대한 영상 데이터 은닉 기법
12. RFID 기반의 프라이버시 제공 영상 감시 시스템 기법
13. DRM 기반의 프라이버시 제공 영상 감시 시스템 기법
14. 영상감시 시스템 내의 프라이버시 보호를 위한 주파수영역 기반 스크램블링 기법
15. 보안 카메라 내의 움직이는 객체 마스킹을 통한 프라이버시 보호 기법
16. 얼굴검출 및 JPEG2000의 ROI 코딩 기반 프라이버시 제공 영상 감시 시스템 기법
17. Life-log 시스템 영상을 위한 프라이버시 보호 기법
18. 자동화된 영상감시 시스템을 위한 보안과 프라이버시 보호 기법
19. 접근레벨 기반의 CCTV 영상 프라이버시 보호 기법
20. SPDCM(Stated Preference Discrete Choice Modelling) 기반 프라이버시 보호 기법
21. DWDM 파장 개선을 활용한 CCTV 보안 시스템 기법
22. 구글 스트리트 뷰 서비상에서의 얼굴 블러닝(Face-blurring) 기법

본 기고에서는 최근 Hayashi 등에 의해 연구된 CCTV 환경에서 영상 내의 다양한 객체들에 대한 프라이버시 제공 방법으로 응용 가능한 Privacy-Safe See-Through Vision 기법에 관해 소개한다.

See-through vision 시스템
영상 감시 카메라 설치의 증가로 인해 공공장소에 대한 보호 기능이 강화되고 있다. 하지만 일반인들이 무분별하게 이들 카메라들에 노출이 되어 프라이버시 문제와 같은 부정적 효과 또한 많이 발생하고 있다. 2004년에 Kameda 등은 [그림 1]과 같은 영상 감시 카메라에 대해 일반인에게 자율권을 보장하는 See-throu gh vision 시스템을 제안하였다.



         [그림 1] See-through vision 기법

이 시스템은 벽, 파라솔, 가림막 등의 장애물 뒤쪽에 위치한 사람들에 대한 감시도 가능한 합성 현실(mixed reality) 기법을 기반으로 한다. 이 시스템은 실세계에서 촬영된 영상과 컴퓨터 그래픽 영상을 합성 현실 기술로 융합한다. 사용자들은 모바일 카메라(mobile camera)를 탑재한 모바일 컴퓨터를 가지고 있으며 이로부터 촬영된 영상과 일반 영상 감시 카메라(environmental camera)에 의해 촬영된 영상을 이용하여 모바일 컴퓨터 화면으로 가리개(occluder) 뒤쪽의 숨어있는 객체들을 식별할 수 있다. 하지만 이와 같은  See-through vision 시스템의 강력한 성능은 타인의 프라이버시를 침해할 수 있기 때문에 적절한 프라이버시 제공 기술이 적용될 필요가 있다.

Privacy-safe see-through vision 시스템
2010년에 Hayashi 등은 위 see-through vision 시스템을 개선하여 해당 기법에 프라이버시 기술을 적용한 privacy-safe see-through vision 시스템을 새로이 개발하였다. 제안된 privacy-safe see-through vision 시스템은 [그림 2]와 같이 영상 감시 카메라들에 의해 촬영된 영상에 대한 강한 프라이버시 기능을 제공한다.



[그림 2]의 (a)와 같이 만약 일반 영상 감시 카메라에 의해 촬영된 물체들(subjects)이 사용자와 관련이 있는 물체들, 즉 동일한 프라이버시 레벨로 공유되는 물체들이면 해당 시스템은 일반 영상 감시 카메라에 의해 촬영된 영상을 어떠한 가공도 수행 되지 않은 원본의 영상으로 사용자들에게 보여 주게 된다. 만약 물체들이 사용자와 관련이 있는 지인들(acquain tances)이 아니면 해당 시스템은 [그림 2]의 (b)와 같은 사용자에게 흐릿하게 처리된 영상(burred image)을 보여주며 [그림 2]의 (c)와 같이 인간 모양의 아이콘으로 사람의 수를 표현하게 된다. 이러한 프라이버시 보호 표시는 2008년에 Minoh 등이 제안한 'Content Engineering for Social Use of Sensing Information' 기술을 적용한 물체 식별 메커니즘을 이용하게 된다. 실제 Hayashi 등은 제안한 privacy-safe see-through vision 시스템을 일본 교토 내의 한 쇼핑몰에 설치하여 실험을 하였다. 이 시스템은 Kato 등이 제안한 ARToolkit를 사용하여 일반 영상 감시 카메라와 모바일 카메라가 합성 현실 기술에 의해 장애물 속이 다 보이는 영상으로 쉽게 합성이 될 수 있도록 외적인 파라미터들을 얻을 수 있게 되어 있다.

Privacy-safe see-through vision 시스템은 모바일 영상 카메라를 탑재한 모바일 핸드-헬드 장치와 다수의 일반 영상 감시 카메라로 구성되며 센서 네트워크를 통해 연결되어있다. [그림 3]과 [그림 4]는 지면상에 몇 개의 파라솔들이 비치되어 있으며 사용자는 고층에 위치하고 있는 제안된 시스템이 적용된 환경을 보여주고 있다.



[그림 3] 시스템 응용 환경(사용자가 파라솔 내부의 사람들을 식별하기 원함)



만약 사용자가 파라솔 내에 빈자리가 있는지 여부를 알아보기 위해 또는 않아 있는 지인들이 누구이며 몇 명인지 여부를 알아보기 위해 파라
솔 내부를 보기 원하는 경우 사용자는 자신의 모바일 장치를 파라솔 방향으로 향한다. 파라솔 내부를 촬영해주는 일반 영상 감시 카메라는 해당 영상을 촬영하여 적절한 영상 세그먼트(image segment)를 추출한다. 만약 해당 물체들이 사용자가 알고 있는 지인들이면 어떠한 프라이버시 제공 없이 해당 영상 세그먼트는 [그림 4]의 (c)와 같이 사용자의 모바일 장치 상에서 겹쳐진 영상 세그먼트 형태로 제공된다. 이와 달리 만약 해당 물체들이 사용자가 모르는 일반 사람들이면 해당 시스템은 위 [그림 2]와 같은 두 단계의 과정을 거쳐 프라이버시를 제공하여 해당 영상 세그먼트는 사용자의 모바일 장치 상에서 겹쳐진 영상 세그먼트 형태로 제공된다. 다시 말해, 먼저 일반 영상 감시 카메라에 의해 촬영된 영상 세그먼트를 어떤 물체인지 여부를 식별할 수 없도록 흐릿하게 만들며, 다음 과정으로 사용자가 사람의 수를 쉽게 알 수 인식할 수 있도록 흐릿하게 처리된 영상에 인간 모양의 아이콘을 이용하여 적절하게 배치시킨다.

Marker-based Camera Tracking
[그림 5]는 위에서 설명한 privacy-safe see-through vision 시스템을 일본 교토 내의 한 쇼핑몰에 설치한 실험 레이아웃을 보여주고 있다.



이 시스템은 Kato 등이 제안한 ARToolkit와 두 개의 marker를 이용하여 일반 영상 감시 카메라에 촬영된 영상 위치와 모바일 카메라에 의해 촬영된 영상 간의 영상 세그먼트가 놓여지는 위치를 정확하게 계산할 수 있게 하였다. Large marker는 일반 영상 감시 카메라와 모바일 카메라 간의 관계(relationship)를 측정하기 위해 임시로 설치되는 marker이다. Small marker는 모바일 카메라 앞에 영구적으로 설치된다. [그림 5]에서 지면상에 하나의 파라솔이 있으며 사용자는 2층에 위치하고 있다. 일반 영상 감시 카메라는 사용자가 바로 볼 수 없는 파라솔 내부 공간을 촬영한다. ARToolkit에 의해 파라솔 내부의 목표 공간 위치를 정확하게 측정하기 위해 Large AR marker가 설치되어 있으며 이 marker는 일반 영상 감시 카메라와 모바일 카메라 모두를 통해 볼 수 있다. 모바일 카메라 앞에 설치되어 있는 small AR marker는 모바일 카메라의 움직임을 측정한다. 두 marker는 모바일 카메라 측에서는 모두 볼 수 있다. Privacy-safe see-through vision 시스템은 large marker와 small marker의 위치를 알 수 있을 뿐만 아니라 ARToolkit이 small marker 측정을 통해 모바일 카메라의 위치를 정확히 추정할 수 있으므로 임의의 영상 프레임 내의 목표 공간의 위치를 항상 추적할 수 있다.

또한 위치 측정이 완료된 후에는 large marker는 더 이상 필요가 없음으로 제거된다. [그림 6]은 두 대의 일반 영상 감시 카메라와 두 개의 파라솔을 이용한 see-through vision 실험 결과(좌측 파라솔)와 privacy-safe see-through vision 실험 결과(우측 파라솔) 영상을 보여 주고 있다.



    [그림 6] 실험 결과 영상

[그림 6]에서 사용자는 자신의 모바일 장치를 통해 사용자와 동일한 프라이버시 레벨을 공유하는 좌측 파라솔 내의 지인들에 대해서는 프라이버시가 적용되지 않은 원본 영상을 보여주며, 우측 파라솔 내의 모르는 사람들에 대해서는 프라이버시가 적용된 영상을 보여주고 있다.


<다음호에서는 USB 메모리 기반 영상 감시 카메라 시스템 프라이버시 제공 기법에 관해 살펴보도록 하겠다.>