연 재 순 서
1. e-JIKEI 카메라 기반 e-JIKEI 네트워크 프라이버시 제공 기법
2. Dairi EYE Lock 프로그램 기반 프라이버시 제공 기법
3. 세미블라인드 핑커프린팅(Semi-blind Fingerprinting) 기반 프라이버시 제공 기법
4. Privacy-Safe See-Through Vision 기반 프라이버시 제공 기법
5. USB 메모리 기반 영상 감시 카메라 시스템 프라이버시 제공 기법
6. 적응적 비쥬얼 개념을 활용한 PriSurv 기반 프라이버시 제공 기법
7. 프라이버시 보호를 제공하는 영상 감시 카메라 이미지 분배 시스템 기법
8. Scalable Video Coding을 이용한 프라이버시 보호 영상 감시 시스템 기법
9. 프라이버시 보호를 위한 H.264/AVC 영상 스크램블링 기법
10. SecST-SPIHT 코딩 및 디코딩 스킴
11. 영상 감시 시스템 내의 민감한 프라이버시 정보에 대한 영상 데이터 은닉 기법
12. RFID 기반의 프라이버시 제공 영상 감시 시스템 기법
13. DRM 기반의 프라이버시 제공 영상 감시 시스템 기법
14. 영상 감시 시스템 내의 프라이버시 보호를 위한 주파수영역 기반 스크램블링 기법
15. 보안 카메라 내의 움직이는 객체 마스킹을 통한 프라이버시 보호 기법
16. 얼굴검출 및 JPEG2000의 ROI 코딩 기반 프라이버시 제공 영상감시 시스템 기법
17. Life-log 시스템 영상을 위한 프라이버시 보호 기법
18. 자동화된 영상 감시 시스템을 위한 보안과 프라이버시 보호 기법
19. 접근 레벨 기반의 CCTV 영상 프라이버시 보호 기법
20. SPDCM(Stated Preference Discrete Choice Modelling) 기반 프라이버시 보호 기법
21. DWDM 파장 개선을 활용한 CCTV 보안 시스템 기법
22. 구글 스트리트 뷰 서비상에서의 얼굴 블러닝(Face-blurring) 기법

본 기고에서는 최근 Okada 등에 의해 연구된 CCTV 환경에서 영상 내의 다양한 객체들에 대한 프라이버시를 제공 방법으로 응용 가능한 세미블라인드 핑거프린팅(Semi-blind Fingerprinting) 기반 프라이버시 제공 기법에 관해 소개한다.

영상 내의 객체 프라이버시 제공 원리

유비쿼터스 환경에서 다양한 센싱 웹(Sensing Web) 기반 센서 및 영상 감시 카메라들은 공개된 장소에 노출되어 있는 일반 사람을 프라이버시 문제를 고려하지 않고 영상을 촬영 및 저장 활용한다. 하지만 영상 감시 카메라(surveillance cameras)에 의해 녹화된 영상내의 객체(object)들에 대한 프라이버시 측면에서 해당 객체가 누구이며 어디에서 무엇을 하고 있었는지 등의 관한 개인 프라이버시 정보를 쉽게 누출하지 않는 영상 보호 기술이 반드시 필요하다. 또한 법적 분쟁이 발생이 발생하였을 때 영상 카메라 소유자와 영상 제공자가 누구인지 등에 관한 정보를 영상 내에 저장하는 기술 등을 활용하여 영상을 불법적으로 사용하는 불법 사용자들을 정확히 식별할 수 있어야 한다.

이에 2010년에 Okada 등은 위와 같은 환경에서 안전한 프라이버시 제공이 가능한 세미블라인드 핑거프린팅(Semi-blind Fingerprinting) 기반 프라이버시 제공 기법을 연구하였다. 제안된 시스템은 CCTV 환경에서 실현 가능할 뿐만 아니라 실용적인 영상 거래 시스템 확립을 위해 사용자 프라이버시와 콘텐츠 프라이버시에 대한 해결책을 제시하여 주고 있다. 제안된 세미블라인드 핑거프린팅 시스템에서는 CCTV 환경의 영상 감시 카메라들처럼 다수의 신뢰할 수 없는 컨텐츠 제공자인 CP(Content Provider)가 있음을 가정한다. 또한 세미블라인드 기술 기반으로 개발된 시스템은 사용자가 영상 감시 카메라에 의해 촬영된 영상을 안전하게 획득하기 원할 때 적용되어 진다.

예를 들어, 사용자가 어떤 이유로 인해 특정 시간에 특정 장소에 있음을 증명하기 위한 촬영 영상이 필요하다고 가정하자. 이 경우 해당 사용자는 영상 감시 카메라를 관리하는 CP로부터 영상 감시 카메라에 의해 촬영된 영상을 얻어야한다. 이때 제안된 세미블라인드 핑거프린팅 시스템은 촬영된 객체들과 사용자들의 프라이버시를 제공하는 영상을 안전하게 분배하게 된다. 녹화된 영상에서 얼굴 또는 차량 번호(license number) 등과 같은 프라이버시가 필요한 객체들에 대한 정보는 블라인딩 기술을 적용하여 안전하게 보호되어지게 된다. 사용자 프라이버시는 CP와 신뢰할 수 있는 제3자인 TTP(trusted third party) 사이에 분산 관리를 통해 보호된다.

블라인드 핑거프린팅(Blind Fingerprinting) 기법


최근에 Petitcolas 등은 [그림 1]과 같이 영상 불법 복제 및 저작권 침해에 대응하여 영상 콘텐츠를 보호하기 위한 워터마킹 기술 기반의 블라인드 핑거프린팅 기법을 개발하였다.

이 기법은 CP가 영상 배포 이전에 고유한 사용자 ID(unique user ID)를 영상 내에 안전하게 숨기는 기술이다. 만약 복제된 영상이 발견되면, CP는 악의적인 사용자를 식별하기 위해 사용자 ID를 영상으로부터 추출하여 활용하게 된다. 하지만 이 기법은 CP에 대한 절대적인 신뢰성을 가진다는 가정을 전제로 우수한 실용성을 보장할 수 있다.

또한 CP와 사용자가 동일한 ID가 숨겨진 영상을 공동으로 소유하기 때문에 불법적인 영상 배포 및 거래가 사용자 모르게 악의적인 CP에 의해 쉽게 발생될 수 있다. 비록 차후에 복제된 영상이 발견되었다 하더라도 CP 또는 사용자 중 누가 불법적인 영상 배포 및 거래를 수행하였는지를 식별하는 것은 불가능하다. 이 기법의 또 다른 문제점은 악의적인 CP가 사용자 이름 또는 구매 기록과 같은 사용자의 프라이버시 정보를 쉽게 누출할 수 있다는 것이다.

공개키 암호 기술을 사용한 블라인드 핑거프린팅

위와 같은 보안 문제점들에 대한 해결책으로 다양한 블라인드 핑거프린팅 기법들이 최근까지 연구되어지고 있다. 특히 사용자의 프라이버시 정보를 보호하기 위해 [그림 2]와 같은 공개키 암호화 기술을 적용한 블라인드 핑거프린팅 기법이 최근에 Iwamura 등에 의해 개발되었다.

공개키 암호화 기술을 적용한 블라인드 핑거프린팅 기법은 다음과 같은 과정으로 수행되어 진다.

1) 사용자는 자신의 공개키와 개인키(pk, sk)를 준비한다. 사용자는 자신의 공개키 pk로 자신의 ID를 암호화한 후 암호화된 ID와 공개키 pk를 CP에게 전송한다.
2) CP는 영상 감시 카메라로부터 촬영된 프라이버시 제공이 필요한 원본 영상 I를 사용자로부터 수신한 공개키 pk로 암호화하여 {I}pk를 얻는다. 다음으로 복호화 과정 없이 암호화된 영상 {I}pk 내에 사용자로부터 수신한 암호화된 ID를 은닉(embedding)하여 {I,ID}pk한다. 끝으로 CP는 암호화 및 은닉화된 영상 {I,ID}pk를 사용자에게 전송한다.
3) 사용자는 암호화 및 은닉화된 영상 {I,ID}pk로부터 은닉만 된 영상 {I,ID}을 얻기 위해 암호화 및 은닉화된 영상 {I,ID}pk를 자신의 개인키 sk로 복호화한다.

이 경우 단계 2)에서 CP는 암호화된 ID를 사용자로부터 수신하기 때문에 해당 사용자가 누구인지를 정확히 알지 못한다. 게다가 최종적으로 은닉화된 영상 {I,ID}pk는 사용자에 의해서만 얻어질 수 있다. 이는 곧 불법 복제된 영상이 발견되었을 경우 악의적인 사용자가 누구인지 쉽게 식별할 수 있음을 의미한다. 그럼에도 불구하고 이 기법은 공개키 암호 연산으로 인한 높은 연산 비용과 낮은 견고성(robustness)으로 인해 비실용적이다.


세미블라인드 핑거프린팅(Semi-blind Fingerprinting) 기반 프라이버시 제공 기법

Okada 등에 의해 개발된 세미블라인드 핑거프린팅 기법은 위 공개키 암호화 알고리즘 대신에 영상 분해(image decomposition) 기술을 사용하여 낮은 처리 비용과 높은 견고성을 제공하도록 설계된 위 블라인드 핑거프린팅 기법의 변형 기법이다. [그림 3]은 CCTV 환경 기반 영상 분배 시스템에서의 세미블라인드 핑거프린팅 기법의 자세한 동작 과정을 보여주고 있다.

시스템에서 사용자가 검증자(verifier)이며, 익명 사용자(anonymous user) ID가 프라이버시 정보를 분배 및 관리를 담당하는 TTP(trusted third party)에 의해 발급된다고 가정하자. Okada 등에 의해 개발된 기법은 다음과 같은 과정으로 수행되어 진다.

1) CP는 영상을 두개의 영상 (I1, I2)로 분해한다. I1은 사용자에가 전송하고 I2는 TTP에게 각각 전송한다. 여기에서 I1은 영상 가격 등에 관한 기밀 정보를 포함하지 않도록 되어있다. 이로 인해 I1을 수신한 사용자는 해당 영상을 불법적으로 재분배 하였을 때 가질 수 있는 이점은 없게 된다. 반면에 I2는 사용자의 프라이버시 보호를 위해 인식이 불가능하도록 만들어지므로 TTP에 의한 사용자 프라이버시 침해를 최소화 할 수 있다.
2) TTP는 익명 사용자 ID를 미인식된 영상 I2 내에 은닉하여 사용자에게 전송한다.
3) 사용자는 은닉된 인식 가능한 최종 영상을 얻기 위해 분해된 영상 I1과 I2를 통합한다.

이 방법은 다음과 같은 장점들이 있다.

1) CP는 익명 ID로 인해 사용자가 누구인지 전혀 알 수 없으며, 오직 사용자만이 완전히 은닉된 최종영상을 가지기 때문에 악의적인 사용자가 CP 또는 사용자인지를 쉽게 구분할 수 있다.
2) TTP는 영상 내의 프라이버시 제공 영역을 전혀 인식할 수 없기 때문에 해당 영상의 사용자가 누구이며 영상의 종류가 무엇인지를 쉽게 인식할 수 없다.
3) 사용자는 사용자의 이름과 구매정보를 유출하지 않고도 통합과정을 통해 자신의 익명 ID가 은닉된 원 영상을 얻을 수 있다.


핵심 기술적 요소

Okada 등에 의해 제안된 위 시스템은 영상 분해와 은닉(embedding)의 두 개의 핵심 기술적 요소로 구성된다. 영상 분해는 원 영상을 두 영상으로 분해하여 준다. 한 영상은 프라이버시 기반의 워터마킹을 위한 목적으로 사용되어지게 되어 프라이버시 영역을 미인식 상태가 되게 하여야 한다. 반면에 또 다른 영상은 어디에 워터마크가 삽입되었는지에 관한 자세한 정보를 유지하여야 한다. 일반적으로 은닉된 정보는 두 분해된 영상에 대한 최종 통합 과정에 거의 영향을 받지 않는다. 하지만 만약 연성 워터마킹(fragile watermark) 기술을 적용하였을 때는 두 분해된 영상들을 통합할 때 해당 워터마크가 손상되어 질 수 있다.

구현 결과

[그림 4]는 세미블라인드 핑거프린팅 기반 프라이버시 제공 시스템 동작 과정을 보여주고 있다.

[그림 4]의 세미블라인드 핑거프린팅 프로토콜은 검증(verification)과 거래(trading)의 두 단계로 구성된다. 프로토콜 시작 전에 CP는 TTP에게 원본 영상의 타임스탬프(timestamp)를 등록하였다고 가정하며, 사용자는 근처의 영상 감시 카메라로부터 검증 티켓(verification ticket)을 획득하였다고 가정한다.



[그림 4] 세미블라인드 핑거프린팅 기반 프라이버시 제공 시스템 동작 과정

검증 단계(Verification Phase): 검증 단계에서, 사용자는 CP에게 검증 티켓을 사용하여 해당 영상을 요청한다. CP는 TTP와 협력하여 티켓을 검증한다. 만약 검증이 성공되면, 사용자는 영상 거래 단계 과정을 거쳐 은닉된 영상을 얻을 수 있게 된다.

영상 거래 단계(Image Trading Phase): 영상 거래 단계는 [그림 3]을 기반으로 영상 분해(decomposition), 은닉(embedding), 통합(intergrading)의 세 가지 기능을 포함하며 아래와 같이 동작한다. 이때 은닉 기능은 워터마크가 두 영상의 통합 후에 감지되어 질 수 있도록 효율적인 견고성을 가지도록 설계되어져 있다.

1) 사용자는 시스템 상에 제공되는 영상에 관한 썸네일(thumbnail)들로 부터 필요로 하는 영상에 대한 썸네일을 선택한다. 이때 해당 영상이 사용자에 의해 선택되자마자 대응되는 원 영상 I는 분해 서버(decomposition server)에 의해 두 개의 분해된 영상 (I1, I2)로 분해되어 출력된 후, 사용자와 TTP에 각각 전송된다. [그림 5]와 [그림 6]은 각각 분해된 I2 출력 예제 영상들을 보여주고 있다. 

  
[그림 5] I2 Lenna 영상 



[그림 6] I2 Washington 영상 

 특히 [그림 5]는 OpenCV 기반의 얼굴 인식 기술에 의한 얼굴 부분을 블라인드 처리한 프라이버시가 보호된 영상을 보여주고 있다. 하지만 부정확한 각도와 낮은 해상도 등으로 인해 얼굴 영역 감지가 좋지 않아 얼굴 인식 기술만으로는 올바른 프라이버시를 제공하기 어렵다. 이에 대한 해결책으로 의사 블록 노이즈 필터링(pseudo block noise filtering) 기술을 적용하여 미감지된 얼굴 영역 부분을 검은 배경 영상으로 블라인드 처리하여 추가적인 프라이버시 보호를 제공하도록 설계되어 있다. 한 예로 [그림 6]과 같이 필터링 기술이 적용된 영상은 작은 얼굴이 비록 감지되지는 않았지만 블록 노이즈 기술이 얼굴 부분 등을 성공적으로 블라인딩 처리하고 있음을 보여준다.

2) CP는 임베딩된 I2'영상을 생성하기 위해 I2내에 익명 ID를 은닉한 후 사용자에게 전송한다.

3) 사용자는 은닉된 영상 I'=I1+I2'을 얻기 위해 통합 기능(integration function)에 의해 두 영상을 통합한다. 여기에서 +는 영상 통합 과정(integration process)을 의미한다.

결론적으로 Okada 등에 의해 제안된 영상 프라이버시 솔루션은 다음의 장점들을 가진다. 첫째, CP는 익명 ID로 인해 사용자의 신원을 알 수 없다. 둘째, 원 영상은 미인식되어진 형태로 블라인딩 처리되어 있기 때문에 TTP는 영상 감시 카메라에 의해 촬영된 객체(subject)들이 무엇인지 쉽게 알지 못한다. 끝으로, 은닉된 워터마크로 인해 강한 프라이버시를 제공할 수 있다.


<다음호에서는 Privacy-Safe See-Through Vision 기반 프라이버시 제공 기법에 관해 살펴보도록 하겠다.>