보행 인식 시스템 성능 개선을 위한 영상 왜곡 보정 기법
상태바
보행 인식 시스템 성능 개선을 위한 영상 왜곡 보정 기법
  • CCTV뉴스
  • 승인 2010.03.03 00:00
  • 댓글 0
이 기사를 공유합니다

영상기반 보행인식 시스템에서 카메라와 객체가 이루는 각도 및 렌즈 왜곡과 같은 물리적 요인과 조명과 같은 환경적 요인에 따라 인식률이 다르게 나타난다. 본 고는 카메라에서 입력된 다양한 형태의 영상 왜곡을 보정하여 보행 인식 시스템의 성능 및 안정성을 향상시키는 기법을 제안한다.

제안된 방법은 물리적, 환경적 왜곡 요인이 존재하는 입력 영상에서의 인간의 보행 인식률을 기존 방식과 실험적으로 비교한다. 보다 구체적으로는 투영 변환(projective transform)을 통해 입력 영상의 왜곡을 효과적으로 보정하는 알고리즘을 제안하고 입력 영상의 왜곡 보정 전, 후를 비교하여 알고리즘의 실효성을 확인한다. 제안된 방법은 카메라로부터 거리 및 환경에 불변하는 보편적인 보행 데이터를 획득하였다.

그 결과 제안된 보편적인 보행 데이터를 이용하여 실내 영상에서는 41.5%, 실외 영상에서는 평균적으로  55.5%의 향상된 보행 인식률을 보였다. 이것은 특정 개체의 특징을 데이터베이스(DB)화 하고 DB에 저장된 특정 개체를 검색하고 추적하는 데 효과적으로 이용될 수 있다. 

객체인식은 지능적이고 다양화된 범죄 예방을 위한 보안 산업분야나 공공장소와 같은 특화된 장소에서의 감시 시스템(surveillance system) 등 다양한 어플리케이션을 구현할 수 있다. 특히 대표적인 감시 시스템인 카메라 영상을 이용한 객체인식은 매우 효율적이다.

영상에서 사람을 인식하는 방법 중 생리 생물학적 측정(physiology biometrics measure) 방식은 지문(fingerprint), 홍채(iris) 등의 생물학적 특징과 신체적인 특징을 분석 하는 방법이다. 다른 한 가지는 행동생물학적 측정(behavioral biometrics measure) 방식인데, 이것은 음성, 보행 등 사람의 행동적인 특성을 통계적으로 나타내어 분석하는 방법이다.
표 1은 다양한 생물 측정학 방법을 정리한 것이다.


[표 1] 다양한 생물 측정학 방법

이러한 생물 측정학 방식 중 보안 감시 분야에서는 비접촉성을 요구하는 보행(gait) 분석이 최근 각광받고 있다. 보행 인식 알고리즘을 사용할 경우, 고유한 보행특성을 갖기 때문에 의도적 위장이 상대적으로 어려우며 카메라로 촬영된 입력 영상의 분석 및 데이터 수집을 통한 감시 시스템 및 보안 산업 분야에서의 적용이 가능하다.

이러한 장점에도 불구하고 입력 영상의 왜곡은 보행 인식률을 저하시킴으로써 보안 시스템 분야에서 객체인식이 실패할 경우 치명적인 결과를 초래할 수 있지만 제안된 기술을 왜곡 보정을 사용해서 인식을 안정화시킬 수 있게 한다.


[표 2] 영상 왜곡 보정 방법

표 2는 기존의 영상 왜곡 보정 방법들을 정리한 것이다. 카메라 좌표계와 영상 좌표계를 이용하여 기하학적 해석 방법이 대표적이며 회로망에서 파생된 퍼셉트론 이론을 이용한 교정방법도 알려져 있다. 그러나 기존의 이론들은 시스템 제약이 존재하거나 학습 시간 및 계산량이 많아 실시간 적용이 어렵다. 본 고에서 제안된 시스템은 객체 보행 표준 데이터와의 합을 위한 영상 보정이기 때문에 기존 알고리즘과는 차별된다.

가우시언 필터와 투영 변환을 이용하여 왜곡 보정한 영상으로부터 보행 데이터를 추출한다. 영상을 왜곡하는 다양한 요인별로 영상을 보정하
여 추출한 보행 데이터가 기존의 왜곡 영상보다 더 효율적인지 판단하기 위해 보행벡터를 추출하여 비교, 분석한다.

그림 1은 본 고에서 제안하는 알고리즘의 단계별 과정을 나타낸 것이다. 

[그림 1] 제안된 알고리즘의 블록 다이어그램

보행 인식을 위해서는 사람의 실루엣(silhouette)을 추출해야 하며 배경 영상과 사람이 존재하는 입력 영상의 차분을 통하여 실험 영상을 얻을 수 있다. 카메라에서 입력된 왜곡을 가진 영상을 전 처리(preprocessing)과정에서 가우시언(Gaussian) 필터링 이미지를 만든다. 가우시언 필터링 과정은 잡음이 존재하는 환경에서 실루엣을 추출하는 데 효율적이다.

전처리 과정이 끝난 후 물리적인 영상 왜곡 보정을 위해서는 투영 변환을 이용한다.

투영변환이란 3차원 공간상에 존재하는 좌표를 2차원 영상평면으로 합하는 과정이다. 투영변환 알고리즘은 카메라의 화각과 객체의 이동각도에 따라 생겨난 보행 데이터의 왜곡을 보정하여 표준화된 데이터를 사용하여 객체 인식을 할 수 있다. 즉, 보행 측정을 하고자 하는 사람의 위치에 따라 영상에서의 높이 비율 및 보폭의 표현이 불규칙하게 나타날 수 있는 경우를 보정해준다. 이러한 처리에도 남아있는 잡음들은 모폴로지와 같은 후 처리 과정을 통해 제거한다. 왜곡 보정 후 보편적인 보행 데이터를 획득할 수 있었다. 자세한 내용은 본 고의 실험에서 비교 분석한다.

본 고의 구성은 다음과 같다. 먼저 보행인식 알고리즘에 대해 소개하고, 영상에서 왜곡이 일어날 수 있는 요인에 대한 소개와 제안된 방법을 이용해 영상의 왜곡을 보정하는 과정에 대해 설명한다. 그리고 실내, 실외 환경에서 획득한 영상을 바탕으로 왜곡 보정 전, 후를 비교 및 분석하고 마지막으로 제안된 방법을 사용하여 얻은 향상된 결과에 대해 결론을 제시한다.


보행인식 알고리즘

이 절에서는 보편화된 보행인식 이론을 특징 추출 방식에 따라 분류하여 정리하고, 보행인식 수행 과정에 필요한 핵심 기술 및 용어 정리를 통해서 제안된 왜곡 보정 기법이 보행인식 적용되는 방법과, 상대적 성능 개선의 이론적 근거를 제시한다.

1. 배경이론
보행 주기(gait cycle)는 오른발, 왼발 총 두 걸음이 기준이 된다. 사람마다 보행의 특성이 다 다르기 때문에 특성 파악에 용이하다. 그림 2는 사람의 보행주기를 그림으로 나타낸 것이다.

본 고에서는 행동적 생물 측정학 중 보행인식 방법을 사용한다. 보행인식 방법은 크게 모델기반 방법(model-based method)과 형체기반 방법(shape-based method)으로 나눌 수 있다. 모델기반 방법은 신체 구조를 부분적으로 모델링하여 신체 구성 요소로 나누어 가중치에 따른 보행 특징을 추출하는 방법이다. 반면에 형체기반 방법은 사람의 신체 구조를 하나의 실루엣으로 보고 보행 패턴을 분석하는 방법이다. 본 고에서는 사람의 실루엣을 이용해 입력 영상에서의 보행 인식률을 분석하는 형체기반 방법을 이용한다.


[그림 2] 사람의 보행주기

다음은 보행 인식률을 알아보기 위해 보행 벡터를 구하는 방법을 소개한다. 형체기반 방법은 신체 구조를 부분적으로 영역을 나눌 수 있다. 그림 3은 부분적인 신체 영역과 4-D 보행 벡터 거리를 표현한 것이다. 신체 영역은 머리(head), 골반(pelvis), 다리(leg)로 3개 영역으로 구분할 수 있다.

4-D 보행 벡터란 사람의 신체를 4개의 영역 별로 나눈 벡터 거리 값을 의미한다. 사람 신체 영역은 그림 3 (a)와 같이 머리, 골반, 다리의 세 영역으로 나눌 수 있다. 이렇게 나누어진 영역별 벡터 거리는 그림 3(b)처럼 표현할 수 있다. d1은 사람의 전체 높이 값을 의미하고 d2는 머리영역과 골반영역의 거리 값을 나타낸다. d3은 골반영역과 다리 영역의 거리 값을 나타내고, d4는 다리영역에서의 오른발과 왼발 사이의 거리 값을 나타낸다.


[그림 3] (a) 사람의 신체 영역 및 (b) 4-D 보행 벡터

2. 보행 특징 추출(gait feature extraction)
앞에서 설명한 것처럼 형체기반 모델에서 보행 특징 추출을 위해서는 실루엣 영상을 획득해야 한다. 실루엣  영상은 카메라로 획득한 참조 영상이 될 배경 영상과 입력 영상인 사람이 존재하는 영상이 필요하다. 이 두 영상의 차 영상(difference image)을 가지고 우리는 실루엣 영상을 얻을 수 있다. 식 (1), (2)는 차 영상을 얻는 방법을 표현한 것이다.

Sdiff(x,y)=|Ia(x,y)-Ib(x,y)|                           (1)

Sbin(x,y)=  0,   otherwise                         (2)

Sdiff(x,y)는 배경 영상 Ia(x,y)와 입력 영상 Ib(x,y)의 차이 값을 나타낸다. Sbin(x,y)은 이진 영상(binary image)으로 Sdiff(x,y)가 임계(threshold)값 T를 넘는 화소는 1, 그 외의 화소는 0값을 갖도록 하였다. 이러한 과정을 통해 사람의 보행 동작을 검출할 수 있다. 검출된 실루엣 데이터가 부정확한 경우에는 형태학적 처리(morphology)와 같은 팽창, 침식 연산, 열기와 닫기 등을 통해 보정이 가능하다.

입력 영상의 왜곡 보정 방법

서론에 서술한 것처럼 카메라로 획득한 영상의 왜곡에는 크게 물리적 요인과 환경적 요인으로 나눌 수 있다. 물리적 왜곡 요인은 카메라 등의 촬영 장비를 사용할 때 발생하는 것으로 카메라의 렌즈, 각도, 조리개 등에서 오는 왜곡이 그 예이다.
환경적 왜곡 요인은 조명, 실내, 실외 등의 환경 변화 등과 같이 카메라 입력 영상에 발생하는 것을 의미한다. 이번에는 객체와 카메라의 각도에 따른 물리적 왜곡과 실내, 실외의 환경 변화에 따른 환경적 왜곡에 대해 분석하고 보정하는 방법에 대해 설명한다.
이와 관련해 먼저 환경적 왜곡 요인에 대한 분석과 가우시언 필터를 사용해 보정하는 방법과 카메라 각도에 따른 물리적 왜곡의 요인을 영상의 전 처리, 투영 변환을 이용하여 보정하는 방법에 대해 소개한다.

1. 환경적 왜곡 요인에 따른 영상 보정
실내, 외 환경 변화에 따른 환경적 왜곡은 조명 영향의 차이로 발생한다. 조명은 환경적 요인 중 가장 민감하게 영상에 반응할 수 있는 조건이고 관련된 왜곡 보정은 영상분야에서 활발히 연구되고 있다. 사람의 실루엣을 구하기 위해서는 차 영상을 이용한다고 소개하였다. 차 영상을 구하는 데 있어서 RGB영상을 HSV로 변환하여 밝기 값만을 이용한다. 일반적인 방법으로 필터를 이용하여 영상의 밝기를 조절한다. 본 고에서는 가우시언 필터를 사용하여 입력 받은 영상을 블러링 시키는 전 처리 작업을 한다. 저역 통과 필터인 가우시언 필터는 일반적인 평균값을 추출하는 데 사용하기 때문에 영상에서 급변하는 밝기 값을 감소시키는 데 유용하다.

f(x,y)=e                                                   (3)

식 (3)은 영상에 적용하기 위한 2-D 가우시언 확률분포 함수를 나타낸다. σ는 표준편차이며, σ값이 클수록 곡선의 평탄도가 낮고 작을수록 뾰족한 그래프 특성을 가진다. 그림 4는 가우시언 필터 적용에 따른 실루엣 추출 결과 영상이다. (a)는 가우시언 필터를 적용하지 않은 경우, (b)는 σ값이 5인 가우시언 필터를 적용한 것이다.


[그림 4] 실루엣 처리 영상 :
(a) 가우시언 필터의 미적용   (b) 가우시언 필터의 적용

가우시언 필터를 사용하지 않은 경우 원하지 않는 환경적 잡음요소가 영상의 에지 부분에서 검출되었다. 하지만 가우시언 필터를 사용한 결과에서는 잡음이 많이 제거되어 실루엣 검출이 용이한 것을 확인할 수 있다.
또한 가우시언 필터는 조명으로 인해 생성된 그림자를 감소시킨다. 그림자는 차 영상을 통한 객체 영역을 구하는 데 방해 요소이기 때문에 제거해야 한다.

표 3은 가우시언 필터에서 σ의 값에 따른 이진 실루엣 영상에서의 잡음 화소 수를 비교한 것이다. 비교에 앞서 우리는 실루엣 영역을 제외한 나머지 영역에서의 화소 수를 잡음으로 가정한다. 잡음 화소는 이진 영상의 전체 밀도에서 객체 실루엣 밀도와의 차이로 계산할 수 있다.
먼저 영상의 행 또는 열의 히스토그램을 구하고 밀도의 경계 차가 심한 곳을 실루엣 영역으로 설정하였다. 필터를 사용하지 않은 이진 영상은 잡음 화소 수가 1994개였고, 필터를 사용한
경우는 106개 이하로 약 18배 차이가 났다. σ값이 커질수록 잡음 화소 값의 편차가 마치 감소하는 지수함수 형태임을 확인할 수 있다.


[표 3] σ에 따른 잡음 제거 성능의 비교 

2. 투영 변환을 이용한 물리적 영상 왜곡 보정
카메라의 각도에 따른 왜곡을 다른 말로 원근 왜곡 (perspec-tive distortion)이라고 한다. 원근 왜곡은 공간상에서 평행한 수직선이 이미지 상에서 평행을 유지하지 못하고 한 점으로 수렴하는 듯이 표현되는 현상이다.
그 점을 소실점(vanishing point)이라 하고 이것은 카메라의 렌즈가 수평이 아닐 때 발생한다.


[그림 5] 원근 왜곡의 예 : (a) 원근 왜곡 영상 (b) 영상의 보정 결과

그림 5는 원근 왜곡의 예를 나타낸 것이다. 원근 왜곡을 보정하기 위해 그림 5에서 창문을 기준으로 하는 사각형 모서리의 4개의 점을 이용하여 보정하였으며 점선으로 표시된 부분을 보면 보정 입, 출력 결과를 쉽게 비교할 수 있다. 입력 영상에서 소실점으로 수렴하는 대각 구도의 선이 출력 영상에서는 평행하게 변환된 것이다. 최소 4개의 입력점이 있으면 아래에서 소개되는 직접선형변환 알고리즘에 의해 원근 왜곡을 보정한 출력점을 추출하여 보정된 영상을 획득할 수 있다. 그림 5(a)는 렌즈의 각도 때문에 이미지 공간상에서는 수평, 수직으로 선이 표현되지 않는 것을 확인할 수 있다. 그림 5(b)는 (a)의 영상을 투영 변환을 이용하여 원근 왜곡을 보정한 영상이다. 수평, 수직선이 평행하게 영상이 복원되었음을 볼 수 있다.
 
본 고에서는 카메라의 각도에 따른 투영 왜곡 보정을 위해 직접선형변환(direct linear trans-form, DLT) 알고리즘을 사용한다.

직접선형변환 알고리즘은 homogeneous한 임의의 점들을 이용하여 영상 전체의 기하학적 변화를 유도한다. 입력 영상에서 i번째 임의의 좌표 Xi=(x,y)와 투영 변환 행렬 H를 생성하여 새로운 출력 좌표인 Xi′=(x′,y′)로 이동시킨다. 다음의 내용은 물리적 왜곡을 보정하기 위해 입력 영상에서의 좌표 Xi를 출력 영상의 좌표 Xi′로 변환시키기 위한 행렬 H를 추출해내는 직접선형변환의 단계별 주요 내용을 요약한 것이다.

직접선형변환 알고리즘
(ⅰ) 각각 대응관계를 갖는 Xi↔Xi′을 사용하여 3×9행렬 Ai를 계산할 수 있고, 상위 2개의 행을 포함하는 2×9행렬을 필요로 한다.
(ⅱ) n개의 2×9행렬 Ai를 조합하여 단일 2n×9행렬 A로 만든다.
(ⅲ) A의 특이값 분해(singular value decomposition, SVD)를 사용하여 h를 구한다.
(ⅳ) h를 이용하여 행렬 H를 구성한다.      

알고리즘의 목표는 i번째 입력 좌표 Xi를 투영변환 행렬 H에 의해 식 (4)와 같이 변환된 출력 좌표를 만드는 것이다. 식 (4)에서 Xi′는 i번째의 출력 영상 좌표 (xi′,yi′,wi′)이다. wi′은 스케일 변수를 의미한다. 이 값은 homogeneous한 경우 0이 될 수 없으며 1로 둔다.

Xi′=HXi,                                                         (4)

    x′      h11 h12 h13        x
λ  y′   = h21 h22 h23        y                          (5)
    1       h31 h32 h33       1

식 (5)는 임의의 점 Xi=(x,y)좌표에 대한 행렬 H에 의한 변환 수식을 나타낸다. 1은 스케일 변수이다. λ는 임의의 점에 대한 가중치(weight)이고 Xi′=(x′,y′)는 출력 좌표이다.

             h1T Xi
HXi =   h2T Xi                                          (6)
             h3T Xi

식 (6)은 행렬 H의 j번째 행이 h1T 와 같을 때의 변환 관계식을 나타낸 것이다. 즉 H의 각 행에 따른 Xi의 변환이다.

                    y′h3TXi-wi′h2TXi
Xi′×HXi =   w′h1TXi-xi′h3TXi                 (7)
                    x′h2TXi-yi′h1TXi

식 (7)은 식 (6)과 입력 좌표 Xi가 행렬 H에 의해 변환한 값과 출력 좌표 Xi′을 외적으로 나타낸 것이다.

OT               -wi′XiT       yi′XiT           h1
wi′XiT           OT             -xi′XiT         h2      =0           (8)
-yi′XiT           xi′XiT          OT             h3

식 (8)은 j 가 1, 2, 3일 때 hjTXi=XiThj의 관계가 성립하는 원리에 따라 식 (7)을 나타낸 것이다. 여기서 맨 마지막 행은 계산이 반복되므로 제외해도 무방하다. 그리고 스케일 변수 wi′을 1로 둔다. 맨 마지막 행을 제외하면 Aih =0으로 표현할 수 있으며, 이를 통하여 아래의 식 (9)와 같이 나타낼 수 있다.

Ai =   OT     -XiT     yi′XiT                                     (9)
          XiT     OT     -xi′XiT

이 때, 단계 (ii)에서 2n×9에 n =1이라고 가정하면 식 (10)과 같이 나타낼 수 있다.

0  0  0 - xi - yi - 1 xiyi′ yiyi′ yi′    h =  0                (10)
xi  yi  1  0  0  0 - xixi′ - yixi′- xi′         0

따라서 단계 (iii)의 Aih =0에서 h ≠0이므로 A의 특이값 분해를 이용하여 h를 구한 뒤, 마지막 과정으로 단계(iv)와 같이 h로부터 행렬 H를 결정할 수 있다. 복소행렬 A=UDVT로 구하며 U와 V는 서로 unitary하고 D는 대각 행렬을 나타낸다. 만약 행렬 A가 실수 성분이면 U와 V는 서로 orthogonal한 성질을 갖는다. 이러한 분해를 특이값 분해라 한다.
랭크(rank)가 r인 m×n실 계수 행렬 A에서 행렬 A를 A=UDVT로 분해할 때 행렬 D는 m×n대각행렬이고 U, V는 각 m×m, n×n인 직교행렬이다.
이 때, 행렬 D의 대각선 성분 {σi}를 행렬 A의 특이값(singular value)이라고 하며, {σ2i}은 대칭 행렬 AAT의 고유 값이다. 행렬 U의 열(column)들은 AAT의 고유벡터들이며 각각을 행렬 A의 좌 특이벡터(left singular vectors), 행렬 V의 열 또는 행렬 V의 행(row)들은 우 특이벡터(right singular vectors)라 한다. 이와 같이 특이값 분해된 벡터들의 성질을 이용해 근사값을 추정하여 h값을 나타낸다.
직접선형변환 알고리즘에서 특이값 분해를 적용하지 않으면 다수의 정합(matching)점 중 오차가 적은 값을 얻을 수 없다.
따라서 정확한 행렬 H를 생성하기 어렵고 본 고에서 제안한 물리적 원근 왜곡에 대한 보정이 불가능해지는데, 그 이유는 행렬 H에 따라서 입력 좌표와 출력 좌표의 정확한 보정이 달라지기 때문이다.
반면에 특이값 분해는 훨씬 일반적인 행렬을 다룰 수 있고 계산이 용이해 직접선형변환 알고리즘에 적용이 가능하다.

실 험

본 고의 입력 영상 왜곡 보정 실험은 제안한 알고리즘을 이용하여 영상에 있는 객체에 4-D 벡터를 추출하여 왜곡 보정 전과 후의 성능을 비교한다. 실험 과정은 다음과 같다. 우선 카메라를 이용하여 실내 및 실외 동영상을 획득한다. 획득한 영상에서 조명에 의한 환경적 왜곡을 알아보기 위하여 RGB 영상에서 HSV 변환을 한 후 밝기(intensity) 값을 추출하여 실험한다. 그리고 물리적 왜곡을 알아보기 위하여 카메라 렌즈와 객체의 각도를 실내 영상에서는 약 30°실외 영상에서는 약 45°를 주고 획득하였다.

그림 6은 실험을 위해 획득한 영상이다. 그림 6(a), (e)는 원 영상이고, (b), (f)는 밝기 영상이다. 그리고 (c), (g)는 환경적 왜곡 요인을 알아보기 위해 가우시언 필터를 사용한 영상이고 (d), (f)는 물리적 왜곡 요인을 알아보기 위해 투영 변환을 사용한 영상이다. 그림 6의 영상들은 뒤에 소개되는 실험의 데이터로 사용되는 영상들이기도 하다.


[그림 6] 실험을 위한 영상 : 실내영상 - (a) 원 영상, (b) 밝기 영상, (c) 가우시언 필터를 사용한 영상 (=5), (d) 투영 변환 영상, 실외영상 - (e) 원 영상, (f) 밝기 영상, (g) 가우시언 필터를 사용한 영상, (h) 투영 변환 영상

그림 6을 이용하여 왜곡 요인에 따른 실험을 한다. 수치적인 비교를 위해 4-D 벡터를 추출한다. 4-D 벡터는 배경과 객체 영상의 차분을 통하여 객체 실루엣을 추출하여 데이터 분석을 할 수 있다. 4-D 벡터를 구하기 위해 먼저 객체 실루엣을 구해야 한다.


[그림 7] 실내에서의 실루엣 추출 영상 : 가우시언 필터를 사용 - (a) 배경영상과 (b) 객체영상, (c) (a)와 (b)의 차분영상, 투영 변환을 사용 - (d) 배경영상, (e) 객체영상, (f) (d)와 (e)의 차분영상

그림 7은 차분 영상을 이용한 실루엣을 추출한 영상이다. (a), (b), (c)는 환경적 왜곡을 없애기 위해 가우시언 필터를 사용하였고 (d), (e), (f)는 물리적 왜곡을 없애기 위해 투영 변환을 한 것이다. 실루엣을 추출할 때 임계값에 따라 환경 잡음으로 인해 추출 실루엣의 정확도가 달라진다. 적절한 임계값을 구하는 방법은 크게 2가지가 있다. 하나는 일반적으로 임의로 임계값을 결정하는 방법이고 다른 하나는 Otsu의 방법을 이용하여 auto threshold를 구하는 것이다. 본 고에서는 실험결과를 단계적으로 알아보기 위하여 임의로 임계값을 결정하는 방법을 택하였다. 그리고 앞에서 언급한 형태학적 처리(열기와 닫기) 방법으로 환경적인 잡음 요소를 추가적으로 보정하였다. 실외 영상도 실내 영상의 차 영상 구하는 과정과 마찬가지이며 그림 8에서 실루엣 추출 과정을 보인다.


[그림 8] 실외에서의 실루엣 추출 영상 : 가우시언 필터를 사용 - (a) 배경영상과 (b) 객체영상, (c) (a)와 (b)의 차분영상, 투영 변환을 사용 - (d) 배경영상, (e) 객체영상, (f) (d)와 (e)의 차분영상

실내는 동적인 요건이나 환경적 움직임이 줄어들어 실외에 비해 안정적인 데이터를 추출할 수 있기 때문에 차 영상 추출 시 실외보다 환경적 잡음이 잘 감소되어 사람의 실루엣 영상을 비교적 정확하게 얻을 수 있다. 반면에 실외는 환경적으로 구조물 또는 날씨에 따른 배경의 흔들림이 일부 존재하기 때문에 객체 실루엣의 끊김 현상이 발생한 것을 확인할 수 있다. 결과적으로 잡음 발생이 빈번한 곳에서의 입력 영상은 환경적 왜곡 보정이나 물리적 왜곡 보정의 한 가지 방법만으로는 보행 인식을 위한 향상된 출력 영상을 획득하기 어려운 경우도 있음을 의미한다.

그림 7, 8은 제안된 알고리즘의 결과 영상이다. 그림 7은 실내 실험결과이고 그림 8은 실외 실험결과이다. 실외의 경우 환경적 요인으로 실루엣의 끊김 현상이 발생한다.

그림 9는 가우시안 필터 결과 영상으로 사용 이전보다 뚜렷한 실루엣을 영상을 획득할 수 있다. 이것은 본 고에서 제안한 것처럼 환경적인 잡음 요소와 물리적 왜곡 요인에 대해 모두 보정하였기 때문에 보편적인 보행 데이터를 얻기 위해 향상된 실루엣이 추출되었음을 확인할 수 있다.


[그림 9] 가우시언 필터와 투영 변환을 사용한 실루엣 추출 영상 : (a) 실내 영상, (b) 실외 영상


[그림 10] 왜곡 보정 전, 후 영상의 4-D 벡터 : 실내-(a) 보정 전 (b) 보정 후의 영상, 실외-(c) 보정 전, (d) 보정 후의 영상

영상의 객체 인식률은 4-D 벡터 그래프로 수치적인 확인을 할 수 있다. 그림 10은 실내, 실외 영상에서의 왜곡 보정 전, 후를 나타내는 4-D 벡터 그래프이다. 실내, 실외 영상 각각에서 1000 프레임을 획득하고 그 중에서 보행 주기를 확인할 수 있는 20프레임을 선정하여 비교하였다. d1은 객체의 높이, d2는 머리-골반의 거리, d3-L은 골반-왼발 끝 거리, d3-R은 골반-오른발 끝 거리, d4는 왼발, 오른발 간의 보폭을 나타낸다. 그림 10(a), (c)는 영상 왜곡 보정 전의 그래프이고 (b), (d)는 영상 왜곡 보정 우의 그래프이다.

그림 10에서 영상 왜곡 보정 전인 (a)의 d3 ,(c)의 d1을 보면 벡터 값이 일정하지 못하고 물리적, 환경적인 요인에 따라서 벡터 값이 튀거나 일정한 주기형태를 벗어나는 값을 확인할 수 있다.

그러나 영상 왜곡 보정 후인 (b)의 d3, (d)의 d1을 보면 영상 왜곡 보정 전의 불규칙한 값들이 보상되었다. 따라서 전반적인 d1·d3 벡터가 영상 전 프레임에서 일정하게 나타나고 있다는 것을 확인할 수 있고 보폭을 나타내는 d4는 보행 시 보폭이 넓어지고 좁아짐에 따라 정현파 형태로 나타나는 것을 실험적으로 확인할 수 있다. 보폭이 넓은 사람일수록 d4의 첨두-첨두값이 크게 측정된다. 보정 전에는 정현파 형태에 리플과 같은 불규칙한 요소가 있었으나 보정 후에는 리플이 제거되고 매끄러운 정현파 형태로 나타나고 있다. 이것은 객체의 보폭이 보편적으로 어떻게 나타나는지에 대한 감지가 정확하게 이루어지는 것을 확인할 수 있다.

표 4는 그림 10을 수치적으로 표현하기 위해 평탄도(flatness), 표준편차 그리고 향상된 보행 인식률을 측정하였다. 평탄도는 식 (11)과 같이 각 벡터의 최대값과 최소값의 차로 정의하였다.

flatness=max(d)-min(d)                                (11)

여기서 d는 4-D 벡터 값 d1, d2, d3-L 그리고 d3-R 중의 하나를 의미한다. d1, d2, d3의 데이터는 일정한(constant) 값을 가질수록 보편적인 보행 데이터임을 나타내며 보행 인식률을 향상시킨다고 판단할 수 있다. 즉, 평탄도와 표준편차가 작은 값을 가질수록 일정하다. 표 4에 계산된 바와 같이 실내, 실외 영상 모두, 보정 후 측정된 평탄도와 표준편차가 현저히 낮아져 보편적인 보행 데이터를 획득할 수 있었다. 왜곡 보정 전 영상대비 왜곡 보정 후의 비를 나타내는 향상된 보행인식률도 실내 영상은 약 41.5%, 실외 영상은 약 55.5%로 제안된 알고리즘을 사용하였을 때 효율적임을 확인할 수 있다.


[표 4] d1, d2, d3의 평탄도

이번 장에서는 앞에서 소개한 이론적인 내용을 바탕으로 물리적, 환경적 왜곡 요인에 따른 영상 보정 전, 후의 결과를 실험적으로 비교하였다. 본 고의 실험에서는 물리적, 환경적 왜곡 요인을 보정하였을 때 영상에서 일정한 4-D 벡터값과 향상된 보행 인식률을 확인할 수 있었다. 일정한 4-D 벡터값은 동영상 전 프레임영역에서 객체 추적을 하는 데 있어서 보다 보편적인 보행 인식 및 추적 향상의 가능성을 보여주기 때문에 보정 전의 불규칙한 값과 비교하였을 때 의미가 있다.

결 론

기존에는 보행 인식을 하기 위한 연구들이 많았으나 입력 영상의 왜곡은 고려하지 않고 보행 인식률을 측정하였다. 이러한 경우 보편적인 사람의 객체 데이터를 효과적으로 얻고 인식률을 분석하는 데 문제가 발생할 수 있다.

본 고에서는 조명 등의 환경적인 왜곡과 렌즈의 각도 등에 따른 물리적인 왜곡 요건을 분석하고 효과적으로 보정하는 알고리즘을 제안하였다. 환경적 왜곡 요인은 가우시언 필터를 사용함으로써 영상에 블러 효과 주어 평균값을 추출하였다. 물리적 왜곡 요인은 투영 변환을 사용하여 보정하였다. 이렇게 제안한 알고리즘을 효율적으로 비교 분석하기 위해 실험 영상을 실내, 실외로 나누어 획득하였다. 앞서 확인할 수 있듯이, 제안한 알고리즘을 이용하여 실내, 실외 환경에서의 왜곡보정이 잘 이루어짐을 알 수 있었다. 특히 실내 환경에서의 영상 왜곡 보정은 잡은 요소가 많음에도 불구하고 뛰어난 성능 효과를 볼 수 있었다.

보행 인식률을 수치적으로 확인하기 위하여 4-D 벡터값을 추출하여 그래프로 비교하였다. 그 결과, 물리적, 환경적 왜곡 요인을 보정한 경우 왜곡 보정하기 전의 영상 보다 보편적인 보행 데이터를 획득할 수 있었으며 불규칙한 값들을 제거할 수 있었다. 일정한 4-D 벡터값을 알 수 있다는 것은 보다 향상된 보행 인식률을 구할 수 있기 때문에 의미가 있다. 보정 후 실내 영상에서는 약 41.5%, 그리고 실외 영상에서는 약 55.5%의 보행 인식률의 향상을 보였다.

향후 연구 계획으로는 기존의 실, 내외 환경에서의 왜곡 요인 보정을 바탕으로 객체의 인식률을 더 향상시키기 위해 객체의 분할 설정을 통해 확률적으로 검출하고 추적하는 알고리즘 방식에 대해 연구를 진행할 것이다. 이러한 방법을 접목시키면 보다 정확하고 신속하게 객체 추적이 기대되고, 실시간 추적 시스템 구현이 가능할 것이라 예상된다.


<본 내용은 전지혜, 김대희, 양윤기, 백준기, 이창수 연구, 전자공학회 논문지에 게재된 논문을 바탕으로 정리한 것입니다> 




 

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.