인간 시각 시스템을 이용한 작업자 감시 추적 시스템
2011-02-07 CCTV뉴스
교차식 스테레오 카메라 기반의 이동물체 감시 추적 시스템의 실험결과 팬과 틸트를 통한 물체추적 후 표적 중심좌표의 수평, 수직 평균 오차는 1.82%, 1.11%의 매우 낮은 에러 값을 각각 유지하였으며, 추정된 물체의 3차원 위치좌표의 경우도 실제 물체 위치값과 비교하여 평균 2.5% 이하의 낮은 오차가 나타남이 분석되었다. 따라서, 본 고에서 제안한 팬과 틸트가 탑제된 스테레오 카메라 기반의 감시 추적 시스템은 복잡한 배경 및 주위환경 변화에도 이동 물체를 효과적으로 추출하여 적응적으로 감시 및 추적이 가능한 산업용 무인 감시 추적 시스템의 구현 가능성을 제시하였다.
영상 기술이 첨단화 되어 고도의 기술 집적이 이루어지면서 카메라 자동 추적 시스템을 기반으로 한 무인 감시 장치에의 응용을 목적으로 한 로봇 비젼의 연구 개발이 널리 진행되고 있다. 즉, 이동물체의 출현이 그다지 많지 않은 환경에서 동체의 존재를 자동으로 감지하고 이를 추적함으로써 인간의 역할을 대신 할 수 있는 컴퓨터 비젼 시스템으로서, 이른바 지능적인 판단 능력이 겸비된 인공지능의 기능을 수행할 수 있다는 점에서 높이 평가되고 있다. 일반적으로 로봇 비젼 시스템의 유연성을 증가시키기 위해 다양한 환경에서 작업을 수행할 수 있도록 하는 컴퓨터 비젼의 채택은 매우 중요한 의미를 갖는다. 특히 물체를 인식할 수 있는 신뢰도나 명료성, 획득된 영상에 대한 처리속도 그리고 조명의 용이성이 요구되어 이러한 요구조건을 충족하기 위해 많은 방법이 연구되었으나 낮은 해상도의 이진 영상처리(binary image processing), 구조적 조명과 같은 개발 초기의 방법들은 현재의 복잡한 산업계에 적용하기에는 그 한계점에 이르렀다. 또한, 배경 영상이 복잡하거나 시간에 따라 변하는 경우 물체인식을 보다 어렵게 한다. 특히 동일한 물체일지라도 배경에 따라 물체의 상대적 명암이 바뀔 수 있고, 다른 물체에 의해 가려질 수 있기 때문이다. 따라서인식하고자 하는 물체가 배경 잡음뿐만 아니라 전경 잡음에 의해 왜곡되거나 신호 대 잡음비(SNR)가 극히 작을 경우에도 매우 높은 물체인식 성능이 필요하다. 더욱이 위험한 환경에서 작업자의 안전을 위해 요구되는 자동 감시 추적 시스템은 3차원 물체를 인식하는데 있어서 다양한 각도에서 보이는 2차원 영상의 조합으로 물체를 인식해야 한다. 또한, 입력되는 물체영상에서 목표 지향적인 작업을 수행하여 특정한 물체의 추적과 인식이 동시에 이루어져야 하며 특히, 감시 추적 시스템의 시각 기능을 이용하여 표적물체의 회전, 크기, 그리고 시선 각도에 무관하게 물체를 인식하며 추적해야 한다.
즉, 작업자 감시 추적 시스템의 성능을 극대화하기 위해서는, 작업자의 정확한 인식은 물론, 이동경로를 추적하기 위한 3차원적 위치정보 검출을 통해 로봇에 장착된 카메라로부터 받아들인 영상을 자체적으로 분석함은 물론 인식과 추적이 가능한 시스템을 위한 비젼 기술이 필요하고 결과적으로 이를 위한 지능형 카메라 시각 시스템의 구현이 요구된다.
제안된 감시 추적 기법
본 고에서는 실시간 처리 및 상황변화에 강건한 시스템의 구현을 목적으로 팬과 틸트가 탑재된 스테레오 카메라를 이용한 작업자 모니터링을 위한 감시 추적 기법을 제안하고자 한다. 그림 1은 본 고에서 새로이 제시한 스테레오 카메라 기반의 감시 추적기법의 전체 흐름도를 나타낸 것으로 크게 2단계로 이루어진다.
즉, 1 단계에서는 실시간으로 입력되는 스테레오 입력영상 중 MAD 함수를 이용하여 좌, 우 영상간의 시차벡터를 검출하고, 연속적인 영상들간의 검출된 시차벡터를 이용하여 좌, 우 영상의 중심 좌표값을 산출한다.
2 단계에서는 산출된 좌표값에 따라 변형된 kanatani의 영상 보정 알고리즘에 의해 스테레오 카메라의 팬과 틸트의 제어각도가 결정되며, 이에 따라 작업자의 중심 좌표를 중심으로 주시각 제어가 수행되며, 주시각이 제어된 스테레오 카메라의 팬과 틸트의 움직임 각도와 3차원 구면 좌표계(three dimen sional spherical polar coordinate)를 이용하여 작업자의 3차원 좌표계상의 실제 위치값은 물론 이동 경로까지도 추정할 수 있게 된다.
표적영역 검출
일반적으로 스테레오 시스템에서 좌, 우 카메라는 항상 표적 물체를 추적하므로 표적물체는 카메라의 광축의 교차점 근처에 존재한다. 입체영상의 시차지도에서 광축 교차점의 시차값은 0이므로 표적물체는 영상의 중심에서 0에 가까운 시차값을 가지게 된다.
따라서 본 고에서는 스테레오 영상의 시차지도를 이용하여 표적물체와 배경 또는 전경과의 시차의 크기 차이를 이용하여 시차지도에서 배경 분리를 통해 표적물체의 영역을 검출하였다. 스테레오 영상에서 시차를 추출하는 다양한 방법들이 제시되고 있지만, 본 고에서는 식 (1)과 최소평균절대오차(MAD : min imum mean absolute difference) 함수를 이용하여 기준 영상의 마스크 영역과 입력 영상간의 일치정도를 검사하였다.
식 (1)에서 는 블록의 크기를, IL(m, n)과 IR(m+i, n+j)은 좌측영상의 좌표와 그것에 대응되는 우측영상의 좌표를 각각 나타낸 것이다.
그림 2는 입력된 에피폴라 선상의 대응되는 블록을 알아보기 위한 복도(corridor) 영상의 일부분을 나타낸 것이다. 여기서 예측하고자 하는 영상을 Nx, Ny 크기의 블록으로 나눈 후, 시차의 수평 성분만 고려하여 에피폴라 선상에 존재하는 일정한 탐색 범위()내의 블록에서 일치점을 찾는 과정을 보여주고 있다.
탐색 범위내의 후보 블록들의 비용함수를 계산하고, 이 비용함수 값들 중 가장 적은 값을 가지는 블록을 대응 블록으로 결정한다. 이때, 식(6)과 같은 비용함수를 최소로 하는 후보 시차벡터를 나눠진 블록 i에 대해 최적의 시차벡터 로 선택하게 된다.
일반적으로 인간 시각계는 수직 시차에는 거의 영향을 받지 않기 때문에 본 고에서는 수직 시차는 고려하지 않고 수평시차만을 추출을 하였다. 즉, 식 (5)와 같이 우측 영상의 범위 S 블록들 중에서 MAD가 최소값을 갖는 블록을 정합된 블록으로 간주하면 우측 영상과 기준(좌측)영상의 좌표값 차이로 블록을 대표하는 시차값을 얻을 수 있다.
식 (3)에서 얻어지는 변위값 는 블록을 대표하는 시차값으로 시차지도에서 사용하게 된다.
본 고에서는 이러한 두 영역의 유사도 값을 비교하는 비용함수로서 초기 시차정보를 찾아낼 때 사용했던 MAD 방법과 유사한 방법을 사용하였다. 일반적으로 실제 물체가 존재하는 2개의 영역간에는 높은 상관치가 나타난다는 사실을 이용하여 실 영역을 검출할 수 있다. 즉, 식 (4)~(7)과 같이 후보 영역들 간에 비용함수를 적용하여 그 값이 최소가 되는 두 영역을 각 프레임에서의 실 영역으로 판단한 다음, 각각 실 영역의 좌표를 구해 이들 좌표값의 차이인 표적 물체의 상대적 이동거리를 얻어내고 또한, 두 영역의 좌표값 차이를 통해 표적물체의 이동방향을 잡아주게 된다.
결국, 식 (4)~(7)과 같은 4가지 조합의 경우에 대해 그 값이 최소가 되는 경우를 선택하고 그 비용함수를 구성하고 있는 두 후보 영역을 각 프레임에서의 실 영역으로 결정하게 된다.
일단 실제의 물체영역이 각 프레임에서 검출되면 그 위치 좌표 및 두 실 영역간의 이동거리 좌표값과 표적 물체의 이동방향 등이 계산되어지고, 최종적으로 스테레오 입체 카메라 시스템에 탑제된 팬과 틸트로 전달되게 된다. 즉, 표적 물체의 이동거리 좌표값과 이동방향은 스테레오 카메라 시스템의 팬과 틸트에 전달됨으로써 이동물체의 실시간적 추적 및 주시각 제어가 수행되게 된다.
예를 들면, 만일 식 (7)의 경우가 최소값을 가질 경우 후보영역 1과 후보영역 2′가 각 프레임에서 실 영역으로 결정된다. 따라서 팬과 틸트의 제어값을 얻어내기 위해 후보영역 1과 후보영역 2′의 시작 좌표 및 마지막 좌표값을 각각 구하게 된다. 그 다음 두 프레임 좌표간의 차이값인 이동 거리값을 그것들의 중앙 좌표에서 구함으로써 팬과 틸트의 제어신호로 넘겨주게 된다. 이러한 제어신호를 통해 팬과 틸트가 제어됨으로써 물체를 추적하게 된다. 즉, 이동물체를 다시 입력 영상의 중앙에 위치시키고 스테레오 시차를 제거시키게 된다. 따라서, 스테레오 카메라의 영상은 다시 초기화되고 다음 프레임의 입력신호를 받아들여 다시 반복 수행하게 된다.
표적영상의 좌표 및 경로 검출
시차 정보를 통해 배경과 분리 및 영역화된 표적 영상의 실제 3차원 위치 좌표는 스테레오 카메라로부터 입력된 좌, 우 입력영상에 대한 팬과 틸트 이동각도 및 카메라로부터 얼굴 중심좌표까지의 광축 거리를 이용한 구면 좌표계에서 직교 좌표계로의 변환을 통해서 구할 수 있다. 우선, 그림 3과 같이 표적이 임의의 공간 안에 직립해 있다고 가정했을 때, 주시각이 제어된 스테레오 카메라의 팬과 틸트의 각도는 각각 θ1과 θ2 및 φ1과 φ2로 주어지게 된다.
여기서 팬과 틸트의 제어각도는 Kanatani의 영상보정 알고리즘을 응용하여 2차원 영상평면에서 검출된 이동된 좌표값을 통해 변환하였다.
그림 4는 공간상의 같은 점에 대해 카메라의 회전으로 인한 두 카메라 좌표의 차이를 통해 두 영상 면에서의 점의 이동을 나타낸 것이다.
그림 4에서 실제 3차원 공간상으로 수렴되는 임의의 한 점을 이라 하고, 그 점이 2차원 영상 평면에 투영되는 현재 영상과 이전 영상에서의 점을 각각 와 라고 하면, Kanatani의 영상보정 알고리즘에 의해 식 (8)과 (9)로 나타낼 수 있다.
따라서, 스테레오 영상의 이전 영상과 현재 영상의 2차원 화소값으로 구성된 위치값을 검출하면 식 (8)과 (9)를 통해 팬과 틸트 각도가 산출되고 이는 영상 평면의 원점(0, 0)을 중심으로 2차원 영상 평면에 사상된 표적물체의 위치 변이를 팬과 틸트 시스템의 각도값으로 환산하여 추적 및 감시 기능을 수행하게 된다.
또한, 그림 3에서 스테레오 카메라의 수평선상으로부터 표적 영상의 얼굴 중심좌표까지의 수직 거리는 식 (10)과 같이 D로써 표현할 수 있다
그림 3에서 각각 θ1과 φ1의 각도를 갖은 팬과 틸트에 탑재된 카메라 시스템의 위치가 점 O라고 했을 때, 이는 어떤 점의 위치를 하나의 길이와 두개의 각으로 나타낼 수 있는 3차원 구면 좌표계로 표현될 수 있으며, 공간 안에서 얼굴영상의 중심좌표를 점 P라고 하면, 이는 (r1, θ1, φ1)의 좌표계로 표현될 수 있다.
따라서, 표적 영상의 중심좌표인 점 P(r, θ, φ)는 식 (11), (12), (13)과 같이 OX, OY, OZ가 서로 직교하는 3차원 직각좌표인 P(x, y, z)로써 변환될 수 있다. 또한, 표적 영상의 중심좌표인 점 P(x, y, z)에 수선을 내린 점 Q(x, y, o)는 표적 대상물이 현재 서 있는 X, Y 좌표계상의 점이므로 표적이 이동하는 움직임 경로를 추정하는데 이용되게 된다.
따라서, 식 (11), (12), (13)에서 검출된 직교 좌표계의 Q(x, y, o)는 실시간으로 표적 물체의 실제 위치를 파악할 수 있으며, 원격 모니터링을 통해 표적 물체의 실제 이동경로를 추정할 수 있는 정보로 이용될 수 있다.
실험 결과 및 고찰
감시 추적용 카메라의 서보모터 시스템 구성으로 Metri ca, Inc의 Biclops PT-S를 사용하였으며, 스테레오 영상 획득 및 처리를 위한 컴퓨터 비젼 시스템으로는 SVS-VISTEK사의 SVS285CFCP의 1280×1024 픽셀의 해상도와 25frame/sec의 촬영속도를 갖는 CCD 카메라 2대를 평행식으로 사용하여 기하학적으로 에피폴라 선(Epipolar line)상에 위치하도록 구성하였으며, 두 카메라의 광축간의 거리는 인간의 양안시차 거리인 5cm로 설정하였고, Y400 모드의 8비트 흑백영상을 Bayer 필터링 후 24비트 칼라 영상으로 변환하고, 초당 25프레임으로 획득하게 된다.
스테레오 영상 저장 및 처리를 위한 프레임 그레이버는 Matrox사의 PCI-X 기반 SOL 6MCL을 사용하였고, 서버 시스템으로는 2.4GHz 두개의 CPU를 가지며 2GB의 메모리로 구성된 인텔 제온 서버시스템(Intel Xeon Server)을 사용하였으며, 이는 고속처리와 방대한 데이터양을 처리하기에 적합한 모델이다.
그림 5은 본 고에서 구현된 실시간 3D 화상 시스템의 사용자 인터페이스로서 카메라로부터 영상의 획득과 제어를 위해 MIL(Matrox Imging Library) 7.0을 기반으로 Visual C++.Net을 이용하여 다이얼로그 기반에서 구현하였다. MIL (Matrox Imging Library)은 Matrox사가 멀티미디어와 영상처리의 성능 향상을 지원하기 위해 멀티미디어의 재생과 제어, 그리고 카메라 영상 획득과 관련된 다양한 기능을 지원하고 있는 멀티미디어 도구이다.
즉, 본 고에서 구현된 실시간 표적 감시 추적을 위한 화상 시스템으로 프레임 그레이버로 입력되는 스테레오 영상 시퀀스에 대해 실시간으로 팬과 틸트의 제어를 통해, 표적 대상체에 대한 적응적인 3차원 좌표 검출 및 이동 궤적을 추정할 수 있다.
본 고에서 제안한 시스템의 효용성을 검증하기 위한 시나리오는 그림 6과 같이 실험에 참여한 표적 영상에 대해, 미리 설치된 감시 추적 시스템을 중심으로 우측에서 좌측으로 수평이동을 하다가 다시 우측에서 좌측으로 이동한 후, 당시 서 있는 위치에서 뒤쪽으로 나아가는 형태의 전체 12초간 정속도를 가진 이동 궤적을 촬영한 180프레임의 스테레오 영상에 대해 실제 표적의 이동된 궤적을 검출하는 것이다.
즉, 실험에 참여한 표적 영상에 대해 감시 추적 시스템을 중심으로 우측에서 좌측으로 수평이동(16th～255th)을 하다가 다시 우측에서 좌측으로 이동한 후(255th～555th), 당시 서 있는 위치에서 뒤쪽으로 나아가는 형태(555th～735th)의 이동 궤적 검출 전체 촬영한 40초간의 800프레임의 스테레오 영상 중 임의의 시간동안 획득한 8프레임에 대해 이동된 궤적을 검출된 좌표값에 따라 나타낸 것이다.
따라서, 검출된 직교 좌표계상의 (x, y)점만을 추적하게 되면 표적 대상체의 이동 경로 및 궤적을 쉽게 추정할 수 있음을 알 수 있다.
본 고에서는 실시간으로 획득되는 스테레오 입력영상 시퀀스에 대해 감시 및 추적 성능을 검증하기 위해 두 사람의 서로 다른 이동 경로를 320×240 픽셀의 해상도를 갖는 스테레오 입력영상을 초당 30프레임의 속도로 처리하여 총 80프레임의 테스트 영상을 가지고 실험을 수행하였다.
그림 7은 전체 80프레임의 테스트 실험영상 중 2프레임(2, 24번째 프레임)에 대한 좌우 스테레오 입력영상 샘플을 나타낸 것이다.
표 1은 실험에 사용된 샘플 스테레오 입력영상에 대해 식 (1)을 이용하여 표적영역을 추출하고, 식 (4)~(7)을 이용하여 중심좌표(160, 120)을 기준으로 x, y축 방향으로 이동된 표적 영상의 위치좌표 값을 나타낸 것이다.
표 1에서 획득된 4프레임에 대한 위치좌표들은 조명의 밝기 및 명암도 차이에 따라 약간의 차이는 있으나 초당 30프레임의 영상 처리 속도에도 적응적으로 위치정보를 검출함으로써 실시간적 처리의 가능성을 보여주고 있다.
또한, 표 1에서 획득된 위치 좌표값은 각각의 프레임에서 입력된 표적 영상의 실제 이동값을 의미하며, 이 값은 식 (8)와 (9)를 통해 팬과 틸트 제어각도로 변환되며, 변환된 제어값에 따라 카메라의 주시각이 제어됨으로써 이동 표적이 카메라 시야의 중심으로 이동하게 된다.
본 고에서는 카메라의 광축이 표적 영상의 주시점에 일치시키는 교차식 카메라 설정법을 사용하였고, 이에 따라 표적 영상까지의 수직거리(D)는 식 (10)에 의해 구할 수 있으며, 표적 영상의 실제 이동값을 통해 제어될 팬과 틸트 각도 θ와 φ는 각 시스템 엔코더를 사용하여 표 2와 같이 구할 수 있다.
표 2에서 광축거리(r)과 팬과 틸트 제어각도(θ, φ)는 표적 영상의 중심점에 대한 구면좌표계를 형성할 수 있으며, 이는 직교 좌표계로의 변환을 통해 표적 물체의 현재의 직립 위치를 추정할 수 있는 정보로 제공된다.
그림 8은 실시간으로 입력되는 4프레임의 스테레오 입력영상에 대해 중심좌표인 (160, 120)을 기준으로 표 2의 좌, 우 팬과 틸트 각도를 통해 주시각이 제어된 좌, 우 영상을 나타낸 것이다.
그림 8에서 보면 320×240 해상도의 중심좌표인 (160, 120)을 기준으로 표적 영상은 정확히 카메라 시야의 중앙에 위치하는 것을 볼 수 있으며, 실내조명과 밝기의 영향으로 ±2 픽셀의 오차를 보이고 있지만, 실험에 사용한 전체 프레임에 대한 표준 편차는 각각 1.82 및 1.11을 유지하며 얼굴 피부색이 서로 다른 사람에게도 적응적으로 주시각이 제어됨을 볼 수 있다. 또한, 입력되는 스테레오 영상 시퀀스에 대해 프레임 당 0.06초의 처리시간을 가지고 평균 2프레임 이내에 추적이 이루어짐으로 제안된 감시 추적 알고리즘의 실시간적 처리가 가능함이 분석되었다.
표 3과 표 4는 제안된 알고리즘을 통해 산출된 값과 실제 측정한 값과의 오차를 분석하기 위해, 표 2에서 검출된 구면 좌표계를 직교 좌표계로 변환한 표적 영상의 3차원 정보와 실험환경에서 측정한 실제좌표를 나타낸 것이다. 즉, 스테레오 카메라와 표적 영상까지의 수직 거리(D) 및 구면 좌표계상의 (r, θ, φ)을 구성한 뒤, 식 (11), (12), (13)을 이용하여 직교 좌표계상의 (x, y, z)로 변환한 값이다.
표 3에서 보면 좌, 우측 영상 간에 존재하는 직교 좌표계의 오차는 평균 1.5cm 미만의 작은 오차가 존재함을 알 수 있는 데, 이는 불규칙한 조명, 동일하지 않은 영상밝기 및 저가의 웹 카메라의 사용임을 고려할 때, 우수한 실험결과로 분석되며, 제안된 시스템에서 계산된 좌표값과 실제 실험대상으로 참여한 사람의 정확한 실제 위치와의 차이 역시 평균 1.2cm 미만의 오차와 전체적으로 0.5%의 오차를 보임으로써 보다 적응적인 모니터링 시스템의 실시간적 구현 가능성을 제시하고 있다.
그림 9와 10은 표 3과 4에서도 알 수 있듯이 우측 카메라에서 획득한 좌표값에 비해 실제 좌표와의 오차율이 상대적으로 작은 좌측 카메라에서 획득한 직교 좌표값를 이용하여 표적 물체의 현재 위치와 이동 궤적을 3차원 공간상에 각각 나타낸 것이다.
즉, 실험에 참여한 두 사람의 표적에 대해, 감시 추적 시스템을 향한 수평이동과 수직이동을 중심으로 이동된 궤적을 검출된 좌표계에 따라 나타낸 것이다.
그림 10은 표적의 이동경로에 대한 측정치와 계산치 간의 비교 분석을 나타낸 것이다. 즉, 전체 12초 동안의 감시 촬영 동안에 3초간의 간격을 두며 획득한 15프레임에 대한 (x, y)좌표를 도시한 것이며, 좌측 카메라의 위치는 (0, 0)에 위치하고 있고, 우측 카메라의 경우 좌측 카메라로부터 12cm 이격된 거리의 (12, 0)에 위치하고 있으며, 감시 카메라로 설치된 시스템을 중심으로 우측에서 좌측 방향으로 다가오다가 다시 방향을 틀어 좌측에서 우측을 향한 후, 다시 후방으로 이동하는 형태의 이동궤적을 감지함을 알 수 있다.
또한, 그림 10에서 이전 좌표와 현재 좌표간의 거리를 이용하여 표적의 보폭 길이는 물론이고, 이전 프레임과 현재 프레임간의 처리속도를 이용하여 표적의 이동 속도까지도 추정할 수 있게 된다.
본 실험에서는 평균 3초간격의 샘플링 시간을 두고 검출된 좌표값을 대상으로 측정한 결과 실험에 참여한 표적의 평균 보폭 길이는 24.14cm이고, 이동 속도는 8.87cm/s 임을 알 수 있었다.
결 론
본 고에서는 스테레오 비젼 기법에 기반한 작업자 모니터링을 위한 자동 감시 추적 시스템을 제안하였다. 즉, 인간 시각 시스템을 모방한 교차식 스테레오 카메라 시스템의 특성을 이용하여 작업자의 인식은 물론 추적, 감시가 가능한 새로운 형태의 지능형 감시 추적 시스템을 설계 제안하였다.
교차식 스테레오 카메라 기반의 이동물체 감시 추적 시스템의 실험 결과 팬과 틸트를 통한 물체 추적 후 표적 중심좌표의 수평, 수직 평균오차는 1.82%, 1.11%의 매우 낮은 에러 값을 각각 유지하였으며, 추정된 물체의 3차원 위치좌표의 경우도 실제 물체 위치값과 비교하여 평균 2.5% 이하의 낮은 오차가 가짐이 분석되었다.
따라서, 본 고에서 제안한 팬과 틸트가 탑제된 스테레오 카메라 기반의 감시 추적 시스템은 복잡한 배경 및 주위환경 변화에도 이동 물체를 효과적으로 추출하여 적응적으로 감시 및 추적이 가능한 산업용 무인 감시 추적 시스템의 구현 가능성을 제시하였다.