적외선 카메라와 웹 카메라를 이용한 마커 트래킹 시스템
상태바
적외선 카메라와 웹 카메라를 이용한 마커 트래킹 시스템
  • CCTV뉴스
  • 승인 2011.04.05 00:00
  • 댓글 0
이 기사를 공유합니다

본 연구에서는 적외선 카메라와 웹 카메라를 이용한 효율적인 마커 트래킹 시스템을 제안한다. 제안하는 방법은 적외선 카메라를 이용하는 시스템에서 발생되는 마커 스왑 문제를 해결할 수 있을 뿐 아니라 빠르게 마커를 트래킹할 수 있다. 본 연구에서는 각 마커에 대해서 식별이 가능한 고유한 아이디를 지정할 수 있게 하기 위해 적외선 반사판의 색상 정보를 이용하였다. 적외선 카메라는 반사판을 인식하여 마커의 좌표를 찾아내고, 웹 카메라는 마커의 색상 정보를 이용하여 각 마커를 고유하게 식별할 수 있다. 본 연구의 실험 결과를 통하여 제안하는 방법이 마커 스왑을 효과적으로 방지할 수 있을 뿐 아니라, 마커 트래킹에 대해서 빠른 응답 속도를 보이는 것을 확인하였다.


송창근 교수(cgsong@hallym.ac.kr) / 한림대학교 유비쿼터스 컴퓨팅학과 
고영웅 교수(yuko@hallym.ac.kr) / 한림대학교 컴퓨터공학과 
김병기(bkkim@hallym.ac.kr) / 한림대학교 컴퓨터공학과


최근 들어 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 증강현실(augment reality) 기법이 널리 사용되고 있다. 증강현실은 현실 세계의 기반 위에 가상의 사물을 합성하여 다양한 효과를 제공해 줄 수 있는 차세대 디스플레이 기술에 해당된다. 이와 같은 가능성에 의해서 주로 게임에서 사용되었던 가상현실(virtual reality)과 달리 다양한 환경에서 널리 적용되고 있는 상황이다. 최근 증강현실 분야에서는 동적으로 움직이면서 벽면, 신문, 손바닥 등에 특정한 영상을 출력시켜서 사용자와 컴퓨터간에 상호 작용을 하는 증강현실을 구현하는 연구가 다수 진행되고 있다. 예를 들어서 MIT media Lab에서 구현한 SixthSense의 경우에 카메라, 포터블 프로젝터 그리고 손가락에 착용하는 컬러 마커를 이용하여 실세계에서 자유롭게 입출력 인터페이스 및 출력을 수행할 수 있다.

본 연구에서는 마커를 기반으로 증강현실을 출력하고자 할 때, 마커가 동적으로 움직이는 환경에서 생기는 마커 스와핑(marker swapping) 문제를 대상으로 하고 있다. 전통적으로 마커 스와핑은 모션 캡처(motion capture) 분야에서 신체에 마커를 부착하고 움직임에 대한 정보를 수집하는 단계에서 발생하는 문제이며 특히 수동형 마커 방식을 사용하여 모션 캡처를 하는 경우에 마커가 뒤바뀌는 현상이다. 마커 스와핑 문제를 해결하기 위해 능동형(active) LED 마커를 이용하여 해결할 수 있지만 마커 크기, 무게 그리고 전원공급의 문제 등에 의해서 널리 사용되고 있지 못하다.

광학식 모션 캡처 시스템을 이용하는 방법도 가능하다. 광학식 모션 캡쳐는 빠른 속도로 움직이는 모션을 캡처하기 위해서 고속 촬영이 가능한 카메라를 이용한다. 하지만 높은 가격에 특수한 센서와 고대역폭을 요구하며, 또한 마커의 주변 환경과 고대비가 되도록 관리해야 하기 때문에 주변 환경에 영향을 많이 받는다. 

본 고에서는 고성능의 카메라 대신에 일반 카메라와 적외선 카메라를 이용하여 마커 트래킹(tracking)을 수행하는 마커 트래킹 시스템을 제안한다. 본 연구의 주요 아이디어는 마커 스와핑을 제거하기 위해서 마커에게 식별이 가능한 고유 아이디를 부여하는데 있으며, 마커에 아이디를 부여하는 방식으로 마커의 역할을 하는 반사판(reflector)의 색상을 다양화하는 방법을 사용하고 있다.

동작 원리는 적외선 카메라와 일반 카메라가 동시에 이미지를 촬영한 후에, 적외선 카메라는 마커의 정확한 위치를 계산하는 용도로 사용하고 일반 카메라의 마커 색상은 각 마커의 아이디 값으로 이용하는 방식이다.

SixthSense에서도 색상 정보를 이용하고 있지만, 적외선 카메라를 사용하지 않고 일반 카메라를 이용하여 영상 인식을 하는 방법에 해당된다. 또한 적외선 카메라만을 이용하여 마커를 인식하는 연구도 다수 진행되고 있지만 적외선과 색상 정보를 조합해서 마커 스와핑 문제를 해결하거나 또는 효율적으로 마커를 인식/처리하는 방식의 연구는 찾아보기 어렵다. 

본 연구에서는 마커 스와핑의 문제가 발생되지 않는 경우에서는 적외선 카메라의 정보를 이용하여 빠른 시간에 마커 위치를 추적하여 필요한 작업을 수행하고, 마커 스와핑이 발생되는 경우에는 일반 카메라의 이미지를 분석하여 마커 스와핑 문제를 해결하는 방식을 취한다.

본 접근 방식은 증강현실 분야에서 저가의 장비를 이용하여 효과적으로 마커 스와핑을 제거한 마커 트래킹을 제공한다는 부분에서 기여도가 있다.


마커 트래킹 시스템 설계 및 구현

마커 스와핑 개념 및 문제 제기
다음 그림 2는 마커 스와핑의 개념을 설명하고 있다. 마커가 카메라에 의해서 트래킹 되는 과정에서 마커가 일직선상에 놓여있는 상황이 되면 마커 스와핑이 발생할 수 있다. 그림 2의 (1)에서 볼 수 있듯이 카메라가 각각 적색과 청색의 마커를 트래킹하는 도중 손의 방향을 뒤집는 경우에 마커의 위치를 혼동하게 되어서 (R)과 (B)가 바뀌는 모습을 보이고 있다. 반면에 그림 2의 (2)는 손의 방향을 뒤집더라도 정확하게 마커를 트래킹한 결과를 보이고 있다.

이처럼 마커를 트래킹하는 과정에서 마커의 위치가 바뀌는 문제를 마커 스와핑(marker swapping)이라고 한다. 

본 연구에서는 마커 스와핑 문제를 해결하기 위해 적외선 카메라와 일반 카메라를 동시에 사용하는 마커 트래킹 방식을 이용한다. 기존의 방식은 일반 웹 카메라를 이용하여 마커를 인식하는 방식이 다수 존재한다. 이때는 마커의 모양이나 색상을 구분할 수 있기 때문에 마커 스와핑 문제를 해결할 수 있다.

하지만 일반 카메라로 마커를 인식을 할 때는 마커의 크기가 작은 경우에 인식률이 현저히 저하되고, 마커의 개수가 늘어나게 되면 계산량이 급격히 증가하는 문제점이 존재한다. 따라서 SixthSense와 같은 모바일 환경에서 영상 인식으로 마커 인식 및 마커 스와핑 문제를 해결하기 위해서는 일반 카메라로 영상 인식을 처리하는 방식은 한계를 가지게 된다.

반면에 적외선 카메라를 이용해서 마커를 인식하는 연구는 마커를 빠른 시간 내에 찾아낼 수 있고, 다수의 마커를 인식하는데 계산량이 적다는 장점이 있지만, 각 마커를 구분할 수 있는 방법이 없기 때문에 마커 스와핑 문제가 발생할 수 있다.

따라서 본 연구에서는 초기에 마커의 위치와 색상 정보를 습득하고, 연속적으로 마커의 위치를 트래킹하면서 마커가 겹치는 구간에서는 적외선 카메라에서 인식한 마커 정보 이외에 추가적으로 일반 카메라의 영상 인식을 통한 마커 정보를 활용하는 방식을 사용한다.

마커 스와핑이 발생하지 않는 경우에서는 빠른 시간 내에 마커를 인식하여 처리할 수 있고, 마커 스와핑이 발생되는 구간에서만 적외선 카메라 정보와 일반 카메라 정보를 활용하기 때문에 마커 스와핑을 방지하고 계산량도 감소시킬 수 있다. 
 
시스템 설계
본 고에서 제안하는 시스템은 그림 3과 같이 웹 카메라, 적외선 카메라, 적외선 센서 그리고 고휘도 반사판(reflector)으로 구성된다.
기본 개념은 동일한 인식 공간을 적외선 카메라와 일반 카메라가 동시에 촬영한다. 적외선 센서에서 적외선을 방출하면 반사판에서 적외선을 반사하고 적외선 카메라에 부착된 적외선 센서부에서 마커의 위치 이미지를 인식할 수 있다. 여기서 생성한 마커의 좌표를 웹 카메라가 촬영한 이미지에 맵핑함으로 마커의 정보를 구성하게 된다.


웹 카메라로 촬영한 영상에서는 각기 색이 다른 마커들을 촬영하게 되며, 촬영한 영상을 이미지 프로세싱을 통해 배경과 마커를 분리한다. 여기서 적외선 카메라로 촬영한 마커의 위치와 컬러 마커를 상호 맵핑한다. 그림 4에서는 적외선 카메라에서 촬영한 마커 이미지와 웹 카메라에서 촬영한 마커 이미지를 보이고 있으며, 각 마커가 매핑되는 과정을 보이고 있다.

 
마커 트래킹 알고리즘
다음의 그림 5는 마커 트래킹 초기 단계에서 마커에 색상 아이디를 부여하는 단계를 설명하고 있으며, 적외선 영상, 영상 이진화, 웹 카메라 보정, 객체 영역 확인 그리고 마커 컬러 추출 단계로 구성된다.


마커의 위치를 찾기 위해 먼저 적외선 카메라로부터 적외선 영역의 영상을 입력 받는다. 적외선 카메라로부터 입력된 영상은 빛의 세기 및 반사물질의 영향에 따라 잡음이 발생할 수 있다. 이러한 잡음을 감소하기 위해 임계 수치(thresh-hold)를 결정하여 잡음을 감소하여 영상을 이진화한다.

이와 같은 방식으로 이진화된 영상에서 각 마커들은 독립된 객체로 인식하여 좌표를 구분해야 한다. 이를 위해서 각 마커를 독립된 객체로 분리할 수 있는 레이블링(labeling)을 수행하여 이진 영상으로부터 각각의 마커를 분리할 수 있다. 분리된 마커들의 중심점을 구하면 각 마커의 좌표 정보를 찾을 수 있고, 적외선 카메라로부터 구해진 마커와 마커의 좌표들을 리스트 형태로 기록한다.
다음 과정은 각 마커의 좌표를 이용해 마커를 식별하는 작업을 수행한다. 이를 위해서 본 연구에서는 적외선 카메라로 계산한 마커의 좌표를 웹 카메라 영상과 매칭한다.

본 연구에서는 웹 카메라와 적외선 카메라가 동일한 공간을 촬영할 수 있도록 시스템을 설정하였다. 따라서 적외선 마커의 좌표들을 입력으로 받아서 웹 카메라의 영상과 매칭하는 작업이 수행되며, 적외선 마커의 좌표에 해당하는 부분의 컬러를 추출할 수 있다. 이와 같은 방식을 통하여 적외선 마커의 좌표에 색상 정보를 추가할 수 있기 때문에 색상 정보를 이용하여 각 마커의 식별이 가능하다.

조명에 의한 색상의 변화를 최소화하기 위해서 본 연구에서는 뚜렷이 구별할 수 있는 빨강, 노랑, 파랑 그리고 흰색의 마커를 이용하였다. 웹 카메라는 주변 환경에 따라 빛의 영향을 많이 받기 때문에 일정한 조도 아래서 각 컬러의 RGB값의 평균을 계산하여 마커를 구분할 수 있도록 하였다.

이와 같은 과정을 거쳐서 획득한 좌표와 컬러 속성을 이용하여 식별이 가능한 마커들을 추적할 수 있다. 이때 적외선 카메라와 웹 카메라가 동일한 영역을 촬영하고 있어야 하는데, 카메라의 기종 차에 따른 촬영 범위 및 렌즈에 따른 영상의 왜곡 그리고 본 실험 환경에서의 카메라는 일렬로 설치된 상태이므로 정확하게 동일한 영역을 촬영하기 어려운 문제가 있다.

따라서 웹 카메라의 영역을 보정하는 과정이 필요하게 되는데, 이러한 작업은 영상의 회전 및 확대 그리고 상하좌우로 이동하면서 동일한 공간을 매칭할 수 있도록 카메라 파라미터를 조정하는 방식을 사용하였다.

현재 본 연구는 수동으로 보정을 수행하고 있는 상태이며, 향후 자동으로 적외선 카메라와 웹 카메라가 영역을 보정할 수 있는 연구를 진행할 계획이다.

시스템 구현
본 연구에서는 그림 6과 같이 전체 시스템을 설계 및 구현하였다. 구현에 사용된 웹 카메라는 최대 30 frame/sec를 지원하는 카메라이기 때문에 영상에서 마커를 추출하는데 평균적으로 30ms 이내에서 마커를 모두 찾을 수 있다. 적외선 카메라는 일반 웹 카메라에서 적외선 차단 필터(IR cut filter)를 제거하여 적외선을 카메라에서 인식할 수 있도록 하였다. 그리고 카메라의 렌즈 앞부분에 적외선 영역만을 통과하기 위해 적외선 필터를 부착하여 반사된 적외선만을 잘 통과할 수 있도록 제작하였다.

그림 6의 (2)는 빔 프로젝터 부분을 구체적으로 보이고 있다. 빔 프로젝터는 마커의 위치로 디스플레이를 할 수 있도록 하기 위해서 모터 제어부에 연결되어 있으며, 상하좌우로 회전이 가능하게 설계하였다.

 본 연구에서는 그림 6의 (1)에서와 같이 마커의 위치를 중심으로 디스플레이의 출력 영역을 계산하게 되며, 빔 프로젝트를 이용하여 마커와 연관된 정보가 출력 될 수 있게 하였다. 현재 빔 프로젝터로 증강 화면을 디스플레이하는 연구는 국내외에서 깊이 있게 연구되고 있는 상태이다.

따라서 본 고에서는 마커 트래킹 부분을 위주로 기술을 하였으며, 디스플레이 관련 부분에 대한 세부 기술은 생략하였다.

 
실험 결과

다음으로는 제안하는 시스템의 성능을 보이기 위해서 다양한 실험을 수행하였다. 첫 번째 실험은 실제 마커 스와핑이 발생하는 환경을 만들고 마커 스와핑을 방지하는지 실험을 수행하였다.

그림 7은 손가락 끝에 마커들을 부착하고 손바닥을 한번 뒤집으면서 이동한 모션을 캡쳐한 것이다. 중간 부분에서 마커들이 잠깐 가려지거나 일직선상에 위치했다가 다시 나타났을 경우에 마커 스와핑이 발생하지 않고 정확하게 마커를 추적하는 것을 알 수 있다. 그림은 실제 마커의 위치를 추적한 정보를 모아서 한 화면에 표시를 한 것이다. 손가락에 표시된 4가지 색상 정보가 서로 바뀌지 않고 트래킹 되는 것을 확인할 수 있다.
두 번째 실험은 제안하는 마커 트래킹 방식을 ARToolkit을 이용한 마커의 패턴 방식과 비교해 보았다. HitLab에서 개발한 증강현실 저작도구인 ARToolkit은 영상 인식을 이용한 모션 캡처 분야에서 패턴 매칭을 이용하여 마커의 식별을 가능하게 한다.

따라서 ARToolKit과 본 연구에서 제안하는 방법을 이용하여 두 시스템간의 성능을 측정 및 비교해 보았다. 마커들은 거리에 따라 인식률이 변할 수 있기 때문에 본 실험에서는 카메라를 고정하고 탁자 위에 마커들을 정렬해 놓고 마커 인식 실험을 수행하였다.

패턴 매칭은 원 영상에서 마커를 찾아서 구분하기 위해 이진화를 통해 레이블링(labeling)을 하고, 외곽선 추출 및 라인, 모서리 추출을 통해 마커라고 추측되는 사각형 안의 패턴을 일반화하여 템플릿 매칭을 통해 마커를 찾아낸다. 그림 8에서 알 수 있듯이 마커의 개수가 늘어남에 따라서 ARToolKit은 급격하게 수행시간이 늘어나는 것을 확인할 수 있다.

반면에 제안하는 방식은 30개 정도의 마커에 있어서 25% 미만의 시간을 사용하는 것을 알 수 있다. 본 연구에서 마커를 추출하는 방법은 ARToolKit에서 영상 처리하는 과정보다 간단하기 때문에 마커의 개수가 늘어도 실시간으로 모션을 추적할 수 있다.

세 번째 실험은 실제 제안하는 방식에 있어서 적외선을 이용한 마커 인식과 웹 카메라를 이용하는 방식이 어느 정도의 성능 차이를 보이는지 세부적으로 분석을 하였다. 실험은 마커의 크기에 따른 수행 시간 및 인식률을 측정하여 비교하였다. 이때 카메라의 위치와 마커의 간격은 50cm에서 측정하였다.

그림 9에서는 마커 크기별 인식 처리 속도를 측정하였다. 적외선 방식은 2mm 크기의 마커에 대해서도 정확하게 인식을 하며 마커의 크기에 무관하게 동일한 마커 인식 처리 속도를 보여주고 있다.

웹 카메라를 이용한 방식은 14mm 이하의 크기에서는 마커를 인식하지 못하기 때문에 인식 속도가 0이며, 그 이후에는 마커의 크기에 따라서 수행시간이 완만하게 늘어나는 것을 보이고 있다.

본 실험에서는 ARToolKit이 마커 위에 3차원 객체를 출력하는 그래픽스 처리 부분을 제거하고 측정하였다. 그 이유는 마커의 크기가 커지면서 마커를 표시해주는 3차원 폴리곤 객체가 많아지게 되면 처리 속도가 늦어지기 때문이다.

그림 10은 마커의 크기에 따른 인식률 결과를 보이고 있다. 적외선 방식은 마커의 크기가 2mm 크기 이후부터 100% 인식을 하는데 비해서, 웹 카메라 방식은 14mm 이후부터 인식이 되는 것을 알 수 있다. 따라서 작은 크기의 마커에 대해서 적외선 방식이 매우 효율적인 것을 알 수 있다.

결론 및 향후 연구

본 연구에서는 증강현실에서 필요로 하는 마커 트래킹을 위한 방안에 대해서 기술하였다. 특히 적외선 카메라와 웹 카메라를 각각 사용하는 경우에 발생되는 문제점을 설명하였고, 효율적으로 마커를 트래킹하기 위한 방법으로 적외선 카메라와 웹 카메라를 이용한 마커 트래킹 방식을 제시하였다.

기존의 웹 카메라를 이용하여 마커를 인식하는 경우에는 마커의 크기가 작은 경우에 인식률이 현저히 저하되고, 마커의 개수가 늘어나게 되면 계산량이 급격히 증가하는 문제점이 존재한다.

반면에 적외선 카메라를 이용해서 마커를 인식하는 연구는 마커를 빠른 시간 내에 찾아낼 수 있고, 다수의 마커를 인식하는데 계산량이 적다는 장점이 있지만, 각 마커를 구분할 수 있는 방법이 없기 때문에 마커 스와핑 문제가 발생할 수 있다. 

본 연구에서는 적외선 카메라 기법으로 마커를 트래킹하면서 마커 스와핑이 발생되는 구간에서 웹 카메라를 이용한 영상 인식 방식으로 빠른 시간 내에 마커를 인식하여 처리할 수 있다.

실험을 통하여 마커 스와핑이 제거되는 결과를 보였으며, 적외선 방식과 웹 카메라를 사용하는 방식을 ARToolKit과 비교한 결과를 제시하였다. 또한 적외선 카메라와 웹 카메라의 수행 성능을 나누어서 비교함으로 전체적인 성능에서 각각이 차지하는 오버헤드를 비교하였다.

현재는 2차원 이미지를 대상으로 마커 트래킹 결과를 보였으나, 향후 연구는 3차원으로 확대하여 제안하는 기법을 개선하고 성능 분석을 수행할 예정이다. 

 

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.