[기고] 3D-VR 정합 기술 및 기반 기술과 시장 성장 추이

[글=박세환 Ph.D.]
      (주)기술법인 엔펌(ENF Incorporation) 전문위원(Chief Consultant)
      한국산업기술진흥협회 ReSEAT프로그램 전문위원
      한국철도공사연구원 철도차량부품개발사업단 6분과위원장
      과학기술정보통신부 연구자권익보호위원회 위원
      한국산업기술평가관리원 CS-서포터즈, 사회적가치추진위원
      한국과학기술정보연구원 KOSEN전문가
      한국CCTV연구소 영상보안CCTV산업발전연구회장

스마트시티 구축, 신도시 건설 및 도시 재건 사업 등에 3D-VR(3 Dimensional-Virtual Reality: 3차원 가상 현실) 기술을 적용해 가상의 체험 효과를 이용하는 3D-VR 콘텐츠 시스템 기술이 확산되고 있다. 본고에서는 여러 산업 분야에서 가치를 확산시켜가고 있는 3D-VR 산업 기술 트리를 제시하고, 이를 바탕으로 3D-VR 정합 기술(삼각측량법, 3D-FPCDA 기법) 및 3D-VR 기반 기술(실사 건물의 3D 객체 DB, VR 소프트웨어, 셰이더 기술, 관람형·체감형 콘텐츠 등) 개발 동향에 대해 설명한다. 아울러 전 세계 3D-VR 기기(3D 안경, 헤드셋, 게임기) 및 서비스(위치 정보 등) 지출액 증가 추이와 글로벌 VR 하드웨어 시장 성장 추이를 살펴본다.

국내 3D-VR 산업 현황

여러 도시에서 시민 참여형 의사 결정을 적극 반영한 신도시 건설 및 도시 재건 사업에 VR 기술 활용이 확산되고 있다. 이는 수요자가 스마트시티·신도시 건설·도시 재건 사업 이후 변화된 예상 모습을 직접 체험하면서 수요자의 요구 사항을 반영하여 완성된 도시를 구축하고자 하는 것이다.

우리나라는 5G 이동통신 시스템과 3D-VR 기술과의 연계를 통해 3D-VR 콘텐츠의 대중화 등 매우 다양한 강점과 기회 요인이 부각되고 있다. 반면, 3D-VR 기술 선도국 대비 기술력(SW, 콘텐츠, 플랫폼) 부족과 글로벌 메이저 기업의 국내 시장 진출 등 약점 요인도 존재하고 있다. 이처럼 국내 3DꠓVR 관련 기술 시장은 기회와 위협, 강점과 약점 요인을 모두 가지고 있다고 볼 수 있다.

기존의 스마트시티 VR 콘텐츠는 3D 모델링 자료를 2D 형태로 변환해 포스터 또는 문서화한 2D 렌더링 이미지를 이용함으로써 현실감이 결여되는 제한 요인이 있었다. 이에 개발 이후의 변화 양상에 대한 실사가 가능한 고품질의 3D 이미지를 제공할 수 있는 기술이 대두되었다. 즉, 사용자가 현장 경험을 직접 체험할 수 있는 관람형·체험형 3D-VR 콘텐츠 시스템을 요구하고 있다. 이를 통해 스마트시티 구축·신도시 건설·도시 재건 사업 수행을 위한 개발자와 수요자의 의사 결정을 지원할 수 있는 기반을 마련하고 있다.

특히 3D-VR 관련 전후방 기술은 4차 산업혁명의 ICT 융합 핵심 기술로 주목받고 있다. 이에 다양한 VR 기기에 3D-VR 기술의 최적 결합(접목) 기술 개발을 통해 경제성 있고 차별화된 3DVR 콘텐츠를 제작할 수 있는 기반을 마련하는 데 주력할 필요가 있다.

3D-VR 산업 기술 트리

3D-VR 산업은 실감형 영상 콘텐츠, 감성 콘텐츠, 인터랙션 콘텐츠 및 콘텐츠 유통·서비스 분야로 매우 다양한 기술 트리를 형성하면서 여러 산업 분야에서 가치를 확산시켜가고 있다.

3D-VR 정합 기술(가상 현실-실제 현실)

1. 삼각측량법

그간 2D 영상에서 특정 위치에 대한 3D 좌표(feature points, 특징점)를 획득(corner detection)하여 3D 가상 공간을 구축하는 컴퓨터 비전에 대한 연구가 진행되어 왔다. 이는 특징점을 자동으로 찾아내어 영상의 motion detection, video tracking, panorama stitching 등 다양한 분야에 활용하고자하는 것이다.

대표적인 기술로는 삼각측량법(Triangulation)을 이용한 3D-FPCDA(3D-Feature Points Corner Detection Algorithm, 3D 특징점 획득 알고리즘)을 통해 2D 영상에서 특징점을 찾아냄으로써 물체의 모양을 유추하여 실제 현실과 가상 현실 간의 정합 효과를 얻을 수 있다. 삼각측량법의 기본 원리는 먼저 동일한 피사체를 서로 다른 위치에서 촬영된 영상으로부터 임의의 3D 지점에 대한 같은 위치를 찾아내고(corner matching), 이 점의 3D 정보를 계산하는 것이다.

[그림 1]에서 3D 공간상의 영상A는 p에 투영되고, 영상B는 p'에 투영된다고 할 때 e-e'(epipole), l-l'(epiline), epipolar plane은 이미지 평면과의 교선으로 볼 수 있다. 두 카메라 위치 사이의 기하학적 관계 [R|t]와 영상A에서의 영상 좌표 p를 알고 있을 때, 영상B에 대응되는 p'의 좌표를 구하는 것을 의미한다. 이 때 점P까지의 거리(depth) 정보를 모른다면 영상 좌표 p로부터 투영되기 전의 3D 좌표 P를 복원할 수 없다. 따라서 점P가 영상B에 투영된 좌표 p' 또한 유일하게 결정할 수 없다.

하지만 점P는 A 카메라의 원점과 p를 잇는 직선(ray) 상에 존재하기 때문에 이 직선을 영상B에 투영시키면 p'에 투영된 직선 위에 있음을 알 수 있다. 보다 효과적인 corner detection을 위해서는 다수의 카메라를 이용할 필요가 있다. 즉 한 공간을 다수의 카메라로 촬영하면 3차원 정보를 얻을 수 있고 이 정보를 통해 가상 공간을 구성할 수 있는 것이다.

2. 3D-FPCDA 기법

2000년대 초반(2001~2011) 3D-FPCDA 기법을 이용하여 위치 인식과 지도 생성을 동시에 수행해 실제 현실과 가상 현실을 정합시키는 SLM(Simultaneous Localization and Mapping) 알고리즘에 대한 많은 연구가 진행되어 왔다.

이러한 연구 사례를 토대로 2012년 P. Henry 등은 FAST(Features from Accelerated Segment Test) 특징점 추출 알고리즘과 ICP(Iterative Closest Point) 정합을 이용해 Kinect 센서와 함께 3차원 SLM을 구현한 바 있다.

이때 TORO(Tree-based netwORk Optimizer) 알고리즘을 이용하여 3D-SLM을 구현했으나, 이들 알고리즘들은 연산량의 제한으로 초당 3프레임 정도의 속도를 보여주고 있어 실시간 화면 처리에는 한계점이 있는 것으로 평가받는다.

3D-VR 기반 기술

3D-VR 기술은 다양한 도시 재건 사업(신도시 건설, 관광지 개발 등)을 기반으로 스마트시티를 구축하는 데 용이하게 활용되고 있다. 3D-VR 기술을 효과적으로 구현하기 위해서는 다음과 같은 3대 기반 기술과 이에 따른 세부 기술 개발이 필수적으로 요구된다.

이러한 3D-VR 기반 기술과 세부 기술들이 2D 그래픽 기술과의 차별성을 확보하기 위해서는 3D-VR로 최적화된 셰이더 및 라이트닝 기술력을 이용한 가상 공간 구축 기술이 필수적으로 요구된다. 이를 통해 2D 렌더링 기술 기반의 스틸컷 대비 고품질(고해상도 및 체험형·관람형)의 콘텐츠를 제공할 수 있을 것이다.

3D-VR 기술 시장 성장 추이

3D-VR 산업은 매우 빠르게 성장하고 있다. 3D-VR 기술 트리별 전후방 글로벌 시장 규모는 2018년 10억 9000만 달러에서 2021년에는 36억 1000만 달러로 2018년 대비 3배 이상 성장할 것으로 예상하고 있다. 3D-VR 글로벌 기술 시장을 주도하고 있는 메이저 기업들은 3D-VR 기술을 적용한 제품(기기, 솔루션, 플랫폼 등)을 개발하는 데 주력하고 있어, 관련 시장 규모는 지속적으로 성장할 것으로 전망된다.

2016~2021년 동안 전 세계 3D-VR 기기(3D 안경, 헤드셋, 게임기 등) 및 서비스(위치 정보 등) 지출액 증가 추이를 [표 2]로 정리했다.

관련 제품들을 살펴보면 3D 안경은 고글에 가까운 고품질의 다양한 제품들이 출시되고 있으며, 추후에는 기기들이 더욱 소형화·경량화 될 것으로 예상된다. 미국의 스타트업 Mojo Vision은 디스플레이 내장형 스마트 콘택트렌즈를 출시한 바 있다. 이 콘택트렌즈를 착용하면 사용자의 시야에서 뉴스가 흘러나오거나, 이용 중인 대중교통의 운행 상황을 알 수도 있다.

전 세계적으로 3D-VR 기기(하드웨어)의 보급이 빠르게 확산되면서 VR 콘텐츠 시장도 동반 성장을 지속하고 있다. 글로벌 VR 하드웨어 시장은 2016년 50억 달러에서 연평균 77.8%의 고성장을 지속하여 2020년에는 700억 달러의 대규모 시장을 형성했다. 또한 글로벌 VR 콘텐츠 시장은 2016년 10억 달러에서 연평균 191.4%의 초고성장을 지속하여 2020년에는 500억 달러의 대규모 시장을 형성했다.

특히 4G-LTE(A) 이동통신 시스템이 확산되던 2016~2017년에는 3D-VR 기기의 보급이 촉진되는 시기였다. 이후 5G 이동통신 서비스를 개발하던 2018년부터는 다양한 산업 분야에 특화된 3D-VR 콘텐츠 출시가 본격화되었으며, 2019년 4월 5G 이동통신 상용 서비스와 함께 급격한 성장을 지속하고 있다.

도시 개발 사업에서 요구되는 3D-VR 기술

3D-VR 콘텐츠 기반의 공간 정보를 효과적으로 구현하기 위해서는 고부가가치를 갖는 체험형 고해상도 콘텐츠 개발이 필수적이다. 이에 관련 기업들은 3D-VR 모델링을 위한 DB 축적 및 데이터화가 가능한 기술 개발에 주력할 필요가 있다.

아울러 스마트시티 구축 및 도시 재건 사업 초기부터 다양한 계층의 시민이 참여해 체감형·관람형 콘텐츠로 의사 결정을 지원할 수 있는 3D-VR 기술 기반의 시스템도 개발되어야 한다. 따라서 정량화된 데이터를 추출해 이를 실제 설계 단계에서부터 연계할 수 있는 기술이 필요하다. 나아가 설계한 3D-VR 콘텐츠를 기반으로 직관적이고 현실적인 자료로 활용할 수 있는 구현 프로세스도 요구된다.