KAIST, 고화질 영상 생성 가능한 알고리즘 개발…​자율주행차· 드론·로봇 등 활용 가능

KSIST는 기계공학과 윤국진 교수 연구팀이 영국 임페리얼 칼리지 김태균 교수 연구팀과 이벤트 카메라를 활용한 고화질 및 고해상도 영상 생성 알고리즘들을 개발했다고 19일 밝혔다.

연구팀은 이번에 개발한 알고리즘들을 통해 기존의 RGB 기반 카메라가 영상을 획득하지 못하는 초저조도·초고조도 환경에서도 이벤트 카메라(Event Camera)를 활용해 고화질 및 고해상도 영상을 생성할 수 있다.

교사 학습 기반의 딥러닝 알고리즘을 통한 이벤트 데이터의 초고해상도 이미지 복원 예시 [제공=KAIST]

특히 이벤트 카메라의 장점을 살려 초고속의 움직임에도 모션 블러(motion blur, 빠른 움직임에 의한 영상 열화) 없는 고프레임율의 영상을 생성할 수 있는 것이 특징이다.

이벤트 카메라는 카메라 각 화소에 입사하는 빛의 세기의 변화에 반응해 광역동적범위(High Dynamic Range)에서 매우 짧은 지연 시간을 갖는 비동기적 이벤트 데이터를 영상 정보로 제공한다.

따라서 기존의 RGB 카메라가 영상을 획득할 수 없었던 고조도·저조도 환경에서도 영상 데이터 획득이 가능하고 초고속 움직임을 갖는 피사체에 대한 영상 데이터 획득이 가능하다는 장점이 있다.

하지만 기존의 영상과는 다른 형태의 영상 정보를 제공하기 때문에 기존의 영상 이해 기술을 접목시키기 어렵고 또한 센서의 제약으로 인해 영상의 해상도가 낮다는 단점이 있다.

연구팀은 이벤트 카메라의 장점을 유지하면서 이와 같은 문제를 해결하기 위해 이벤트 데이터로부터 고화질의 초고해상도의 영상을 생성해 내기 위한 최적화된 심층 신경망과 학습 알고리즘들을 제안했다.

제안된 알고리즘들은 이벤트 카메라로부터 획득된 이벤트 데이터를 일정 시간 동안 누적해 딥러닝 기반의 합성곱 신경망을 통해 영상을 생성하는 방식이다.

두 공동 연구에서 각각 교사 학습·비교사 학습 기반의 알고리즘을 제안했는데 제안된 두 알고리즘들 모두 이벤트 카메라의 장점을 유지할 수 있어 초당 최대 100만 프레임의 영상 생성이 가능했다.

이에 조명의 변화가 극심한 환경이나 고속 움직임에 대한 분석이 필요한 다양한 분야에 적용 가능할 것으로 기대된다.

윤국진 교수는 “이 기술은 이벤트 카메라를 활용한 영상 기반 상황 인식을 위한 기술”이라며 “기존 RGB 카메라로는 검출이 어려운 조명 변화가 극심한 상황에서 사용될 수 있고 초고속 움직임에 대한 분석이 가능하기 때문에 자율주행 자동차, 드론, 로봇 등에 다양하게 활용될 것으로 기대한다”고 말했다.

김범규 기자 다른기사 보기