220420_유명조달기업
H.264 동영상 부호화에서 관심영역의 주관적 화질 개선 방법
상태바
H.264 동영상 부호화에서 관심영역의 주관적 화질 개선 방법
  • CCTV뉴스
  • 승인 2010.07.30 00:00
  • 댓글 0
이 기사를 공유합니다

동영상을 압축하는 방법에서 양자화 사용은 필수적이다. 양자화기는 동영상의 부호화율을 조정할 수 있고 화질을 제어할 수 있다. 특히 동영상내 관심영역이 있는 경우에 관심영역에 좋은 화질을 제공해주면 주관적 화질이 개선될 수 있다. 이를 위하여 먼저 본고에서는 화면내 주관적 관심영역에 따라 동영상을 분류하는 방법을 제시한다. 또한 동영상내 관심영역에 따라 화질을 차등적으로 제어하기 위한 양자화 계단 크기 할당 방법을 제안한다. 관심영역에는 그렇지 않는 영역에 비하여 양자화 계단 크기를 상대적으로 작게 할당함으로써 전체적으로 주관적 화질을 개선시킨다. 본고에 제시된 방법에 의해 양자화 계단의 크기를 차등적으로 적용함으로써 주관적 화질의 개선이 이루어졌으며 화면내에서 양자화 변수의 최댓값과 최솟값의 차이가 4~8이 주관적 화질 개선에 가장 적절한 것으로 분석되었다.

H.264 스칼라 양자화기

일반적으로 양자화란 어떤 범위의 입력값을 보다 적은 범위의 근사화값으로 대체하는 것을 의미한다. H.264 등과 같은 동영상 부호화에 사용되는 스칼라 양자화기는 이산여현변환된 실수값을 입력받아 양자화 계단 크기로 나누고, 가장 가까운 정수로 반올림한다.

여기서 반올림된 정수는 원래의 정확한 실수값을 알 수 없으며 손실이 유발된다. 일반적으로 양자화기는 다음과 같이 정의된다. 

 
                (1)
 
              (2)

여기서 X는 입력계수이고 Qstep은 양자화 계단 크기이다. 그리고 FQ는 부호화기에서 순방향 양자화기를 통해 양자화 된 신호값을 의미하며, Y는 역양자화를 통하여 복호화 된 복원 신호값을 뜻한다.

H.264 양자화는 총 52개의 양자화 계단 크기를 표준안에서 지원하고 있으며 계단의 크기는 양자화 변수에 의해 인덱스 되어 사용된다. 양자화 변수는 6씩 증가할 때마다 두 배가 되며 넓은 범위의 양자화 계단 크기로 인하여 부호화기가 부호화율과 화질 사이의 균형을 정확하고 유연하게 제어할 수 있다. 표 1은 양자화 변수와 인덱스 된 양자화 계단 크기를 나타내고 있다.


주관적 관심 영역의 화질 개선 방법

발생되는 부호화율을 고려하여 결정된 양자화 계단 크기의 일률적 적용은 비트율의 개선과 압축의 효과를 가져 올 수 있지만, 화면내 영상의 중요도에 따른 차별적 화질에는 바람직하지 못하다. 따라서 본고에서는 화면내 관심영역을 고려하여 양자화 계단 크기를 달리 적용하는 방법을 제안한다. 이를 위하여 화면내의 주관적 관심영역 판단 기준을 제시하고, 관심 영역별로 차등적으로 양자화 계단 크기를 적용한다.

주관적 관심영역의 판단
주관적 관심영역은 움직임 벡터를 활용하여 결정할 수 있다. 그림 1은 영상 특징별 움직임 벡터를 나타낸다. Bus 영상은 카메라가 오른쪽에서 왼쪽으로 움직이면서 촬영한 것으로써, 움직임 벡터가 모든 매크로블록에서 존재하며, 비슷한 벡터 크기값을 가진다. 따라서 Bus 영상은 화면내 특정영역보다는 전체영역으로 관심이 집중됨을 알 수 있다. Foreman 영상은 배경이 고정된 상태에서 중심부의 객체가 이동하는 것으로써 중심부에만 움직임 벡터 크기 값이 존재한다. 이런 경우에는 화면내 전체 영역보다는 움직임이 있는 중심부에 관심이 집중됨을 알 수 있다. 이러한 특징을 고려하여 현재 화면을 주관적인 중요도 측면에서 다음과 같이 5가지로 구분한다.

·중앙 집중식 영상: 영상의 중심부에만 움직임 벡터 크기값이 존재하고, 외곽부에는 움직임벡터가 '0'인 경우

·외곽 집중식 영상: 축소 영상과 같이 영상의 외곽부의 움직임 벡터 크기값이 존재하고, 수직방향의 움직임 벡터 크기 값이 큰 경우

·하단 집중식 영상: 영상의 하단부에만 움직임 벡터 크기값이 존재하고, 상단부에는 움직임 벡터가 '0'인 경우

·상단 집중식 영상: 영상의 상단부에만 움직임 벡터 크기값이 존재하고, 하단부에는 움직임 벡터가 '0'인 경우

·전체 집중식 영상: 수평 또는 수직방향 이동 영상처럼 영상의 전체가 이동하는 경우에는 특정 부위에 관심을 집중하지 않고, 화면 전체에 관심을 가짐


양자화 계단 크기의 차등 적용 방법
영상별 중요도에 따라 영상의 부호화 과정에서 양자화 계단 크기값의 차등적 적용은 주관적 관점에서 화질의 개선을 가져올 수 있다. 앞에서 판단된 주관적 관심 영역별로 양자화 계단 크기를 차등적으로 적용할 수 있는데, 그림 2는 화면내 수직방향의 슬라이드에 대하여 양자화 계단 크기를 차등적으로 적용하는 형태를 보인다. 그림 2와 같이 화면내 슬라이드별로 양자화 계단 크기를 차등 적용하기 위한 구체적인 양자화 계단 크기 값은 다음 수식과 같이 설정한다. 먼저, 화면내 슬라이드 전체에 대한 양자화 계단 크기의 평균 Qs를 찾는다. 

   
       (3)

여기서 is는 슬라이드 순서이며, Ns는 화면의 전체 슬라이드의 개수이다.

영상의 관심영역에 따라서 각 슬라이드에 부여하는 새로운 양자화 계단 크기 값 Qs는 다음과 같이 수식을 설정한다.


·하단 및 상단 집중식 영상 

           (4)

여기서 α는 상수 값이며 하단 및 상단 집중식에 따라 값의 범위가 서로 다르다. 하단 집중식 영상에서는  α≤0이고, 상단 집중식 영상에서는 α≥0.

·중앙 및 외곽 집중식 영상
화면의 전체 슬라이드의 개수가 짝수일 때는 다음과 같이 수식을 설정한다. 

        
            (5)

여기서 α1, α2는 상수 값이고 중앙 집중식 영상에서는 α1≤0, α2≥0, α1 =|α2|. 외곽 집중식 영상에서는 α1≥0, α2≤0, α1 =|α2|.

Ns가 홀수일 때는 다음과 같이 수식을 설정한다. 

                   (6)

여기서 [ ]는 반올림 연산이고, [ ]는 내림 연산을 의미하며 α1, α2는 상수 값이고 중앙 집중식 영상에서는 α1≤0, α2≥0. 외곽 집중식 영상에서는 α1≥0, α2≤0.

Ns가 18인 경우에 중앙 집중식 영상과 외곽 집중식 영상에 대하여 양자화 계단 크기를 위 식(5)에 따라서 설정한 경우에 대한 예를 그림 3에 나타낸다.

새로운 양자화 계단 크기의 값은 다양한 실수값이다. 하지만 H.264에서는 표 1에 나타낸 것처럼 52개 양자화 계단 크기만 정의되어 있으므로 식(5)에 따라 계산된 양자화 계단 크기와   52개의 정의된 양자화 계단 크기의 값을 비교하여 가장 가까운 양자화 계단 크기 값으로 결정한다.

즉, 계산된 양자화 계단 크기 값과 정의된 양자화 계단 크기 값 사이의 절대차를 계산하여 가장 작은 절대차를 갖는 정의된 양자화 계단크기 값으로 결정한다. 그림 3과 같이 중앙 집중식 양자화 변수(양자화 계단 크기) 할당 방법에서는 중앙부분의 슬라이드에는 양자화 변수의 작은 값이 할당되고, 외곽부분의 슬라이드에는 양자화 변수의 큰 값이 할당된다. 반대로 외곽 집중식은 외곽부분에는 양자화 변수의 작은 값이 할당되고, 중앙부분에는 양자화 변수의 큰 값이 할당된다.

식(5)를 적용함에 있어서 이웃한 슬라이드간 양자화 변수 값이 2 이상 차이 나지 않도록 설정한다. 만약 양자화 변수 차이가 2 이상 되면 슬라이드 경계 부분에서 블록효과가 발생되어 화질이 저하될 가능성이 있다.

모의실험 및 결과

본고에서 제안하는 방법에 대한 실험을 위해 H.264의 표준 부호화 소프트웨어인 JM10.2를 사용하였으며 실험 영상으로는 해상도가 수평 352화소, 수직 228화소를 갖는 Bus, Flower, Foreman, Waterfall 영상을 채택하였다. 그림 4는 사용되는 영상의 특징을 나타낸다.


H.264 baseline profile을 사용하여 B-화면은 포함되지 않으며, 15개 화면이 1개의 GOP로 구성되며 각 영상은 총 120개의 화면을 사용하였다. 한 화면 당 슬라이드의 크기는 서로 같으며, 세로로 18개를 가진다.

식(5)에서의 값을 통하여 각 화면의 18개 슬라이드에 대하여 양자화 변수를 차등 적용하였으며, 양자화 변수의 최댓값과 최솟값의 차이 값을 크게 네 가지로 구분하여, 즉, 10, 8, 6, 4 네 가지에 대하여 원 영상을 목적 부호화율로 부호화하였다.


객관적 PSNR 측정
객관적 화질평가 척도인 PSNR(peak signal to noise ratio)값을 조사하였다. 기존 방법은 양자화 변수값을 모든 슬라이드에 35로 고정하는 가변길이 부호화율 제어방법을 적용하였다. 제안 방법은 화면내 평균 양자화 변수 값을 기존방법과 같이 35로 설정하고, 주관적 관심영역의 판단 기준에 따라 Fore man 영상은 중앙 집중식으로 Waterfall 영상은 외곽 집중식으로 그림 3과 같이 슬라이드 단위로 차등적으로 양자화 변수를 할당하였다.

표 2는 Foreman 영상에 대하여 120개 화면에 대한 PSNR의 평균값과 발생된 총 비트수를 나타낸다. 그림 5는 각 화면별 PSNR값과 발생되는 비트수를 나타낸다.


모든 슬라이드에 같은 양자화 변수값을 할당하는 경우에 비하여 슬라이드간 양자화 변수값을 차등 적용하면 PSNR값이 감소함을 알 수 있다. Dif6(양자화 변수의 최대 및 최솟값의 차이가 6)에서는 약 0.44dB 감소하고, Dif10에서는 약 0.85dB까지 감소한다.


표 3은 Waterfall 영상에 대한 PSNR의 평균값과 발생된 총 비트수를 나타낸다. 그림 6은 각 화면별 PSNR값과 발생되는 비트수를 나타낸다. Foreman 영상과 마찬가지로 모든 슬라이드에 같은 양자화 변수값을 할당하는 경우에 비하여 슬라이드간 양자화 변수값을 차등 적용하면 PSNR값이 감소함을 알 수 있다. Dif10에서는 약 0.29dB 감소한다.

또한 양자화 변수 차이값에 따라 영상별로 PSNR, 비트수 특징을 살펴보기 위하여 네 가지 영상을 모두 중앙 집중식으로 양자화 변수를 할당한 경우에 대한 PSNR과 발생된 비트수를 표 4에 나타낸다.

△Bits는 기존 방법에서 발생된 비트수에 비하여 제안된 방법에 의해서 발생된 비트수의 차이를 백분율로 나타낸 값이다. 양자화 변수의 최대와 최솟값의 차이가 커질수록 기존 방법에 비하여 비트수가 많이 발생함을 알 수 있다. 특히 차이가 8 이상 커지면 비트수 차이의 백분율이 10% 이상 커질 수도 있음을 알 수 있다.



주관적 화질 측정
먼저 모든 4가지 실험영상을 중앙 집중식으로 양자화 변수를 할당하여 부호화하고, 복원된 영상에 대해 주관적 화질을 측정하였다. 주관적 화질의 측정 방법은 5명의 평가자에게 양자화 변수의 크기와 집중방법에 대한 사전 예고 없이 복원된 화면을 무작위로 배치하고 주관적 화질이 우수한 순서로 점수를 부여하게 하였다. 평가자는 화면 모니터 대각선 길이의 3배 떨어진 위치에서 평가를 하였으며, 가장 우수한 화면은 1점, 그다음으로 우수한 화면은 2점, 이런 순서로 하여 가장 화질이 좋지 않는 화면은 5점을 부여하도록 하였다. 표 5는 5명의 평가자가 부여한 점수를 평균한 것을 나타낸다.

위 결과로부터 배경은 움직임이 없고 중앙이 움직이는 Foreman 영상은 중앙에 관심이 증대되므로 중앙 집중식으로 양자화 변수를 할당하는 것이 주관적 관점에서의 화질이 좋게 나왔다. 이 때 슬라이드간 양자화 변수의 최대와 최솟값의 차이는 6이 가장 좋은 것으로 나타났다. 최대와 최솟값의 차이가 8 이상 커지면 주관적 화질은 더 나빠짐을 알 수 있다.



다음으로 네 가지 영상을 모두 외곽 집중식으로 양자화 변수를 할당하고 부호화한 경우에 대한 결과를 보인다. 표 6은 5명의 평가자가 부여한 주관적 화질 측정 점수를 평균한 것을 나타낸다.

외곽 집중은 Waterfall 영상과 같이 화면이 점차 축소(Zoom-Out)되어 외곽부분이 다시 나타나거나 움직임이 활발하기 때문에 중심부분보다 외곽부분이 주관적 관점에서 더 중요하다. 따라서 외곽부분의 슬라이드에 양자화 변수의 작은 값을 할당하는 것이 주관적 화질을 좋게 가져온다. 여기서 슬라이드간 양자화 변수의 최대 및 최솟값의 차이가 8일 때 주관적 화질이 가장 좋음을 알 수 있다. 또한, 차이가 10 이상 커지면 주관적 화질이 크게 나빠짐을 알 수 있다.

표 2에서 표 6으로부터 관심 영역별로 화면내의 양자화 계단 크기를 차등적으로 설정하면 화면 전체의 평균값인 객관적 PSNR값은 다소 감소하지만, 화면내의 관심 부분에 초점을 갖는 주관적 화질은 오히려 더 좋아짐을 알 수 있다.

즉, 객관적 화질 측정만으로는 인간의 시각적 화질 수준에 완전히 만족을 줄 수 없는 것으로 판단되었으며 주관적 화질평가 결과를 객관적 화질 측정 결과에 추가적으로 적용하여 비트율의 변동이 없는 가운데 화질개선의 효과가 나타남을 알 수 있었다.

결론

본고에서는 H.264 부호화 시스템에서 화면내 움직임 벡터를 분석하여 전체 집중식, 중앙 집중식, 외곽 집중식, 하단 집중식, 상단 집중식 등으로 영상을 분류하고, 관심이 집중되는 부분에 양자화 계단 크기(변수)를 차등적으로 적용하였다. 또한 주관적 화질 평가를 객관적 화질 측정 결과에 반영하여 차등적 양자화 계단 크기의 적용에 의한 시각적 화질 개선 효과를 접목하여 적절한 양자화 계단을 정하고 인간의 시각을 고려한 주관적 화질 개선에 대한 방법을 제안하였다. 제안된 기법에 의해 주관적 관심영역을 사전에 분석하고 부호화 과정에서 양자화 변수를 집중적으로 적용하여 기존 방법보다 주관적 화질 개선의 효과를 얻을 수 있었다. 또한 양자화 계단 크기를 차등적으로 적용할 경우에 화면내에서 양자화 변수의 최댓값과 최솟값의 차이가 4~8정도가 적당함을 확인하였다. 본고는 H.264 동영상 부호화에 적용하였지만, H.264 이외의 모든 동영상 부호화에 직접적으로 적용가능하며, 다양한 비트열 변환기법과 연계되어 확장 적용이 가능할 것으로 기대된다.






댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.