본 고에서는 화재 불꽃의 시각적 특징들을 확률적인 멤버십 함수로 모델링하고 이를 퍼지 유한상태 오토마타에 적용한 새로운 화재 불꽃 감지 알고리즘을 제안한다. 먼저 입력된 영상에서 배경 모델을 이용하여 움직임 영역을 추출하고 불꽃 색상 모델을 적용하여 최종 화재 후보 영역을 결정한다. 불꽃영역은 일반적으로 연속적이며 불규칙한 패턴을 가지고 있으므로 명도와 웨이블릿 에너지의 왜도 값과 모션의 상승 방향성을 이용하여 확률모델을 생성하고 이를 퍼지 유한상태 오토마타에 적용한다. 퍼지 유한상태 오토마타는 오토마타의 성능과 퍼지 로직이 결합된 형태로 컴퓨터 시스템에서 불확실한 문제뿐 아니라 연속적인 공간에서 발생하는 문제를 처리하는 시스템적인 접근법을 제공한다. 제안된 알고리즘은 다양한 화재 영상에서 성공적으로 불꽃을 감지하였고 다른 알고리즘에 비해 더 좋은 성능을 보여주고 있다.

최근 들어 각종 테러나 자연재해로 인한 사건사고가 빈번하게 발생함에 따라 이를 예방하기 위한 공공장소 모니터링이 관심을 받고 있다. 특히 화재사고는 대규모 인명 피해와 재산 피해를 수반하기 때문에 이러한 피해를 줄이기 위한 자동 화재 감지 연구는 더 큰 관심을 받고 있다. 기존의 화재경보시스템은 대부분 적외선센서나 광학센서, 이온센서 등을 기반으로 하여 연기나 열, 방사선과 같은 화재의 물리적, 화학적 특성에 의존하며 이러한 센서 기반의 화재경보시스템은 연기나 열이 센서에 도달하기 전까지는 감지가 불가능하고 화재의 발생 위치나 확산정도와 같은 추가적인 정보를 제공할 수 없다는 단점이 있다. 그러므로 화재 경보 시스템에 의해 화재 경보가 발생하여도 시스템 관리자는 화재 발생의 실제 여부를 현장에 출동하여 육안으로 확인해야 한다. 이러한 문제들을 해결하기위해 최근 몇몇 연구에서는 CCD 카메라를 이용하여 전통적인 센서 기반 화재 경보 시스템의 단점을 보완하고 더욱 신뢰도가 높은 화재 감지 결과를 제공하기 위해 노력하고 있다.Foo는 연속적인 이미지 프레임에서 이미지 감산과 히스토그램으로부터 획득한 통계적 측정값의 집합을 사용하여 항공기 드라이베이와 엔진실에서의 화재를 감지하기 위한 퍼지 로직 접근법을 제안하였다. Töreyin은 움직임 영역을 배경 모델에 의해 검출하고, 후보 영역에 대해 화재-컬러 모델과 후보 영역에 대한 시/공간상의 웨이블릿 고주파 계수의 변화량을 측정하여 화재를 검증하는 방법을 제안하였다. Ho는 화재의 스펙트럼과 시공간 특징을 이용하여 불꽃과 연기를 감지하는 실시간 경보 시스템을 제안하였다. 스펙트럼과 공간 확률 밀도의 통계적 분포는 불꽃과 연기영역을 검출하기 위한 퍼지 로직 추론 시스템의 가중치로 사용되고, CAMSHIFT는 불꽃과 연기의 실시간 위치를 피드백 하기 위해 사용하였다.

Chen은 RGB/HIS 컬러 모델과 불꽃영역이 불규칙적으로 확산된다는 정보를 이용하여 화재를 분석하는 방법을 제안하였다. Han은 터널에서 화재와 연기를 색상과 움직임의 변화를 이용하여 감지하는 시스템을 제안하였고, T. Celik은 YCbCr색상에서 Y, Cb, Cr의 관계에 따른 차이를 퍼지 로직에 이용하는 방법을 제안하였다.

이전 연구에서 우리는 SVM에 기반을 둔 화재 감지 방법을 제안하였다. 그러나 서포트벡터의 차원과 개수에 따라 많은 계산 시간이 요구되는 단점 때문에 다른 화재 감지 방법보다 더 나은 감지 성능을 보였음에도 불구하고 실시간 감지 프로그램으로 적합하지 못하였다. 따라서 보다 정확한 화재 불꽃 검출을 위하여 본 고에서는 모호하고 불확실한 불꽃의 정보를 고려한 퍼지 유한상태 오토마타를 정의하고 몇 가지의 특성을 나타내는 실내 외 화재 비디오에서 화재 감지를 위한 새로운 불꽃 감지방법을 제안한다.

먼저 영상을 블록으로 분할하고, 배경 모델을 이용하여 움직임 영역을 검출한 뒤 불꽃 색상모델을 이용하여 최종 후보 불꽃영역을 결정한다. 불꽃영역은 일반적으로 명도와 웨이블릿 에너지가 끊임없이 변화하고 시간의 흐름에 따라 모션이 상승 방향성을 나타기 때문에 이러한 특징을 효과적으로 나타낼 수 있는 왜도 값과 상승 방향 비율을 이용하여 퍼지 확률모델을 생성하였다. 이러한 퍼지 확률모델은 이후로는 퍼지 멤버십 함수라고 호칭하도록 한다. 이렇게 퍼지 멤버십 함수가 생성되고 나면 퍼지 유한상태 오토마타에 이를 적용하여 각 상태(VH(VeryHigh), H(High), L(Low), VL(Very Low))의 멤버십 값을 추정하였고, 추정된 멤버십 값을 상태 전이 가중치(state transition weight)와 연산하여 최종상태를 결정하는데 사용하였다. 해당 후보 블록이 퍼지 유한상태 오토마타의 최종상태에서 수락(accept)되는지 거부(reject)되는지에 따라 불꽃인지 아닌지에 대한 여부를 판단하였다.

움직임과 색상을 이용한 화재 후보 블록 감지

화재 영역은 붉은색을 많이 포함하며 주변 영역에 비해서 일반적으로 밝은 특성을 가지고 있다. 또한 바람이나 연소 재료에 의해서 그 형태가 끊임없이 변화한다. 이러한 특성을 이용하여 카메라로 입력되는 영상으로부터 움직임 영역을 감지하고 그 영역에서 화재 색상 모델을 적용하여 화재 z를 도출한다. 본 고에서는 실시간 처리를 위하여 영상을 MxN 블록으로 나누고 모든 연산을 블록단위로 처리한다. 단순한 후보 불꽃영역은 배경 모델의 적용으로 초기에 검출되고 비 후보 영역은 불꽃 검증을 위해 필요한 계산 시간을 줄이기 위해 후보 블록에서 제외 된다.

배경 모델을 이용한 움직임 영역 추출
움직임 영역을 추출하기 위하여 본 고에서는 Horprasert의 배경 모델링 알고리즘을 사용하였다. 속도 개선을 위해 기존의 RGB채널 각각에 대한 연산 대신 명도 성분만을 추출하여 적용하였고 현재 프레임을 포함한 이전 3프레임에서 평균과 분산을 계산하도록 하였다. 영상 내의 임의의 픽셀 p는 4-요소<µ_p,σ_p, α_p, BD_p>로 구성된다.  여기서 µ_p는 픽셀 p에서의 명도 평균값, σ_p는 표준편차, α_p는 명도 왜곡 파라미터, BD_p는 명도 왜곡이다.  명도 왜곡 파라미터α_Y와 명도 왜곡 BD_Y는 수식 (1)과 (2)와 같이 구할 수 있다. 


입력 픽셀의 명도 왜곡 BD_Y값이 임계값 이상일 경우 움직임 픽셀로 판단하고 블록 내에서 움직임 픽셀이 50% 이상이면 해당 블록을 후보 블록으로 지정한다.

색상모델을 이용한 화재 후보 영역 감지

색상을 이용하여 화재 영역을 감지하기 위해 RGB채널에 대한 확률적 모델을 구성하고 이로부터 화재 후보 영역을 결정하는 방법을 사용하였다.

우선 각 색상 RGB채널의 분포는 서로 독립적이고 가우시안 분포를 보인다고 가정하고 학습용 화재 영상으로부터 다음 수식을 이용하여 퍼지 멤버십 함수를 생성한다.                                       

수식 (3)에서 µ는 학습 데이터로부터 얻어진 i 색상 채널의 평균을 의미하며 σ는 i색상 채널의 분산을 의미한다. 이렇게 구해진 각 채널의 퍼지 멤버십 함수로부터 새로운 입력 픽셀 I_i(x,y)의 i채널 확률 값을 수식 (3)을 통해 알 수 있다.이렇게 구해진 각 색상 채널의 확률 값을 이용하여 수식 (4)와 같이 전체 색상 채널의 확률 값을 계산하고 이 값이 임계값 τ를 넘을 경우 화재 후보 색상 픽셀로 선언한다. 
그림 1에서는 배경 모델과 색상 모델을 이용하여 검출된 후보 블록을 나타내고 있으며 화재 불꽃과 유사한 색상을 가지고 움직임이 있는 몇몇 블록에서 오감지를 보이는 것을 확인할 수 있다.
퍼지 유한상태 오토마타를 이용한 불꽃 검출

화재 영상에서 배경 모델과 화재 색상 모델을 적용하여 검출된 불꽃 후보 영역은 대부분 정확한 검출 결과를 보이지만 불꽃의 반사나 화재와 유사한 색상을 갖는 움직임 오브젝트로 인한 오감지가 여전히 남아있다. 그러므로 이러한 오감지를 제거하기 위하여 추가적인 화재 감지 절차가 필요하다. 본 고에서는 이전의 휴리스틱한 방법들과는 대조적으로 후보 블록이 실제 불꽃영역인지 아닌지를 증명하기 위하여 퍼지 멤버십 함수를 기반으로 하는 퍼지 유한상태 오토마타를 사용하였다.

퍼지 로직은 많은 시스템들이 가지는 고유한 특성들에 대한 불확실성과 모호함을 처리하기에 매우 효과적인 방법이기 때문에 광범위한 분야에서 많은 관심을 받고 있다. 그리고 유한상태 오토마타는 컴퓨터 시스템과 그에 관련된 언어나 소프트웨어의 개발에 중요한 영향을 미치는 이론으로 어떤 문제에 대해 확률적인 접근으로 문제를 해결할 수 있기 때문에 논리적 설계가 요구되는 시스템에서 매우 유용하게 사용되고 있다. 그러므로 이러한 퍼지로직과 유한상태 오토마타가 결합된 퍼지 유한상태 오토마타는 시스템의 상태가 끊임없이 변화하거나 수학적으로 모델링하기 어려운 응용 프로그램에 매우 적합하다. 또한 퍼지 유한상태 오토마타는 연속적인 공간에서 발생하는 불규칙적이고 불확실한 문제뿐 아니라 불연속적인 응용프로그램에서 발생하는 문제까지 효과적으로 결정짓는데 유용한 방법으로 알려져 있다.

화재 불꽃의 모양은 시간이 흐름에 따라 끊임없이 변화하며 이러한 변화가 매우 불규칙적이고, 감지하고자 하는 영역이 불꽃영역인지 아닌지에 대한 결정을 할 수 있는 기준이 매우 모호하다. 그러므로 앞서 설명했듯이 시간 축 상에서 발생하는 변화가 불규칙하고 다양한 특성들을 효과적으로 분석할 수 있는 퍼지 유한상태 오토마타 ^~F는 화재 불꽃 감지에 매우 적절한 방법 중 하나이다.

화재 불꽃 감지를 위한 퍼지 유한상태 오토마타 는 수식 (5)와 같이 6개의 튜플(tuple)로 정의된다. 


Q는 유한한 개수의 상태 집합으로 본 고에서는 화재 불꽃의 상태를 의미하며 Q={VH(VeryHigh), H(High), L(Low), VL(Very Low)와 같이 4가지의 상태로 정의하였다. VH, H, L, VL은 각각 불꽃일 확률이 매우 높은 상태, 높은 상태, 낮은 상태, 매우 낮은 상태를 의미한다. ∑는 퍼지 유한상태 오토마타 내에서 발생하는 이벤트로서 본 고에서는 상태를 집합 Q와 같이 4가지 상태(VH, H, L, VL)로 정의하였기 때문에 4가지 상태 사이에서 발생할 수 있는 모든 이동 경우의 수를 원소로 하는 경우, ∑를 ∑ ={a₁₁....a₁₄, a₂₁...a₂₄, a₃₁...a₃₄, a₄₁...a₄₄}와 같이 16가지로 정의 할 수 있다. δ는 퍼지 전이 함수(fuzzy transition function)로서  δ:Qx∑xQ→(0,1]는 퍼지 멤버십 함수가 가질 수 있는 값의 범위인 0에서 1사이의 입력 값에 따른 현재 상태에서 다음 상태로의 전이를 정의하기 위해 사용된다.

R은 퍼지 유한상태 오토마타의 초기 상태로서 우리는 초기 상태를 VH라 가정하였다. 즉, 초기의 VH 멤버십 값은 1이 되고, µ^to(VH)=1.0과 같은 수식이 성립한다. Z는 출력 값의 집합으로 Z={accept(Fire), reject(Non-Fire)와 같이 2가지의 최종 출력 값을 정의 하였으며 퍼지 유한상태 오토마타의 최종상태가 VH나 H일 경우 최종 출력 값은 accept(Fire)가 되고 해당 영역은 불꽃영역으로 판단한다.

반대로 최종 상태가 VH나 L일 경우, 최종 출력 값은 reject(Non -Fire)가 되고 해당 영역은 불꽃이 아닌 영역으로 판단한다. ω는 출력 함수로서 ω =Q -> Z와 같은 식으로 나타내며 입력 값과 출력 값 사이의 연관성을 정의하여 입력 값에 대한 출력 값을 획득하기 위해 사용된다.

그림 2에서는 본 고에서 제안하는 퍼지 유한상태 오토마타 ^~F와 그에 적용되는 상태 전이 행렬을 나타내고 있다. 

그림 2에서 퍼지 유한상태 오토마타 ^~F의 상태 집합인 Q는 각각 원으로 나타내고 있고 현재 상태에서 다음 상태로의 전이 이벤트 ∑는 상태 전이 가중치와 함께 화살표로 나타내고 있다.

본 고에서는 상태전이가 다음과 그 다음 상태로의 전이만 가능하도록 설계하였다. 따라서 VH 상태는 한 번의 동작에서 H나 L 상태로만의 전이가 가능하고 VL 상태로의 전이는 불가능하도록 설계하였다. 이러한 이유는 화재 불꽃 특성상 VH 상태에서 VL상태로 급격하게 변하지 않고 단계를 거쳐 서서히 변하는 경우가 많기 때문이다. VL에서 VH로의 상태 변환도 같은 규칙을 따르게 된다.

현재 상태가 다음 상태로 이동 될 때 적용되는 퍼지 전이 함수 δ는 수식 (6)과 같이 행렬 t로 표현된다. 

               
a_ij는 퍼지 유한상태 오토마타의 상태가 i에서 j로 전이 될 때 적용되는 상태 전이 가중치를 의미하며 여기서 i와 j는 각각 현재 상태와 다음 상태를 가리키고 n은 유한한 상태의 개수이다. 예를 들어, a₁₂=0.3과 같은 수식은 현재 상태 1에서 다음 상태 2로 전이 될 때 적용되는 상태 전이 가중치가 0.3이란 것을 의미한다. 이러한 예에서도 알 수 있듯이 퍼지 유한상태 오토마타는 이벤트가 개별적으로 동작하는 이산 이벤트 시스템과는 달리 각각 다른 가중치를 가진 이벤트가 시스템 상에 여러 개 존재할 수 있고 서로에게 영향을 미치며 동작한다. 제안한 퍼지 유한상태 오토마타에서는 전이 이벤트가 발생할 때 다음 상태의 멤버십 값을 추정하기 위해 현재 상태의 멤버십 값(µ^t(q_i))과 앞서 설명한 상태 전이 가중치를 동시에 이용한다.

본 고에서 제안하는 퍼지 유한상태 오토마타는 시스템의 여러 가지 특성을 분석하여 결과를 도출하기 때문에 상태 멤버십 값을 결정하기 위해 입력되는 값의 종류 또한 다양하다. 즉, 한 개가 아닌 여러 개의 퍼지 멤버십 함수가 사용되며 시간 t+1에서의 상태 멤버십 값 µ^t+1(q_i)을 결정하기 위해서는 이러한 값들을 하나의 값으로 결합해 주어야 한다. 그러므로 이를 해결하기 위해 퍼지 유한상태 오토마타에서 멀티 입력 결정(multi-membership resolution) 방법의 하나인 수식 (7)과 같은 산술 평균을 이용한다.
 
n은 퍼지 멤버십 함수의 개수, 즉, 입력 값의 개수이다. 입력 값 a_k에 의해 이전 상태  q_i로부터 다음 상태 q_j로 전달되는 상태 전이 가중치  δ(q_i, q_k, q_j)는 이전 상태의 멤버십 값 µ^t(q_i)과 함께 멤버십 값 할당 함수 F에 적용되어 새로운 멤버십 값을 결정하는데 사용된다.

F는과 같이 세 가지의 원칙을 따르며 우리는 멤버십 값 할당 함수(F)를 수식 (8)과 같이 곱 연산으로 정의하였다.
                                          


전통적인 오토마타는 상태가 1 또는 0으로 정의되며 이러한 상태들이 개별적으로 표현된다. 즉, 여러 가지의 상태를 각각의 행렬로 따로따로 나타내어야 하는 반면, 퍼지 유한상태 오토마타의 상태 q는 퍼지 멤버십 함수를 이용하여 상태 멤버십 값을 확률적으로 결정하기 때문에 수식 (9)와 같이 각 상태들을 벡터로 나타낼 수 있다. 


m_k는 n번째 상태의 멤버십 값을 의미한다. 예를 들어, 화재 불꽃의 상태가 VH일 확률이 0.6을 가짐과 동시에 H일 확률이 0.4, L일 확률이 0, 2, VL일 확률이 0이라면 상태 q의 멤버십 값은 벡터 q=[0.6, 0.4, 0.2, .]과 같이 나타낼 수 있다.

또한 우리는 불꽃 감지를 위해 명도, 웨이블릿 에너지, 모션의 방향성의 3가지 특징 값을 입력으로 사용하기 때문에 시간 t에서 각 상태의 멤버십 값은 그림 5와 수식 (10)과 같이 퍼지 멤버십 함수를 이용하여 추정된다.
                          

    
는 시간 t에서 해당 블록의 명도와 웨이블릿 에너지의 왜도 값과 모션의 상승방향 비율을 나타내는 입력 값 에 대해 각각의 퍼지 멤버십 함수를 이용하여 추정된 멤버십 값이다. 만약 현재 상태 벡터 q에서 이벤트가 발생한다면 다음 상태 벡터 ^~q는 수식  (11)을 이용하여 결정된다. 수식 (11)은 수식 (7)을 본 시스템에 맞도록 변형한 수식이다. 

                                    
q는 이전 상태의 멤버십 값이고 t는 미리 정의된 상태 전이 가중치이다. 이러한 두 값의 곱으로 상태 벡터 ^~q가 결정되고 나면 그 다음으로 수식 (12)와 같은 최대값 연산을 통해 퍼지 유한상태 오토마타의 최종 상태를 결정한다. 

    
n개의 상태 중 최대값을 가지는 상태를 최종 상태로 결정하는 것으로 예를 들어, 과 같은 상태 벡터에서는 최대값 0.5를 가지는 상태 ^~q₂가 최종상태로 결정 된다.

고전적인 결정적 유한상태 오토마타(deterministic finite automata)에서는 최종 결과 값이 현재의 상태에 의해 유일하게 결정된다. 시스템이 끝났을 때의 현재 상태와 미리 지정해둔 최종상태가 동일하면 출력 값이 수락(accept)이 되지만 그 외의 상태에서 시스템이 끝이 날 경우에는 그에 대한 출력 값이 명시적이지 않다. 반면에 무어 머신(Moore machine)의 출력은 모든 상태에서 수락(accept) 또는 거부(reject)를 나타낼 수 있다. 그러므로 우리는 출력 값에 대한 유한상태 집합 Z를 오직 2가지의 값만을 가지도록 와 같이 정의한다.

또한 마지막 상태의 집합은 와 같이 VH와 H 상태의 두 가지로 정의하고 수식 (13)에 따라 화재 불꽃 감지 시스템의 최종 결정이 이루어진다. 

수식 (13)에서는 만약 최종상태 (f_q)가 Q_fin의 요소일 때 그것을 화재 불꽃으로, 그렇지 않을 경우에는 비-화재로 결정짓는 것을 의미하고 있다.

상태 벡터를 위한 퍼지 멤버십 함수
기존의 연구들에서 도출된 일반적인 불꽃영역의 특징들은 다음과 같다.

·일반적으로 불꽃영역은 배경에 비해 높은 명도 값과 고주파 성분을 가진다.
·불꽃의 색상은 매우 다양한 범위를 갖는다.
·화재 불꽃영역은 시간 축 상에서 매우 불규칙적으로 끊임없이 변화하는 패턴을 가진다.
·바람과 같은 외부의 영향이 크지 않다면 상승방향성을 가진다.

이러한 불꽃의 특징들을 고려하여 퍼지 유한상태 오토마타에 적용되는 멤버십 함수를 생성하기 위해 명도와 웨이블릿 에너지의 변화를 효과적으로 측정할 수 있는 왜도 값과 모션의 상승방향 비율 값을 특징 값으로 사용하였다.

퍼지 멤버십 함수는 응용분야에 따라 다양한 모양과 방법으로 모델링 될 수 있으며 본 고에서는 불꽃이 가지는 3가지 특징을 모델링하기 위해 가우시안 함수를 사용하였다.

먼저 명도 변화에 대하여 연속적인 프레임에서 각 블록의 시간 축 상의 변화를 측정하였다. 그림 3-(b)와 같이 불꽃영역에서는 명도 값의 변화가 연속적으로 불규칙하게 발생하는 반면 그림 4-(b)와 같이 불꽃이 아닌 움직이는 일반 오브젝트 영역에서는 제한된 구간에서 몇 번의 변화만 발생하는 것을 확인할 수 있다. 이러한 명도 변화의 특징 추출을 위해 화재 영상과 비-화재 영상에 대하여 100개의 프레임의 블록 값을 큐에 저장하여 수식 (14)를 통해 왜도 값을 측정하였다. 추정된 왜도를 다시 가우시안 함수를 이용하여 확률 밀도 함수로 표현하였다. 그림 5-(a)는 명도에 대한 퍼지 멤버십 함수로서 화재와 비-화재에 대한 확률 밀도 함수를 각각 VH, H, L, VL와 같이 퍼지 유한상태 오토마타의 각 상태에 적용하기 위한 형태로 변형시켜 획득하였다. 

두 번째 특징인 웨이블릿 에너지는 수식 (15)와 같이 구할 수 있다. 후보 블록에서 웨이블릿 에너지를 추출하기 위해 도비시 웨이블릿 변환(Daubechies Wavelet Transform)을 적용하고 3가지의 주파수 성분(LH, HL, HH)만을 사용하였다.                         
  
수식 (15)에서 E_i(x,y)는 i^th번째 블록의 웨이블릿 에너지이다. , LH, HL, HH는 각각 웨이블릿 변환이 수행된 이미지로부터 획득한 수평 성분, 수직 성분, 대각 성분 계수이다.

그림 3-(c), 4-(c)에서는 웨이블릿 에너지 또한 명도의 변화와 마찬가지로 화재 영역에서는 끊임없이 변하지만 비-화재 영역에서는 그렇지 않음을 확인할 수 있다. 그러므로 웨이블릿 에너지의 퍼지 멤버십 함수 역시 왜도의 확률 밀도 함수를 이용하여 모델링하였으며 그림 5-(b)와 같이 VH, H, L, VL 상태에 대해 나타낼 수 있다.

마지막으로 뜨거운 공기는 상승하기 때문에 불꽃의 모션벡터는 상승하는 경향이 있다. 이러한 특징을 추출하기 위하여 이전의 연구를 개선하여 현재 프레임을 포함하는 이전 100프레임에서 모션벡터를 측정하였다. 우선 블록에서 3단계 탐색(3-step search) 알고리즘을 사용하여 움직임 벡터를 추출하고 블록 내의 움직임 방향을 수식 (16)을 이용하여 8개의 방향으로 정규화하였다.

             
수식 (16)에서 는 x-방향의 모션벡터를 의미하고 는 y-방향의 모션벡터를 의미한다. 에서 0은 움직임이 없음을 의미하고 2~4는 상승모션을 의미한다. 불꽃영역에서는 상승방향인 값들이 많이 나타나지만 불꽃이 아닌 영역에서는 상승방향 값들이 낮게 나타남을 그림 3-(d), 4-(d)에서 보여주고 있다.

모션의 상승 방향 비율(Up_i)은 연속적인 N(100)프레임이 진행되는 동안 i^th번째 블록의 상승모션을 수식 (17)에 적용함으로서 획득할 수 있다.
                 

수식 (17)에서 사용 된 은 만약 모션 방향이 2~4 사이의 값을 가질 때 1을 반환하고 그 외의 값을 가질 때는 0을 반환하는 지표 함수이다. 그림 5-(c)에서는 화재와 비화재의 확률밀도 함수가 각 상태에 대해 표현된 것을 확인할 수 있다. 다른 멤버십 함수와는 달리 모션 멤버십 함수의 그래프는 모션정보는 상승방향 비율이 높을수록 화재일 확률이 높고 상승방향 비율이 낮을수록 비-화재일 확률이 높다는 특징 때문에 수식(18)과 (19)를 이용하여 그림 5-(c)와 같이 변형되었다. 

                  
수식 (18), (19)에서 는 모션방향에 대한 VH와 VL상태의 가우시안 확률 밀도함수의 평균과 분산을 의미하며 는 모션방향에서 VH와 VL 상태에 대한 멤버십 함수와 변형된 와 의 멤버십 함수를 의미한다.

본 고에서는 멤버십 함수 생성을 위하여 총 12개의 학습 영상을 사용하였다. 이 중 6개의 영상은 화재 불꽃이 포함된 영상으로 FASTData(http://fire.nist.gov/fastdata/)로 부터 획득하였고, 다른 6개의 영상은 화재와 유사한 색상을 띄는 움직임 오브젝트가 포함된 영상으로 CAVIAR(http://homepages. inf.ed.ac.uk/rbf/CAVIAR/)로 부터 획득하였다. 그 후 가우시안 확률 밀도함수 생성을 위한 값들을 추출하기 위하여 5x5 크기의 1056개 블록을 12개의 학습 영상에서 선택하여 사용하였다.

불꽃의 3가지 특징 값을 이용하여 만들어진 그림 5의 퍼지 멤버십 함수는 퍼지 유한상태 오토마타에서 각 상태에 대한 멤버십 값을 결정하기 위한 입력 값으로 사용된다.

실험결과 및 분석

제안된 알고리즘의 성능 평가를 위해 Töreyin의 알고리즘과 Ko의 알고리즘의 성능을 비교 평가하였다. 실험은 표 1과 그림 7에서 보여주듯이 10개의 실내외 영상을 이용한다. 영상 1, 3, 4, 6은 실내 화재 불꽃 영상이고 영상 2, 5는 실외 화재 불꽃 영상이다. 추가적으로 실제 화재 불꽃과 화재와 유사한 색상과 움직임을 보이는 오브젝트들을 분류할 수 있는 제안된 시스템의 능력을 평가하기 위해 화재 유사 색상의 움직이는 오브젝트를 포함한 영상 7, 8, 9, 10을 사용하였다.
 
비교 실험 결과는 그림 6에서 보여주고 있다. 제안한 알고리즘과 비교를 위한 2개의 알고리즘에 대해 각각의 검출율(TP : True Positive), 오검출율(FP : False Positive), 미검출율(M : Missing Rate)을 측정하였다.

그림 5에서 확인할 수 있듯이 제안한 알고리즘의 평균 검출율은 97.7%로 Töreyin이나 Ko의 91.55%, 78.47%의 결과보다 좋은 검출율을 보여주고 있으며 평균 오검출율은 0.2%로 다른 두 가지 알고리즘의 3.26%, 2.86%에 비해 낮게 나타났고 미검출율 또한 2.1%로 5.19%와 18.27%로 가장 낮게 나타났다.

각 불꽃 영상들의 특징들에 근거한 실험결과를 분석해보면 1번 영상은 불꽃의 명도가 높고 매우 활발하게 움직이며 상승방향이 뚜렷하게 나타나는 전형적인 불꽃의 특징을 보이지만 불꽃이 확산되면서 바닥이나 벽과 같은 주변영역에 불빛이 반사 된다. 그러므로 컬러나 웨이블릿 에너지로만 불꽃 감지를 한 Töreyin알고리즘과 밝기 맵과 SVM(Support Vector Mach ine)을 이용한 Ko의 알고리즘의 경우 밝기에 민감하기 때문에 불빛의 반사로 인해 발생하는 밝은 영역에서 오감지가 발생하여 오감지율이 높은 것을 확인할 수 있다.

2번 영상은 불꽃이 작으며 다른 영상들에 비해 불꽃의 밝기 변화량이 크지 않고 주변 영역과 유사한 컬러 값을 가지며 바람에 의해 불꽃이 좌우로 움직이기 때문에 상승방향성이 낮다. 그러므로 2번 영상에서 제안한 알고리즘은 낮은 명도 변화량과 낮은 상승모션으로 인해 다른 영상에 비해 높은 미검출율 나타내고 있다. 3번 영상의 불꽃도 1번 영상과 마찬가지로 불꽃의 전형적인 특성을 나타내기 때문에 실험에 사용된 모든 알고리즘에서 검출율이 높게 나타나는 것을 확인할 수 있다.

4번 영상은 초기 50프레임 동안은 불꽃의 발생이 없고 그 이후 불꽃이 점차 확산되는 영상이기 때문에 Töreyin 알고리즘의 미검출율이 높고 불꽃이 확산되며 벽면에 불빛이 반사되기 때문에 Ko의 알고리즘에서 높은 오검출율이 나타난다. 또한 4번 영상에서 제안한 알고리즘의 오검출율이 가장 높은 이유는 영상에서 불꽃이 발생할 때 아래에서 부터 위로 확산되기 때문에 벽면에 반사되는 불빛 또한 점차 아래쪽에서 위쪽으로 향해가며 밝아진다. 그러므로 불꽃이 확산되는 동안 벽면에 반사된 불빛은 높은 명도 값과 상승방향성을 가지기 때문에 불꽃으로 오감지하는 문제가 발생한다.

5번 영상은 2번 영상과 유사하게 실외 화재 불꽃으로 바람의 영향에 의해 불꽃이 좌우로 움직이기 때문에 제안한 알고리즘의 미검출율이 높게 나타나고 있고 6번 영상은 1번, 3번 영상과 같이 전형적인 불꽃의 특징을 보이며 주변영역에 불빛의 반사가 없기 때문에 3가지 알고리즘 모두 좋은 결과를 나타내고 있음을 보여준다.        

결론적으로 실험 영상에서 제안한 방법보다 Töreyin과 Ko의 방법에서 높은 오검출율(FP)을 나타내는 주된 이유는 해당 동영상에 포함된 불꽃이 확산되면서 주변영역에 반사되어 벽과 같은 불꽃이 아닌 영역을 불꽃으로 검출하기 때문이다.

하지만 본 고에서 제안된 알고리즘은 실제 불꽃 검증을 위해 100프레임 동안의 특징 변화율을 통계적으로 분석하였고 이를 이용하여 확률적인 멤버십 함수를 만든 후 퍼지 유한상태 오토마타에 적용하였기 때문에 오검출율을 효과적으로 제거할 수 있었다. 영상 7, 8, 9, 10에서는 모든 알고리즘에서 오브젝트의 움직임이 불꽃으로 감지되지 않기 때문에 검출율은 100%이고 오검출율과 미검출율은 0%로 나타난다.

그림 7은 제안된 화재 불꽃 감지 방법을 이용하여 10개의 실험 영상에서 불꽃을 감지한 결과를 보여준다. 보다 자세한 실험 결과 영상은 http://cvpr.kmu.ac.kr에서 확인할 수 있다.
 결론

본 고에서는 CCD 카메라와 휴리스틱한 방법을 이용하는 전통적인 화재 감지의 단점을 극복하기 위하여 불꽃의 특징 변화를 고려하였고 이에 대한 확률적인 퍼지 멤버십 함수를 생성하였다. 그 후 생성된 퍼지 멤버십 함수를 퍼지 유한상태 오토마타에 적용하여 불꽃을 감지하는 화재 불꽃 감지 알고리즘을 제안하였다.

전통적인 화재 감지와는 달리 퍼지 유한상태 오토마타는 불꽃의 모호하고 불확실한 정보를 확률적으로 모델링할 수 있고 효과적으로 불꽃을 감지할 수 있다는 것을 증명했다.

실험 결과에서는 제안된 방법이 이전의 연구에 비해 불꽃 감지에 더욱 강력하고 빠른 성능을 나타내는 것을 보여주었다. 그러나 2번 영상의 경우 불꽃의 낮은 명도 변화량과 낮은 상승모션으로 인하여 높은 미검출율을 나타내었다. 이는 퍼지 멤버십 함수에서 이러한 예외적인 불꽃을 처리하지 못하여 발생한 문제로서 본 고에서 사용되고 있는 1차원 퍼지 멤버십 함수의 한계성을 나타낸다.

그렇기 때문에 우리는 퍼지 유한상태 오토마타 이론이 불꽃 특징들의 멤버십 함수를 수정한다면 더욱 좋은 성능을 보여 줄 것이라 믿으며 향후에는 불꽃 특징들을 1차원적으로 표현한 멤버십 함수가 아닌 불꽃의 밝기, 웨이블릿 에너지, 모션의 지속성을 추가적인 특징으로 사용하는 2차원 퍼지 멤버십 함수를 구축하여 더 나은 성능을 도출하기 위해 연구할 것이다.


<본 내용은 함선재, 고병철 연구, '정보과학회 논문지, 제37권 9호'에 게재된 논문을 바탕으로 정리한 것입니다>