3차산업혁명인 정보화 시대를 거쳐 최근 들어 4차산업혁명에 대한 이슈가 대두되고 있다. 4차산업혁명은 인공지능 빅데이터 등 디지털 기술의 발달로 초연결사회의 기반이 되는 지능화 혁명의 시대라고 할 수 있다. 특히, 빅데이터 분석과 활용의 경우 21세기의 원유라고 할 만큼 데이터의 분석기술 및 활용에 따라 그 가치가 무궁무진 하다고 할 수 있겠다.
고대로부터 강우량을 측정하는 일은 매우 중요한 국가적 업무였다. 강우량이야말로 쌀이나 농작물 수확에 중요한 요소이기 때문이다. 조선은 1442년 전국 350군데에 측우 관측소를 운영 하여 매일 매일의 강우량을 측정했고 조선왕조실록의 경우, 태조부터 철종까지 조선 왕들의 실록으로 1,893권 888책에 달하는 기록을 저장하고 보관하는데 5개의 사고를 따로 운영할 만큼 기록에 대한 중요성을 일찍 깨닫고 있었다. 또한 고려 팔만대장경의 경우 5억 자가 넘는 문자데이터 오탈자 없이 기록하고 전쟁에도 불구하고 끝까지 이를 보관하고 관리하고 있을 만큼 우리민족의 DNA 속에는 데이터를 수집하고 저장하는 남다른 기질이 있다.
그 어느 나라보다 4차산업시대 경쟁우위를 점할 수 있다고 생각한다. 하지만 국가적 경쟁우위를 점하기 위해서는 데이터의 수집뿐만 아닌 분석과 활용에 초점을 맞춰야 한다. 데이터산업진흥원 자료를 분석해본 결과 우리나라의 데이터 관련 사업체는 6,700여 개로 나타났고 데이터 수집분야에서의 국내기업 점유율은 78%, 글로벌 기업은 22%선으로 나타났다. 데이터 분석의 경우는 정반대로 국내기업이 24%, 글로벌 기업의 점유율은 76%에 달하고 있을 정도로 국내 데이터 기업이 데이터를 수집하는데 치우쳐 있어 이에 대한 보완이 필요하다.
수집된 데이터를 어떻게 분석하고 활용할지에 대한 고민도 필요하다. 분야별로 분석, 활용방법이 다르기에 그에 따른 전문가가 필요하다. 빅데이터의 전문분야로는 기술분야(하둡분산처리, 실시간 분산기술, 머신러닝), 분석방법(빅데이터 분석방법론, 회귀분석, 분산분석, 요인분석, 회귀분석, 인공신경망, 데이터 시각화, 딥러닝, 의사결정 Tree, 연관분석, 군집분석, 빅데이터 시각화, SNA 등), 빅데이터 기획 (빅데이터 과제 발굴, 사업관리, 기획요소 발굴), 제조(생산자동화, 품질자동화, 제조현장의 빅데이터 검색, 빅데이터 시각화 등), 의료(확률분포, 생존분석, 위험함수와 생존함수, COX 비례위험 모형, 데이터 마이닝, 비모수통계 등), 금융(신용평가모형, 재무데이터 수집, 시계열 분석, 기업매출 예측, 잔여이익모형, 주식가치평가, 자산포트폴리오 최적화 모델 등), 유통(매출분석, 상권분석, 매출예측 및 의사결정, 마케팅 효과분석, 수요예측, 위경도 데이터 시각화 등), 공공/선거(선거당선자 예측, 통신 빅데이터 공공정책수립, 만족도 분석, 위경도 데이터 시각화,SNS분석 등) 등 매우 다양하다.
이렇듯 다양한 빅데이터 전문분야가 있지만 흔히들 빅데이터 분석이라 하면 공공데이터 및 포털 등으로 분석한 시각화 자료를 많이 보아왔다. 이런 종류의 빅데이터 분석은 인터넷 포털 등에서 제공하는 빅데이터 시각화 플랫폼 등을 통해서 간단하게 시각화 할 수 있어 편리하지만 실제 기업이나 개인이 가지고 있는 데이터를 어떻게 분석해야 하고 어떤 기대효과가 있는지 실질적인 도움이 될 만한 분석은 할 수 없다.
예를 들어 어떤 물류기업에서 10년 정도 매주, 매월의 수출물량에 대한 데이터를 수집하고 보관하고 있다고 하자 이 기업에서는 향후 6개월 후 또는 1년 이후의 물동량에 대하여 예측하고 싶은데 어떻게 해야 할까? 쉽게는 엑셀과 같은 프로그램에서 이동평균법, 추세선 분석을 통하여 예측을 할 수 있지만, 전문적인 통계 프로그램을 통해서 시계열 회귀분석을 통하여 예측된 물동량과 정확도를 예측할 수 있도록 해야 하며 더 정밀한 분석을 위하여 물동량에서 차지하는 물품의 종류 중요 수출국가의 경제상황도 고려한 종합적인 분석모형을 개발하여야 한다.
빅데이터 산업의 발전을 위해서는 데이터 분석과 활용의 중요성을 이해해야 한다. 수집, 생성된 정보를 바탕으로 미래를 예측하고 올바른 의사결정을 가져와야 기업이나 국가에 경쟁우위를 가져올 수 있다. 경쟁우위를 확보한 기업과 국가는 망하지 않고 생존한다고 할 수 있다. 3차산업혁명이 정보화 시대였다면 4차산업 혁명시대는 데이터가 기반이 되는 초 연결사회이다. 국가적 경쟁우위를 확보하기 위해서는 단순히 데이터를 수집하는 것이 아닌 목적과 용도에 따라 빅데이터를 분석할 필요가 있으며 분석된 빅데이터의 활용이 필요하다. 그러기 위해서는 무엇보다 빅데이터 분석 전문가의 양성이 절실하다고 할 수 있다.
정화민┃남서울대학교 교수
