이전에는 기술자들이 새로운 빅데이터 기술을 배우고 이해하고자 했다면, 이제는 기업 고객들이 먼저 새로운 프로젝트는 무엇이고 기술을 활용해 실질적으로 어떠한 이점을 얻을 수 있는지 학습하는 양상으로 빅데이터 시장이 진화했다. 존 슈뢰더 맵알 창립자에 의하면 빅데이터 도입 가속화로 인해 데이터 가치로 초점이 전환됐다.

맵알(MapR)의 존 슈뢰더(John Schroeder) 창립자 겸 이사회 의장이 2017년 6가지 주요 시장 동향 및 전망을 발표했다.

트렌드로 자리잡은 인공지능(AI)

1960년대 레이 솔로모노프(Ray Solomonoff)는 AI의 수학적 이론의 기반을 다지고 귀납적 추론 및 예측을 위한 베이지안(Bayesian) 방법론을 소개했다. 1980년 퍼스트 내셔널 컨퍼런스(First National Conference)의 미국 인공 지능 학회(American Association for Artificial Intelligence, AAAI)가 스탠포드(Stanford)에서 개최돼 이러한 이론을 소프트웨어에 적용하는 것을 논의했다. AI는 다시 트렌드로 자리 잡았고 머신 인텔리전스(machine intelligence), 머신 러닝(machine learning), 인공신경망 네트워크(neural networks), 인지 컴퓨팅(cognitive computing)을 포괄하는 유행어가 됐다.

왜 AI가 트렌드로 다시 부상했을까? 속도(Velocity), 다양성(Variety) 및 볼륨(Volume)을 일컫는 3V가 그 이유일 것이다. 전통적인 플랫폼에 비해 10~20배의 비용 효율성을 제공하고, 수평 확장되며, 최신 및 기존 프로세싱 모델을 겸비한 3V를 처리할 수 있는 플랫폼이 필요하다. 구글은 대규모의 데이터 셋을 잦은 빈도로 처리하는 단순한 알고리즘이 더 작은 셋을 사용하는 접근법에 비해 얼마나 간단한지를 설명한 바 있다. 맵알은 인간의 직관이 개입해 발생하는 오류 및 손실을 보완할 수 있는 AI를 대규모의 반복되는 업무에 적용해 높은 가치를 창출할 수 있을 것이라고 전망했다.

데이터 거버넌스(Governance)와 경쟁우위간의 빅데이터 논쟁

2017년 데이터 거버넌스와 데이터 가치 간의 논쟁이 더욱 치열해질 것이다. 기업들은 고객 및 파트너에 대한 풍부한 정보를 보유하고 있다. 기업들은 거버넌스 방식 또는 그렇지 않은 방식으로 데이터를 관리하게 것이다. 통제 방식은 데이터 품질 및 생성계보를 관리해 규제 기관이 출처 및 발생하는 모든 변형 데이터를 보고 및 추적할 수 있게 한다.