IBM, 향후 10년간 오픈소스 프로젝트 ‘스파크’에 대대적 지원
상태바
IBM, 향후 10년간 오픈소스 프로젝트 ‘스파크’에 대대적 지원
  • 이광재 기자
  • 승인 2015.07.06 09:13
  • 댓글 0
이 기사를 공유합니다

IBM이 향후 10년간 가장 중요한 새로운 오픈소스 프로젝트이자 빅데이터 분석 기술인 ‘아파치 스파크(Apache Spark)’에 대한 대대적인 지원 계획을 밝혔다.

IBM은 분석 및 커머스 플랫폼에 스파크를 통합하고 블루믹스 서비스 플랫폼으로 스파크를 제공할 방침이다. IBM은 스파크 프로젝트에 전세계 10여 곳 이상의 연구소 3500여명의 IBM 연구원과 개발자를 투입한다고 밝혔다.

또한 획기적인 머신 러닝 기술인 IBM 시스템ML(SystemML)을 스파크 오픈소스 생태계에 기증하며, 스파크 관련 100만명 이상의 데이터 사이언티스트와 데이터 엔지니어를 육성할 예정이다.

▲ IBM이 주최하고 샌프란시스코 테크 허브인 갈바니즈(Galvanize)에서 열린 스파크 해커톤(Spark Hackathon)에서 텍사스 A&M 대학 컴퓨터 공학 박사과정 중인 시바 고팔란(오른쪽)이 IBM 개발자인 헨리크 코펠리 잠본(가운데) 및 루이즈 아오쿠이와 논의 중이다.

인기있는 앱부터 사물인터넷(IoT)에 이르기까지 데이터 분석이 기업과 사회 전반에 자리잡음에 따라 스파크는 대규모 데이터 처리에 중요한 발전을 제공하고 있다. 첫째, 스파크는 데이터에 의존하는 앱의 성능을 크게 향상시킨다. 둘째, 데이터로 구동되는 지능형 앱의 개발 프로세스를 단순화시킨다.

IBM은 스파크 생태계의 오픈소스 혁신을 더욱 가속화하기 위해 ▲스파크를 IBM의 분석과 커머스 플랫폼의 핵심으로 구축 ▲획기적인 IBM 시스템ML 머신 러닝 기술을 공개하고 스파크의 머신 러닝 역량 증진을 위해 데이터브릭스(Databricks)와 협력 ▲모든 앱 개발자가 데이터를 신속하게 로딩하고 모델을 만들며 자신의 앱에 사용할 예측구조를 도출할 수 있도록 스파크를 IBM 블루믹스상에서 서비스로 제공 ▲스파크 프로젝트에 전세계 10여곳 이상의 연구소 3500여명의 IBM 연구원과 개발자를 투입하고 디자인 중심의 지능형 애플리케이션의 혁신 고양을 위해 샌프란시스코에 데이터 과학 및 개발자 커뮤니티를 위한 스파크 기술센터 설립 ▲ 앰프랩(AMPLab), 데이터캠프(DataCamp), 메티스트림(MetiStream), 갈바니즈(Galvanize), 빅데이터 대학(Big Data University) MOOC 등과 긴밀한 협력을 통해 스파크 관련 100만 명 이상의 데이터 사이언티스트와 데이터 엔지니어 육성 등의 계획을 갖고 있다.

IBM 애널리틱스 분석 플랫폼 부문 베스 스미스(Beth Smith) 총괄 사장은 “IBM은 지난 10년 간 오픈소스 혁신에 앞장서 왔다. 우리는 오픈소스의 힘이 고객가치를 창조할 기반이라고 굳게 믿으며 모든 사업에서 근원적으로 혁신을 가속화하고 분석을 이끌 기초 기술 플랫폼이 될 스파크를 전적으로 지원할 계획”이라며 “스파크 도입을 지원함으로써 비즈니스 혁신과 경쟁적 차별화를 원하는 고객의 데이터 전략 발전을 지원할 것”이라고 밝혔다.

스파크는 기업이 빅데이터를 애플리케이션에 더욱 쉽게 통합하도록 돕는 필수적인 플랫폼으로서 개발자와 데이터 사이언티스트 사이에서 급속도로 인기를 얻고 있다. 또한 비즈니스 혁신을 도모하는 IBM 고객들에게서 빠르게 성장 가능성을 인정받고 있다.

옵티버스(Optibus)의 실시간 교통계획 소프트웨어는 대중교통의 편성방법을 혁신하고 있다.

옵티버스 아모스 해지액(Amos Haggiag) CTO겸 공동창업자는 “스파크는 IBM과 함께 옵티버스에 확장성이 매우 높은 플랫폼을 제공한다. 이로써 본사의 서비스로서의 소프트웨어(SaaS)를 새로운 시장으로 쉽게 진출할 수 있게 하고 전세계 운송회사를 위한 도입, 유지, 애플리케이션 개발을 단순하게 하는 데 도움을 주고 있다”고 말했다.

세계적인 컨설팅 및 상황 데이터 기술 솔루션 회사인 핀더빌리티 사이언스(Findability Sciences)는 클라이언트가 빅데이터의 힘을 십분 활용할 수 있도록 IBM 분석과 스파크를 이용하고 있다.

핀더빌리티 사이언스 아난드 마허카(Amos Haggiag) CEO는 “맵리듀스(MapReduce)가 그다지 효율적이지 못한 중소기업의 경우 아파치 스파크가 IBM 빅인사이트(IBM BigInsight)와 결합해 지원능력을 매우 높였다. 스파크를 사용함으로써 성과가 몇 배로 증가했다. 우리는 이제 IoT 기기의 스트리밍 데이터를 처리할 수 있고 교통, 출퇴근 인원, 주차 등과 같이 움직이는 데이터에 분석을 제공할 수 있게 됐다”고 말했다.

인디펜던스 버스 크로스(Independence Blue Cross, IBC)는 미국 필라델피아 지역 최대의 건강보험회사로 가입자가 미국 전역에 700만명, 이 지역만 200만명에 이른다. 이 회사는 상품혁신과 새로운 서비스 개발에 스파크를 이용하고 있다.

IBC 인포매틱스 디렉터 다윈 릉(Darwin Leung)은 “아파치 스파크는 기계학습 애플리케이션의 개발을 위한 강력한 툴로 자리잡고 있다. 스파크는 IBC의 연구원들과 학계 파트너들 간의 협력을 보다 더 원활하게 지원한다. 즉, 보험업무와 관련된 새로운 앱을 훨씬 더 빨리 고객에게 제공할 수 있게 해 준다”고 말했다.

IBM과 나사NASA, 세티(SETI) 연구소는 지능이 있는 외계 생명체 존재의 단서가 될 패턴을 찾기 위한 공동노력으로, 우주 깊은 곳에서 들어오는 테라바이트에 이르는 복잡한 무선신호 분석에 스파크의 기계학습 능력을 이용하고 있다.

세티 연구소의 수석 우주인겸 연구소장인 세스 쇼스탁(Seth Shostak) 박사는 “블루믹스에서 서비스로 제공되는 스파크를 통해 우리는 IBM과 협력해 우주 어딘가에 지능 생명체가 있다는 증거를 찾기 위한 유망하고 새로운 시그널 데이터 분석방법을 개발할 수 있을 것이다. 이것은 과학에 기여할 아주 고무적인 시너지 사례”라고 말했다.

IBM은 2009년에 스파크가 처음 발명됐던 UC 버클리 앰프랩의 4개 창설멤버 중 한 곳이다. 따라서 수일간에 걸쳐 개최되는 연구회합에 참석해 조언과 현실 세계의 통찰력을 제공하고 상호 관심사인 프로젝트들에 관해 앰프랩의 연구원들과 긴밀하게 협력하고 있다.

UC 버클리 앰프랩 소장인 마이클 프랭클린(Michael Franklin) 교수는 “IBM은 앰프랩의 후원사로서 스파크 커뮤니티의 성장에 기여하고 스파크가 그 주된 요소가 되는 오픈소스 플랫폼인 ‘버클리 데이터 애널리틱스 스택’의 계속적인 발전과 향상을 위해 방향을 제시한다”고 말했다.

스파크는 빠르며 사용하기 쉽다. 또한 오픈소스 특성상 전세계 커뮤니티에 의해 지속적으로 개선된다.

앞으로 수개월 동안 IBM의 과학자와 엔지니어들은 아파치 스파크 오픈 커뮤니티와 함께 일하며 첨단 머신 러닝 역량에 대한 접근을 가속화하고 스마트 비즈니스 앱의 개발에서 빠른 혁신을 주도할 것이다.

IBM은 변화하는 비즈니스 요구사항을 해결하고, 성장하고 있는 앱 개발자 생태계가 모든 것에 심도 깊은 인텔리전스를 적용할 수 있도록 시스템ML을 통해 데이터 사이언티스트들을 도울 계획이다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.