맵알테크놀러지스(www.mapr.com)가 데이터브릭스(Databricks)와 전략적 파트너십을 체결하고 맵알 배포판이 완벽한 아파치 스파크(Apache Spark) 스택을 지원한다고 밝혔다.
최근 기업들이 보다 쉽고 빠르게 빅데이터에서 가치를 창출하는 방법을 모색하고 있는 가운데 스파크는 인메모리 처리 프레임워크를 기반으로 실시간 처리와 손쉬운 프로그래밍으로 성능과 개발자의 생산성을 모두 향상시키고 있다.
스파크는 엔드-투-엔드 애플리케이션의 성능을 가속화시키는 인메모리 파이프라이닝(pipelining)과 함께 범용 실행 프레임워크를 제공하며 다수의 애플리케이션 상에서 5배에서 100배에 이르는 성능 향상을 보였다.
또한 개발자는 스파크를 통해 기존 코드보다 1/5정도의 라인으로 구현을 할 수 있으며 RDDs(Resilient Distributed Dataset)와 같은 분산 객체를 사용해 애플리케이션을 설계할 수 있도록 한다. 또한 자바(Java), 스칼라(Scala), 파이썬(Python)과 같은 여러 가지 프로그래밍 언어를 지원하며 스트리밍 기반의 실시간 작업 등 여러 환경에서 같은 코드를 사용할 수 있다.
대부분의 기업들은 현재 맵알 환경에서 스파크를 실행하고 있으며 이러한 기업의 스파크 기반 애플리케이션은 맵알 배포판의 엔터프라이즈급 성능과 더불어 운영 데이터를 실시간으로 처리하는 장점을 제공한다.
맵알 배포판의 완벽한 스파크 스택 지원으로 맵알 고객들은 스파크 스택과 관련된 모든 프로젝트에 24x7 지원이 가능해졌다. 프로젝트에 관한 로드맵을 공유하고 혁신의 가속화를 목표로 한 맵알과 데이터브릭스의 협력을 통해 맵알 고객들과 하둡 커뮤니티는 아파치 스파크 1.0(Apache Spark 1.0) 버전이 나오면 향후 몇 년 간 다양한 이점을 얻게 될 것이다.
존 슈뢰더 맵알테크놀러지스 CEO겸 공동설립자는 “오픈 소스 커뮤니티는 빠른 속도로 엄청난 기술 혁신을 주도하고 있다”며 “맵알은 가장 광범위한 컴퓨팅 프레임워크 및 라이브러리와 함께 배포판에 최적의 솔루션을 선택할 수 있는 유연성을 지원하고 가장 개방적인 배포판과 함께 맵알 고객들을 위해 미래 경쟁력이 높은 투자를 지원한다”고 밝혔다.
스파크 스택은 다섯 개의 고유한 아파치 오픈 소스 프로젝트를 포함한다. 완벽한 스파크 스택의 추가로 맵알 배포판은 현재 20개 이상의 아파치 오픈 소스 프로젝트를 지원하며 이 프로젝트들은 배치, 인터렉티브, 스트리밍, 그래프 및 기계학습(Machine Leaning) 등의 다양한 환경에서 사용할 수 있도록 한다.
저작권자 © CCTV뉴스 무단전재 및 재배포 금지
