클라우데라와 엔비디아가 인공지능(AI) 및 데이터 분석 기술의 비약적 발전을 위해 상호 협력을 강화한다.
기업용 데이터 클라우드 전문기업 클라우데라는 13일 클라우데라 데이터 플랫폼(CDP)이 엔비디아의 '아파치 스파크 3.0용 RAPIDS 가속기'를 통합 지원할 예정이라고 밝혔다.
엔비디아 컴퓨팅 플랫폼에 적용된 아파치 스파크 3.0용 RAPIDS 가속기는 코드의 변경없이 기업의 데이터 파이프 라인을 가속화하고 머신 러닝의 작업 성능을 높여준다. 이를 통해 기업은 인공지능을 신속히 도입하거나 더 나은 비즈니스 결과를 도출할 수 있다.
양사는 이미 올해 초 CDP에 적용된 머신 러닝 AMP(Applied ML Prototype)와 엔비디아의 강력한 컴퓨팅 성능으로 패키지된 머신 러닝을 미국연방국세청(IRS), 영국통계청(ONS), 독일 코메르츠뱅크 등에서 적용한 바 있다. 뿐만 아니라 온프레미스, 퍼블릭 클라우드, 하이브리드 클라우드에서 보다 저렴한 비용으로 데이터 처리와 머신 러닝 모델 훈련을 더 빠르게 수행할 수 있다.
이번 클라우데라와 엔비디아의 통합 지원으로 기업의 데이터 엔지니어들은 공급망 모델 변환, 금융 부정행위 대응, 새로운 제품군 개발 등 이전에는 볼 수 없었던 규모의 데이터 세트를 활용할 수 있게 됐다.
데이터 과학자의 경우 방대한 양의 데이터로 인해 발생하는 병목현상을 줄여 운영의 비용과 속도를 개선하게 한다. 그만큼 기업들은 새로운 비즈니스 과제에 신속하게 대응하고 통찰력 있는 분석 능력을 발휘할 수 있게 된다.
IRS의 RAAS 기술 책임자 조 안살디는 “급속한 데이터 양의 증가에도 불구하고 신속하고 정확한 의사결정 능력을 갖춰야 한다"며 “클라우데라와 엔비디아의 통합 지원을 통해 향상된 데이터에 기반한 통찰력은 부정행위 감지와 같은 미션크리티컬 업무를 강화할 수 있다"고 밝혔다.
실제로 IRS는 양사 통합 지원을 통해 데이터 엔지니어링과 과학 업무의 속도를 3배 이상 향상시킨 것으로 알려졌다.
방대한 데이터 세트로 어려움을 겪고 있는 회사에서 오픈소스 기반 GPU 가속 데이터 과학 파이프 라인은 머신 러닝 모델 훈련의 가능 여부를 결정한다. 이 파이프 라인은 기업의 능력을 강화해 인공지능을 활용할 수 있게 한다.
GPU 가속 아파치 스파크(Apache Spark 3.0)는 CDP에서 원활하게 실행되며, 조직이 머신 러닝을 위한 안전하고 확장 가능한 개방형 플랫폼을 사용해 연구에서 생산에 이르기까지 고성능컴퓨터(HPC), 인공지능, 데이터 과학 등의 요구사항을 지원할 수 있다.
클라우데라 최고제품책임자(CPO) 아룬 머시는 “속도가 가장 중요한 시대에 기업은 어느 때 보다 데이터의 힘에 의존하고 있다"며 "엔비디아와의 협력은 기업이 데이터를 더욱 잘 이해하고 인공지능의 진정한 잠재력을 실현하기 위한 로켓 연료를 제공한다”고 강조했다.
엔비디아 데이터 과학그룹 선임 이사 스콧 맥클레란도 ”아파치 스파크는 기업이 경쟁력을 유지하기 위해 사용하는 머신 러닝과 데이터 분석 파이프 라인의 초석”이라며, "CDP에서 실행되는 엔비디아 가속 컴퓨팅과 스파크의 분석 처리 능력은 유연하게 빠른 속도가 필요한 기업에게는 속도를, 수익이 필요한 기업에게는 비용 절감을 제공한다"고 말했다.
클라우데라 프라이빗 클라우드의 스파크 3.0용 RAPIDS 가속기는 올 여름부터 사용 가능하다. 5월에 선보일 클라우데라 퍼블릭 클라우드의 딥 러닝 및 머신 러닝 가속을 시작으로, 클라우데라와 엔비디아는 지속적인 가속 기능을 클라우데라 데이터 플랫폼에서 선보일 예정이다.
