구글 클라우드, 초거대 AI 모델 개발 위한 ‘클라우드 TPU’ 공급
상태바
구글 클라우드, 초거대 AI 모델 개발 위한 ‘클라우드 TPU’ 공급
  • 황민승 기자
  • 승인 2021.11.26 16:54
  • 댓글 0
이 기사를 공유합니다

카카오브레인 ‘KoGPT’ 연구개발 역량 강화

구글 클라우드는 카카오의 인공지능(AI) 연구 자회사 카카오브레인이 자사의 맞춤형 머신러닝 하드웨어(ASIC) ‘클라우드 TPU(텐서처리장치)’를 도입해 초거대 AI 언어 모델 ‘KoGPT’의 연구개발 역량을 강화했다고 26일 밝혔다.

KoGPT는 미국 AI 연구기관 오픈AI(OpenAI)가 개발한 딥러닝 기반 자연어처리(NLP) AI 모델 ‘GPT-3’의 한국어 특화 버전이다. 카카오브레인은 최근 오픈소스 커뮤니티 깃허브(GitHub)에 KoGPT를 공개했다.

KoGPT 모델을 학습시키는 데는 수십억 이상의 데이터와 모델 매개변수가 활용됐다. 카카오브레인은 대규모 데이터와 모델 학습에 적합한 리소스를 확보하기 위해 기존 GPU 서버 환경에 구글 클라우드의 클라우드 TPU를 추가 도입했다.

클라우드 TPU는 구글 클라우드 AI와 맞춤형 고속 네트워크를 기반으로 기업의 혁신을 가속화한다. 카카오브레인은 클라우드 TPU를 도입해 대규모 모델 학습 시 발생하는 네트워크 병목 현상을 해결하고, 60억 개의 매개변수와 2000억 개 토큰에 달하는 한국어 데이터를 빠르게 처리했다. 이를 통해 언어 모델 연구개발에 소요되는 시간을 단축하고, 효율적인 모델 학습 프로세스를 구축했다.

뛰어난 사용 편의성과 확장성 역시 카카오브레인이 클라우드 TPU를 선택한 중요한 요소였다. 클라우드 TPU는 팟(Pod) 단위로 할당 및 관리가 가능하며 최소한의 코드 변경으로 최대 2048개의 연산 노드까지 손쉽게 확장할 수 있다. 또한 별도의 인프라를 설치할 필요 없이 퍼블릭 클라우드 환경에서 모든 시스템을 사용할 수 있기 때문에 KoGPT의 개발 시간과 비용을 동시에 절감할 수 있었다.

카카오브레인은 향후 클라우드 TPU를 활용해 텍스트, 이미지, 오디오 등 다양한 의사소통 채널을 활용한 멀티모달 모델을 연구개발할 계획이다. 또한 기억에 저장·학습된 지식 갱신 등 기존 딥러닝 모델의 한계를 극복하는 연구를 통해 사회 문제 해결에 노력할 방침이다.

김일두 카카오브레인 대표는 “구글 클라우드의 클라우드 TPU는 딥러닝에 최적화돼 있어 짧은 기간 안에 고효율의 학습 파이프라인을 구축할 수 있었다”며, “구글 클라우드와 지속 협력해 초거대 AI 모델의 연구 효율을 더욱 끌어올릴 예정”이라고 밝혔다.

최기영 구글 클라우드 코리아 사장은 “한국어 초거대 AI 모델 개발에 함께 할 수 있어 뜻깊게 생각한다”라며 “앞으로도 강력한 AI·머신러닝 인프라를 기반으로 한국 기업과 연구기관이 다양한 분야에서 혁신을 가속화할 수 있도록 적극 지원할 것”이라고 강조했다.

한편 구글 클라우드는 TPU의 차세대 모델인 ‘클라우드 TPU V4’를 이미 내부 머신러닝 워크로드에서 광범위하게 사용 중이며, 금명간 국내시장에도 선보일 예정이다. 카카오브레인도 클라우드 TPU V4의 대규모 데이터 학습 테스트에 참여해 조속한 상용화에 기여하고 있다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.