배스트데이터, 래블업과 협력 독자 AI 파운데이션 모델 지원

[테크월드뉴스=이광재 기자] AI 운영 시스템 기업 배스트데이터(VAST Data)가 개방형의·확장 가능한 AI 컴퓨팅 플랫폼 ‘백엔드닷AI(Backend.AI)의 개발사이자 정부 주도 ‘독자 AI 파운데이션 모델’의 핵심 참여 기업 래블업(Lablup Inc.)과의 전략적 협업을 발표했다.

양사는 AI 기술의 자립성을 목표로 하는 국가 AI 컨소시엄이 대규모 언어 모델(LLM)을 전적으로 국내 인프라에서 학습·배포할 수 있도록 고성능·확장형 데이터 기반을 공동 구축했다.

백엔드닷AI는 GPU 및 CPU 자원을 아우르는 AI 모델 학습, 배포, 추론 환경을 통합적으로 제공한다. 배스트 AI 운영체제가 통합된 이 기반을 통해 래블업을 비롯한 고객들은 학습 데이터, 모델 체크포인트, 다양한 아티팩트를 압도적인 처리량과 높은 복원력으로 관리할 수 있으며 모델 개발부터 실시간 서비스에 이르기까지 끊김 없는 데이터 흐름을 확보할 수 있다.

래블업은 AI 워크로드가 커짐에 따라 기존의 전통적 스토리지 인프라로는 초거대 모델 학습에 필요한 처리량과 동시성을 지원하는 것이 어렵다고 판단했다. 이에 배스트데이터를 선택해 데이터 레이어를 현대화하고 멀티 테넌트 연구 환경에서 요구되는 신뢰성과 통제력을 유지하면서 성능 병목을 제거했다.

SK텔레콤의 소버린 AI 클러스터에서 구동되는 백엔드닷AI와 배스트 AI OS 통합 환경은 고성능 GPU 전반에 걸쳐 모델 학습을 자동화·가속화하며 국내 다양한 연구 기관에 훈련 및 향후 추론까지 아우르는 통합형 AI 컴퓨팅 환경을 제공한다.

신정규 래블업 창업자겸 CEO는 “래블업은 개방적이고 효율적이며 확장 가능한 기술을 통해 AI 인프라를 민주화하는데 노력해 왔다. 백엔드닷AI 환경에 배스트의 AI 운영체제를 통합함으로써 개발자와 기업은 현대적인 AI가 요구하는 신뢰성과 고성능을 유지하면서도 대규모 데이터셋과 복잡한 워크로드를 처리할 수 있게 됐다. AI 컴퓨팅 역량을 극대화함과 동시에 주권성과 데이터 보안을 보장하는 기술적 시너지를 입증한 사례”라고 말했다.

배스트 AI OS와의 다이렉트 통합을 통해 백엔드닷AI는 대규모 학습 워크로드를 위한 고처리량 데이터 액세스를 원활하게 제공한다.

배스트의 DASE(Disaggregated, Shared-Everything/분리형 공유) 아키텍처를 기반으로 래블업은 컴퓨팅 환경과 스토리지를 독립적으로 확장함과 동시에 단일 글로벌 네임스페이스인 ‘배스트 데이터스페이스(VAST DataSpace)’를 통해 연구자들이 체크포인트, 데이터셋, 모델 출력을 프로젝트간 빠르게 공유할 수 있도록 한다.

배스트 AI OS는 래블업 자체 인프라에 대해서도 AI 인프라 개발, 최적화 테스트, 모델 서비스 오케스트레이션을 지원한다. 이를 통해 엔지니어들은 새로운 AI 모델을 더욱 효율적으로 테스트·배포할 수 있으며 실시간으로 모델 웨이트를 교체하는 동시에 다운타임 없이 운영이 가능하다.

양사는 초기 단계에서의 지연(latency) 문제를 공동 엔지니어링을 통해 해결했으며 그 결과 학습과 연구 운영을 위한 안정적이고 고처리량의 확장 가능한 시스템이 구축됐다.

알론 호레브 배스트데이터 공동 창업자겸 CTO는 “래블업과의 협업으로 확장을 고려해 설계된 현대적 AI 인프라의 실질적인 형태를 구현할 수 있게 됐다. GPU 집약적 환경이나 소버린 AI를 고려하지 않은 기존 레거시 스택은 이러한 요구를 수용하기 어렵다. 배스트 AI OS를 통해 컴퓨트 오케스트레이션과 데이터 인텔리전스를 통합함으로써 병목을 제거하고 한국과 같이 국가가 AI 혁신을 스스로 소유하고 통제하는 한편 가속할 수 있는 단일 패브릭을 구축했다. 백엔드닷AI와 배스트데이터의 조합은 엔터프라이즈와 연구기관이 유연성·효율성·신뢰성을 모두 갖춘 새로운 고성능 AI 인프라의 청사진을 제시한다”고 밝혔다.