AMD, 자이프라의 프런티어급 AI 모델 학습 지원

[테크월드뉴스=박규찬 기자] AMD는 인공지능 스타트업 자이프라(Zyphra)가 AMD GPU 및 네트워킹 플랫폼을 기반으로 훈련한 대규모 전문가 혼합(Mixture-of-Experts, MoE) 파운데이션 모델 ‘ZAYA1’을 개발했다고 25일 밝혔다.

ZAYA1은 AMD의 인스팅트(Instinct) MI300X GPU와 AMD 펜산도(Pensando) 네트워킹, 그리고 AMD ROCm 오픈 소프트웨어 스택을 활용한 첫 대규모 MoE 모델로 자이프라의 기술 보고서를 통해 세부 내용이 공개됐다.

자이프라는 이번 모델이 추론, 수학, 코딩 등 다양한 분야에서 기존 주요 오픈 모델 대비 경쟁력 있는 성능을 보여줬다고 밝혔다. 이를 통해 AMD 인스팅트 GPU가 대규모 AI 워크로드에 최적화된 성능과 확장성을 입증했다는 설명이다.

AMD 인공지능 그룹의 AI 및 엔지니어링 부사장 에마드 바르숨(Emad Barsoum)은 “AMD는 가속 컴퓨팅 리더십을 바탕으로 자이프라와 같은 혁신 기업이 AI의 한계를 확장할 수 있도록 지원하고 있다”며 “이번 성과는 복잡한 대규모 모델 학습에서 AMD 인스팅트 GPU와 펜산도 네트워킹이 제공하는 유연성과 성능을 보여주는 의미 있는 사례”라고 강조했다.

자이프라의 크리틱 푸탈라스(Krithik Puthalath) CEO는 “효율성은 자이프라의 핵심 철학으로 모델 아키텍처 설계부터 학습 및 추론 알고리즘 개발, 그리고 최적의 가격 대비 성능을 제공하는 하드웨어 선택까지 모든 과정에 반영되고 있다”며 “ZAYA1은 이런 철학의 결실로 AMD 플랫폼 기반의 최초 대규모 학습 사례라는 점에서 뜻깊다”고 전했다.

이어 “이번 성과는 모델 아키텍처를 반도체와 시스템 수준에서 공동 설계하는 접근 방식의 강점을 입증했다”며 “AMD, IBM과의 협력을 강화해 차세대 멀티모달 파운데이션 모델을 구축할 계획”이라고 덧붙였다.

AMD 인스팅트 MI300X GPU는 192GB의 고대역폭 메모리를 탑재해 복잡한 텐서 샤딩(tensor sharding) 과정이나 고비용 전문가 활용 없이도 효율적인 대규모 학습을 가능하게 했다. 이를 통해 전체 모델 스택의 처리량을 높이고 복잡성을 줄였으며 AMD의 최적화된 분산 I/O 기술을 활용해 모델 저장 속도를 10배 이상 단축했다. 그 결과 학습 안정성과 효율성이 크게 향상됐다.

현재 ZAYA1 Base 모델은 전체 83억 개 파라미터 중 7억 6000만 개의 활성 파라미터만으로 작동하며 주요 공개 모델인 큐원3(Qwen3) 4B, 젬마3(Gemma3) 12B, 라마3(Llama 3) 8B, 올모E(OLMoE) 등과 비슷하거나 더 높은 성능을 보인 것으로 나타났다.

자이프라는 AMD 및 IBM과 협력해 AMD 인스팅트 GPU와 펜산도 네트워킹으로 구성된 대규모 학습 클러스터를 공동 설계했다. 이는 최근 공개된 AMD·IBM 공동 엔지니어링 시스템을 기반으로 하며 AMD 인스팅트 MI300X GPU와 IBM 클라우드의 고성능 패브릭 및 스토리지 아키텍처를 결합해 ZAYA1의 대규모 사전학습에 최적화된 환경을 제공한다.

한편 이번 협력을 통해 자이프라는 고비용의 전문가 활용이나 복잡한 텐서 샤딩 과정 없이 대규모 모델 학습을 수행할 수 있는 효율적인 인프라를 확보하게 됐다.