멀티 GPU 데이터 처리 속도 20배↑ 엔비디아 '매그넘 IO'

[테크월드=이건한 기자] 엔비디아가 데이터 과학자와 고성능컴퓨터(HPC) 연구원들이 대용량 데이터 세트로 작업할 때 멀티 서버, 멀티 GPU 컴퓨팅 노드의 데이터 처리 속도를 최대 20배까지 개선하는 소프트웨어 제품군 '매그넘(Magnum)'을 공개했다.

스토리지, 인풋·아웃풋(I/O) 병목현상 제거에 최적화된 매그넘 IO는 복잡한 금융 분석, 기후 모델링 및 기타 HPC 워크로드를 수행 시 데이터 처리 속도를 개선하는 데 목표를 둔다. 

엔비디아는 데이터다이렉트 네트웍스(DataDirect Networks), 엑셀레로(Excelero), IBM, 멜라녹스(Mellanox), 웨카IO(WekaIO) 등을 비롯한 네트워킹/스토리지 분야의 업계 선두 기업들과 긴밀한 협업을 통해 매그넘IO를 개발했다. 

매그넘 IO의 핵심에는 GPU다이렉트(GPUDirect)가 있는데, 이는 데이터가 CPU를 우회해 GPU, 스토리지, 네트워킹 디바이스가 제공하는 ‘개방형 고속도로’로 이동할 수 있는 경로를 제공한다. 엔비디아 NV링크(NVLink)와 NCCL은 물론이고 OpenMPI, UCX를 비롯한 다양한 통신 인터커넥트, API와 호환되는 GPU다이렉트는 P2P와 RDMA(Remote Direct Memory Access) 엘리먼트로 구성된다.

가장 최근 추가된 GUP다이렉트 스토리지(GPUDirect Storage) 엘리먼트를 통해 연구원들은 스토리지에 접근할 때 CPU를 우회하고 데이터 파일에 신속하게 접근해 시뮬레이션이나, 분석 또는 시각화 작업을 수행할 수 있다. 

GPU다이렉트 스토리지를 제외한 엔비디아 매그넘 IO 소프트웨어는 현재 바로 구입할 수 있으며, GPU다이렉트 스토리지 경우는 현재는 얼리 액세스(Aarly access) 대상 일부 고객들에게만 제공되고 있다. GPU다이렉트 스토리지의 일반 출시는 2020년 상반기 중으로 예정돼 있다.