NVMe-oF, 패브릭이 SSD에 가져올 변화

[테크월드=선연수 기자] 데이터센터용 NVMe(Non-Volatile Memory express, 비휘발성 메모리 익스프레스) 디바이스의 확산은 NVMe-oF(NVMe over Fabrics)의 도입을 촉진시켰다. 그러나 NVMe-oF가 발전을 거듭하면서, 패브릭과 SSD의 조합을 어떻게 설계할 것인지 다시금 생각해볼 필요가 있다.

NVMe의 상황

NVMe는 퍼블릭·프라이빗 클라우드 인프라에 걸쳐 확산되고 있다. 이에 데이터센터 아키텍처가 스케일업 시스템에서 상용화된 스케일 아웃 시스템으로 전환되면서 분산 컴퓨팅의 새로운 패러다임이 열리고 있다. NVMe 스토리지 사양과 특성이 발전을 거듭함에 따라 시스템 효율성, 확장성, 활용성 측면의 문제가 부상하고 있고, 이로 인해 NVMe-oF라는 새로운 기술이 등장했다. 이 글을 통해 NVMe-oF가 기본 아키텍처에 있어 중요한 이유와 이에 미치는 영향을 소개한다.

시스템 아키텍처가 직면한 과제

오늘날 데이터 생성량과 소비량은 꾸준히 늘어나고 있다. 애플리케이션의 복잡성과 더불어 데이터의 증가로 인해 발생하는 문제들은 데이터가 언제, 어디서, 어떻게 저장·처리되는지에 대한 중요성을 부각시킨다.

전통적인 IT 인프라는 정적인 형태를 갖췄으며 일상적인 차원을 넘어선 극한의 워크로드를 지원하도록 설계됐다. ‘좋은 설계’는 항상 미래의 성장을 위해 하드웨어를 프로비저닝하는 것으로 여겨졌다. 그러나 이는 보통 데이터 인프라 전체의 확대를 의미해 또 다른 문제를 가져오기도 한다.

예를 들어 더 높은 컴퓨팅 파워가 필요해 이를 추가할 경우 스토리지 용량, 네트워크 대역폭, 메모리 역시 필요 여부와 관계없이 함께 늘어나게 된다. 이처럼 일반적인 스케일업 방식으로 설계된 시스템은 종종 프로비저닝된 하드웨어 전부를 최대로 활용하지 못하며, 일부 시스템들은 방치되기도 한다.

데이터 증가에 따른 아키텍처의 진화

스케일 아웃 시스템은 컴퓨팅, 메모리, 스토리지의 동시 확장을 지원한다. 가상화된 시스템은 탄력적인 리소스 풀링과 파티셔닝을 가능하게 하며, 한걸음 더 나아가 HCI(Hyper Converged Infrastructure) 플랫폼은 DAS(Direct Attached Storage) 시스템을 공유형 아키텍처로 전환한다[그림 1]. 그러나 유연성과 탄력성이 증가했음에도 불구하고, 여전히 이런 시스템은 독립적인 리소스 확장이라는 문제에는 적절한 해답을 내놓지 못한다.

데이터의 증가와 복잡성을 처리하기 위해 더 효율적인 아키텍처를 구축하려면 더 민첩하고 확장 가능한 데이터 인프라가 필요하다. 하이퍼스케일 데이터센터와 같이 미래의 클라우드와 엔터프라이즈 데이터센터는 컴퓨팅, 메모리, 스토리지 등 3가지 핵심 요소의 독립적인 확장이 요구될 것이다.

패브릭의 중요성

확장이라는 독립적인 문제를 해결하기 위해서는 시스템의 컴퓨팅, 메모리, 스토리지를 네트워크를 통해 분리해야 한다. 동시에 최적의 성능을 보장하려면 네트워크는 네트워크 홉(Hop)이나 프로토콜 지연과 같은 오버헤드(Overhead) 없이도 민첩해야 한다.

스토리지 시스템에서 ‘패브릭’이라는 개념은 더이상 생소한 것이 아니다. 이미 고속 옵션과 무손실 연결을 바탕으로 인기를 끈 SCSI 오버 이더넷(SCSI over Ethernet)과 SCSI 오버 파이버(SCSI over Fibre) 채널 등이 존재한다.

그러나 NVMe-oF를 적용한 새로운 분산형 시스템은 컴퓨팅과 스토리지를 분리할 수 있을 뿐 아니라, 대량 병렬 처리를 통해 DAS와 같은 성능과 공유 데이터 액세스를 지원할 수 있다. 또한 패브릭에 연결된 분산형 시스템은 시스템 결합능력을 끌어올려, 필요 시 소프트웨어 오케스트레이션을 통해 하드웨어 리소스를 빠르게 재구성하고 배포할 수 있다[그림 2].

NVMe-oF 진화 그 다음, NVMe과 패브릭의 결합

시스템이 높은 성능은 물론 독립적으로 확장할 수 있는 탄력적이고 유연한 분산형 아키텍처에 대한 요구사항을 충족하고자 함에 따라, 다양한 하드웨어와 네트워크 구성이 이를 지원하고 있다.

NVMe 데이터 전송 표준은 플래시 미디어와 스토리지 컨트롤러 사이, 패브릭상의 호스트와 스토리지 컨트롤러 사이의 프로토콜이다. 문제가 되는 것은 구성 방식인데, 패브릭 연결성을 스토리지 디바이스에 추가하는 것이 한 가지 방법이 될 수 있다[그림 3].

NVMe SSD는 PCIe, 이더넷, 인피니밴드(Infiniband)와 같이 패브릭과 직접 연결되면, 저지연 프로토콜을 지원할 수 있어 새로운 분산형 시스템의 세계를 열 수 있다. 그러나 동시에 다음과 같은 기술적으로 흥미로운 질문 몇 가지가 발생한다.

또한, 다른 컨트롤러 옵션을 고려함으로써 SSD의 역할을 생각하고, 용량과 기본 스토리지 미디어도 검토해야 한다.

예를 들어, 패브릭 지원 SSD가 도입돼야 하는가를 생각해보자. 만약 그렇다면, 이는 SSD 컨트롤러나 패브릭 안에서 프로토콜 전환과 플로우 컨트롤 등의 추가적인 처리 성능의 필요 여부와 연결된다. 그럼 호스트 소프트웨어, 데이터 보호, 또는 스토리지 관리에 있어서는 어떤 의미를 가질까?

우리는 이런 질문들을 살펴보면서, 시스템의 CPU에서 활용 가능한 다른 코어로 일부 컴퓨팅 활동을 오프로드하는 등 아키텍처상의 새로운 효율성을 찾아야 한다. 패브릭과 코어의 다양한 측면을 스토리지에 통합하는 방식에 따라 NVMe-oF 컴퓨팅의 새로운 패러다임이 열릴 것이다.

글: 로힛 굽타(Rohit Gupta) 웨스턴디지털 eSSD 사업부 세그먼트 마케팅 담당 시니어 매니저
자료제공: 웨스턴디지털

- 이 글은 테크월드가 발행하는 월간 <EPNC 電子部品> 2020년 11월 호에 게재된 기사입니다.