Arm이 말하는 ‘헤테로지니어스’ AI는 무엇일까

[테크월드뉴스=양승갑 기자] Arm 김도현 모바일 테크니컬 마케팅 매니저는 16일 서울 강남구 인터컨티넨탈 코엑스에서 열린 ‘Arm 테크 심포지아 2023‘에서 “현재 모바일 엣지 디바이스, 스마트폰에서 AI 유즈케이스들이 굉장히 빠르게 확산되고 있다”고 말했다.

이어 그는 “헤테로지니어스(Heterogeneous) AI가 엣지 디바이스에서 구현될 때 Arm은 솔루션을 가지고 고객사에게 대안을 제시할 수 있을 것”이라고 강조했다.

Arm이 말하는 헤테로지니어스 AI란 CPU, GPU 및 파트너 NPU가 합쳐진 이기종 AI를 의미한다. 최소 비용, 최저 전력으로 최적의 효율성을 발휘하는 것이다.

▶ 헤테로지니어스 AI로 효율성 향상 가능해

AI를 이용한 활용 사례가 급격하게 증가하고 있다. IT 발달로 뉴럴넷(Neural Network)을 효율적으로 사용할 수 있기 때문이다. 뉴럴넷은 인간의 두뇌를 모방해 컴퓨터 과학과 데이터 통계 등 AI 분야의 일반적인 문제를 처리하는 방식을 말한다.

이런 뉴럴넷을 효과적으로 훈련하기 위해서는 매우 많은 데이터셋이 필요한데 인터넷으로 인해 정보가 기하급수적으로 누적되면서 데이터의 광범위한 수집도 가능해졌다.

다만 아직 AI 시스템의 효율적인 분배는 이루어지지 않는 모양새다. 김 매니저는 “현재 시스템은 NPU에 너무 중점을 둬서 머신러닝 워크로드를 몰아준다”며 “CPU, GPU가 NPU가 하는 일을 덜어줄 수 있다면 전체적인 효율성을 향상하는 데 굉장히 도움이 될 것”이라고 말했다.

이에 Arm은 머신러닝을 지원하는 소프트웨어 ‘머신러닝 인퍼런스 엔진’을 지원하고 있다. 이 소프트웨어는 머신러닝의 프레임워크와 하드웨어 IP 간 연결 역할을 담당한다. 머신러닝 프레임워크가 별도의 수정 없이 Arm의 하드웨어 IP를 사용하는 기능을 제공하는 것이다.

김 매니저는 “작업을 CPU가 처리하게 되면 NPU를 작동시키는 데 소모되는 파워나 그 시간 동안 발생하는 지연시간(레이턴시)을 줄일 수 있다”며 “모바일 디바이스 내 머신러닝 컴퓨팅 능력 자체가 늘어나는 것”이라고 말했다.

다만 모바일 디바이스같이 전력이 제한되는 경우 AI를 제공하기 위해 컴퓨팅, 메모리 시스템, 데이터 대역폭 등 리소스에 대한 조건이 까다로운 경우가 많다. 이 같은 사실에 주목해 Arm은 유연성이 가미된 AI 기술을 고객사에 제공하기 위해 노력 중이다. 특히 현재 세대에서의 기술은 언제든 변화할 수 있으며 미래를 위한 계획을 마련해야 한다고 강조한다.

또한 모바일 시스템의 한계를 극복하기 위해 데이터 무브먼트를 최소화하는 것이 중요하다고 설명하기도 했다.

김 매니저는 “CPU가 가지고 있는 캐시 데이터 안에서 데이터를 옮기지 않고 처리함으로써 데이터 무브먼트를 최소화하는 것이 중요하다”며 “소비자들은 체감 속도를 줄이고 배터리 수명 자체를 늘리는 소구점을 가져갈 수 있다”고 덧붙였다.

이어 “Arm은 CPU 내 하드웨어 IP의 머신러닝 컴퓨팅 파워를 강한 컴퓨팅 라이브러리를 통해서 늘려왔다”며 “이제는 (디바이스) 자체에 머신러닝을 빠르게 돌릴 수 있는 요소들이 계속해서 추가될 것”이라고 덧붙였다.

▶ AI 반도체 설계, 에너지 효율이 관건

AI 반도체 스타트업 퓨리오사AI는 AI 반도체가 해결해야 할 과제와 이를 돕기 위한 자사 반도체 아키텍처의 방향성을 소개했다.

AI 기술이 발전하고 데이터가 누적되면서 이를 효율적으로 처리하기 위한 컴퓨팅 시스템의 요구가 증가하고 있다. 다만 AI 애플리케이션을 효율적으로 처리할 수 있는 컴퓨팅 시스템의 구현은 여전히 과제다.

퓨리오사AI 백준호 대표는 앞으로는 더 많은 컴퓨팅 성능이 요구될 것으로 전망하며 ▲컴퓨팅의 확장성(Scalability) ▲확장성을 지원하는 성능 ▲많은 연산을 얼마나 고성능을 유지하며 효율적으로 처리하는지가 중요하다고 설명했다.

이를 위해 퓨리오사AI는 2세대 칩 ‘레니게이드’를 다양한 AI 기능을 포괄적으로 지원하도록 솔루션으로 확장시킬 계획이다. 레니게이드는 HBM3를 채택하기도 했다. 또한 NPU와 CPU를 유기적으로 결합했을 때 AI 전력 효율성이 향상할 것이라는 견해도 내비쳤다.

백 대표는 “AI가 사용될수록 에너지가 큰 쟁점이 되고 얼마나 효율적으로 처리하는 것이 중요하다”며 “퓨리오사AI는 이런 문제를 해결하기 위해 역량을 집중하고 있다”고 말했다.

이어 “AI 코어의 확장성과 발전하는 AI 모델의 워크로드에 대한 다양한 커스텀 기능을 어떻게 대응할지 계획하고 있다”며 “CPU와 NPU의 오프로드를 결합해서 효율성이 돋보이는 솔루션을 개발하는 것이 목표”이라고 말했다.