CEVA, 엣지 AI 컴퓨팅용 프로세서 아키텍처 공개

[테크월드뉴스=서유덕 기자] 무선·센서 설계 자산(IP) 라이선스 기업 CEVA가 인공지능(AI)과 머신러닝(ML) 추론 워크로드를 위한 최신 프로세서 아키텍처 뉴프로(NeuPro)-M을 발표했다.

뉴프로-M은 광범위한 엣지 AI와 엣지 컴퓨팅 시장을 대상으로 하는 독립적인 이종 아키텍처다. 심층 신경망의 다양한 워크로드를 동시에 원활하게 처리하는 다중의 특화 코프로세서(co-processor) 겸 설정 변경이 가능한 하드웨어 가속기로 이전 모델 대비 하드웨어의 성능을 5~15배 향상시킨다. 업계 최초로 시스템온칩(SoC)과 이종 시스템온칩(HSoC)의 확장성을 모두 높이고 최대 1200TOPS(초당 10조 번 연산)에 달하는 성능을 발휘하며 보안 부팅과 엔드 투 엔드(end-to-end) 데이터 개인 정보 보호 옵션을 제공한다.

뉴프로-M 기반 코어는 1.25기가헤르츠(㎓)에서 최대 20TOPS를 내는 NPM11과 최대 160TOPS에 댈하는 NPM18 두 가지가 먼저 출시될 예정이다. 단일 코어로 구성된 NPM11은 ResNet50 신경망(convolutional neural network, CNN)을 처리할 때 이전 모델에 비해 성능은 5배 향상시키고 메모리 대역폭은 1/6로 줄였다. NPM18은 8개 코어로 구성된다.

뉴프로-M 아키텍처는 기존의 모든 신경망 아키텍처를 처리한다. 또 변압기와 3D 컨볼루션(convolution), 셀프 어텐션(Self-attention)을 포함한 모든 유형의 순환 신경망(RNN)에 적합하다. 250개 이상의 신경망과 450개 이상의 AI 커널, 50개 이상의 알고리즘을 처리하는데 최적화됐다.

뉴프로-M 이종 아키텍처는 기능별 코프로세서와 부하 균형 기법(load balancing mechanism)으로 구성된다. 이전 아키텍처 대비 성능과 효율성을 향상시키는 데에 큰 도움을 준다. 먼저 제어 기능을 로컬 컨트롤러에 분산시키고 로컬 메모리 리소스를 계층적 방식으로 실행함으로써 데이터 흐름의 유연성을 높였다. 그 결과 활용률이 90%를 넘었으며 주어진 시간에 서로 다른 코프로세서와 가속기가 데이터 부족으로부터 안심할 수 있게 되었다. 또한 CDNN 프레임워크에 의해 특정 네트워크와 원하는 대역폭, 사용 가능한 메모리, 목표 성능에 쓰이는 다양한 데이터 흐름 체계를 실행함으로써 최적의 부하 균형을 달성할 수 있게 됐다.