[테크 리포트] 노르딕, 최첨단 엣지 AI 혁신 가속

[테크월드뉴스=박규찬 기자] 최근 노르딕세미컨덕터(Nordic Semiconductor)는 TinyML 솔루션 분야의 선도 기업 뉴튼.AI(Neuton.AI, 이하 뉴튼)를 인수했다.

뉴튼은 탁월한 접근성의 머신러닝 모델을 지원하는 엣지 AI 분야의 전문 기업으로 완전 자동화된 플랫폼을 기반해 경쟁 프레임워크보다 10배 더 작고 빠른 모델을 생성할 수 있으며 엣지 단의 가장 작은 초소형 기기에서도 AI 프로세싱이 가능하도록 지원한다.

이 글에서는 뉴튼 모델이 개발자에게 어떠한 영향을 미치고 개발 과정 및 최종 애플리케이션을 어떻게 개선할 수 있는지 살펴보도록 하겠다.

뉴튼을 선택해야 하는 이유

개발자들이 엣지 AI를 제품에 적용하고자 할 때 가장 일반적으로 직면하게 되는 두 가지 장애물이 있다.

첫째, 해당 마이크로컨트롤러의 메모리 용량에 비해 머신러닝 모델이 너무 크다는 점이다. 둘째, 맞춤형 머신러닝을 생성하기 위해 상당한 수준의 수작업에 의존해야 하며 적절한 동작을 보장하기 위해서는 데이터 과학에 대한 고도의 전문지식이 요구된다는 점이다. 하지만 이제 이런 장애물을 해결할 수 있는 방안이 마련됐다.

뉴튼은 텐서플로우 라이트(TensorFlow Lite)와 같은 기존 프레임워크보다 훨씬 작은 크기의 머신러닝 모델을 자동으로 생성해주는 프레임워크다. 개발자는 학습에 필요한 데이터 세트만 있으면 최소한의 노력으로 고도로 최적화된 빠르고 정확한 머신러닝 모델을 생성할 수 있다.

뉴튼 모델은 노르딕의 대표적인 무선 SoC인 nRF54L15는 물론 공간 제약이 큰 nRF52805와 같은 초소형 SoC를 비롯해 노르딕의 모든 SoC에서 실행될 수 있을 만큼 효율적이다.

특히 몇 킬로바이트에 불과한 비휘발성 메모리(NVM: Non-Volatile Memory) 용량만 사용하기 때문에 기존에는 불가능하다고 여겨졌던 애플리케이션에도 머신러닝 기능을 추가할 수 있다.

예를 들어 센서 크기와 비용 및 공간이 매우 중요한 대규모 센서 네트워크의 모든 노드에서 AI 프로세싱을 수행할 수 있다.

뉴튼의 차별점

엣지 AI를 위한 프레임워크는 이미 오래전부터 다양하게 존재해 왔다. LiteRT(이전 명칭: 마이크로컨트롤러용 텐서플로우 라이트) 및 이와 유사한 기존 프레임워크들은 개발자가 수동으로 신경망, 뉴런, 네트워크 깊이 등을 구성할 수 있는 전문지식을 갖추고 있어야 하며 목표 디바이스에 따라 모델을 압축하거나 최적화하는 등의 조정 작업 또한 수행해야 한다.

이런 접근방식은 코드의 크기나 실행 속도 및 전력소모 측면에서 효율성이 낮은 모델로 이어지기 쉽다.

반면 뉴튼의 차별화된 강점은 이 모든 과정을 자동으로 처리한다는 점이다. 뉴튼은 개발자가 처음부터 신경망의 파라미터를 정적으로 설정해 처리하는 것이 아니라 네트워크를 자동으로 확장해가면서 새로운 뉴런이 추가될 때마다 모델의 성능이 향상되는지를 평가한 이후 성능에 도움이 되지 않는 뉴런은 곧바로 제거해 리소스를 절감할 수 있도록 해준다.

이런 접근방식은 개발자들에게 ▲신경망 구조나 파라미터, 아키텍처를 수동으로 선택할 필요가 없음 ▲리소스 소모가 많은 자동 신경망 아키텍처 탐색(NAS: Neural Architecture Search) 과정이 필요하지 않음 ▲별도의 압축이나 최적화 작업을 수행하지 않고도 코드 크기 최소화 ▲빠른 실행 속도로 낮은 전력소모 실현 등의 이점을 제공한다.

뉴튼의 머신러닝 모델은 외부 라이브러리에 종속되지 않고 특별한 런타임 요건도 필요하지 않으며 순수 C코드 형태로 플랫폼에서 바로 다운로드할 수 있다. 이는 노르딕의 nRF52, nRF53, nRF54L, nRF54H 시리즈 SoC나 nRF91 시리즈 모듈에 내장된 애플리케이션 코어를 비롯해 Arm Cortex-M 시리즈 프로세서로 실행되는 모든 애플리케이션에 곧바로 통합이 가능하다.

개발자를 위해 무엇이 달라지는가

뉴튼 프레임워크 기반의 완전 자동화된 머신러닝 모델 생성은 이미 lab.neuton.ai를 통해 이용할 수 있다. 하지만 노르딕의 nRF 커넥트(nRF Connect) SDK 애플리케이션에 통합하기 위해서는 아직 샘플이 제공되지 않기 때문에 개발자가 직접 작업을 수행해야 한다.

노르딕은 자사 솔루션과 원활하게 동작하는 nRF 커넥트 SDK용 샘플 및 필수 툴을 지원해 개발자들이 직접 통합 작업을 수행할 필요가 없도록 지원할 예정이다.

노르딕 개발자 에코시스템과의 통합 기능을 대폭 개선하고 간소화된 개발 프로세스와 편리한 개발자 경험을 제공할 계획이다.

동작 방식

전용 샘플 펌웨어를 통한 nRF 커넥트 SDK와의 통합은 아직 진행 중이지만 뉴튼 프레임워크를 이용한 모델 생성은 이미 완전 자동화돼 있으며 이는 앞으로도 계속 지원될 예정이다. 이는 외부 라이브러리에 의존할 필요 없이 단 3단계만으로 애플리케이션에 적합한 완전한 모델을 생성할 수 있다.

▲1단계= 데이터를 수집하고 데이터 세트를 업로드한다. 이는 레이블이 지정된 CSV 파일을 플랫폼에 제공하면 된다.

▲2단계= 데이터 세트에서 원하는 대상 변수를 지정하고, 평가 지표를 선택한다. 

a: 플랫폼은 백그라운드에서 신경망을 ‘자동으로’ 확장하면서 알고리즘을 완성한 다음, 준비되면 알림을 제공한다.

3단계= 완성된 뉴튼 모델을 C 라이브러리 형태로 다운로드한 다음 단 3개의 간단한 함수 호출 API를 이용해 애플리케이션에 통합할 수 있다.

a: neuton_nn_setup= 뉴튼의 내부 구성요소를 설정하는 함수로 가장 먼저 한 번만 호출하면 된다.

b: neuton_nn_feed_inputs= 모델 추론을 위해 실시간 입력 데이터를 준비해 제공한다.

c: neuton_nn_run_inference= 실시간 입력 데이터를 뉴튼 모델에서 실행해 예측 결과를 계산한다.

지원 가능한 주요 적용 사례

뉴튼은 기존에는 노르딕의 대표적인 주력 하드웨어를 통해서만 가능했던 적용 사례들을 노르딕의 모든 SoC로 확장해 다양한 엣지 AI를 구현할 수 있도록 지원한다.

활용 가능한 주요 적용 사례는 ▲예지정비 및 빌딩 자동화 시스템 ▲각 노드에서 로컬 데이터 분석이 가능한 스마트 센서 네트워크 ▲원격 제어 및 웨어러블 기기를 위한 동작 및 제스처 인식 ▲스마트 헬스 웨어러블을 위한 건강 및 활동 모니터링 ▲이외 광범위한 적용 사례 지원

벤치마크

동일한 nRF52840 SoC에서 실행된 LiteRT 모델(마이크로컨트롤러용 텐서플로우 라이트)과 뉴튼 모델간의 벤치마크 결과는 <표1>에서 확인할 수 있다.

이 비교는 잘 알려진 ‘매직 완드(Magic Wand)’ 동작 인식 사례를 사용했으며 두 모델 모두 동일한 데이터 세트로 학습하고 동일한 홀드아웃(Holdout) 세트로 검증됐다.

향후 계획

노르딕은 향후 몇 달 동안 뉴튼을 노르딕 개발 에코시스템에 통합하기 위한 작업을 진행할 예정이다. 개발자들의 업무 부담을 줄이고 애플리케이션의 완성도를 높일 수 있는 툴과 예제 및 지원 업무를 추가해 보다 원활한 개발 프로세스를 구축할 계획이다.

현재는 기존의 온라인 플랫폼인 lab.neuton.ai를 통해 뉴튼 모델을 직접 구현 및 통합해 테스트해 볼 수 있다