[TECH REPORT] 저전력 FPGA를 지능형 AI/ML 바꾸는 방법

[테크월드뉴스=레티스 세미컨덕터] 에지 디바이스가 폭발적으로 늘어나면서, 대량의 원시 데이터로부터 실시간 의사 결정에 필요한 유용하고 실행가능한 정보들을 이끌어내는 새로운 애플리케이션들이 속속 등장하고 있다.

래티스(Lattice)의 sensAI 4.1 솔루션 스택은 편리하게 사용할 수 있는 인공지능/머신러닝(AI/ML) 툴, IP 코어, 하드웨어 플랫폼, 레퍼런스 디자인과 데모, 그리고 맞춤형 설계 서비스를 제공함으로써 에지 디바이스와 애플리케이션 개발을 지원한다.

자동차, IoT 디바이스, 소비가전, 노트북 및 데스크톱 PC에 이르기까지 폭발적으로 늘어나는 에지 디바이스들이 말 그대로 데이터의 홍수를 만들어내고 있다. 2025년에는 가동되는 IoT 기기의 수가 수백억 대에 이를 전망이다. 에지 디바이스는 다양한 형태와 전송 속도로 데이터를 클라우드로 끊임없이 전송한다. 디바이스에서 발생하는 원시 데이터 양의 기하급수적인 증가가 예상된다.

보안 카메라, 자동차, PC에 사용되는 고해상도의 대용량 비디오 스트림부터 IoT 기기를 통한 중간 용량의 데이터, 온도, 압력, 위치, 조도 등을 측정하는 다양한 유형의 IoT 센서들은 적은 양의 데이터 스트림을 생성한다. 다만 이들 센서는 앞으로 수십억 개가 사용될 전망으로 각 센서의 데이터 양은 무시할 수 없다.

5G 무선 기술을 비롯해, 피코셀(picocell) 같은 고속 네트워킹 기술, LoRaWAN 같은 장거리 IoT용 네트워크, 스페이스X(SpaceX)의 StarLink 광대역 네트워크 및 스웜 테크놀로지스(Swarm Technologies)의 위성 기반 IoT 네트워크 같은 글로벌 통신 위성 기술이 가세함으로써 클라우드에 접속하기가 더 쉽고 빨라졌다. 다양한 통신 기술과 네트워킹 기술이 새로운 에지 컴퓨팅 디바이스와 애플리케이션 개발을 가속화하고 있다.

◆ 데이터 파이프의 부담을 줄이는 에지 프로세싱

데이터가 생성되는 네트워크 에지에서 데이터를 처리함으로써 클라우드로 전송해야 하는 데이터 양을 줄일 수 있다. IoT 및 그 밖에 다른 네트워크 연결 기기의 폭발적인 증가는 새로운 에지 디바이스 설계를 견인하는 주요 동력이다. 변화하는 상황에 맞춰 실시간으로 신속하게 의사 결정을 내릴 수 있도록 원시 정보로부터 유용하고 실행 가능한 정보들을 도출할 수 있게 해주는 새로운 애플리케이션 개발이 요구된다.

에지 컴퓨팅 개발 초기에는 기업들이 데이터를 먼 거리에 있는 데이터센터로 전송하는 데 드는 비용에 초점을 맞췄다. 에지 애플리케이션을 위해서 클라우드에 저장된 데이터에 액세스하거나 클라우드로 연결된 다른 컴퓨터에 액세스해야 하는 까닭에 초기 에지 애플리케이션은 실시간이 아니었다. 수백 밀리초(ms)에서 길게는 수 초(s)에 달하는 응답 시간이 허용됐다. 다만 IoT 기기들이 개발되고 에지 상에서 실시간 처리, 분석, 응답에 대한 요구가 높아짐에 따라 에지 기술은 어느 때보다 빠르게 발전하고 있으며, 해결해야 할 과제도 크게 늘었다.

에지에서 실시간으로 애플리케이션 처리하기 위해서는 지연시간이 허용될 수 없으므로 처리, 분석, 의사결정 절차를 에지 디바이스 자체로 옮기는 것이 필요하다. 에지 디바이스는 자율주행차, IoT 센서, 보안 카메라, 스마트폰, 노트북 및 데스크톱 PC에 이르기까지 다양하므로 에지 컴퓨팅은 무한한 기회를 품고 있다.

◆ 클라우드가 모든 것을 다 처리할 수는 없다

스마트폰과 IoT 기기들이 폭발적으로 증가함에 따라 에지 컴퓨팅 개발에 박차가 가해졌다. 스마트폰과 IoT는 클라우드로 정보를 전송하고 수신하기 위해 인터넷에 접속해야 한다. 비디오 카메라 같은 일부 IoT 기기들은 작동하면서 엄청난 양의 데이터를 발생한다.

온도 센서 같은 IoT 기기들은 개별적으로는 적은 양의 데이터를 발생하지만 센서들이 수십억 개에 달한다면 클라우드에서 처리되는 데이터의 양은 급속도로 증가한다. 에지 기반 프로세싱은 클라우드에 대한 네트워크 통신 비용과 클라우드 저장 비용을 줄이고, 클라우드로 연결되는 파이프들에 가해지는 부담을 덜기 위한 필수 요소다.

에지 제품 및 애플리케이션 개발자들은 원시 데이터의 분석과 분석을 기반으로 한 의사 결정을 돕기 위한 복잡한 패턴 매칭과 인식 처리 작업용으로 인공지능과 머신러닝(AI/ML) 알고리즘의 도입을 점점 늘려 가고 있다.

전통적인 알고리즘 프로그래밍을 사용해서는 구분하고 식별하기가 점점 까다로워지는 복잡한 다차원 데이터 패턴을 AI/ML은 식별 및 인식이 가능하기 때문에, 오늘날 AI/ML 알고리즘은 원시 데이터의 효율적인 처리를 위한 필수 요소로 간주된다. 이러한 AI/ML 애플리케이션에는 사람과 물건의 감지, 인식, 식별 및 카운팅을 비롯해 자산 및 재고 추적, 환경 감지, 음향과 음성의 감지 및 식별, 시스템 상태 모니터링, 시스템 예방 정비 시기 조정 등이 포함된다.

AI/ML을 활용하는 에지 애플리케이션들 중에는 지극히 제한적인 에너지의 사용이 요구된다. 넓은 지역에 분산 설치되는 많은 디바이스는 배터리 전원으로 동작하며 공장, 농장, 사무실 빌딩, 점포, 병원, 창고, 거리, 주택 등 다양한 환경에서 찾아볼 수 있다. 애플리케이션의 수가 증가함에 따라, 한 번의 배터리 충전 또는 포집, 저장된 에너지를 사용해서 수개월에서 수년간 작동할 수 있어야 한다.

때문에 상당 시간을 수면 모드나 동면 모드로 보낼 필요가 있다. 디바이스가 작동하지 않을 때 대부분의 회로는 저전력 휴지(idle) 모드에 놓인다. 필요할 때만 활성화돼 에지 디바이스를 기동한다. 이를 위해 필수 회로들은 극히 낮은 전력으로 깨어 있으면서 기동이 필요할 때 디바이스의 나머지 부분을 깨운다.

◆ FPGA를 사용해서 저전력으로 AI/ML 구현

저전력 에지 디바이스 설계에서 낮은 동작 전력과 AI/ML 알고리즘 실행의 필요성은 서로 상충하는 요건으로 여겨질 수 있지만 두가지 복잡한 설계를 만족하는 제품도 출시되고 있다. 저전력, 소형 풋프린트, 고성능 특성을 겸비한 래티스(Lattice)의 최신 FPGA인 CertusPro-NX 제품군은 저전력 에지 디바이스의 다양한 설계 요구를 충족하도록 설계됐다. 다양한 센서, 디스플레이, 고해상 비디오, 네트워킹, 에지 AI/ML 프로세싱을 지원할 수 있다.

래티스 sensAI 솔루션 스택 버전 4.1은 편리하게 사용할 수 있는 AI/ML 툴, IP 코어, 하드웨어 플랫폼, 레퍼런스 디자인과 데모, 맞춤형 설계 서비스를 제공해 고객이 새로운 에지 디바이스를 빠르게 개발하고 출시할 수 있게 해준다. 최신 버전의 sensAI 솔루션 스택은 CertusPro-NX FPGA를 지원한다.

래티스 sensAI 솔루션 스택은 AI/ML 모델 학습, 확인, 컴파일 일체를 지원한다. 래티스는 개발자가 머신러닝 애플리케이션을 빠르게 개발할 수 있도록 돕는 GUI 기반 툴인 ‘sensAI Studio 설계 환경’을 sensAI 솔루션 스택 버전 4.0에 추가했다. 래티스의 iCE40 UltraPlus, CrossLink-NX, ECP5, CertusPro-NX FPGA를 하드웨어 기반으로 선택하고 래티스 sensAI 4.1 솔루션 스택의 툴들을 사용해서 구성한 에지 컴퓨팅 설계는 1mW~1W에 이르는 극히 낮은 전력 소모로 실시간 AI/ML 기능을 빠르게 구현할 수 있다.

sensAI 4.1 솔루션 스택이 CertusPro-NX FPGA 제품군을 지원함에 따라, 기존의 물체 감지 및 추적 기능에 더해서 여러 물체를 실시간으로 동시에 분류하는 것과 같은 성능 향상을 추가할 수 있게 됐다. sensAI 4.1 솔루션 스택은 업데이트된 신경망(NN) 컴파일러를 포함하며, 최신 버전의 Caffe, Keras, TensorFlow, TensorFlow Lite 같이 널리 사용되는 주요 ML 플랫폼과도 호환된다.

래티스 sensAI 4.1 솔루션 스택의 IP 코어는 세 가지 유형의 컨볼루션 신경망(CNN) 가속기(CNN, CNN Plus, CNN Compact)와 한 개의 CNN 코프로세서 엔진을 포함한다. CNN IP 코어를 통해 개발자는 Mobilenet v1/v2, Resent, SSD, VGG 등 다양한 CNN 기능들을 사용하거나, 필요할 경우 맞춤형 CNN 모델을 구현할 수 있다. sensAI 4.1 CNN 가속기는 래티스 FPGA의 병렬 처리 능력, 분산형 메모리, DSP 자원을 활용해서 초저전력 AI 설계를 보다 수월하게 구현할 수 있게 해준다. 가속기 코어는 CertusPro-NX FPGA의 프로그래머블 로직을 활용해서 밀리와트(mW) 범위의 매우 낮은 전력 소모로 CNN을 구현하는 고도의 효율적인 바이너리 신경망(BNN)을 포함한 저전력 신경망을 구현할 수 있다.

◆ 래티스 sensAI 4.1 레퍼런스 디자인

래티스 FPGA는 센서 인터페이스용으로 널리 사용되는 다양한 전기 인터페이스 표준을 지원하도록 구성할 수 있는 프로그래머블 I/O를 제공한다. 래티스는 다양한 센서 통신 프로토콜용으로 많은 하드 및 소프트 IP 블록을 제공한다. 특히 FPGA는 센서 융합에 사용하기에 뛰어나므로, 래티스 sensAI 솔루션 스택 4.1은 에지 디바이스에서 다양한 센서들을 기반으로 한 AI/ML 추론 기능을 손쉽게 개발해 지능형 센서 퓨전 개발이 가능하도록 하는 데 설계의 초점이 맞춰져 있다. sensAI 4.1 솔루션 스택은 보다 깊이 있는 컨텍스트 인지를 구현하기 위해 ▲손동작 감지 ▲핵심 구문 인식 ▲얼굴 인식 ▲인체‧물체 감지, 분류, 추적, 카운팅 등의 기능을 포함한다.

◆ AI로 명백하게 성능 향상이 가능한 에지 애플리케이션

자율 로봇, 환경 제어, 비디오 보안 카메라 같은 에지 디바이스들은 AI/ML 알고리즘을 사용하면 성능을 명백하게 향상할 수 있다. 그 외에 노트북 및 데스크톱 PC 같은 유형의 에지 장비들도 AI/ML 기능을 활용할 수 있다.

래티스는 멀티모드 지능형 센서 융합과 AI/ML 기법을 도입하기 위해 고객 및 파트너사와 협력을 통해 노트북 및 데스크톱 PC 사용자 경험을 강화하고 노트북PC의 동작 전력 소모를 대폭 줄이며, 일부 애플리케이션에서 28%까지 배터리 수명을 향상시킬 수 있다. PC나 노트북의 기존 센서에 AL/ML 분석 및 의사 결정을 결합해 주변을 감지하고 디스플레이, CPU를 휴면상태로 전환할지를 스스로 판단할 수 있도록 하면서다.

센서 융합을 통해서 프라이버시와 보안도 향상시킬 수 있다. 컴퓨터의 화상회의 카메라를 사용해서 사용자 뒤편의 배경을 모니터링해 사용자 뒤에서 화면을 보는 것으로 감지되면 경고 화면을 띄워서 사용자에게 알려주거나 화면을 어둡게 한다. 모든 추론 데이터는 FPGA 자체 내에만 남기고 메타 데이터만 SoC로 전달되는 점 역시 프라이버시와 보안을 강화한다.

이외에도 AI/ML 기반의 얼굴 추적 기능은 화상회의 동안에 사용자가 움직이더라도 사용자의 이미지가 프레임 중앙에 오도록 하거나 동작 인식을 사용해 노트북 및 데스크톱 PC, 다른 비디오 가능 IoT 디바이스를 비접촉으로 작동할 수 있다.

오랫동안 FPGA 개발의 특징이었던 센서 인터페이스 및 융합 기능을 뛰어넘어, 입증된 AI/ML 알고리즘을 기반으로 하는 센서 신호 분석 및 의사 결정 기능을 추가할 수 있다. AI/ML 기능을 추가함으로써 FPGA를 저전력 시스템 컨트롤러로 만들 수 있다. 그럼으로써 시스템의 기능성을 높이고, 사용자 경험을 향상하며, 시스템 전반의 전력 소모를 낮춰서 배터리 수명을 크게 늘릴 수 있다.