소비자 가전제품의 상호작용을 위한 버튼 누르기가 점차 낡은 방식이 돼 가고 인간과 기계의 상호작용은 지난 몇 년에 걸쳐 극적으로 변화하면서 계속 진화하고 있다. 

이 글은 이러한 휴먼 머신 인터페이스(HMI)의 변화하는 특성을 사례를 통해 살펴보고 아울러 배터리 구동 애플리케이션에서 사용자 경험을 향상시킬 수 있도록 에너지 효율적인 솔루션을 제공하는 특정한 아키텍처를 소개한다. 이 아키텍처는 FPGA 패브릭을 사용하는 전력 효율적인 이종 처리(heterogeneous processing) 요소들로 구성된다. 


휴먼 머신 인터페이스(HMI) 동향 
대부분의 모바일 기기는 동작하기 전까지는 슬립 또는 저전력 모드에 들어가 있기 때문에 기기와의 첫 번째 상호작용은 웨이크업(wake up), 즉 깨우기다. 웨이크업은 손목 회전, 흔들기, 한 번 또는 두 번 연속 두드리기, 전화나 메시지 수신, 기계식 버튼 누름뿐 아니라 특정한 문장이나 제스처, 또는 손뼉치기 같은 소리 등 다양한 방식으로 실행할 수 있다. 

각각의 웨이크업 방법은 특정 동작을 위한 센서와 모니터링 기기를 필요로 한다. 또 웨이크업 동작은 극히 낮은 전력으로 이뤄져야 한다. 최근의 저전력 FPGA는 상시 동작(always-on), 상시 인식(always-aware) 상태에서 약 100㎼의 전력을 소비하므로 이 같은 추세라면 향후에는 전력 소비를 극적으로 줄이게 될 것이다.

혁신적 HMI 솔루션을 구현하는 데 필요한 다양한 센서들이 I/O 지형을 빠르게 바꾸고 있다. 오늘날의 모바일 기기는 더욱 빠른 I/O 속도를 요구한다. 지난 몇 년 간 저가형 센서가 확산되고 새로운 고성능 인터페이스 채택이 늘어나면서 이들 시스템은 점점 더 높은 컴퓨팅 능력을 요구하고 있고 이에 따라 상시 동작 기능에 대한 요구도 급격히 높아졌다. 

드론, 휴대전화에서부터 웨어러블 및 산업용 장비에 이르는 다양한 종류의 애플리케이션에서 센서는 방대한 양의 데이터를 끊임없이 수집한다. 시스템 설계자는 데이터 처리 시간을 단축함과 동시에 재충전을 하지 않아도 하루 종일 기기를 사용하기 원하는 소비자의 요구를 만족할 수 있도록 시스템 전력을 낮춰야 한다.

이를 위해서는 모바일 시스템 설계가 전통적인 CPU 중심의 설계 방식이 아닌 종합적 관점의 시스템 기반 방식으로 이뤄져야 한다. 시스템 설계자는 오늘날 모바일 기기들이 요구하는 더 높은 컴퓨팅 성능 요건을 충족함과 동시에 에너지 효율도 극대화하기 위해 다양한 종류의 프로세서를 이용할 필요가 있다. 


분산형 이종 처리(DHP) 시대 개막
분산형 이종 처리(distributed heterogeneous processing, DHP)는 많은 전력을 소모하는 애플리케이션 프로세서(AP) 대신 이종 프로세서를 사용하고 클라우드가 아닌 로컬에서 작업을 처리하는 에너지 효율적인 새로운 컴퓨팅 알고리즘 기법을 정의한다. 

이 방법을 이용하면 설계자는 복잡한 코프로세싱에 대한 새로운 요구를 병렬 처리 기법을 통해 해결할 수 있다. DHP를 이용하면 모바일 시스템 설계자는 디지털 신호 프로세서(DSP)에서 로컬로 반복적인 넘버 크런칭 작업을 수행할 수 있어 전력 효율을 높일 수 있을 뿐 아니라 AP로부터 처리 작업 부하를 줄여 AP가 더 오랫동안 슬립 모드를 유지하도록 함으로써 시스템 전력을 절약하고 배터리 수명을 연장할 수 있다.

 

분산형 이종 처리: 로컬 프로세싱으로 전력 효율을 향상시키고 더 빠른 응답 시간 제공

 

더 많은 메모리 더 많은 DSP
래티스반도체(Lattice Semiconductor)는 DHP 컴퓨팅 요구에 대응하기 위해 iCE40 울트라 (Ultra) FPGA 제품군에 새로운 제품을 추가했다. 신제품 iCE40 울트라플러스는 이전 세대 제품보다 8배 많은 메모리와 2배 많은 DSP 수를 지원하는 더욱 에너지 효율적인 솔루션을 제공한다. 새로운 iCE40 울트라플러스 디바이스는 이처럼 리소스가 증가했음에도 기존 제품이 71A를 소비하는 데 반해 단 75A의 정적 전류만 소비한다. 

다양한 패키지 크기로 제공되는 iCE40 울트라플러스 FPGA 디바이스는 설계자가 오늘날의 고도로 경쟁적인 모바일 시장에서 차세대 소비자 가전, 모바일, IoT 에지 및 산업용 제품의 엄격한 프로세싱 요구를 만족하는 독창적이고 경쟁력 있는 솔루션을 신속하게 제작할 수 있게 한다. 

이 새로운 FPGA의 중심에 래티스의 고도로 전력 효율적인 iCE40 제품 라인이 있다. iCE40 울트라 제품군은 여러 개의 16×16 곱셈기 블록을 포함한 광범위한 통합 기능과 저전력 동작을 매우 작은 풋프린트에 결합하고 있다. 

이러한 기초 위에 제작된 새로운 iCE40 울트라플러스는 반복적인 넘버 크런칭을 위한 가장 에너지 효율적인 병렬 처리 솔루션 지원에 필요한 모든 핵심적인 요소를 제공한다. iCE40 울트라플러스 솔루션은 1.1메가비트(Mbit) 저전력 SP-SRAM, 신호 처리를 위한 8개의 곱셈·누산 블록, 맞춤형 로직을 위한 최대 5280개의 LUT(look up table) 및 인스턴트 온(instant-on) 애플리케이션을 위한 비휘발성 구성 메모리를 결합하고 있다. 따라서 상시 동작 센서 버퍼, 음향 빔 포밍 오디오 서브시스템 및 기타 반복적인 연산 집약적인 애플리케이션 제작에 이상적이다. 뿐만 아니라 다양한 브리징, 버퍼링 및 디스플레이 애플리케이션을 지원하는 데에도 사용돼 차세대 모바일 및 산업용 애플리케이션에서 혁신을 가속화할 수 있다. 


 

래티스 iCE40 울트라플러스 블록 다이어그램

 

이 외에도 새로운 iCE40 울트라플러스 디바이스는 설계 유연성을 제공하는 프로그래머블 I/O와 상시 동작 카메라 애플리케이션을 지원하는 I3C 인터페이스(MIPI가 센서용으로 새로 정의한 고대역폭 데이터 및 제어 인터페이스)를 탑재하고 있으며 오실레이터를 내장하고 있어 전력과 BOM 비용을 줄여준다. 

이 솔루션은 이처럼 광범위한 기능 세트를 2.15×2.55㎜의 소형 패키지로 제공하면서 정적 전력 모드에서 전류 소비가 75㎂에 불과해 소비전력과 면적 제한된 소비자 가전 애플리케이션에 적합하다. 또 QFN 패키지로 제공되기 때문에 산업용 및 기타 소비자 가전 애플리케이션에 사용되는 보다 저렴한 PCB 어셈블리에도 활용할 수 있다. 

개발자가 iCE40 울트라플러스 FPGA 제품군을 활용한 제품 개발을 가속화할 수 있도록 종합적인 툴 세트와 평가 샘플 및 보드가 지원된다. 더불어 래티스의 iCE40 울트라플러스를 이용하면 제품 출시를 앞당길 수 있는 또 다른 요인이 있다. 

임베디드 시스템 개발자들이 널리 이용하는 기술들을 이 디바이스에 대해서도 사용할 수 있기 때문이다. FPGA는 역사도 오래 됐고 광범위하게 사용되고 있지만 여전히 MCU보다 덜 친숙한 제품으로 설계자에게 인식되고 있다. 현재 FPGA보다 MCU 프로그래밍 방법을 아는 설계자가 훨씬 많은 것은 놀라운 일이 아니다. 

이에 개발자들은 iCE40 울트라플러스 디바이스에 소프트 코어 프로세서를 구현함으로써 이러한 문제에 대처해 왔다. 실제로 대용량 SPRAM과 하드 코어 방식으로 구현된 DSP 블록은 iCE40 울트라플러스를 소프트 프로세서 구현을 위한 이상적인 플랫폼으로 만들어준다. 

이러한 솔루션을 지원하기 위해 RISC-V 기구에서는 오픈 소스의 확장 가능한 고효율 프로세서를 발표했다. 최근 개최된 RISC-V 워크숍에서는 2개 회사가 RISC-V 오픈 소스 소프트웨어 툴과 래티스 FPGA 툴을 함께 사용해 래티스 iCE40 울트라플러스 디바이스상에서 RISC-V를 구현해 발표함으로써 병렬 가속기를 매끄럽게 통합한 전문적인 소프트 프로세서를 최소의 개발 비용으로 개발할 수 있다는 것을 증명해 보였다. 이는 기존 MCU 기술에 익숙한 엔지니어들에게 전례 없는 유연성을 가져다준다. 


적용 분야
iCE40 울트라플러스의 임베디드 DSP는 더 높은 수준의 알고리즘을 계산할 수 있는 능력을 제공한다. 또 1메가비트 온칩 SRAM을 내장하고 있어서 시스템이 저전력 상태에서 더 오래 데이터를 버퍼링할 수 있다. 점점 더 많은 시스템에서 설계자들은 AP의 코프로세서로 동작하면서 시스템이 오프 상태에 있는 동안 데이터를 처리 및 분석한 다음 더 복잡한 기능을 수행하도록 AP를 깨울 수 있는 디바이스를 필요로 한다.

적용 가능한 애플리케이션은 실제로 무한하다. 예를 들어 웨어러블 또는 백색 가전 시장에서 많은 솔루션은 대형 프레임 버퍼와 인터페이스 브리지 기능을 모두 제공하는 디바이스를 요구한다. iCE40 울트라플러스 FPGA는 풍부한 용량의 온칩 SRAM을 탑재해 AP를 슬립 모드로 유지하면서 상시 동작 디스플레이를 지원할 수 있다. 

이와 함께 iCE40 울트라플러스는 MCU와 디스플레이 사이에서 인터페이스 브리지로 동작할 수 있다. FPGA는 MIPI DSI 또는 병렬 인터페이스를 지원함으로써 I/O 확장은 물론 유연한 패브릭으로 맞춤형 그래픽 가속이 가능하다. 이러한 디스플레이 드라이버와 그래픽 엔진의 결합으로 저가 GPU와 유사한 성능을 훨씬 낮은 전력으로 구현할 수 있다.

또 다른 애플리케이션으로 AP가 슬립 모드에 있는 동안 가속 감지와 검출을 수행하기 위해 상시 동작 센서 버퍼를 필요로 하는 많은 배터리 구동 기기들을 들 수 있다. 이러한 기기들은 AP를 슬립 모드에 더 오래 유지할 수 있도록 웨이크업 호출 오류를 마스킹해야 한다. 

이와 같은 애플리케이션에서 iCE40 울트라플러스 FPGA는 다양한 센서와 AP 사이에 위치하면서 더블 탭 또는 만보기에 사용되는 ‘쉐이크투웨이크(shake-to-wake)’ 기법과 같은 웨이크업 호출을 처리한다. 유사한 애플리케이션으로는 모션 감지, 지문, 제스처 또는 홍채 인식 등을 들 수 있다.

 

상시 동작 센서 버퍼

 

이들 각각의 기능들은 2단계 과정을 필요로 한다. 첫째, 시스템은 적절한 웨이크업 동작이 발생했는지를 결정해야 한다. 둘째, 시스템은 사용된 제스처 또는 지문이 시스템에 대한 액세스를 획득하기에 적합한지 결정해야 한다. 예전 방식에서는 적절한 동작이 발생하면 FPGA가 AP를 깨웠지만 이제 iCE40 울트라플러스 FPGA는 풍부한 온칩 메모리를 탑재함으로써 시스템 웨이크업 전에 두 가지 기능을 모두 수행할 수 있으므로 AP가 슬립 모드에 더 오래 머무를 수 있게 해준다.

iCE40 울트라플러스 FPGA의 세 번째 적용 가능한 분야는 음향 빔 포밍 애플리케이션이다. 오늘날의 시스템은 주변 소음이 많은 환경으로부터 특정 오디오 신호를 분리할 수 있는 향상된 수준의 처리 능력을 종종 요구한다. 일반적인 애플리케이션에서 시스템은 여러 사람이 대화하는 실내에서 한 사람의 목소리에서 나오는 명령을 탐지하고 받을 수 있어야 한다.

빔 포밍 기술은 여러 대의 마이크를 사용해 특정 음성을 탐지하고 원하지 않은 소음을 걸러낸다. 아마존이 최근 발표한 에코(Echo) 플랫폼이 매우 좋은 사례다. 이 핸즈프리 스피커는 빔 포밍 기술과 7개의 마이크를 사용해 심지어 음악이 연주되는 실내에서도 사용자의 음성을 구별할 수 있다.

그러나 대부분의 AP는 2개의 마이크 사용만 지원하도록 설계된다. 뿐만 아니라 이들 시스템은 일반적으로 상시 동작 상태를 유지하면서 배터리 전력으로 동작해야 하기 때문에 전력 소비가 많은 AP에는 부담이 된다. 그러면 어떻게 최대 7개의 서로 다른 마이크 입력을 사용하면서 최소 전력으로 24시간 상시 동작하는 빔 포밍 솔루션을 구현할 수 있을까?

한 가지 방법은 마이크로폰 어레이를 저전력 iCE40 울트라플러스 FPGA에 인터페이싱하는 것이다.


 

마이크로폰 어레이 빔 포밍

 

이 솔루션은 여러 개의 디지털 마이크 PDM 입력을 지원한다. 온칩 곱셈 및 누산(multiply and accumulate, MAC) 블록이 PDM 데시메이션과 필터링에 사용되며, FPGA의 딥 메모리는 마이크로폰 지연 라인을 지원한다.

또 이 방법은 시스템 설계자에게 혁신을 구현할 수 있는 더 많은 가능성을 열어준다. 설계자는 온칩 MAC과 FPGA 패브릭을 사용해 고도로 유연한 빔 포밍 필터나 잡음 제거 시스템뿐 아니라 오디오 이퀄라이제이션 기능을 제작할 수 있다.

iCE40 울트라플러스 FPGA는 I2S, 사운드와이어(soundwire), 슬림버스(SlimBus) 등과 같은 다양한 산업용 인터페이스 옵션을 통해 음향 프로세서에 인터페이싱할 수 있다. 모든 FPGA 기반 솔루션과 마찬가지로 설계자는 칩의 임베디드 DSP, 로직 및 메모리 리소스를 사용해 고도로 맞춤화된 솔루션을 제작해 빠르게 시장에 진출할 수 있다.


구현을 간소화하는 신호 통합
래티스 iCE40 울트라플러스 FPGA의 임베디드 리소스를 사용하면 모바일 기기에서 PCB 레이아웃을 크게 간소화할 수 있다. 저가 센서의 급속한 확산과 상시 동작 모니터링 및 문맥 인식 컴퓨팅의 등장은 PCB 설계자에게 새로운 과제가 되고 있다.

차세대 모바일 기기에 탑재되는 모든 센서는 AP와 통신해야 하며 게다가 이러한 시스템은 I2C, I3C, SPI에서부터 UART 및 MIPI DPHY CSI-2에 이르는 다양한 종류의 인터페이스를 사용한다. 설계자는 한 개 제품에서 디바이스 센서로부터 AP로 전달되는 신호를 40개까지 관리해야 할 수도 있다.

일반적으로 모바일 기기는 배터리 주위에 2개의 PCB가 있으며 이들 PCB는 통상 제한된 EMI 차폐를 제공하는 연성 케이블로 연결된다. 흔히 이와 같은 연성 케이블은 비용을 최소화하기 위해 2개 레이어로 제한된다. 따라서 엔지니어는 2레이어 케이블에서 최대 40개 신호를 라우팅해야 하는 어려움에 직면하며 링잉(ringing) 및 그밖에 다른 신뢰성 문제가 발생할 가능성이 높다.

이러한 작업을 간소화하는 한 가지 방법은 래티스의 iCE40 울트라플러스 FPGA가 갖는 고유한 특성을 이용해 시스템에서 발생하는 많은 신호를 한데 묶는 것이다. 센서 옆에 iCE40 울트라플러스 FPGA를 장착하면 PCB 설계자는 AP로 전달되는 서로 다른 종류의 여러 신호를 간단히 1개 또는 2개의 핀 인터페이스로 대체할 수 있다.

 

신호 통합과 신속한 레이아웃 조정을 위해 제공되는 유연한 I/O 허브

 

신호 통합(signal aggregation)의 이점은 이뿐만이 아니다. 앞서 언급했듯이 각각의 래티스 iCE40 울트라플러스 FPGA는 상당한 컴퓨팅 리소스를 제공한다. 온칩 LUT와 DSP를 이용해 더욱 로컬화된 DHP를 수행할 수 있다.

예를 들어 음향 빔 포밍 시스템은 명령문에서 주요 구문을 검출하고 검증하기 위해 AP를 깨워야 하지만 신호 통합을 사용하면 iCE40 울트라플러스 FPGA의 로컬 리소스를 이용해 AP를 깨우기 전에 주요 구문을 검출 및 검증할 수 있다. 이러한 방법은 사용자에게 주요 구문에 대한 빠른 응답 시간을 제공할 뿐 아니라 AP를 보다 오래 슬립 모드로 유지할 수 있어 시스템 전력 효율도 높여준다.

신호 통합은 AP 보드를 위한 PCB 레이아웃을 획기적으로 간소화한다. 설계자는 보드에 라우팅하는 신호의 수를 최소화함으로써 복잡한 레이아웃 규칙을 보다 쉽게 만족하고 보드 레이아웃을 빠르게 마칠 수 있다.

무엇보다 iCE40 울트라플러스의 신호 통합은 뛰어난 설계 유연성을 제공한다. 설계자는 iCE40 울트라플러스에서 모든 인터페이스의 위치를 재프로그래밍할 수 있으므로 보드 레이아웃을 간소화할 수 있다. 이 경우 이상적인 보드 레이아웃에 맞춰 FPGA 핀아웃을 지정한다. 그 반대가 아니다.


결론
I/O 인터페이스에서 현재 진행되고 있는 혁신은 모바일 시스템 설계에 새롭고 흥미로운 기능을 약속한다. 저가형 센서가 확산되고 ‘상시 동작(always-on)’ 기능이 광범위하게 채택됨에 따라 설계자는 전에 없이 모바일 기기를 맞춤형으로 구현할 수 있게 됐지만 이러한 새로운 기능을 구현하려면 배터리 수명을 그대로 유지하면서 다양한 프로세싱 블록을 사용하는 모바일 기기를 위한 이종 처리 방법을 채택해야 한다.

래티스 반도체의 iCE40 울트라플러스 FPGA는 설계자가 필요로 하는 DSP 블록과 온칩 메모리를 결합함으로써 OEM이 차세대 모바일 기기의 까다로운 전력 및 컴퓨팅 성능 요구사항을 만족하면서 경쟁력 있는 새로운 기능을 추가할 수 있게 해준다.


<출처 : 래티스 반도체 백서 2016년 12월>
<제공: 래티스세미컨덕터(Lattice Semiconductor)>

이 기사를 공유합니다
저작권자 © 테크월드뉴스 무단전재 및 재배포 금지