EP&C News UPDATED. 2017.10.24 화 17:28

상단여백
HOME 포커스 리포트 뉴스레터
올 프로그래머블 SoC를 이용한 증강현실 솔루션 최적화
이나리 기자 | 승인 2017.10.02 13:11

[EPNC=이나리 기자] 단일 칩으로 프로세싱 성능, 전력효율, 보안 요건 달성

연구에 따르면, 인간은 문자 텍스트와 같은 형태로 표현되는 정보보다 시각적 이미지를 훨씬 빨리 여러 번 처리할 수 있기 때문에 외부세계와 시각적인 상호작용에 보다 유리한 것으로 나타났다.

AR(Augmented Reality)은 VR(Virtual Reality)과 마찬가지로, 주변 환경에 대한 우리의 인식 능력을 향상시킬 수 있다. 이 둘의 가장 큰 차이점은 AR이 텍스트나 다른 시각적 요소와 같은 가상의 객체를 자연계에 추가하거나 보강함으로써 우리가 자연환경 안에서 보다 효율적이고, 안전하게 상호작용할 수 있도록 해준다는 것이다. 반면, VR은 인위적으로 창조된 환경에 몰입되도록 한다. 

AR과 VR의 결합은 흔히 MR(Mixed Reality)이라고 표현된다. 일례로, 우리 중 많은 사람들은 길찾기 내비게이션을 위해 모바일 기기를 사용하거나 포켓몬 고(Pokémon Go)와 같은 AR 게임을 하면서 인식하지는 못했을지라도 이미 일상 생활에서 AR을 사용하고 있다.

AR과 해당 애플리케이션의 가장 좋은 사례 중 하나는 HUD(Head-Up Display)이다. 간단한 AR 애플리케이션 중 하나인 HUD는 계기판을 보지 않고도 차량과 관련된 정보를 제공할 수 있도록 항공기와 자동차 애플리케이션에 사용되고 있다. 트랙티카(Tractica)에 따르면, 웨어러블 기술을 포함한 첨단 기능을 갖춘 AR 애플리케이션(스마트 AR이라고 불림)은 2020년까지 약 23억 달러 규모에 이를 것으로 전망되고 있다.

[그림 1] 가상, 증강, 혼합 현실

우리의 삶을 향상시키는 증강현실

AR은 산업, 군사, 제조, 의료, 상업 부문에 걸쳐 우리의 삶을 향상시킬 수 있는 많은 애플리케이션과 적용사례들이 모색되고 있다. 소셜 커머스 분야의 AR은 신상 정보를 추가하고, 각 개인을 인식할 수 있도록 소셜 미디어 애플리케이션에 사용되고 있다. 

대부분의 AR 애플리케이션은 운용자가 착용하는 스마트 안경(Smart Glasses)을 기반으로 한다. 이 스마트 안경은 매뉴얼을 대체하거나 각 부품의 조립방법을 보여줌으로써 제조환경에서 효율성을 높일 수 있다. 의료 분야의 경우 스마트 안경은 현장의 긴급 구조대의 정보를 이후 응급실(ER)에서 사용할 수 있도록 의료기록과 상처나 부상에 대한 세부정보를 공유할 수 있는 가능성을 제시한다.

한 대형 택배 회사는 현재 배송라벨의 바코드 판독을 위해 스마트 안경에 AR을 사용하고 있다. 이 안경은 물품의 최종 목적지를 판단하기 위해 바코드를 스캔하고, Wi-Fi 인프라를 통해 회사의 서버와 통신할 수 있다. 목적지가 확인되면, 이 안경은 해당 수하물의 선적이 진행될 수 있도록 적재될 위치를 보여줄 수 있다.

최종 애플리케이션을 고려하는 것 외에도, AR 솔루션은 성능, 보안, 전력, 미래-보장과 같은 수많은 요구사항을 포함하고 있다. 이중 일부는 경쟁력이 될 수 있기 때문에 설계자는 최적의 AR 시스템 솔루션을 구현하도록 모든 요구사항을 고려해야 한다.

[그림 2] 산업용 설정에 사용된 스마트 안경의 사례


성공적인 AR 시스템의 조건

복잡한 AR 시스템은 주변 환경을 판단하는 여러 카메라 센서의 데이터를 처리하고, 인터페이스할 수 있어야 한다. 이런 카메라 센서는 적외선 또는 근적외선과 같은 EM(Electromagnetic) 스펙트럼의 다른 요소들을 통해서도 동작할 수 있다.

또한 센서는 GNSS(Global Navigation Satellite System)에서 제공되는 위치 데이터와 함께 MEMS 가속도계나 자이로스코프처럼 이동과 회전을 감지할 수 있는 입력을 제공하는 EM 스펙트럼 외부의 정보를 공급할 수도 있다. 이처럼 여러 각기 다른 유형의 센서를 통해 센서 융합을 수행하는 임베디드 비전 시스템은 일반적으로 이기종 센서 융합 시스템이라고 한다.

또한 AR 시스템은 각 프레임 내부에 포함된 정보를 추출하고 처리하기 위해 프레임 단위로 실시간 분석을 수행할 수 있는 능력과 높은 프레임 속도가 요구된다. 이런 요건을 달성할 수 있는 프로세싱 성능을 갖춘 시스템을 구축하기 위해서는 구성요소의 선택이 결정적 요인이다. 

설계자는 AR 시스템의 프로세싱 코어를 실행하기 위해 올 프로그래머블(All Programmable) 징크-7000(Zynq-7000) SoC 또는 징크 울트라스케일+(UltraScale+) MPSoC를 사용할 수 있다. 이런 SoC는 ARM 프로세서와 고성능 프로그래머블 로직을 결합한 이기종 프로세싱 시스템이다. 차세대 징크-7000 SoC인 징크 울트라스케일+ MPSoC는 ARM Mali-400 GPU를 추가로 제공하며, 이 제품군의 일부는 H.265과 HEVC 고효율 비디오 코딩 표준을 지원하는 하드와이어 형태의 비디오 인코더를 포함한다. 

[그림 3] 증강현실 시스템의 구조


설계자는 이런 복잡한 디바이스를 통해 시스템 아키텍처를 최적의 형태로 분할한다. 또 실시간 분석을 위해 프로세서를 사용함으로써 일반적인 프로세서 작업은 에코시스템으로 이관할 수 있다. 더불어 설계자는 센서 인터페이스와 프로세싱 기능을 위해 프로그래머블 로직을 이용할 수 있다. 이는 다음과 같은 여러 가지 이점을 제공한다:

• 애플리케이션 요건에 따라 N 이미지 프로세싱 파이프라인을 병렬로 구현한다.
• 모든 센서 및 통신 프로토콜, 또는 디스플레이 표준을 정의하고 인터페이스할 수 있는 모든(Any-to-Any) 연결 기능으로 유연성, 향후 업그레이드 경로를 제공한다.

임베디드 비전과 머신러닝 지원

이미지 프로세싱 파이프라인과 센서 융합 알고리즘을 구현하기 위해 개발자는 임베디드 비전, 머신러닝 애플리케이션을 모두 지원하는 reVISION 가속 스택을 활용할 수 있다. 주로 SDSoC(Software-Defined SoC) 툴셋 환경에서 개발되는 reVISION은 설계자가 비전 프로세싱의 크로스-플랫폼 가속을 위한 OpenVX, OpenCV 컴퓨터 비전 라이브러리, Caffe Flow와 같은 산업 표준 프레임워크를 사용해 프로세서 시스템과 프로그래머블 로직을 모두 개발할 수 있게 한다.  reVISION은 많은 수의 OpenCV 기능들(핵심 OpenVx 기능 포함)을 프로그래머블 로직에서 가속화할 수 있다.

또한 reVISION은 Caffe 프로텍스트 파일을 통해 프로그래머블 로직 내에 직접 머신러닝 추론 엔진을 구현할 수 있도록 지원한다. 이처럼 reVISION은 업계 표준 프레임워크를 사용함으로써 하이-레벨 시스템 모델과 완성된 디자인간의 갭을 최소화하고, 개발시간을 단축할 수 있다. 또 프로세싱 시스템과 프로그래머블 로직이 결합된 시스템을 통해 대응성이 뛰어나고, 보다 전력 효율적(와트당 픽셀)인 유연한 솔루션을 제공할 수 있다.

설계자는 AR 시스템 고유의 측면들도 고려해야 한다. 주변 환경을 관찰하는 카메라와 센서와의 인터페이스뿐만 아니라 애플리케이션, 적용 사례에서 요구하는 알고리즘을 실행해야 한다. 또 사용자의 시선을 추적해 바라보는 곳을 판단할 수 있어야 한다. 이는 일반적으로 사용자의 얼굴을 관찰하는 추가 카메라를 사용하거나 AR 시스템이 사용자의 시선을 따라 AR 디스플레이에 전달될 콘텐츠를 결정할 수 있도록 해주는 시선 추적 알고리즘을 구현해 처리되며, 대역폭과 프로세싱 요건을 효율적으로 사용할 수 있도록 해준다. 이런 감지, 추적 기능의 실행은 연산 집약적 작업이 될 수 있으며, reVISION을 사용해 가속화할 수 있다. 

[그림 4] reVISION 스택

휴대용 기기의 최우선 사항인 전력 문제

대부분의 AR 시스템은 휴대형이며, 스마트 안경처럼 웨어러블 형태로 구현되고 있다. 따라서 AR 웨어러블 기기는 전력이 제한된 환경에서 필요한 프로세싱을 구현해야 하는 고유의 과제가 발생한다. 징크-7000 SoC과 징크 울트라스케일+ MPSoC 제품군 디바이스는 모두 최상의 와트당 성능을 제공한다.

이 제품군은 프로세서를 대기모드로 전환하거나 여러 소스 중 하나만 웨이크업해 디바이스의 프로그래머블 로직 절반의 전력을 다운시키는 등의 여러 다양한 옵션을 사용해 동작 중 전력 소모를 추가로 절감할 수 있다. 이런 경우 AR 시스템이 더 이상 사용되지 않는 것을 감지함으로써 배터리 수명을 연장할 수 있다.

AR 시스템이 동작하는 동안 현재 사용되지 않는 프로세서 요소들은 전력소모를 줄이기 위한 클럭-게이팅을 구현할 수 있다. 설계자는 하드 매크로의 효율적인 사용, 신중한 제어 신호에 대한 플래닝, 필요하지 않은 디바이스 영역에 대한 지능형 클럭 게이팅 고려 등과 같은 간단한 디자인 룰에 따라 프로그래머블 로직 요소 내에서 매우 효율적인 전력 솔루션을 구현할 수 있다.

이는 CPU 또는 GPU 기반 접근방식과 비교할 때 전력 효율이 높고, 반응이 빠른 단일 칩 솔루션을 제공한다. 머신러닝, 이미지 프로세싱 요소를 가속화하기 위해 reVISION을 사용하는 단일 칩 징크-7000 SoC 또는 징크 울트라스케일+ MPSoC 솔루션은 동급 GPU 기반 솔루션에 비해 5분의 1의 대기시간과 와트당 6배(머신러닝), 42배(이미지 프로세싱)의 프레임 속도를 달성한다.

민감한 보안 요건 충족
AR 시스템은 특히 이동성이 높고, 잃어버릴 경우가 많기 때문에 환자의 의료기록과 제조 데이터 공유와 같은 AR 애플리케이션은 IA(Information Assurance) TP(Threat Protection) 영역에서 모두 높은 수준의 보안이 요구된다. IA를 위해서는 시스템에서 수신과 전송된 정보와 함께 시스템 내에 저장된 정보도 신뢰할 수 있어야 한다.

설계자는 포괄적인 IA 영역을 위해 암호화를 사용할 수 있는 징크 디바이스의 보안 부트 기능을 활용해야 한다. 또한 AES(Advanced Encryption Standard)나 HMAC(Keyed-Hash Message Authentication Code), RSA 공개키 암호화 알고리즘을 이용해 검증작업을 수행해야 한다. 디바이스가 올바르게 실행되면, 개발자는 한 부분이 안전하고, 다른 것으로부터 액세스할 수 없는 직교 형태를 구현하기 위해서 ARM 트러스트존(Trustzone)과 하이퍼바이저를 사용할 수 있다.

TP와 관련해 설계자는 공급 전압, 전류, 온도를 모니터링하고, AR 시스템을 조작하려는 시도를 탐지하기 위해 시스템 내에 통합된 XADC(Xilinx ADC) 매크로를 사용할 수 있다. 위협적인 이벤트가 발생하면, 징크 디바이스는 보안 데이터를 지우려는 시도를 기록하고, AR 시스템이 지원 인프라에 다시 연결되는 것을 방지하는 등 다양한 보호 옵션을 제공한다.

결론

AR 시스템은 상업, 산업, 군사 분야에 걸쳐 일반화되고 있다. 이런 시스템은 고성능, 시스템-레벨의 보안, 전력 효율성과 같은 상호 배타적인 문제를 야기한다. 설계자는 프로세싱 시스템의 핵심 요소로 징크-7000 SoC 또는 징크 울트라스케일+ MPSoC와 임베디드 비전, 머신러닝 애플리케이션을 지원하는 reVISION가속화 스택를 사용해 이런 문제를 해결할 수 있다.

글: 닉 니Nick Ni) 자일링스 SDSoC, 임베디드 비전 수석 제품 매니저,
아담 테일러(Adam Taylor) 자일링스 임베디드 시스템 컨설턴트

#자일링스#올 프로그래머블#SoC#증강현실

이나리 기자  narilee@epnc.co.kr

<저작권자 © EP&C News, 무단 전재 및 재배포 금지>

이나리 기자의 다른기사 보기
icon인기기사
여백
여백
여백
여백
여백
여백
여백
여백
icon
여백
여백
여백
신제품
여백
여백
여백
여백
여백
Back to Top