내추럴 유저 인터페이스(NUI)의
설계 어떻게 할까
글: 숀 머피(Sean Murphy) / HMI 최종 장비 매니저
텍사스 인스트루먼트(Texas Instruments) / www.ti.com
이제는 애플리케이션에 맞는 자연스러운 사용자 인터페이스(natural user interface, NUI)가 목표가 되었다. 물론, 어떤 애플리케이션의 NUI는 다른 애플리케이션에 잘 맞지 않을 수도 있다. 오늘날 가장 효과적인 NUI로 사용되는 터치 스크린은 스마트폰, 태블릿 PC, 그 외 다른 가전제품 등에 기본이긴 하지만, 터치 스크린이 모든 애플리케이션에 맞는 최적의 솔루션일 수는 없다.
사용자 인터페이스는 시각적으로 우수하다는 점 이상으로 최근 큰 기술적 발전을 이룩했다. 얼마 전만 해도, 버튼과 다이얼은 사용자 인터페이스의 중심이었으며, 이를 HMI(Human Machine Interface)라고 불렀다. 최근의 혁신적인 기술발전 덕분에 직관적이고 매력적인 사용자 인터페이스는 시스템의 효율을 개선할 뿐만 아니라 사용자의 생산성까지 끌어올린다는 사실을 보여준다. 그 결과, 이제는 애플리케이션에 맞는 자연스러운 사용자 인터페이스(natural user interface, NUI)가 목표가 되었다. 물론 어떤 애플리케이션의 NUI는 다른 애플리케이션에 잘 맞지 않을 수도 있다. 오늘날 가장 효과적인 NUI로 사용되는 터치 스크린은 스마트폰, 태블릿 PC, 그 외 다른 가전제품 등에 기본이긴 하지만 터치 스크린이 모든 애플리케이션에 맞는 최적의 솔루션일 수는 없다.
NUI를 설계하면서 다음과 같이 무수히 많은 문제들과 해결방법을 위한 타협이 이루어진다.
• 스크린의 그래픽을 2차원(2-D)으로 할까, 3차원(3-D으로 할까?
• 음성 제어가 더 효과 있을까?
• 시스템에 대한 보안 액세스가 NUI의 한 구성요소인가?
• 터치 반응식 햅틱이나 3D 제스처링 같은 새로운 기법은 어떨까?
시스템의 NUI 개발 업무를 맡은 설계팀은 수 많은 고찰을 통해 조직적이고 세심하고 포괄적인 방법을 채택해야 한다.
NUI (Natural User Interface)의 설계 고려사항
NUI 설계의 첫 번째 단계는 사실상 한 걸음 물러서서 보는 것이라 할 수 있다. 설계팀이 먼저 애플리케이션을 분석한 후 대체로 NUI에 의해 지배되는 사용자 체험의 유형을 결정해 사용자의 참여와 열의를 유발한다면, 최종적인 형태의 NUI는 시스템의 시장 성공에 더욱 크게 기여하게 될 것이다. 오늘날 대부분의 시장 부문에서 사용자의 체험은 시스템 그 자체가 제공하는 기능만큼이나 절대적으로 중요하다.
비용 변수와 크기 변수
당연하게도 사용자 체험에서 어떤 시스템이 제공하는 비용은 중요한 역할을 한다. 최신 NUI는 전체적인 시스템 비용을 상승시켜 최신 NUI의 채택을 어렵게 할 수 있다. NUI 설계자가 고려할 타협안은 높은 값에 팔릴 수 있는 차별화된 인터페이스를 개발하는 일이거나 이미 시중의 사용자가 잘 알고 있는 기존의 NUI를 구현하는 일일 때가 많다.
최종 제품의 크기 역시 구현 가능한 NUI의 유형에 지대한 영향을 미친다. DVD 키오스크나 산업 공장 자동화 제어판 같이 움직일 수 없는 대형 시스템은 스마트폰과 GPS 시스템 같은 소형 포터블 시스템이나 냉장고 같은 백색가전의 초소형 제어판 및 자동온도조절장치와는 아주 다른 사용자 인터페이스를 가질 수 있다.
접속과 전력 문제
지금은 대부분의 시스템이 인터넷에 직접 연결되어 있거나 LAN을 통해 인터넷에 연결될 수 있는 세상이다. 유선이든 무선이든 접속의 유형이 시스템의 NUI의 한 요소가 된다.
NFC(near field communications)와 ZigBee? 같은 일부 무선 접속 기술들은 데이터 전송 속도가 매우 느리다. 크고 육중한 NUI는 그것이 저속 무선 접속에 의존하고 있는 경우 불필요하게 시스템의 응답성을 떨어뜨릴 수도 있다. 또한, 무선 접속에 의존하고 있는 대다수의 시스템들은 운송회사의 소포 추적 장치나 자동차 렌탈 체크아웃용 POS (point-of-sale) 장치 같은 특수목적 소형 장치들이다. 이런 장치들의 기능은 한 가지나 소수의 특정 작업에 제한되어 있기 때문에 NUI는 매우 단순하고 직관적이어도 좋다. 그러면 프로세싱 사이클이 적게 들고 배터리 전력이 절약된다. 어떤 애플리케이션들은 그 요구조건에서 구현할 무선 프로토콜이 결정되기도 하는데, 이것은 NUI의 외관과 느낌에 영향을 주게 된다. 예를 들어 지그비 기반의 무선 통신이 특정 의료시스템에 채택되는 경우가 많은데, 이것은 미국 정부의 건강보험이동책임법(Health Insurance Portability and Accountability Act, HIPPA)의 보안 요건을 이것이 충족하고 있기 때문이다.
네트워크에 유선 연결된 시스템은 전원에도 유선 연결되어 있는 경우가 많다. 이러한 시스템의 전력 예산은 소형 휴대용 장치의 전력 예산보다 더 크고 더 느슨할 것이 분명하다.
어떤 유선 시스템은 특정 보조 프로세싱 기능에서 상당히 많은 전력을 필요로 하기도 한다. 예를 들어 ATM 기기는 카드 리더를 운전해야 한다. 또 어떤 유선 시스템은 액세스용 바코드 리더가 필요할 수도 있다. 어떤 유선 시스템은 PoE(Power-over-Ethernet)와 전력선 데이터 통신 같은 기술을 이용해 네트워크 연결과 전력을 결합하기도 한다.
유선 시스템에서 흔히 볼 수 있듯이 전력 예산이 크면 클수록 NUI 설계팀에게는 고려해야 할 점들이 많아진다. 구현할 기술을 선택할 때 단순히 저전력 기술에만 선택을 한정해서는 안되기 때문이다.
프로세싱 문제와 전력 문제
NUI의 상대적 복잡성은 시스템에서 프로세싱 자원을 세분화시킬 것이다. 대다수 NUI들이 애플리케이션 프로세서와는 별도로 자체 프로세서나 컨트롤러에서 실행될 것이다. 어떤 NUI들은 시스템의 프로세서를 공유하는데, 여기에는 복수의 프로세싱 코어가 들어있을 수 있다. 시스템의 프로세싱 아키텍처와 상관 없이 NUI는 특정 프로세싱 요건들을 가지게 될 것이며, 이를 반드시 설명해야 한다.
NUI의 다양한 요소들을 통해 특정 NUI를 지원하는데 필요한 프로세싱 능력이 결정된다.
예를 들어 디스플레이 화면의 크기가 크고 해상도가 높을 수록, NUI의 프로세서에 미치는 프로세싱 부하가 커진다. 시스템 보안 조치들이 NUI에 통합되기도 한다. 어떤 보안 서브시스템들은 매우 정교해서 지문인식, 망막 스캔, 안면인식 같은 텔레매틱스 보안 방식을 위해 대규모 이미지 처리 또는 비디오 처리가 수반되기도 한다.
NUI의 그래픽 콘텐츠 역시 NUI의 프로세싱 요건에 영향을 미치는 또 다른 고려사항이다. 보다 매력적인 사용자 인터페이스를 제공하기 위해 대다수의 NUI들은 2D 디스플레이 그래픽에서 3D 아이콘 및 이미지로 이동하고 있는 중이다. 이것은 프로세서에 추가 부담을 준다. 3D 그래픽의 계산강도가 훨씬 더 심하기 때문이다. 사실, 소프트웨어로 3D 그래픽을 실행시키는 일이 시스템이나 NUI의 프로세싱 자원에 종종 엄청난 프로세싱 부담을 준다는 것을 많은 설계자들이 이미 알고 있다. 가장 효과적인 대안 중 하나는, 하드웨어에 그래픽 가속기가 포함된 프로세서를 채택하여 NUI의 2D나 3D 그래픽 프로세싱 부하가 응답성을 떨어뜨리지 않게 하는 것이다.
어떤 NUI에는 카메라나 기타 시각적 인식 장치가 달려 있다. 시각적 기술은 건물 접근을 막는 감시시스템 같은 보안용 기능을 하기도 하고, NUI와 그 밑의 애플리케이션에 보안을 제공하기도 한다. 동작 인식 같은 비전 프로세싱 기반의 시스템들은 멀티코어 아키텍처의 신속한 계산 능력을 필요로 한다. 이러한 멀티코어 아키텍처 기반의 시스템은 이미지 처리, 픽셀 처리, 특징 인식 및 추적 알고리즘에 충분한 프로세싱 능력을 제공해야 한다.
제조사가 하나의 제품 라인으로 복수의 시스템을 시장에 내놓을 때 전략적 의사결정이 일어난다. 보통 한 시스템 라인을 구성하는 각각의 시스템들은 시장에서 서로 다른 가격대를 담당하고 있다. 그 결과, 각각의 시스템은 목표 시장 부문의 기대에 맞출 수 있는 기능과 가격을 가진 프로세서에 기초하고 있는 경우가 많다. 제품 라인 전체에 채택될 프로세싱 능력 범위를 감안하여 여러 가지 다양한 시스템의 NUI는 그 프로세서의 기능에 맞추어 달라질 가능성이 많다. 동시에, 제조사는 제품 라인을 구성하는 시스템 모두에 소프트웨어와 펌웨어를 재사용함으로써 최대한 개발비를 줄이려 할 것이다.
따라서 제조사는 소프트웨어 호환성과 소프트웨어 이식성(software portability)를 제공하면서 다양한 가격대에서 광범위한 프로세싱 능력을 실현할 수 있는 플랫폼이나 프로세서 세대를 고려해야 한다.
일반적으로 NUI 알고리즘은 대량으로 복잡한 연산 결정과정들을 요구하기 때문에, 제품 파이프라인을 구축할 때 확장성 요소가 많이 필요하다.
운영시스템
시스템의 NUI 개발자는 언제나 나머지 시스템의 설계와 아키텍처, 예컨대 하이레벨 OS나 실시간 OS 같은 운영시스템(OS)의 유형에 영향을 받는다. 보통, 애플리케이션의 요구사항에 맞추어 OS가 결정된다. Windows?, Linux™, Android™ 같은 하이레벨 OS (HLOS)는 복잡한 연산 또는 통신 기술과 사용자 사이에서 직관적이고 사용하기 편리한 추출 레이어를 제공한다. 개발자와 설계자를 위한 대부분의 HLOS에는 포괄적인 툴들이 포함되어 있다.
이들은 NUI 개발자가 멀티미디어 프로세싱 같은 복잡한 기능을 통합시키는데 큰 도움이 될 수 있다. 그러나 그 모든 기능 때문에 HLOS는 규모가 큰 코드 풋프린트를 가지게 되는 경우 많고, 이것은 실시간 응답을 방해할 수 있다.
프로세싱 알고리즘을 처리할 때 수반되는 레이턴시는 시간이 매우 중요한 요소이므로 보다 빠르고 가벼운 프로세싱이 필요하다. 또한 프로세싱에 복수의 코어가 관여할 때, 코어들간의 핸드쉐이크에 시간이 오래 소요되어서는 안 된다.
실시간 OS (RTOS)는 대체로 응답성과 예측성이 중요한 애플리케이션에 구현된다. 대다수 임베디드 애플리케이션은 RTOS를 사용한다. 미리 정해놓은 시간 내에 또는 특정 클록 사이클 횟수 내에 시스템이 응답하게 할 수 있기 때문이다. 이러한 요건을 충족하기 위해 VxWorks, Nucleus, QNX/Rim, Neutrino, Integrity?, SafeRTOS/FreeRTOS, Micrium, RoweBots 같은 RTOS는 대부분 작은 코드 풋프린트를 가지고 있고, HLOS에서와 같은 많은 툴들과 지원 메커니즘들은 가지고 있지 않다. 그 결과, NUI의 설계와 개발이 좀더 수고스러울 수 있다. 특히 멀티미디어 프로세싱 같은 진화된 기능들을 NUI에 통합시켜야 하는 경우 더욱 그렇다.
참작할 NUI 기술들
NUI에서 사용자의 관심을 끌고 생산성을 높일 수 있는 매력적인 인터페이스를 만드는데 채택할 수 있는 사용자 인터페이스 기술들은 무수히 많다. 각각의 기술들은 저마다 자체 타협안들을 가지고 있다. 결국 애플리케이션과 그 용도를 둘러싼 환경이 최적의 NUI 기술을 결정하게 될 것이다.
터치 스크린
터치 스크린은 키보드와 마우스의 대용물로 근 20년 전에 도입된 것이다. 최초의 터치 패널은 전기 저항성이었다. 이것의 특징은 플라스틱 필름으로 이루어진 탄력적인 외부막으로, 이것이 변형될 때 플라스틱 필름이 내부막과 전기 접촉을 하게 된다. 정전용량성은 더 새로운 유형의 터치 스크린으로 오늘날 대다수 스마트폰과 태블릿 PC의 두드러진 특징이다. 바깥 레이어는 대부분 단단한 유리이다. 손가락 터치의 정전용량 효과를 패널이 감지한다. 두 경우 모두 다 터치의 좌표가 터치 스크린 컨트롤러에 의해 처리되고 NUI에 전달된다. 표면 또는 수중음파(SAW)와 적외선 같은 다른 유형의 터치 패널들도 사용 가능하지만, 이들 두 기술은 그리 널리 사용되지는 않는다.
음성제어
음성인식은 매우 안정된 기술이지만, 시끄러운 환경은 이 기술을 채택하기가 어렵다. 또한 보다 정교한 음성 인식 알고리즘, 예컨대 다양한 단어, 언어, 억양 등을 이해할 수 있고 서로 다른 목소리로 훈련시킬 수 있는 알고리즘에는 엄청난 프로세싱 사이클이 필요하다. 정교한 음성제어 컴포넌트를 가진 NUI를 구현하려면, 매우 강력하고 값비싼 프로세서가 필요할 수 있다.
그래픽 고려사항
화면상의 그래픽 구성은 프로세서의 성능과 NUI의 메모리 양과 읽기/쓰기 메모리 대역폭에 영향을 준다. 예를 들어 사용자 인터페이스가 2D(래스터), 2.5D(벡터), 3D 그래픽에 기반하고 있다고 하자. 단계가 상승할 때마다 그래픽의 선명함, 화면 컬러, 물체의 깊이, 화면상의 빛 경사 범위, 그 외 사용자 인식 등이 개선된다. 또한 단계가 상승할 때마다 프로세싱 능력도 더 많이 요구하게 되고, 더 많은 메모리와 더 빠른 대역폭을 요구하게 된다. 더욱 고차원의 그래픽에서 설계자는 NUI를 실행시킬 프로세서에 그래픽용 하드웨어 가속기를 넣을 것인지 세심히 숙고해야 한다. 하드웨어 기반의 그래픽 가속기가 없으면 알파 블렌딩, 로테이션, PIP(picture-in-picture), 기타 그래픽 기능 같은 정교한 그래픽 프로세싱이 프로세서에 심각한 부담을 줄 수 있다. 물론 디스플레이 화면의 크기와 해상도도 사용자 인터페이스에 구현할 그래픽의 유형에 영향을 미친다. 예를 들어, 작은 저해상도의 화면은 3-D 그래픽의 충분한 토대가 되지 못한다.
단거리 무선
NFC, RFID(radio frequency identification), ZigBee? 같은 특정 단거리 무선 통신들이 일부 NUI들, 예컨대 운송물류 회사가 사용하는 휴대용 단말기의 인터페이스 같은 곳에 구현되고 있다. 물론 무선 프로토콜의 제한적인 작동 거리 때문에 몇몇 애플리케이션에 한정하여 구현되고 있지만, 이것은 분명한 장점을 가지고 있다. 이것은 신호가 도달할 수 있는 제한적인 거리 때문에 인근의 다른 무선 통신을 방해하지 않는다. 또한 전력소비가 거의 없어서 휴대용 장치의 배터리 수명이 길어진다.
새로 등장한 NUI 기술들
몇몇 신규 기술들의 개발이 진행 중이며, 앞으로 NUI에 채택될 예정이다. 입체 3D는 NUI 분야에 새로 등장한 기술들 중 가장 최근의 기술이다.
입체3D (S3D)
입체3D (S3D)는 다양한 시장에서 최고급 기술로 빠르게 부상하고 있으며 기존 2D 비디오, 게임, 영화, 이미지에 실사의 차원을 더하는 것이 핫 트렌드임을 증명하고 있다.
3D TV의 등장으로 소비자는 이제 홈 엔터테인먼트에서 대형 스크린의 실사 S3D 효과에 점점 익숙해지고 있다. 현재 S3D 체험은 대형 스크린에서 모바일 장치로 이동하고 있으며, 안경 없는 현실적이고 개인화된 시청 체험이 진행 중에 있다.
전체적으로 S3D 비디오 및 영상 이용 사례를 S3D 콘텐츠 창작과 S3D 시청, 이렇게 두 가지 방식으로 분류할 수 있다. 둘 다 모바일 설계 및 개발에서 자기만의 독특한 문제점을 가지고 있다. OMAP™ 프로세서 같은 차세대 ARM 기반 아키텍처는 설계상의 문제점을 해결해주고, 모바일 세계에서 S3D 체험이 성공적으로 자리잡을 수 있도록 도와준다.
듀얼-카메라 기반의 3D가 보다 자연스러운 3D 동작으로 확장되고 있고, 쇼핑몰의 쌍방향 간판 같은 다수의 애플리케이션으로 확대될 수 있다. 카메라와 기타 센서들을 사용하여 사용자가 시스템 앞에서 터치 없이 수행하는 동작을 인식하여 시스템을 제어할 수도 있다. 쌍방향 간판 애플리케이션의 경우, 쇼핑몰의 쇼핑객들은 3-D 동작을 이용해 쇼핑몰 평면도의 특정 구간을 확대, 축소할 수도 있다.
햅틱스(Haptics)
또 다른 NUI 기술로 햅틱스가 있다. 이것은 촉감을 가리키는 말이다. 구체적으로 말해 햅틱스는 NUI 장치와의 상호작용을 통해 진동 피드백을 구현한다. 태블릿, 핸드셋, 제어 인터페이스, 백색가전 등, 터치를 통해 인간과 상호 작동하는 거의 모든 장치에서 햅틱스를 발견할 수 있다. 햅틱스 피드백의 전형적인 사이클은 터치 이벤트가 발생하여 애플리케이션 프로세서가 이 이벤트에 대해 통보를 받게 되면 시작된다. 이때부터 애플리케이션은 구현할 정확한 피드백을 찾아 정보를 햅틱스 드라이버에 전송한다. 그러면 드라이버는 진동 액츄에이터를 구동하여 사용자가 느낄 수 있는 진동을 발생시킨다.
햅틱스는 현재 충분히 활용되지 못하고 있는 촉감을 자극함으로써 사용자 체험을 증강시킨다.
앵그리 버드 같은 대표적인 게임에서 새가 바리케이드를 친 돼지에게 충격을 가하는 것을 단순히 지켜보는 것이 아니라 그 충격을 느낀다고 상상해보자. 이것이 햅틱스로 달성되는 것이다. 연구자들은 햅틱스가 업무 성과를 개선하고 사용자 만족도를 높이고, 보다 현실적인 사용자 체험을 제공하게 될 것으로 내다보고 있다.
TI 솔루션
현재와 미래의 NUI에 다양한 기능들과 기술들이 관여하게 될 것은 자명하다. 여기에는 스마트 멀티코어 프로세서, 임베디드 마이크로컨트롤러, 마이크로프로세서, 그리고 컨버터, 서플라이, 매니저/수퍼바이저 같은 전력장치, 터치 기반 인터페이스 및 기타 용도의 정밀 아날로그 장치, 인터페이스 컴포넌트, 무선 트랜시버, LED 구동용 표준 리니어 장치와 그 밖의 다양한 기능들이 포함된다. TI는 이 모든 필요성을 충족하는 폭넓은 제품 포트폴리오를 갖춘 몇 안되는 기술 공급자 중 한 곳이다. 또한 TI는 HMI에 특화된 하드웨어 개발 킷, 다양한 소프트웨어 툴, 개발 킷, 미리 이식된 코드를 통해 그 기술을 지원하고 있다. 커뮤니티 역시 설계자에게 큰 혜택이 된다. TI의 E2E™ 커뮤니티에서 동업자 협력을 구할 수 있고, 보완적 제3자 공급자들과 서비스 공급자들을 접할 수 있다. 혁명적인 차세대 NUI를 구축할 설계팀은 이 모두를 마음대로 사용할 수 있다.
자세한 정보는 TI 웹사이트 www.ti.com/touch를 참고한다.
회원가입 후 이용바랍니다.
개의 댓글
댓글 정렬
BEST댓글
BEST 댓글
답글과 추천수를 합산하여 자동으로 노출됩니다.
댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
그래도 삭제하시겠습니까?
댓글수정
댓글 수정은 작성 후 1분내에만 가능합니다.
내 댓글 모음