VR과 AR의 창조적 결합, 융합현실(Merged Reality) ①

[테크월드=정환용 기자] 기원전 300년경 중국 전국시대 당시의 사상가 장자(莊子)는, 꿈에서 자신이 나비가 돼 자유롭게 날아다니는 꿈을 꾼다. 꿈에서 자신이 장자임을 모른 채 날아다니던 나비는, 꿈에서 깨며 장자인 자신의 원래 모습을 보고 혼란 속에서 자문을 던진다. “내가 꿈에서 나비가 된 것인가, 아니면 나비가 꿈에서 내가 된 것인가?” 그는 만물이 변화함에 있어 ‘나’에 대한 일방적인 정의는 의미가 없으며, 나(장자)와 나비 사이의 구분은 물(Thing)의 변화일 뿐이라고 설명했다.

고서 ‘장자’ 중 2번째 장 ‘제물론’에서 나오는 ‘호접지몽’(胡蝶之夢)이란 고사성어다. 여러 방향에서 해석되는 이 글은, 꿈과 현실에서 나를 구분하는 것은 만물의 변화에 따른 자연스런 현상이란 뜻을 가진다. 게임을 비롯해 다양한 방법으로 나를 또다른 나의 주체로 인식하는 것이 점점 자연스러워지는 현재, 날아다니는 나비에 스스로를 투영시키는 것은 이제 꿈이 아니라 0과 1로 만들어진 가상의 세계에서 현실에 더욱 가까워지고 있다.

지난 2016년 PC용 가상현실(Virtual Reality, VR) 기기 2대가 모습을 보였다. HTC의 ‘바이브’(Vive)와 오큘러스(Oculus)의 ‘리프트’(Rift)라는 헤드 마운트 디스플레이(Head Mount Display, HMD)를 착용하고 가상의 세계를 직접 수준으로 체험할 수 있는 도구로 세계의 이목을 집중시켰다. 이후 게임 콘솔인 소니 플레이스테이션(PlayStation)으로 작동하는 PS VR이 등장하며, 본격적인 3대 VR 기기로 일찌감치 자리를 잡았다.

비슷한 시기에 출시된 스마트폰 게임 ‘포켓몬 고’(Pokemon Go)로 말미암아, 스마트폰이 국내에 보급되기 시작한 2010년부터 조금씩 모습을 보였던 증강현실(Augmented Reality, AR)에 대해서도 빠르게 알려지기 시작했다. 포켓몬 고의 수많은 아류작을 비롯해 AR 시스템을 사용한 애플리케이션의 출시가 많아졌고, 기업에서도 이 시스템을 마케팅에 적극 활용하고 있다.

그러나 현재 그 성장곡선은 지난해와 크게 다르지 않은 높이에 머물러 있다. 가장 가까이 있는 VR의 경우 다양한 시장조사기관들이 2017년에는 하드웨어와 소프트웨어 시장 규모가 45억 달러(약 4조 8600억 원)에 이를 것으로 전망했지만, 실제로는 22억 달러(약 2조 3700억 원)로 절반 정도에 그쳤다(자료: Statista). AR의 비중과 전망은 VR보다 더욱 낮다. IDC는 VR과 AR을 아우르는 융합현실(Merged Reality, MR) 중 AR이 차지하는 비중은 2021년 약 20%를 웃돌 것으로 예상하고 있다.

마치 새로운 컴퓨팅 시스템의 대안이 될 것처럼 스포트라이트를 비추던 VR과 AR은, 현재 의 사용자 입장에선 ‘한 번쯤 체험해 보고는 싶은’ 정도로 받아들여지고 있다. 모바일 VR도 마찬가지로, 스마트폰 구입 시 제공하는 경품 정도가 현재 위치라 할 수 있다. 혹자는 아직 새로운 플랫폼이 발전하고 개선되고 있는 개발도상기간이라 하고, 누군가는 현재의 플랫폼을 대체하기에는 많이 미숙하다고 한다. VR과 AR을 경험할 수 있는 콘텐츠가 부족하다는 것은 두 기술의 공통적인 과제다. 향후 대형 디스플레이의 세대교체가 될 플랫폼으로 각광받던 3D 현실화 기술이 왜 계륵이 되고 있는지 알아보자.

 

Cover Story
호접지몽, ‘만들어진 나비’가 날아들다
Part 1. 가상의 세계를 현실에 가져오는 방법

최근 SF 영화에서 VR과 AR 기술을 사용하는 장면들이 빈번하게 등장한다. 거장 스티븐 스필버그 감독의 ‘레디 플레이어 원’의 도입부에서, 주인공이 가상의 세계 오아시스(Oasis)에 접속하기 위해 HMD와 컨트롤러를 착용하고 미래형 트레드밀(Treadmill)에 올라타는 장면이 나온다. 영화 속에서 구현돼 있는 오아시스는 아니더라도, 가상의 세계에서 사용자와 캐릭터를 일치시켜 걷거나 뛰어서 이동하는 방식은 현재에도 구현돼 있는 기술이다. 다만 영화 중반에 등장하는 전신 VR 수트처럼 가상의 세계에서 전해지는 촉감이나 충격까지 전해지는 것은 아직 실현되지 않았다.

첩보영화 ‘미션 임파서블’ 시리즈를 보면 전통적으로 새로운 IT 기술이 다양하게 등장하는데, 첫 영화의 데이터 보관 장치로 1.44MB 용량의 FDD를 사용하고, 4번째 ‘고스트 프로토콜’에서는 접촉식으로 내부 데이터를 확인할 수 있는 메모리 스틱을 사용한다. 이 작품에서 극비문서를 유출하기 위해 촬영 기능이 내장된 스마트 콘택트렌즈를 사용하는데, 이 렌즈는 클라우드 서버와 연동해 중요한 연산은 중앙컴퓨터가 담당한다. 이 렌즈는 실시간 안면인식 시스템을 이용해 범인을 찾는 기능으로도 빛을 발했다.

미래의 VR, AR 기술이 어떤 방향으로 나아가야 하는지, SF 영화에서 현실적인 비전을 제시하고 있다고도 볼 수 있다. ‘아이언 맨’ 시리즈의 자비스(인공지능)가 그랬고, ‘아이, 로봇’의 써니(로봇)가 그랬다. 공학도와 디자이너의 농담처럼 기술적인 부분을 어떻게 구현할 것인지는 끊임없이 고민해야 하지만, VR과 AR 기술을 어떻게 이용할지, 현실 세계와 가상의 세계를 어떻게 융합할지 먼저 고민하는 것도 나쁘지 않은 순서다.

 

VR과 AR의 차이는 ‘위치’
2D나 3D 그래픽로 만들어진 가상의 물체는, 지금까지는 TV나 모니터로 보는 것이 당연했다. ‘스타워즈’의 광선검이나 ‘스타트렉’의 텔레포트처럼 실증할 수 없을 것 같은 기술보다는 ‘아이언 맨’의 능동형 홀로그램이 좀 더 현실성이 있어 보인다. 현재 실물로 구현된 VR과 AR에서 공통으로 요구되는 HMD 역시 디스플레이의 진화가 아니라 화면에 그래픽 구현 기술을 결합시킨 것으로, 새롭게 설계된 차세대 디스플레이라 칭하는 것은 무리다. 우리가 ‘화면’이라 부르는 모든 형태의 디스플레이가 다음 세대로 진화하기 위해선, 기업들이 연구하고 있는 플렉시블 디스플레이와 투명 디스플레이가 자동차 전면유리에 적용되는 것을 기다려야 할 듯하다.

가상의 사물을 똑같은 구현할 수 있다고 가정하면, VR과 AR의 차이는 주체의 위치(Position)다. 이는 그래픽 기술의 발전에 따라 그 정의가 바뀌거나 통합될 수 있다. 현재로서는 3D 그래픽으로 구현된 가상의 세계에서 사용자가 그 일부가 되는 것이 VR이고, 현재의 공간에 가상의 사물이 결합돼 사용자가 이를 함께 볼 수 있는 것이 AR이다. 두 기술은 현실과 가상의 혼합이라는 점에서 융합현실로 통칭되기도 하지만, 두 기술의 구현에 있어 중점이 되는 핵심기술이 달라 VR과 AR을 명확히 구분하는 것이 이해가 쉽다.

 

가상현실 = 가상의 세계에 현실의 나(I)를 대입
VR 기술을 이용하는 사람은 가상의 물체가 조합돼 만들어진 세계에 내가 그 일부분이 되는 것이다. PC VR을 처음 접한다면, 처음에는 높은 건물에 연결된 외나무다리를 건너는 체험(Richie's Plank VR Experience)이나 도심 속에서 엄청난 높이의 스윙 놀이기구를 타는 체험(Ultimate Booster Experience)을 하게 된다. 이는 콘텐츠의 이름처럼 VR이 어떤 것인지를 체험해 보는 정도로 보면 되는데, 사람은 오감 중 시각을 통해 70% 이상의 정보를 받아들이기 때문에 가상의 공간이라는 점을 인지하고 있더라도 HMD로 보이는 그래픽 이미지에 자신을 대입시키게 된다.

향후의 게임은 캡콤의 ‘바이오 하자드 7’(BioHazard 7)처럼 일반 버전과 VR 버전으로 함께 발매될 가능성이 크다. 향후 VR 기기의 보급이 본격화되면 더 많은 사람들이 VR 기기를 이용할 것이고, 이에 따라 새로운 방식으로 작품을 즐기고자 하는 사용자들도 더 많아질 것이다. 개발사로서는 VR이란 새로운 플랫폼을 활용하지 못할 이유가 없고, 같은 작품의 매출을 다양한 플랫폼에서 올릴 수 있는 가능성을 무시할 수 없게 될 것이다.

PC나 게임 콘솔용 버전을 만드는 것은 지금까지의 개발 환경과 크게 다르지 않다. 그러나 VR 버전은 사정이 다르다. 먼저 키보드와 마우스, 게임 패드와 VR 컨트롤러는 속성이 다르다. 현재 보급된 HTC 바이브, 오큘러스 리프트, PS VR 모두 일정 형태로 고정돼 있고, HMD와 기기 센서가 컨트롤러의 위치를 잡아 가상 세계 속에 적용한다. 때문에 세 기기 모두 사용자의 이동 범위가 무척 제한적이고, 이런 한계 때문에 게임이나 VR 콘텐츠 개발에도 명확한 한계가 있다.

가상의 FPS 게임 ‘One & Shot’(가제, 이하 O&S)를 만들고 있는 게임 개발사를 예로 들어보자. 1:1 멀티플레이가 주력 콘텐츠인 O&S의 특징은 ‘저격’이다. 수백 미터의 거리를 두고 폐가나 종탑 등에 숨어든 주인공은, 소속 부대의 진격을 위해 적군의 베이스캠프 주변에 매복한 저격수를 처치해야 한다. 소총 형태의 컨트롤러를 사용하는 O&S는 HMD와 센서의 기능을 극대화시켜, 사용자의 호흡에 따른 움직임도 게임에 영향을 준다. 움직임이 거의 없어 동적인 재미는 떨어지지만, 상대방의 위치를 찾아 동향을 파악하고 견제하며 내 총의 정확도를 수시로 조절하는 등 긴장감을 불러일으킨다.

이를 구현하기 위해서는 하드웨어와 소프트웨어의 효과적인 결합이 필요하다. 개발사가 아무리 세세하고 창의적인 게임 내 콘텐츠를 만든다 해도, 하드웨어가 이를 따라가지 못하면 소용없다. 소총의 영점을 조절하거나 저격용 스코프의 배율을 조정하는 행위는 게임의 디테일을 살릴 수 있지만, 이를 하드웨어로 구현하는 것은 전용 컨트롤러를 필요로 해 효율이 떨어진다. 이는 컨트롤러가 꾸준히 개선되고 있는 점을 감안해 하드웨어 제조사와 협력할 수도 있고, 해당 VR 기기의 컨트롤러의 기능을 활용하는 것도 감안할 수 있다. 이를테면 O&S를 바이브로 플레이할 때, 스코프의 배율 조정이나 크리크 조절은 컨트롤러의 터치패드나 조이스틱으로 수행하는 식이다.

▲HMD와 센서, 컨트롤러가 한 세트인 VR 기기는 게임에 따른 전용 컨트롤러를 만들기가 어렵다. 제작 단가 대비 수요를 예측하기 어렵고, 장르 공통으로 사용할 수 있는 범용으로 제작하는 것 역시 게임 제작사에 따라 적용 범위가 제한적일 수밖에 없다. 이를 극복하기 위해선 VR 기기의 컨트롤러가 가능한 다양한 장르를 소화할 수 있는 형태를 따라야 하는데, 이는 VR 기기 개발사가 고민해야 할 큰 문제 중 하나다.

고성능 VR 기기의 등장, HTC 바이브
HTC 바이브는 오큘러스 리프트와 함께 가장 먼저 상용화된 PC VR 기기다. 제품의 공개부터 첫 출시까지 상당한 관심을 집중시켰고, 출시 당시에 대만 컴퓨텍스를 비롯한 IT 전시회에서 수많은 참가 업체들이 바이브를 활용하는 체험 서비스를 제공했다. 비록 출시 이후 지금까지도 VR 기기를 PC 게임처럼 꾸준히 사용할 만한 콘텐츠는 부족하지만, PC 모니터와 모바일 기기를 넘어 새로운 멀티미디어 플랫폼으로서의 입지는 확실히 다졌다고 볼 수 있다.

위 사진은 2세대 PC VR 기기 ‘바이브 프로’(Vive Pro)로, 2880x1600의 해상도를 제공하고 오디오 기술이 향상됐다. 기존 HTC 바이브를 가지고 있다면 컨트롤러와 베이스 스테이션이 호환돼 HMD만 구입하면 되는데, 정가 799달러로 가격은 상당히 비싼 편이다.

 

증강현실 = 현실의 세계에 가상의 물체(Thing)를 대입
VR이 HMD를 이용해 가상의 세계에 내가 동기화되는 방식이라면, AR은 거꾸로 현실의 세계에 가상의 물체를 대입하는 기술로 볼 수 있다. VR 기술과 마찬가지로 가상의 물체를 시각으로 확인할 수 있는 별도의 화면이 필요한데, VR의 디스플레이는 모니터처럼 가상 세계를 보여주고, AR 디스플레이는 현실의 공간에 얹어진 가상의 물체를 투명한 화면에 보여준다. VR와 견주어 기술적 난이도를 구분하는 것보다는, 기술의 구현을 위해 필요한 요소가 조금 다른 것으로 생각하면 된다.

AR 기술 구현의 핵심은 현실의 개체와 가상의 개체가 얼마나 자연스럽게 혼합되느냐에 있 다. 사용자의 시각에서는 눈앞에 실제로 놓여 있는 테이블, 그리고 테이블 위에 가상의 노트북이 함께 보이게 된다. 이 노트북 개체는 사용자가 시선을 돌려도 그 위치에 계속 있다면 그저 3D 그래픽의 하나일 뿐인데, 시선을 옮겨도 노트북이 테이블 위에 그대로 있다면 AR 기술이 구현된 것으로 보면 된다. 카메라가 실시간으로 사용자의 시선을 쫓고, 가상의 개체를 그 위치에 계속 유지시켜야 한다. 

이런 요소 때문에 AR은 혼합현실(Mixed Reality)이라 부르기도 한다. 그러나 혼합현실의 약자 MR이 추후 언급되는 융합현실(Merged Reality)의 약자와 겹치는데, 혼합현실과 융합현실은 저마다 구분하는 정의나 요구되는 기술이 조금씩 달라 사용에 주의가 필요하다. 여기서는 MR을 융합현실의 약자로 사용하고, 혼합현실의 MR은 사용하지 않는다.

AR 기술의 관건은 VR보다 조금 다른데, 사용자의 위치에서 해당 공간과 그 안의 사물의 위치와 거리를 정확히 측정하는 것부터 시작된다. 이 기술이 생각보다 진입 장벽이 높다. 후술할 ‘포켓몬 고’에서 AR 모드를 켜고 몬스터를 보면, 개체가 책상 위에 올라와 있기는 하지만 현실과의 차이가 명확하고 위치 역시 정확하게 안착돼 있지 않다. 이는 모바일 기기의 카메라 기술의 한계이기도 한데, 현재의 AR 기술은 호기심에 한 번쯤 해보는 정도에 있기 때문이기도 하다. 향후 AR 기술이 스마트폰의 필수 앱처럼 일상생활에서 편리하게 사용할 수 있는 기술이 되면, 모바일 기기의 카메라도 AR 적용을 위한 거리 측정, 속도 측정 등의 차세대 기술이 본격적으로 적용될 수 있다.

▲본격 AR 시대의 개막을 알리는 듯했던 구글의 AR 기기 ‘구글 글래스’는 현재 B2C 시장 진입은 포기하고 엔터프라이즈용 제품만 제한적으로 공급하고 있다. 구글 글래스는 오른쪽의 작은 프리즘을 통해 다양한 정보를 보여주는 형태로, 같은 위치의 카메라로 사진이나 영상을 촬영해 클라우드 서버로 전송할 수 있다. 나중에는 이것이 사생활 침해 문제로 번져 보급되지 못한 원인 중 하나가 됐다. 일상생활에서 쓸 수 있는 AR 기기는 이런 문제 때문에 첨단 기술의 양날의 검으로 잦은 논란의 대상이 되기도 한다.

AR 기술의 본격 보급, 포켓몬 고
닌텐도의 캐릭터 IP 포켓몬스터와 AR 기술이 만나 발휘한 시너지는 전 세계를 뒤흔들었다. ‘포켓몬 고’의 위상은 위력적이었고, 첫 출시 이후 3~4일 만에 서버가 포화상태에 다다르고, 국가별로 출시 이후 30개국 이상의 앱스토어 매출 1위를 독식하기도 했다. 국내에서는 나이안틱의 국가별 경계 구분의 영향으로 출시 전에 강원도 속초 일대에서 포켓몬이 잡힌다는 소식이 퍼지자, 서울-속초 고속버스가 매진되기고 하고 한밤중에 수백 명의 시민들이 한 장소에서 스마트폰만 바라보며 걸어다니는 진풍경이 펼쳐지기도 했다.

AR이 적용된 모바일 콘텐츠는 국내에 스마트폰이 보급된 2010년에도 있었다. 기자 역시 사용자 주변의 카페 위치와 거리를 스마트폰 화면으로 알려주는 정보 앱을 사용해 봤고, 통신사에서 주최하는 AR 기술을 사용한 이벤트도 많았다. 다만 이는 정보제공이나 단발성 참여 이벤트 형식으로 지속성이 없었고, 카메라로 주변을 실시간으로 보며 진행해야 하는 당위성도 부족했다. 결국 세계에서 가장 유명한 캐릭터 IP를 활용한 게임의 형태로 등장한 뒤에야 비로소 AR에 대한 인식이 제대로 전파되기 시작했다.

 

▲나이안틱(Niantic)이 닌텐도의 IP 포켓몬스터를 활용해 제작한 AR 게임 ‘포켓몬 고’(Pokemon Go)는 국내에 2017년 1월 정식 출시됐다. 단순한 통계로는 2016년 7월 6월 호주와 뉴질랜드에서 처음 출시된 이후 10일 만에 페이스북의 이용 시간을 추월했으며, 출시 1년 동안 12억 달러가 넘는 매출을 올렸다.
이 기사를 공유합니다
저작권자 © 테크월드뉴스 무단전재 및 재배포 금지