VR과 AR의 창조적 결합, 융합현실(Merged Reality) ②

[테크월드=정환용 기자] ‘IT 기기는 2세대부터’란 말이 있다. 처음 나오는 제품에 대한 불신이 아니라, 한 걸음 더 개선된 다음 세대 제품에 대한 기대 때문이다. 모바일 기기 분야에선 애플이 아이폰 8 전까지 넘버링 타이틀에 숫자와 숫자+S를 번갈아 출시한 바 있다. 기자도 국내에 처음 도입된 아이폰3GS 이후 통신사의 약정기간 때문에 S가 붙은 아이폰 시리즈를 사용해 왔다.

새로운 플랫폼인 VR과 AR도 마찬가지다. AR은 아직 제대로 된 소비자용 제품군이 나오지 않고 있지만, VR은 PC와 모바일 분야에서 첫 세대 제품군 대부분이 사용자 평가를 마치고 2세대에 집중하고 있다. 대표적인 PC VR인 바이브는 지난 1월 전작의 출시 이후 21개월 만에 차세대 제품을 내놓았고, 오큘러스는 다른 노선인 독립 동작 형태의 VR ‘오큘러스 고’(Oculus Go)를 출시했다. 아직 첫 세대 제품 개발에 매진하고 있는 다른 기업들도, 먼저 선보인 제품들을 꾸준히 피드백하며 개선의 여지를 자사 제품에 반영하고 있다.

리얼리티 하드웨어 분야에선 유독 이 현상이 보이지 않는다. 아직 시장이 제대로 정상 노선에 오르는 과정에 있기도 하고, 메인스트림 모델들이 생각보다 큰 반향을 일으키지 못하고 있는 탓도 있다. AR 기기는 일반 소비자층보다는 산업현장에서 도움이 되는 서포터 역할로 1차 발전방향이 시나브로 잡혀가고 있다. 하지만 VR의 경우 산업이나 일반 소비자들이 보통의 화면 대신 VR을 선택해야 하는 이유를 PC와 모바일 양쪽 모두에서 설득하지 못하고 있다. 두 기술의 효과적인 결합이 선결돼야 비로소 기술의 융합으로 또다른 가능성이 발현될텐데, 기기 성능이나 가격, 이용 편의 등 여러 요인들이 VR의 저변 확대에 걸림돌이 되고 있다.

 

Cover Story
호접지몽, ‘만들어진 나비’가 날아들다
part 2. 가상현실과 증강현실, 융합현실로 모일 수 있나?

 

MR, VR과 AR의 융합(Merged)인가 혼합(Mixed)인가
기술의 순서를 나누기에 VR과 AR은 출발점이 약간 다르고, MR은 기기보다는 기술적인 추세로 보는 것이 타당하다. 그리고 가상의 세계를 구현하는 VR과 가상의 물체를 현실에 영입하는 AR의 기술이 합쳐져 MR이 된다고 정의해도 무방하다. 1994년 캐나다 토론토대학의 폴 밀그램(Paul Milgram) 교수가 현실과 가상의 연속성이란 스펙트럼을 발표하며, 이를 Mixed Reality라 표현했다. 이후 인텔의 브라이언 크르자니치(Brian Krzanich) CEO는 현실과 가상의 세계가 결합되는 새로운 세계를 ‘Merged Reality’라고 표현했다.

그러나 융합현실이란 단어 자체는 소비자의 입장에선 아직 의미가 없다. VR과 AR의 융합을 전제로 구현되는 MR은, 현재까지는 그 정의를 제대로 구현하는 VR 기기나 AR 기기가 없다. 또한, 두 기술이 어느 비중으로 혼합돼야 하는지, 혹은 어느 한 쪽의 진화형 개념은 아닌지 등 단어에 대한 구체적인 조건도 제시돼 있지 않다. 혹자는 MR을 뜻하는 말을 ‘혼합현실’(Mixed Reality)로 사용하기도 하고, 그 전제조건을 융합현실과 다르다고 정리하기도 한다.

결국 VR과 AR이 각자의 입지를 확실히 정의하지 못하고 있는 것이 이런 혼동을 유발하고 있다고 볼 수 있다. 조금만 검색해 보면 Mixed Reality와 Merged Reality의 정의나 기술적인 차이가 별로 없다는 걸 알 수 있다. 심지어 좀 더 단순한 단어로 ‘두 가지가 하나로 합쳐진 기술’이란 뜻의 ‘Hybrid Reality’란 말도 종종 사용된다. 이는 VR과 AR의 결합으로 만들어지는 새로운 기술에 대해, 아직은 해당 기술의 2차 진화를 논할 만큼 1차 기술이 진보되지 못했다는 반증이기도 하다.

 

VR이 컴퓨터 산업에 미친 영향
2016년 대만에서 열린 컴퓨터 박람회 ‘컴퓨텍스’(Computex)에서는 대부분의 PC 하드웨어 제조사 부스에서 HTC 바이브와 오큘러스 리프트를 볼 수 있었다. HTC 바이브는 게임 플랫폼 스팀과 연계해 출시 초기부터 경쟁제품보다 훨씬 많은 VR 콘텐츠를 보유하면서, 양대 PC VR 점유율을 확보할 수 있었다. 이후 에이서(Acer, 스타VR), 에이수스(Asus, HC102) 등 다양한 제조사들이 PC VR 기기를 만들고 있으며, 해상도와 프레임 레이트 등의 하드웨어 사양을 높이는 것에 주력하고 있다.

컴퓨터에 연결해야 사용할 수 있는 VR의 요구 성능은 꽤 높은 편이다. 가장 보편적인 2160x1200에 90FPS 이상의 해상도를 구현하려면 적어도 CPU는 4코어 이상, RAM 4GB, VRAM 3GB 이상의 성능이 필요하다. 가격으로는 저장장치나 케이스를 제외해도 약 100만 원 이상이 필요하다. 요구 성능은 개발 환경의 향상과 소프트웨어 최적화에 따라 낮아질 수도 있지만, 4K UHD 해상도 VR이 멀지 않은 미래에 VR 해상도의 표준이 될 것을 예상하면 현재의 요구 가격대는 비슷하게 유지될 가능성이 더 높다.

▲인텔은 지난 2016년 자사의 리얼센스 카메라를 장착하고 PC와 연결하지 않아도 자체 구동할 수 있는 HMD를 만들겠다는 ‘프로젝트 얼로이’(Project Alloy)를 공개한 바 있다. 그러나 개발을 함께 진행할 파트너를 찾지 못해 2017년 9월 프로젝트를 전면 취소했다. 이는 기술적인 발전보다는 IT 기업들이 자사 제품을 개별적으로 연구·개발하고 있기 때문인 것으로 알려졌다.
▲에이수스(Asus)가 만들고 있는 윈도우 기반의 Mixed Reality 기기 ‘HC102’는 2880x1440 해상도에 95도의 시야각을 제공하고, 전면의 카메라 2개를 활용한 트래킹 기능을 제공한다. 이름은 MR이지만 현실의 시점을 볼 때는 외부 카메라를 사용해야 한다는 점에서 AR과는 약간 거리가 있고, 향상된 기능을 제공하는 VR 기기로 보는 것이 타당하다.
▲현재까지 성능 대비 가장 널리 보급된 PC용 VR 기기는 HTC 바이브다. 지난 4월 성능이 향상된 ‘바이브 프로’가 출시됐지만, HMD만으로도 가격대가 높아 보급률은 높지 않을 것으로 보인다. 아쉽게도 국내에서는 PC나 게임 콘솔용 VR 기기를 만드는 업체가 없고, 모바일 VR이나 서비스 콘텐츠를 제작하는 것이 대부분이다. 몇몇 소프트웨어 업체들이 CG 구현이나 360도 영상을 편집할 수 있는 툴을 개발하고 있는데, 이 역시 기본적인 틀은 게임 엔진이나 영상 편집 소프트웨어를 따르고 있다.
▲조텍, MSI 등 PC 하드웨어 제조사들은 PC VR 출시 이후 HMD의 착용 편의성을 위한 PC에 공을 들였다. 처음에는 HDD보다 조금 큰 사이즈의 미니 PC에 고성능 그래픽카드를 장착해 VR용 미니 PC를 만들었고, 이동성의 제한을 없애기 위해 아예 배터리와 PC를 결합한 백팩 형태의 PC를 내놓기도 했다. 완전 충전된 상태의 백팩 PC는 VR 사용에 필요한 2~3개의 케이블을 가방에서 곧장 HMD로 연결할 수 있어 이동에 대한 제약이 적은 것이 장점이다. 하지만 이는 연장 케이블을 이용해 천장 쪽으로 HMD와 PC를 연결하게 되면서 이동성 문제는 해결됐고, 백팩 PC의 가벼워질 수 없는 무게 때문에 시장에서 호평을 받지는 못했다.

PC VR의 보급에 따라 PC 하드웨어도 고성능 제품군이 많이 팔리기 시작했다. 비록 1년여 만에 가상화폐 채굴 열풍으로 고성능 그래픽카드의 품귀현상이 발목을 잡았지만, VR의 편의성에 중점을 두고 손바닥 크기의 미니 PC나 가방처럼 등에 멜 수 있는 백팩 PC 등 다양한 형태의 이동식 컴퓨터로 시선이 옮겨졌다(새로운 규모의 PC 시장 매출이 만들어질 정도의 성과는 없었다).

VR 시장이 가지고 있는 가장 큰 가능성은 소프트웨어, 콘텐츠 제작에서 나온다. 과거 3D 콘텐츠 시장이 기세 좋게 출발했다가 용두사미로 실패한 것은, 3D 콘텐츠를 감상할 하드웨어가 아니라 콘텐츠 자체가 부족해서였다. VR 콘텐츠 시장은 이를 반면교사 삼아 새롭거나 다양한 아이디어를 기반으로 소비자들에게 볼거리와 할거리를 제공해야 한다.

여러 종류의 VR 콘텐츠 중 소비자가 가장 접근하기 쉬운 2가지가 게임과 영상이다. 산업용 콘텐츠를 간과할 순 없으나, AR과 달리 현재의 VR은 B2C 시장을 대상으로 하고 있고 실제로도 가장 많은 VR 콘텐츠 제작사들이 이 2가지를 만들고 있다. 이 중에서 PC나 모바일 등의 플랫폼을 막론하고 소비자들을 더 쉽게 끌어들일 수 있는 것은 영상물이다. 기획 단계부터 완성된 형태의 이미지를 구축해야 하는 게임보다는, 다양하게 얻을 수 있는 시각적인 정보를 영상으로 제작하는 것이 다양성 측면에서 더 낫기 때문이다.

VR 영상물은 TV나 영화관의 스크린처럼 화면이 고정돼 있지 않고, 사용자의 위치에서 사방 360도의 모든 공간을 보여줘야 한다. 단순히 카메라가 사용자의 시선을 따라가면 된다고 생각할 수 있으나, VR 영상 속의 공간은 그대로인 채 사용자가 직접 시선을 돌려보는 형태로 구현돼야 한다. 때문에 VR 영상 제작에 사용하는 카메라는 일반 카메라를 4개에서 8개까지 결합해 360도 영상을 모두 촬영한다.

촬영을 마친 영상은 PC에서 VR용으로 변환해야 한다. 8대의 카메라로 촬영한 영상을 예로 들면, 8개의 화면을 마치 하나의 영상인 것처럼 편집해야 한다. 이 과정에서 각 카메라의 영상 사이에 경계가 보이는데, 스티칭(Stitching) 작업을 통해 이 부분을 최대한 자연스럽게 보이도록 제거해야 한다. 이런 편집에는 5분의 VR 영상을 만들 때 촬영에 하루가 소요됐다면, 편집에는 그 10배 이상의 시간이 소요된다. 스티칭 작업에 필요한 PC의 성능이 충분치 않다면 더 오래 걸리기도 한다.

보통 VR 영상 스티칭에 사용하는 PC의 사양은 PC VR을 구동하는 데 필요한 정도와 비슷하다. 스티칭 소프트웨어는 ‘미스티카 VR’(Mistika VR), ‘오토파노’(Autopanolar), 프리미어 프로(Premier Pro) 등 여러 종류가 있는데, 보통은 사진 스티칭, 동영상 스티칭 등 2개의 프로그램을 병행 사용한다.

현재 유튜브에서 360, VR 관련 영상을 보면, 동영상의 품질보다는 VR 영상을 보여주는 데 중점을 두고 만들어 배경이나 피사체에 눈에 띄는 왜곡을 볼 수 있다. 적어도 FHD 이상의 해상도를 기본 지원하는 VR 기기를 위한 영상이라면, 이런 왜곡이 눈에 잘 띄지 않는 수준까지 올라야 한다.

 

AR, 산업용 애플리케이션까지 갈 길 멀다
AR은 아직 마이크로소프트의 ‘홀로 렌즈’를 제외하면 기기 제조사가 별로 없고, AR 기기보다는 모바일 기기를 활용한 애플리케이션에 관련 산업이 치중돼 있다. 아무래도 AR의 구조적인 특성상, 투명한 디스플레이를 사용하지 않는다면 별도로 가상의 개체를 현실에 혼합시킬 방법이 마땅치 않은 것이 걸림돌이다. 그나마 다양한 산업군에서 AR 기술이 적용된 고글을 업무에 활용할 수 있는 것으로 AR의 가까운 미래를 구상할 수는 있게 됐다.

영화 ‘블랙 팬서’에서 가상의 전투기를 조종할 수 있었던 것은 카메라를 통해서가 아니라 현실의 공간 속에 시뮬레이션 그래픽을 그대로 구현했기 때문이다. 이는 AR 기술을 지원하는 하나의 기기로는 어렵고, 해당 공간의 모든 구역에 그래픽을 구현할 수 있는 센서 기술이 먼저 적용돼야 한다. 빛의 위치에너지를 컨트롤할 수 있는 기술이 나오지 않는 이상, SF 영화처럼 무엇이든 그래픽으로 구현하는 것은 아직 먼 미래의 일이다.

▲많은 VR 영상 제작사들이 크기가 작고 고화질 촬영을 지원하는 고프로(GoPro)를 사용하고, DSLR이나 ENG 카메라 등 고가의 장비를 사용하기도 한다. 리그 중에선 위쪽까지 촬영할 수 있도록 10개 이상의 카메라를 장착할 수 있는 제품도 있고, 수십 개의 카메라를 설치할 수 있는 기종도 다양하게 있다.
▲소비자용으로 출시된 360도 카메라는 2개의 광각 어안렌즈를 양쪽에 배치해 사방 360도와 위쪽까지 커버할 수 있는데, 어안렌즈의 특성상 화면의 중앙을 제외한 나머지 부분에서의 왜곡이 심해 VR 영상 제작용으로는 적절치 않다.
▲소비자 입장에서 체감할 수 있는 AR은 게임을 비롯해 ‘측정’의 요소가 도입된 모바일 앱이 대부분이다. 사진의 거리 측정 앱은 실제 길이와 앱 내 측정한 길이의 오차가 별로 없어 꽤 쓸 만하고, 일부 유료 앱은 일정 공간 내의 모든 직선거리를 측정하고 그 결과값을 저장할 수도 있다.
이 기사를 공유합니다
저작권자 © 테크월드뉴스 무단전재 및 재배포 금지