VR과 AR의 창조적 결합, 융합현실(Merged Reality) ②
[테크월드=정환용 기자] ‘IT 기기는 2세대부터’란 말이 있다. 처음 나오는 제품에 대한 불신이 아니라, 한 걸음 더 개선된 다음 세대 제품에 대한 기대 때문이다. 모바일 기기 분야에선 애플이 아이폰 8 전까지 넘버링 타이틀에 숫자와 숫자+S를 번갈아 출시한 바 있다. 기자도 국내에 처음 도입된 아이폰3GS 이후 통신사의 약정기간 때문에 S가 붙은 아이폰 시리즈를 사용해 왔다.
새로운 플랫폼인 VR과 AR도 마찬가지다. AR은 아직 제대로 된 소비자용 제품군이 나오지 않고 있지만, VR은 PC와 모바일 분야에서 첫 세대 제품군 대부분이 사용자 평가를 마치고 2세대에 집중하고 있다. 대표적인 PC VR인 바이브는 지난 1월 전작의 출시 이후 21개월 만에 차세대 제품을 내놓았고, 오큘러스는 다른 노선인 독립 동작 형태의 VR ‘오큘러스 고’(Oculus Go)를 출시했다. 아직 첫 세대 제품 개발에 매진하고 있는 다른 기업들도, 먼저 선보인 제품들을 꾸준히 피드백하며 개선의 여지를 자사 제품에 반영하고 있다.
리얼리티 하드웨어 분야에선 유독 이 현상이 보이지 않는다. 아직 시장이 제대로 정상 노선에 오르는 과정에 있기도 하고, 메인스트림 모델들이 생각보다 큰 반향을 일으키지 못하고 있는 탓도 있다. AR 기기는 일반 소비자층보다는 산업현장에서 도움이 되는 서포터 역할로 1차 발전방향이 시나브로 잡혀가고 있다. 하지만 VR의 경우 산업이나 일반 소비자들이 보통의 화면 대신 VR을 선택해야 하는 이유를 PC와 모바일 양쪽 모두에서 설득하지 못하고 있다. 두 기술의 효과적인 결합이 선결돼야 비로소 기술의 융합으로 또다른 가능성이 발현될텐데, 기기 성능이나 가격, 이용 편의 등 여러 요인들이 VR의 저변 확대에 걸림돌이 되고 있다.
Cover Story
호접지몽, ‘만들어진 나비’가 날아들다
part 2. 가상현실과 증강현실, 융합현실로 모일 수 있나?
MR, VR과 AR의 융합(Merged)인가 혼합(Mixed)인가
기술의 순서를 나누기에 VR과 AR은 출발점이 약간 다르고, MR은 기기보다는 기술적인 추세로 보는 것이 타당하다. 그리고 가상의 세계를 구현하는 VR과 가상의 물체를 현실에 영입하는 AR의 기술이 합쳐져 MR이 된다고 정의해도 무방하다. 1994년 캐나다 토론토대학의 폴 밀그램(Paul Milgram) 교수가 현실과 가상의 연속성이란 스펙트럼을 발표하며, 이를 Mixed Reality라 표현했다. 이후 인텔의 브라이언 크르자니치(Brian Krzanich) CEO는 현실과 가상의 세계가 결합되는 새로운 세계를 ‘Merged Reality’라고 표현했다.
그러나 융합현실이란 단어 자체는 소비자의 입장에선 아직 의미가 없다. VR과 AR의 융합을 전제로 구현되는 MR은, 현재까지는 그 정의를 제대로 구현하는 VR 기기나 AR 기기가 없다. 또한, 두 기술이 어느 비중으로 혼합돼야 하는지, 혹은 어느 한 쪽의 진화형 개념은 아닌지 등 단어에 대한 구체적인 조건도 제시돼 있지 않다. 혹자는 MR을 뜻하는 말을 ‘혼합현실’(Mixed Reality)로 사용하기도 하고, 그 전제조건을 융합현실과 다르다고 정리하기도 한다.
결국 VR과 AR이 각자의 입지를 확실히 정의하지 못하고 있는 것이 이런 혼동을 유발하고 있다고 볼 수 있다. 조금만 검색해 보면 Mixed Reality와 Merged Reality의 정의나 기술적인 차이가 별로 없다는 걸 알 수 있다. 심지어 좀 더 단순한 단어로 ‘두 가지가 하나로 합쳐진 기술’이란 뜻의 ‘Hybrid Reality’란 말도 종종 사용된다. 이는 VR과 AR의 결합으로 만들어지는 새로운 기술에 대해, 아직은 해당 기술의 2차 진화를 논할 만큼 1차 기술이 진보되지 못했다는 반증이기도 하다.
VR이 컴퓨터 산업에 미친 영향
2016년 대만에서 열린 컴퓨터 박람회 ‘컴퓨텍스’(Computex)에서는 대부분의 PC 하드웨어 제조사 부스에서 HTC 바이브와 오큘러스 리프트를 볼 수 있었다. HTC 바이브는 게임 플랫폼 스팀과 연계해 출시 초기부터 경쟁제품보다 훨씬 많은 VR 콘텐츠를 보유하면서, 양대 PC VR 점유율을 확보할 수 있었다. 이후 에이서(Acer, 스타VR), 에이수스(Asus, HC102) 등 다양한 제조사들이 PC VR 기기를 만들고 있으며, 해상도와 프레임 레이트 등의 하드웨어 사양을 높이는 것에 주력하고 있다.
컴퓨터에 연결해야 사용할 수 있는 VR의 요구 성능은 꽤 높은 편이다. 가장 보편적인 2160x1200에 90FPS 이상의 해상도를 구현하려면 적어도 CPU는 4코어 이상, RAM 4GB, VRAM 3GB 이상의 성능이 필요하다. 가격으로는 저장장치나 케이스를 제외해도 약 100만 원 이상이 필요하다. 요구 성능은 개발 환경의 향상과 소프트웨어 최적화에 따라 낮아질 수도 있지만, 4K UHD 해상도 VR이 멀지 않은 미래에 VR 해상도의 표준이 될 것을 예상하면 현재의 요구 가격대는 비슷하게 유지될 가능성이 더 높다.
PC VR의 보급에 따라 PC 하드웨어도 고성능 제품군이 많이 팔리기 시작했다. 비록 1년여 만에 가상화폐 채굴 열풍으로 고성능 그래픽카드의 품귀현상이 발목을 잡았지만, VR의 편의성에 중점을 두고 손바닥 크기의 미니 PC나 가방처럼 등에 멜 수 있는 백팩 PC 등 다양한 형태의 이동식 컴퓨터로 시선이 옮겨졌다(새로운 규모의 PC 시장 매출이 만들어질 정도의 성과는 없었다).
VR 시장이 가지고 있는 가장 큰 가능성은 소프트웨어, 콘텐츠 제작에서 나온다. 과거 3D 콘텐츠 시장이 기세 좋게 출발했다가 용두사미로 실패한 것은, 3D 콘텐츠를 감상할 하드웨어가 아니라 콘텐츠 자체가 부족해서였다. VR 콘텐츠 시장은 이를 반면교사 삼아 새롭거나 다양한 아이디어를 기반으로 소비자들에게 볼거리와 할거리를 제공해야 한다.
여러 종류의 VR 콘텐츠 중 소비자가 가장 접근하기 쉬운 2가지가 게임과 영상이다. 산업용 콘텐츠를 간과할 순 없으나, AR과 달리 현재의 VR은 B2C 시장을 대상으로 하고 있고 실제로도 가장 많은 VR 콘텐츠 제작사들이 이 2가지를 만들고 있다. 이 중에서 PC나 모바일 등의 플랫폼을 막론하고 소비자들을 더 쉽게 끌어들일 수 있는 것은 영상물이다. 기획 단계부터 완성된 형태의 이미지를 구축해야 하는 게임보다는, 다양하게 얻을 수 있는 시각적인 정보를 영상으로 제작하는 것이 다양성 측면에서 더 낫기 때문이다.
VR 영상물은 TV나 영화관의 스크린처럼 화면이 고정돼 있지 않고, 사용자의 위치에서 사방 360도의 모든 공간을 보여줘야 한다. 단순히 카메라가 사용자의 시선을 따라가면 된다고 생각할 수 있으나, VR 영상 속의 공간은 그대로인 채 사용자가 직접 시선을 돌려보는 형태로 구현돼야 한다. 때문에 VR 영상 제작에 사용하는 카메라는 일반 카메라를 4개에서 8개까지 결합해 360도 영상을 모두 촬영한다.
촬영을 마친 영상은 PC에서 VR용으로 변환해야 한다. 8대의 카메라로 촬영한 영상을 예로 들면, 8개의 화면을 마치 하나의 영상인 것처럼 편집해야 한다. 이 과정에서 각 카메라의 영상 사이에 경계가 보이는데, 스티칭(Stitching) 작업을 통해 이 부분을 최대한 자연스럽게 보이도록 제거해야 한다. 이런 편집에는 5분의 VR 영상을 만들 때 촬영에 하루가 소요됐다면, 편집에는 그 10배 이상의 시간이 소요된다. 스티칭 작업에 필요한 PC의 성능이 충분치 않다면 더 오래 걸리기도 한다.
보통 VR 영상 스티칭에 사용하는 PC의 사양은 PC VR을 구동하는 데 필요한 정도와 비슷하다. 스티칭 소프트웨어는 ‘미스티카 VR’(Mistika VR), ‘오토파노’(Autopanolar), 프리미어 프로(Premier Pro) 등 여러 종류가 있는데, 보통은 사진 스티칭, 동영상 스티칭 등 2개의 프로그램을 병행 사용한다.
현재 유튜브에서 360, VR 관련 영상을 보면, 동영상의 품질보다는 VR 영상을 보여주는 데 중점을 두고 만들어 배경이나 피사체에 눈에 띄는 왜곡을 볼 수 있다. 적어도 FHD 이상의 해상도를 기본 지원하는 VR 기기를 위한 영상이라면, 이런 왜곡이 눈에 잘 띄지 않는 수준까지 올라야 한다.
AR, 산업용 애플리케이션까지 갈 길 멀다
AR은 아직 마이크로소프트의 ‘홀로 렌즈’를 제외하면 기기 제조사가 별로 없고, AR 기기보다는 모바일 기기를 활용한 애플리케이션에 관련 산업이 치중돼 있다. 아무래도 AR의 구조적인 특성상, 투명한 디스플레이를 사용하지 않는다면 별도로 가상의 개체를 현실에 혼합시킬 방법이 마땅치 않은 것이 걸림돌이다. 그나마 다양한 산업군에서 AR 기술이 적용된 고글을 업무에 활용할 수 있는 것으로 AR의 가까운 미래를 구상할 수는 있게 됐다.
영화 ‘블랙 팬서’에서 가상의 전투기를 조종할 수 있었던 것은 카메라를 통해서가 아니라 현실의 공간 속에 시뮬레이션 그래픽을 그대로 구현했기 때문이다. 이는 AR 기술을 지원하는 하나의 기기로는 어렵고, 해당 공간의 모든 구역에 그래픽을 구현할 수 있는 센서 기술이 먼저 적용돼야 한다. 빛의 위치에너지를 컨트롤할 수 있는 기술이 나오지 않는 이상, SF 영화처럼 무엇이든 그래픽으로 구현하는 것은 아직 먼 미래의 일이다.