디에이징, 정교한 마스커레이드 구현 등 VFX에 활약
[테크월드=이건한 기자] 봉준호 감독의 영화 '기생충'이 비영어권 최초로 아카메미 작품상 시상을 비롯해 4관왕이란 대기록을 달성하며 최신 영화 제작 기술에 대한 대중에 관심이 부쩍 높아지는 분위기다.
영화의 완성도는 보통 시나리오와 연출, 배우의 연기력을 중요하게 따지지만, 최근에는 관객 몰입을 극대화하는 정교한 시각 효과(VFX) 구현도 작품의 완성도를 좌우하는 핵심 요소 중 하나로 꼽히고 있다. 그리고 이를 뒷받침 하는 것이 AI와 최신 그래픽 가속 플랫폼이다.
AI 컴퓨팅 전문기업 엔비디아는 이번 아카데미 시상식에서 시각 효과상 후보로 선정됐던 넷플릭스의 '아이리시맨(The Irishman)'과 마블의 흥행대작 어벤져스:엔드게임을 예로 엔비디아 쿼드로 RTX GPU가 VFX 구현에 활용되는 사례를 소개했다.
아이리시맨과 어벤져스:엔드게임은 인공지능(AI)를 이용해 실제 배우와 디지털 캐릭터 간의 경계를 허문 사례다. 아이리시맨은 디에이징(De-aging) 효과를 통해 배우들의 젊은 시절 모습을 재현했으며, 어벤져스는 최종 보스인 타노스를 생생하게 구현했다.
VFX 스튜디오 인더스트리얼 라이트 앤 매직(Industrial Light & Magic, 이하 ILM)과 디지털 도메인(Digital Domain)은 엔비디아 쿼드로 RTX GPU로 제작 속도를 가속해 AI를 활용한 획기적인 스토리텔링을 선보였다.
AI 타임머신
넷플릭스의 아이리시맨은 제 2차 세계대전에서 2000년대의 양로원의 모습, 그리고 그사이 모든 시간을 그린 영화로, 살인 청부업자 프랭크 시런(Frank Sheeran)의 이야기를 주인공의 인생 속 다양한 장면들을 통해 풀어나간다.
세 명의 주인공인 로버트 드니로(Robert DeNiro), 알 파치노(Al Pacino), 조 페시(Joe Pesci)는 모두 70대다. 아이리시맨 분장팀은 세 배우를 20대나 30대처럼 분장하는 것이 현실적으로 어렵다고 판단했다. 마틴 스콜세지(Martin Scorcese) 감독은 영화를 촬영할 때 연기몰입을 방해하는 모션 캡처용 마커를 비롯한 장치들을 사용하는 것을 꺼려했다.
이런 문제를 해결하기 위해 ILM은 3D 기하학적 데이터와 질감을 촬영을 위한 두 대의 적외선 카메라를 장착한 감독용 카메라를 통해 총 3대의 카메라로 구성된 새로운 장치를 개발해 세트에서 배우들의 연기를 촬영했다.
또한 AI를 이용해 배우가 과거 연기했던 모습을 담은 수천 장의 이미지를 면밀하게 확인하는 ILM 페이스파인더(Facefinder)라는 소프트웨어를 개발했다.
ILM 페이스파인더는 렌더링 되는 장면의 카메라 각도, 프레이밍, 조명, 표현 등과 일치하는 프레임을 찾아, ILM 아티스트들이 촬영된 장면의 모든 프레임과 비교할 수 있는 참고자료로 제공한다. 이 시각 자료는 각 배우를 위해 만든 디지털 대역의 완성도를 높이는 데 사용되고, 이를 통해 영화 속 장면에 어울리도록 배우들의 외모를 조정해 디지털 대역의 모습을 조절할 수 있었다.
정교한 VFX 빌런 제작
역대 최고 수익을 올린 영화, 마블의 어벤져스: 엔드게임에는 시각효과가 적용된 장면이 2500개 이상 포함됐다. 디지털 도메인의 VFX 팀은 머신러닝을 이용해 배우 조시 브롤린(Josh Brolin)의 연기를 영화 속 빌런인 타노스에 입혔다.
배우의 연기와 얼굴의 움직임을 저해상도로 스캔해 타노스의 얼굴을 딴 고해상도 메시에 정확하게 적용하는 마스커레이드(Masquerade)라는 머신러닝 시스템도 개발됐다. 마스커레이드 기술을 통해 VFX 아티스트들은 미묘한 얼굴 움직임을 수작업으로 애니메이션화해 사실적이고 감정을 과장되게 연기하는 디지털 휴먼을 생성하는데 소요되는 매우 긴 시간을 단축했다.
디지털 도메인의 디지털 휴먼 총괄인 데런 핸들러(Darren Handler)는 “이 과정의 핵심은 엔비디아 GPU 기술을 통해 배우의 감정 연기를 사실적인 그래픽으로 즉각적으로 렌더링해 미리 볼 수 있다는 것이다. 디지털 도메인에서는 엔비디아 RTX 기술을 사용해 실시간 레이 트레이싱이 적용된 모든 디지털 휴먼 프로젝트를 추진하고 있다”라고 말했다.
한편 이외에도 이미 오토데스크, 블랙매직 디자인과 같은 기업들이 RTX 가속을 기반으로 라이브 액션신 깊이 교정, 색감 보정, 리라이팅과 리터칭, 리타이밍, 업스케일링, 초고속 모션 예측 등을 포함한 복잡한 시각 효과를 구현하고 있다. 넷플릭스는 영화 제작 외에도 복잡한 데이터 모델링과 최적화 작업 가속에 엔비디아 GPU를 활용하고 있다.
엔비디아는 오는 3월 23일(현지시각)부터 26일까지 미국 캘리포니아주 새너제이에서 열리는 엔비디아 GPU 기술 컨퍼런스(GPU Technology Conference, GTC)에서 루카스필름(Lucasfilm)의 ILMxLAB, 매그노푸스(Magnopus), 디지털 도메인을 비롯한 세계 최고의 스튜디오들이 참여해 강연을 펼칠 예정이다.
그래도 삭제하시겠습니까?