[Case Study] ‘언리얼 엔진’ 활용, 클릭 몇 번에 뮤직비디오 ‘뚝딱’

[테크월드=에픽게임즈 코리아] 게임업계가 인공지능(AI)를 활용한 제품과 서비스를 제공하며 사업영역을 빠르게 확장하고 있다. 엔터테인먼트와 협력을 통해 차세대 리얼타임 3D 콘텐츠를 통한 새로운 경험도 제공하고 있다.

리얼타임 3D 콘텐츠에 대한 관심이 높아지며 에픽게임즈의 게임엔진 ‘언리얼엔진’에 대한 인식도 변화하고 있다. 기존에는 PC, 콘솔, 모바일, VR 등의 플렛폼에서 높은 수준의 게임을 제작하기 위한 도구였다면 최근에는 건축, 방송, 자동차, 영화, 애니메이션 등 다양한 산업 분야에서 고품질의 실시간 그래픽 구현을 위해 사용된다.

최근 아티스트 그룹 세이건즈(Sagans)는 에픽게임즈의 언리얼 엔진 5를 통해 AI 뮤직비디오를 제작했다. 새로운 도시에서 자신이 있을 곳을 찾아가는 한 여성을 포스트 모던적으로 묘사했으며 화사한 벚꽃 나무부터 뉴욕 지하철까지, 스케치 같은 드로잉을 음악과 함께 표현했다.

세이건즈의 아티스트들은 언리얼엔진을 통한 작업이 AI에 대한 고정 관념을 넘어 새로운 창작의 가능성을 열어줄 핵심이 되고 있다고 평했다.

언리얼엔진 5는 플레이어를 비롯해 모두가 탐험할 수 있는 광대한 월드를 만드는데 필요한 툴과 에셋을 제공하며 반복 작업을 대폭 줄일 수 있다.

뮤지션, 그래픽 디자이너, 연구원으로 이뤄진 세이건즈 그룹은 노래가 완성되기 전 뮤직 비디오 작업을 시작할 수 있었다. 언리얼 엔진 덕분에 시간도 벌고 인공 지능과 리얼타임 그래픽 같은 기술을 통해 비전을 실현할 방법도 모색할 수 있었다.

아우렐리앙(Aurelien) 세이건즈의 3D 스페셜리스트은 “가장 먼저 사용한 기술은 언리얼 엔진 5로 퀵셀 에셋 라이브러리로 세계관을 만들기 시작했다”며 “메타휴먼 크리에이터로 사실적인 캐릭터를 만들었다”고 말했다.

팀은 가츠히로 오토모(Katsuhiro Otomo)의 SF 애니메이션의 명작 ‘아키라(Akira)’ 스타일을 뮤직 비디오의 미학 기반으로 삼았다. 다음 단계는 뮤직비디오의 주인공를 만드는 것이었다.

시청자가 친숙하게 느낄 수 있는 사람을 만들기 위해 메타휴먼 데이터베이스의 세 얼굴의 요소를 블렌딩해 만족스러운 결과물을 얻었다.

메타휴먼은 사실적인 캐릭터를 제작할 수 있는 기능을 제공하는 프레임워크로 자신만의 메타휴먼을 위한 다양한 프리셋을 조합하고 블렌드할 수 있다. 간편하게 에셋을 드래그해 스컬프팅 툴과 컨트롤 가이드로 캐릭터의 완성도를 높일 수 있다.

다양한 얼굴 특징과 피부 유형은 물론 헤어, 눈, 메이크업, 치아 등 수많은 옵션으로 프로젝트에 필요한 다양한 얼굴을 제작할 수 있다.

캐릭터에 맞는 신체 유형을 선택하고 툴에 있는 수많은 세트에서 의상을 고르고 나면 나만의 완벽한 메타휴먼을 탄생시킨다.

아우렐리앙은 “언리얼 엔진으로 작업하기 전까지는 3D 세계를 잘 몰랐고 캐릭터 제작이 아주 어려운 일처럼 보였다”며 “메타휴먼 크리에이터 덕분에 일이 쉬워졌다”고 후일담을 전했다.

다음으로는 iOS의 라이브 링크 페이스(Live Link Face) 앱으로 캐릭터의 얼굴 표정을 애니메이팅했다. 동시에 세이건즈 아티스트들은 퀵셀로 비디오의 영국의 길거리부터 일본, 뉴욕 지하철까지 언리얼 엔진 환경을 만들기 시작했다.

마지막 단계는 씬의 필요에 따라 세 가지 AI 알고리즘을 적용한 오토모 스타일의 결과물로 만드는 것이었다. 첫 번째 알고리즘으로 세이건즈 아티스트들은 텍스트로 씬의 스타일을 설명한 다음 비디오로 볼 수 있었다. 두 번째 알고리즘에서 레퍼런스 이미지를 애니메이션 비디오로 만들고 마지막 알고리즘이 라이브 액션 영화를 스타일라이즈드 애니메이션 결과물로 만들었다.

아우렐리앙은 “텍스트 투 비디오(문장을 분석하고 자동으로 영상화해주는 기술) 알고리즘을 샷 대부분에 사용했다”며 “Disco Diffusion 5로 각각의 프레임을 만들고 나면, 알고리즘을 통해 비디오로 바꿨다”고 말했다.

이어 “하늘을 따로 언급하지 않으면, 머신은 도시 위에 하늘이 있어야 한다는 사실을 잊어버린다”며 “첫 프레임을 잘 만들고 나면, 원하는 카메라 움직임에 따라 다음 프레임을 만들기 위한 설명이 충분한지 확인하고, 20번째 프레임에서 마지막으로 렌더를 확인했다”고 설명을 더했다.

독특한 리얼타임 3D와 AI 워크플로 덕분에, 세이건즈가 코히어런스의 첫 번째 샷부터 최종 렌더까지 만드는 데 걸린 시간은 8주에 불과하다.

클릭 몇 번이면 디테일한 캐릭터와 도시 환경을 만들고, 모션캡처 수트 없이도 주인공을 애니메이팅을 했다.

향후 세이건즈는 뮤직 비디오 프로젝트에 언리얼 엔진과 AI를 사용할 예정이다.

아우렐리앙은 “첫 콘텐츠 출시는 항상 떨리는 일이지만, 코히어런스를 본 시청자들의 반응은 대단했다”며 “AI가 우리 일자리를 빼앗는 것이 아닌 도움을 주고 영감을 불러일으킨다는 점을 사람들이 이해하기를 바랐고, 이 비디오는 그 첫 단계”라고 전했다.