[인터뷰] 변계풍 이스트소프트 AI사업본부장 “가상인간 볼거리를 넘어 삶의 일부분 인정받을 것”

[테크월드뉴스=장민주 기자] 가상인간이 ICT 업계의 새로운 먹거리로 부상하면서 인공지능(AI), 3D 모델링 등 관련 기술을 보유한 기업의 시장 참여가 활발하다. 가상인간의 정의가 모호한 가운데 각 기업마다 보유한 기술을 내세우고 가상인간 시장의 기준을 만들고 있다.

신한라이프 광고모델로 로지가 등장한 이후, 엔터테인먼트 시장에서는 3D를 기반으로 한 가상인간의 등장이 활발하다. 처음 광고에 등장하면서 실존하는 사람인지 착각하는 경우도 많았으나 최근 노출 빈도가 높아지면서 부자연스럽다는 인식도 생기고 있다.

일각에서는 3D 기반의 가상인간을 만드는데 많은 비용과 시간이 필요해 다양한 산업영역에서 활용이 어렵다는 입장이다. 반면 실제 인물을 모델로 한 AI 기반의 가상인간은 적은 시간과 비용으로 개발이 가능하다. 학습시간에 비례해 실제 인물의 표정과 습관, 미세한 근육의 움직임도 그대로 구현할 수 있다.

AI 기반의 가상인간을 개발한 이스트소프트는 다양한 산업영역에서의 활용과 실용성을 고려하면 향후 가상인간의 방향은 AI를 기반으로 한 가상인간이라고 강조한다. 실시간 브리핑은 물론 AI 고도화에 따른 소통도 가능해질 전망에서다. 최근에는 다수 모델의 얼굴 특징을 합성해 가공의 인물을 만들어냈다.

실존하는 인물의 표정과 습관 등을 딥러닝해 부자연스러움도 최소화했다. 특히 개발에 드는 시간과 비용을 줄이면서 지속성도 담보했다.

지난 1998년 국내 처음 등장한 사이버가수 ‘아담’이 등장한 이후, 솔로 앨범 발매와 광고모델 출현 등으로 화제를 모았으나 기술의 한계와 투자 부담 등으로 프로젝트를 이어가지 못했기 때문이다. 최근 등장한 3D 기반의 가상인간 역시 뮤직비디오, 광고영상 제작에 수억 원의 투자가 필요하다.

이스트소프트는 3D, AI 등 어떤 기술이 중요하다고 답을 내리지는 않았다. 가치와 비용 등 필요에 따른 각각의 영역을 구축할 수 있기 때문이다. 다만 현실감과 소통은 가장 중요한 요소라고 강조하고 있다.

변계풍 이스트소프트 AI 사업본부장을 만나 향후 가상인간의 발전방향과 모습에 대해 얘기를 들어봤다.

다음은 변 본부장과 일문일답이다.

Q. 이스트소프트 가상인간에 대해 설명하면

A. 이스트소프트는 실세계(Real World)를 그대로 담은 영상에서 딥러닝 인공지능으로 사실적이고 자연스러운 가상인간(Photorealistic Virtual Human)을 생성하는 일종의 증강 현실(Augmented Reality) 기술을 구현한다.

이스트소프트의 기술을 사용하면 영상 내에서 위화감 없이 진짜 인간을 만나는 것과 동일한 경험을 제공하며, 실존 인물과 동일한 아이덴티티를 갖는 AI 클론과 실존하지 않는 새로운 아이덴티티를 갖는 AI 페르소나(AI Persona)를 만들어 낼 수 있다.

구체적으로는 실제 촬영한 영상에서 등장한 인물을 가상 인간으로 대체하는 FS 기술과, 텍스트만으로 사실적인 음성과 영상을 모두 만들어 내는 TTV 기술을 구현하고 있다.

Q. 가상인간의 활동 영역은 어디까지

A. 사실 가상인간이 현재 다양한 분야에서 활용되고 있지만 아무래도 미디어 노출이 많은 엔터테인먼트 분야의 가상인간이 많은 주목을 받고 있다.

가상인간은 대부분 3D VFX 기술을 활용하여 생성되거나, AI 기술을 활용하여 생성된다.

기술별로 장단점이 있기 때문에 어떤 기술이 우월하다고 하기 보다는 사용하는 영역별로 적절한 기술을 사용하고 있다고 보는 것이 좋다.

엔터테인먼트 영역에서 주로 등장하는 가상인간은 AI 기술보다 3D VFX 기술을 활용하여 만들어지는데 VFX 기술은 기본적으로 매우 정교한 애니메이션이라고 할 수 있다. 세상에 없는 새로운 얼굴을 생성해내고, 표정을 통제하기에 용이한 점으로 엔터테인먼트 영역에서 많이 쓰인다.

다만, 실제에 근접하게 묘사하기 위해서는 많은 제작비용과 오랜 시간이 필요해 활동영역이 엔터테인먼트에 국한되고 있다. 반면 AI 기술을 활용한 가상인간은 사람의 얼굴과 목소리를 딥러닝 인공지능으로 학습하여, 텍스트를 입력하면 그 사람의 표정과 목소리를 실제 촬영한 것과 같이 정교하게 영상으로 생성할 수 있다.

기술 개발에 상당한 투자가 들어가지만, 일단 개발 후에는 수많은 콘텐츠를 생성해내는데 매우 합리적인 비용과 실시간에 가까운 속도로 빠르게 진행할 수 있습니다. AI 기술을 활용한 가상인간은 고객 응대, 교육, 정보전파 등의 다양한 영역에서 활용할 수 있다.

Q. 3D‧AI기반 가상인간의 명확한 기술차이는

A. 3D 그래픽 엔진으로 렌더링한 캐릭터를 제작하려면 수학적으로 모델링하는 과정을 거친다. 사람의 복잡한 외모와 표정 등을 수학 함수로 단순화하는 과정에서 실존 인물의 사진에서 느낄 수 있는 자연스러운 불규칙성을 모두 반영하기가 어렵고 결국 비용상의 이슈로 공산품처럼 단순화된 외형으로 보이게 된다.

실제와 좀 더 비슷해지기 위해서는 그만큼 더 세밀하고 복잡한 수학 함수를 모델링 해야 하는데 영상의 제작 시간도 길어지고 비용도 기하급수적으로 많아지게 된다. 수학적으로 미리 만들어 두지 않은 표정은 표현하지 못한다.

예를 들어 “안녕하세요”를 말하게 하려면 미리 “안녕하세요”를 말할 때의 입모양과 표정, 움직임 등을 의도에 따라 하나하나 정교하게 수학적으로 설계해야 한다. 이 역시도 영상의 제작 비용을 상승하게 만드는 원인이다.

딥러닝 인공지능으로 만들어 낸 가상인간은 실제 사람의 수많은 사진을 학습해 사람의 얼굴에 대한 통계적인 경향을 바탕으로 “안녕하세요”를 말할 때 어떤 입모앙과 표정을 짓는 장면이 어울리는지 “예측”하고 “생성”한다.

즉 통계적으로 충분한 학습 데이터만 배우고 나면, 그 이 후부터는 어떤 말을 하게 되더라도 매우 합리적인 제작비용과 시간을 들여 실제 사진처럼 자연스러운 영상을 제작할 수 있게 된다.

Q. 가상인간 시장 전망과 이스트소프트만의 차별점은 무엇인가

A. 이스트소프트는 실존인물의 아이덴티티를 갖는 AI 클론(AI Clone) 기술과 세상에 없는 새로운 아이텐티티를 갖는 AI 페르소나 기술을 보유하고 있다. AI 클론 기술을 활용하여 사회 리더, 유명 셀럽들을 도와 그들이 세상에 긍정적 영향을 더 빠르고 심도 깊게 전파할 수 있도록 도울 예정이다. 시간과 공간의 제약은 물론 언어적 장벽을 극복하여 대중들을 만나고 소통할 수 있도록 함으로써 더 나은 세상을 만들기 위한 일들을 하려고 한다.

또 AI 페르소나 기술을 활용해 외모, 성별, 발성 등의 차별을 없애고 사람 본연의 생각으로 세상과 소통할 수 있도록 도울 수 있는 사업도 추진하고 있다.

이스트소프트는 방송사 아나운서를 시작으로, 교육 강사, 행정가, 연예인, CEO, 오피니언 리더, SNS 인플루언서, 쇼핑호스트 등 다양한 직종에 최적화한 가상인간 생성은 물론 이러한 가상인간을 활용한 외국어 교육사업, 뉴스 플랫폼 사업, 셀럽과 팬을 잇는 커뮤니티 구축 사업, 시니어케어 사업, ESG 캠페인 사업 등을 추진하고 있다.

Q. 가상인간의 지속적인 산업영역 구축을 위해서는

A. 엔터테인먼트 영역과 고객응대 영역에서 가상인간이 갑작스럽게 주목을 받으면서 유사한 관련소식이 쏟아지고 있다. 최근 등장한 가상 인간 대부분이 3D 기술로 만들어지면서 지금과 같은 모습이 계속된다면 식상함이 커질 수 있다.

이러한 한계는 이스트소프트와 같이 실제 인간과 구분할 수 없는 AI 기반의 가상 인간이 상용화되기 시작하면 충분히 극복 가능하다고 생각한다.

가상인간을 생성하는 AI, 3D 등의 기반 기술이 발달하고 다양한 IT 기술, 콘텐츠와 융합을 지속해 나간다면, 가상인간은 대중의 삶에 매우 의미있고 실용적으로 다가설 수 있을 것이다. 단순한 볼거리를 넘어 우리 생활에 꼭 필요한 존재가 되면, 결국 식상함이 아닌 우리 삶의 일부분으로 인정받게 될 것이다.