엔비디아, ICCV에서 GAN 기반 새로운 이미지 합성 기술 논문 발표

[테크월드=이건한 기자] 엔비디아가 코엑스에서 열린 국제컴퓨터비전 학회(International Conference on Computer Vision, 이하 ICCV)에서 동물 사진에 나타나는 표정이나 포즈를 다른 동물에 똑같이 구현하는 ‘GANimal’ 애플리케이션 관련 논문을 발표했다.

‘GANimal’은 생성적 적대 신경망(Generative Adversarial Networks, 이하 GAN)이라는 인공지능(AI) 기술을 기반으로 개발되었다. GAN은 2개의 네트워크로 구성된 심층 뉴럴 네트워크 구조로, 한 네트워크가 다른 네트워크와 서로 대립해 경쟁하는 방식으로 학습을 진행하는 기술이다. 예를 들어, GAN 기술로 가짜 이미지를 만든다고 할 때, 한쪽에서는 가짜 이미지를 만들고 다른 쪽에서는 해당 이미지가 가짜임을 검증하는 방식으로 이미지 정확도를 높여나가는 식이다. 

자료=엔비디아

사람들은 자신의 반려동물이 짓는 다양한 표정들을 기억하고 있으므로 이를 쉽게 따라 할 수 있지만, 컴퓨터에서 그 모습을 재연하는 건 어려운 일이다. 하지만 엔비디아는 GANimal 애플리케이션을 통해 개나 고양이의 사진을 업로드하면, 사진 속 동물의 표정과 포즈를 아프리카 사냥개나 이집트 고양이에서 시추, 눈표범, 느림보곰까지 수십 종의 동물에 이식할 수 있다고 말한다.

그렇다면 이런 기술은 어디에 쓰일 수 있을까? 예를 들면 영화를 촬영할 때 묘기를 부리는 개의 모습을 찍고, 그 움직임을 AI로 매핑해 실제 촬영하기 어려운 호랑이 등에 적용하는 방법이 있을 수 있다. 

GANimal에는 ‘푸닛(FUNIT, Few-shot, UNsupervised Image-to-image Translation)’이라고 부르는 알고리즘이 사용됐다. 이는 테스트 진행 시 몇 개의 예제 이미지만 가지고 새로운 이미지를 생성하는 기술이다.

엔비디아 푸닛 기술 개발팀의 수석 컴퓨터 비전 연구원 리우 밍유(Ming-Yu Liu)는 “대부분의 GAN 기반 이미지 변환 네트워크는 오로지 하나의 작업을 처리하도록 한다. 우리는 단일 네트워크가 다양한 변환 작업을 처리할 수 있게 학습시킨다. 각각의 작업에서는 무작위로 선정된 소스 동물을 임의로 선정된 타겟 동물 이미지들을 사용해 그 타겟 동물로 변환시킨다. 네트워크는 다양한 이미지 변환 작업을 처리하면서, 기존의 동물 모습을 일반화해 전에 볼 수 없었던 새로운 동물의 이미지로 변환할 수 있게 된다”고 설명했다.

이미지 변환을 하기 위해서는 여러 장의 타겟 동물 이미지를 네트워크 모델에 학습시켜야 했다. 이제 연구진이 GAN 프로세스에 추가하는 다양한 이미지 변환 작업 등으로 구성된 훈련 기능을 통해 사진 한 장으로 이미지 변환을 할 수 있다. 이는 인간의 상상력을 뉴럴 네트워크에 코딩한다는 리우 수석연구원의 최종목표다. 리우 수석연구원은 “새로운 문제들을 해결해 나가는 것이 기술과 사회를 발전시키는 길이다”라고 소감을 밝혔다.

한편 리우 수석연구원 팀의 GAN 기술은 올해 초 사람들이 그린 낙서를 마치 사진과 같은 사실적인 예술작품으로 변환하는 ‘고갱(GauGAN)’이라는 AI 기술로 주목을 받은 바 있다. 고갱으로 벌써 백만 개 이상의 이미지가 만들어 졌으며, 고갱 데모는 엔비디아 AI 플레이그라운드에서 직접 체험해볼 수 있다.

 

이 기사를 공유합니다
저작권자 © 테크월드뉴스 무단전재 및 재배포 금지
이 기사와 관련된 기사