“사진 한 장으로 모든 각도의 사진 생성해”…2D를 3D로 변환하는 AI 모델

• 기자명 박찬 위원 
•  입력 2022.07.21 16:20

기하학적 구조와 함께 얼굴 및 물체의 3D 이미지를 생성
비디오 게임 및 영화용 CGI 작업이나 아바타 제작에 활용
2D GAN기능을 결합해 이미지를 3D 장면으로 실시간 변환

AI모델 EG3D는 모든 이미지를 놀라울 정도로 정밀하게 3D로 변환한다.(사진=스텐포드 대학)

사진 한 장만 있으면 다른 여러 각도의 이미지와 3차원 이미지도 만들어 내는 인공지능(AI) 기술이 나왔다.

스탠포드(Stanford) 연구원들이 기본 기하학적 구조와 함께 얼굴 및 물체의 3D 이미지를 생성할 수 있는 AI 모델인 EG3D를 개발했다. 이 모델은 노트북에서 거의 사실적인 3차원 장면을 즉시 생성하고 편집하는 데 사용하거나, 아티스트가 비디오 게임 및 영화용 CGI 작업 또는 초현실적인 아바타 창조 작업에 사용할 수 있다.

AI는 한동안 사실적인 2D 이미지를 생성할 수 있었지만 3D 장면은 대규모의 컴퓨터 성능이 필요하기 때문에 더 어려웠다.

과학기술 매체인 뉴사이언티스트(NewScientist)에 따르면 AI 모델 EG3D는 물체 및 얼굴의 임의의 이미지를 정확하게 생성하는 데 사용할 수 있다. 이 AI는 실사에 가까운 렌더링 품질을 제공하는 최초의 AI 중 하나다.

EG3D는 GAN(Generative Adversarial Network) 으로 알려진, 특히 인기 있는 기계 학습 방법을 사용한다. 하나의 신경망을 사용해 이미지를 만들고 다른 신경망을 사용해 정확도를 평가하는 이 시스템은 두 개의 신경망을 서로 맞붙게 해 현실적인 이미지가 생성될 때까지 이 과정을 반복한다. 

GAN은 이미 2D 이미지 재생에 효과적인 것으로 입증되었다. 연구원들은 이미 존재하는 고해상도 2D GAN의 기능을 결합해 이러한 이미지를 3D 공간으로 변환할 수 있는 구성 요소를 만들었다. EG3D는 2D에서 GAN 이미지를 복구하고 3차원으로 이동한다. 이 모델은 많은 리소스 없이 노트북에서도 실시간으로 작동할 만큼 충분히 빠르고 복잡한 3D 설계를 만드는 데 사용할 수 있다. EG3D는 사람들의 얼굴을 여러 각도에서 매우 사실적인 이미지로 생성할 수 있었다. 

EG3D의 3D GAN 프레임워크: 포즈 조절 StyleGAN2 기반 기능 생성기 및 매핑 네트워크, 경량 기능 디코더가 있는 3면 3D 표현, 신경 볼륨 렌더러, 초해상도 모듈, 포즈 조절 StyleGAN2 판별기 등으로 구성된다. 이 아키텍처는 기능 생성과 신경 렌더링을 분리해 3D 장면 일반화를 위해 StyleGAN2 생성기를 사용할 수 있도록 한다.(사진=스탠포드 대학)

그러나 EG3D와 같은 모델은 사실에 가까운 3D 이미지를 생성할 수 있지만 디자인 소프트웨어에서 편집하기 어려울 수 있다. 결과가 보이는 이미지임에도 불구하고 GAN이 어떻게 생성했는지 불명확하기 때문이다.

메디슨 위스콘신 대학(University of Wisconsin–Madison) 연구원이 개발한 GiraffeHD라는 기계 학습 모델이 이러한 상황에 도움이 될 수 있다. GiraffeHD는 3D 이미지에서 조작 가능한 특징을 추출하는 데 효과적이다. 사용자가 이미지의 모양, 색상, 장면 또는 배경을 비롯한 다양한 요소를 선택할 수 있다. 예를 들어 자동차 이미지를 생성하려는 경우 자동차 종류를 제어할 수 있기를 원할 수 있다. 또한 잠재적으로 자동차가 실제로 위치하는 모양과 색상, 배경 또는 풍경을 결정할 수도 있다.

GiraffeHD는 수백만 개의 자동차 이미지에 대해 훈련을 받고 자동차 모양, 색상 또는 카메라 각도와 같은 범주에 해당하는 이미지의 잠재 요소를 찾는다. 모델이 제어 가능한 변수처럼 서로 다른 요소를 분리해서 이미지를 생성하는 방법을 학습할 수 있도록 한다. 이러한 제어 가능한 기능은 결국 3D 생성 이미지를 편집하는 데 사용될 수 있으므로 사용자는 원하는 장면에 대한 정확한 기능을 편집할 수 있다.

 

EG3D는 고해상도 2D GAN의 기능을 결합해 이미지를 3D 렌더링하는데 성공했다.(영상=스탠포드 대학)https://youtu.be/cXxEwI7QbKg

 

 

더 중요한 추세는 EG3D 및 Giraffe HD를 포함한 AI를 사용해 3D 사진을 만드는 것이다. 그러나 알고리즘 편향과 더 넓은 적용 가능성과 관련해 아직 해야 할 일이 많다. 훈련 데이터를 공급하는 방법은 여전히 ​​이러한 모델을 제한한다. 이러한 문제를 해결하기 위한 연구가 계속 진행되고 있다. 

아직 초기 단계이지만 이 연구는 보다 사실적인 3D 이미지와 모델의 가능성을 열어준다. 이것이 미래에 어떻게 적용될 수 있는지 보는 것은 흥미로운 일이다.

AI타임스 박찬 위원 cpark@aitimes.com

[관련기사]스위스 연구진, 가상인간 쉽게 만들 수 있는 새로운 AI 알고리즘 개발

[관련기사]“사진이 말을 하네”...사진을 애니메이션으로 바꾸는 AI 마법