SinGAN

공부하다 정리하기 위하여 적은 것이므로 잘못된 것이 있으면 알려주세요:)

SinGAN이란 SinGAN이란 2019년에 나온 논문으로 Single Image GAN을 줄였다고 한다.

일반적으로 GAN은 대량의 training set을 이용하여 학습하지만 생성한다면 SinGAN은 단 하나의 training set을 이용하여 학습한다.
SinGAN을 이용하면 자연스러운 이미지를 생성해낼 수 있다. 활용도는 매우 높으며 Paint to image, Editing, Harmonization, Super Resolution, Animation등에도 사용된다.

Train 과정

SinGAN의 학습과정을 간단히 말하면 GAN피라미드로 이루어져 있고 이를 통하여 학습이 이루어진다. 좀더 자세하게 말하면 하나의 taining set을 downsample factor에 의해 downsampled 사이즈에서 patch를 통하여 사진을 학습하는 데 전체적인 이미지를 학습 후 점점 키우며 세밀한 부분을 학습하는 효과를 가진다. (사진의 우측에 보이듯이 이미지를 upsampling을 진행할 수록 patch가 사진에 비해 작아지기에 점차 세밀한 부분을 학습한다고 보면 된다.)

SinGAN‘s multi-scale pipeline

Loss Function

Loss Function

n번째 GAN의 Loss Function은 adversarial term 과 reconstruction term으로 구성되어 있다. (추가적인 설명은 논문을 읽어보거나 아래 Reference에 있는 한글로 된 좋은 블로그들이 있으니 참고하면 좋다.)

개인 프로젝트

Panorama-Converter

Panorama-Converter with SinGAN(1)

Reference

- Tamar Rott Shaham Technion, SinGAN: Learning a Generative Model from a Single Natural Image(논문 | Github | 설명)
- https://chloe-ki.tistory.com/entry/singan
- https://ysbsb.github.io/gan/2020/12/30/SinGAN.html