GauGAN: Mengubah Coretan Menjadi Foto Nyata – Dengan hadirnya teknologi Artificial Intelligence (AI), anda dapat menghasilkan foto pemandangan pada dunia nyata atau realita (photorealistic) hanya dengan coretan atau lukisan sederhana tanpa perlu keahlian menggambar.
Gambar yang anda lihat pada diatas bukanlah gambar pantai dari hasil foto dengan kamera, melainkan gambar yang dibuat oleh Artificial Intelligence. Mungkin sulit untuk dipercaya, tetapi gambar tersebut dibuat oleh AI yang dikembangkan oleh NVIDIA.
Tim peneiti dari NVIDIA menciptakan model arsitektur deep learning bernama GauGAN yang dikembangkan dari model Generative Adversarial Network (GAN). Model arsitektur deep learning ini dapat menerima input berupa objek dan layout, lalu mengubahnya menjadi gambar yang menyerupai foto dunia nyata.
Generative Adversarial Network (GAN)
Generative Adversarial Network (GAN) adalah model arsitektur deep learning yang dibangun dari sekumpulan jaringan saraf tiruan (neural networks) dengan tujuan untuk mewujudkan, membentuk, dan/atau menciptakan suatu data baru berdasarkan dari kumpulan data dengan melalui proses pelatihan oleh komputer.
Model GAN dibuat melalui proses persaingan antara dua model arsitektur jaringan, yaitu Generator (G) dan Discriminator (D). Proses pelatihan dilakukan secara bersamaan terhadap dua model: model Generator yang menangkap distribusi data, dan model Discriminator yang menghitung probabilitas sampel yang berasal dari data pelatihan dibandingkan dari data Generator.
Secara singkat, tugas dari Generator adalah membuat data palsu yang tidak dapat diverifikasi keaslianya oleh Discriminator, sehingga Discriminator dapat dikelabui karena mengenali data palsu sebagai data asli.
GauGAN
Arsitektur GauGAN dibuat berdasarkan model Spatially-adaptive normalization, yaitu lapisan (layer) sederhana namun efektif untuk menggabungkan dan menciptakan objek yang bersifat nyata (photorealistic) berdasarkan input yang berupa tata letak (layout) yang tersetruktur. Proses pembuatan gambar fotorealistik disebut sebagai image synthesis.
Cara kerja dari Spatially-adaptive normalization adalah dengan menggunakan tata letak yang berasal dari input untuk mengatur aktivasi yang ada dalam normalization layer dengan menggunakan pendekatan metode yang dapat mempelajari transformasi data dan dapat beradaptasi dengan mudah dengan data spasial.
GauGAN dibangun dengan framework PyTorch, hingga saat artikel ini diterbitkan, GauGAN sudah mencapai versi 2. Anda dapat langsung membuat ‘mahakarya’ anda sendiri dengan mengunjungi situs http://gaugan.org/gaugan2/.
Berikut ini adalah contoh layout dan hasil dari GauGAN:
Layout
Hasil
Sumber:
- Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., … & Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27.
- Park, T., Liu, M. Y., Wang, T. C., & Zhu, J. Y. (2019). Semantic image synthesis with spatially-adaptive normalization. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 2337-2346).
- https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealistic-landscapes-nvidia-research/
