Cascade Image High-Resolution

Pembahasan Pada “Jurnal Image Super-Resolution via Iterative Refinement (Saharia, dkk)”

SR3 mengadaptasi model probabilistik difusi denoising ke pembuatan gambar bersyarat dan melakukan resolusi super melalui proses denoising stokastik. Inferensi dimulai dengan derau Gaussian murni dan secara berulang menyempurnakan keluaran derau menggunakan model UNet yang dilatih untuk menghilangkan derau pada berbagai tingkat derau. SR3 menunjukkan kinerja yang kuat pada tugas resolusi super pada berbagai faktor pembesaran, pada wajah dan gambar alami.

Pada model SR3 atau Super Resolution via Repeated Refinement, inferensi High-Resolution bisa menggunakan Cascaded Image Generation. Dengan cascaded image generation, model SR3 pada skala yang berbeda digabungkan untuk menghasilkan sintesis gambar beresolusi tinggi. Pembuatan cascaded image memungkinkan seseorang untuk melatih model yang berbeda dan setiap modelnya menyelesaikan tugas yang lebih sederhana pada cascaded. Sehingga hanya memerlukan sedikit parameter dan training pada komputasi. Inferensi dengan cascaded ini lebih efisien, terutama untuk model iterative refinement.

Model iterative refinement sendiri adalah pendekatan dalam machine learning atau pengolahan gambar di mana model dilatih atau diterapkan secara berulang untuk memperbaiki dan meningkatkan hasil secara bertahap. Cascaded image generation memungkinkan pelatihan model yang berbeda secara parallel. Inferensi pada cascaded juga lebih efisien karena model dengan resolusi lebih rendah dapat menggunakan lebih banyak iterasi, sedangkan model dengan resolusi lebih tinggi menggunakan lebih sedikit iterasi. Sebagai contoh, pada penelitian ini peneliti melatih model DDPM untuk pembuatan unconditional face generation dengan skala 64 x 64.

Model 1 : Unconditional DDPM skala 64 x 64. Sampel model ini dimasukkan ke Model 2 4x SR3 (Resolusi Super 4x pada Model SR3)

Model 2 : Dimana pengambilan sampelnya ditingkatkan menjadi 256 x 256 SR3

Model 3 : Ditingkatkan lagi dengan Resolusi Super 4x menjadi 1024 x 1024 SR3 Efektivitas pembuatan cascade image generation menunjukkan bahwa model SR3 kuat terhadap distribusi input yang tepat (yaitu, bentuk antialiasing dan downsampling yang spesifik).

Contoh Hasil Resolusi Super: (Atas) 64×64 → 512×512 resolusi super wajah, (Bawah) 64×64 -> 256×256 resolusi super gambar natural