GAN Lecture 7 (2018): Info GAN, VAE-GAN, BiGAN

Info GAN

GAN都是input一個vector output一個object。因此我們期待input的vector每個dim都有某種意義（改某個dim，希望output有某個變化，進而得知每維的意義）

不過實際上，我們改變input某個維度，對output往往沒什麼變化，如右圖

info GAN 就是想要解決這個問題，架構如下：

• 把input vector分成兩部分，下圖中的 c 與 z' 。舉例來說，input 10維vector，前10維叫c後10維叫z'
• train 一個classifier，input是generator的output，下圖中的x ，然後預測x的c是什麼
• 可以把generator視為encoder，classifier視為decoder，看作一個相反的autoencoder（傳統autoencoder吃object，轉成code，再轉回object；這裡是吃code，轉obj，再轉回code）
• train一個discriminator，檢查是否為real image。如果沒有這個的話，generator可能就會直接把答案（classifier希望的結果）寫在object上，這樣就不像是real object (image)（舉例來說，某張圖應該要被classifier辨別為class 1，那generator就直接把1貼在圖片中間，classifier直接讀圖片中間數字就好）
• classifier跟discriminator可以使用同樣的參數，因為他們的input都一樣，只是output不同

一開始提到GAN的問題是，input vector對output影響不明確，而 info GAN的解決概念如下

使generator讓input中的c的每一個維度，對output的x都有一個明確的影響，如此一來classifier就可以根據input的x反推出c

如此一來，c每個維度都會有意義，以手寫數字來說，可能其中一維代表筆畫粗細

z'代表一個隨機，無法解釋的維度，c與z'的比例需要自己調整