我們要講一個東西叫做F-gap,那這一段是這個樣子啦,這一段數學比較多,如果你聽不懂的話不用太在意就算了,因為這個東西有點用不上這樣,為什麼?

我們這邊要講的是什麼?我們這邊要講的是說,我們說我們定某種objective function,就是在量JS divergence,那我們能不能夠量其他的divergence呢?

F-gap就是要告訴我們說,怎麼量其他的divergence,那我之所以會說這一招不太有用的原因就是,用不同的divergence,就F-gap它可以讓你的gap量不同的F-divergence,來量你的generated example跟real example之間的差距,但是用不同的F-divergence的結果是差不多的,

所以這招好像沒什麼特別有用的地方,但是我們還是跟大家介紹一下,因為這個在數學上它感覺非常的屌這樣子,但是在實作上好像沒有什麼特別的不同。

好,我們來講一下F-gap,F-gap是要告訴我們的是說,其實不只是用JS divergence,任何F-divergence你都可以放到GAN的架構裡面去,那我們就先來介紹一下什麼是F-divergence。

F-divergence是說,我們現在假設有兩個distribution,P跟Q,我們兩個distribution,P跟Q,P of X代表S從P這個distribution sample出來的機率,Q of X代表S從Q這個distribution sample出來的機率。

那P跟Q這兩個distribution的F-divergence它長什麼樣子呢?它的長相就是我們可以把它寫成像這邊這邊的式子,P是一個distribution,Q是一個distribution,然後你對S做積分,然後把Q of X乘上F of P of X除以Q of X。

那這個F這個function它是,就是說假設這個東西要是一個F-divergence的話,那F這個function它必須是convex的,這是第一個條件。

第二個條件是F of Y必須要等於D,有這兩個條件的話,這一個式子就是某一種F-divergence,你這個F放不同的function,它就是不同的divergence。

然後我們看到說你F放某一個function就是KL-divergence,放另外一個function就變成inverse的KL-divergence。

那首先我們想要跟大家說明的事情是,P跟Q啊,就為什麼這個式子它可以看作是在衡量P跟Q的差異呢?為什麼這個式子可以看作是P跟Q的divergence呢?

首先第一個我們要跟大家說明的是,如果P跟Q這兩個distribution是一模一樣的,那這一個值會是0。

因為這個東西,這個divergence等於是在衡量P跟Q兩個distribution之間的距離,所以如果這兩個distribution是一樣的,它們距離應該為0。

所以我們現在先來看看,假設P跟Q是一樣的,它們距離是不是應該為0呢?

假設P跟Q是一樣的,會發生什麼事呢?假設P跟Q是一樣的,那這一項的值是1。

那我們說F-divergence的一個條件是,F這個式子在1要是0,所以這邊就變成0。

這邊變成0意味著什麼?意味著這一整項都是0,所以當P跟Q是一樣的時候,它們距離會是0。

接下來要跟大家說明的地方是,0是這一個式子可以達到的最小的距離。

也就是說如果P跟Q有些不同,它們不是完全一模一樣,它們算出來的F-divergence就會大於0。

那怎麼說呢?因為F它是一個convex的function,這是F-divergence第二個條件,F必須要是一個convex的function。

如果是一個convex的function,這個式子可以寫成這樣。

這部分跳得有點快,反正你自己回去check一下,反正就是這麼回事就對了。

因為F不是convex的關係,所以這個式子會大於等於這個式子,這個式子會是它的一個lower bound。

接下來你把Q消掉,然後P of X做積分,你就得到F of E,然後會得到0。

所以今天P跟Q,它們如果一模一樣的時候,你的F-divergence算出來是0。

如果P跟Q略有不同,它們一定會大於等於0,因為P跟Q的值一定會大於等於0。

所以P跟Q略有不同的時候,它們的值就會大於等於0。

所以我們可以說這個式子,它可以拿來量P跟Q之間的差異。

好,那接下來呢,我想告訴大家說,假設你F帶不同的式子,你就得到不同的divergence。

舉例來說,如果你的F是Xlow的X,那帶進去以後,把這個F用Xlow的X帶進去以後,你算出來就是KL-divergence。

如果你X是-low的X,如果你把這個-low的X帶進去,你算出來的就是inverse的,reverse的KL-divergence。

如果你現在F of X帶X-1平方,你算出來的就是chi-square的divergence,就這樣。

就帶不同的東西,就得到各式各樣的F-divergence的measure就是了。

好,那接下來要講一個你可能沒有聽過的東西,叫做fractal的conjugate。

這邊要講的東西是說,每一個convex function的F,它都有另外一個conjugate function,叫做F-star。

每一個F,它都有一個對應的夥伴,叫做F-star。

這個F跟F-star它們之間的關係,寫成一個這樣看起來很可怕的式子,

看著就有點頭痛這樣,等一下你就跟不上了這樣。

你看就覺得有點頭痛這樣。

可是這個到底是什麼東西?這個東西是這個樣子,這個東西是這個,

我們有一個F,那它的conjugate function叫做F-star。

這個F-star它長得是這個樣子,它是由F of X所導出來的。

F-star如果我們帶T進去,要怎麼算出它的值呢?

你就窮取所有的T,看哪一個T可以讓XT-F of X的值最大,

就是我們要的值。

這樣講可能有點抽象,所以我們就實際上舉個例子。

F-star的T1是多少?你就把T1帶進去,然後窮取各種不同X的值,

看看哪一個X的值可以讓T1最大。

舉例來說,如果你X帶S1,你得到S1T1-F of S1。

你X帶S2,你得到S2T1-F of S2。

你X帶S3,你得到S3T1-F of S3。

再看這些不同的X裡面誰最大,發現X1最大。

那我們得到的F-star的T1就是這個值。

同理,假設你想要知道T2,F-star的T2的值是多少,

那你就把不同的X,你就把T2先帶進去,

然後把不同的X也帶進去,你帶S1進去,得到這個值。

帶S2進去,得到這個值。

帶S3進去,得到這個值。

看誰最大,看誰最大。

最大的值就是F-star of T2,就這樣子。

所以如果你要今天要知道F-star of T3是什麼樣子,

你就每一點,從T0到T100,每一點通通這個方法去算,

通通這個方法去算,你就可以把F-star of T1把它描繪出來。

但這樣有點麻煩,所以另外一個方法是說,

我們現在把XT-Fx把它畫出來,我們帶不同的S1,

但是把XT-Fx畫出來,假設X是S1的話,長這樣。

假設X是S2的話,長這樣。

這個都是一直線嘛,對不對?

這個都是一直線,因為假設你的T是你唯一的變數,

X是固定的,X-T-Fx,X是固定的,

γ是X1,γ是X2,它都是固定的。

這個時候XT-Fx它都是直線,

你帶不同的S進去,它就是不同的直線。

帶S1進去是這樣,帶S2進去是這樣,帶S3進去是這樣,

帶不同的值進去,它就是不同的直線。

接下來我們要找最大的那個,給定一個T,

我們要找最大的那個,最大的那個是什麼呢?

假設給定T1,最大的那個就是在這個地方,

假設給定T2,最大的那個就是在這個地方。

所以今天你要把XT-Fx畫出來,

就是把所有不同S1所造成的直線通通畫出來,

通通畫出來,通通畫出來,

然後再取它們的Upper Bound,再把它們的Upper Bound找出來,

這個就是XT-Fx。

所以今天你會發現說XT-Fx它一定是Convex的。

所以今天如果你畫很多條直線,畫很多條直線,

隨便亂畫隨便亂畫,不管你怎麼隨便畫,

最後你只要找的是它的Upper Bound,

你得到的Function都會是Convex。

所以今天Fx是Convex,XT-Fx其實也一定是Convex的。

那這邊是想要舉一個例子,

跟大家說明一下我們剛才講的是什麼。

假設Fx是Xlogx,今天如果我們X帶0.1,

我們會得到這樣一條直線,

X帶1我們會得到這樣一條直線,

X帶10我們會得到這樣一條直線。

把這些直線的Upper Bound通通串起來,

我們會得到一個看起來像是這樣子的直線,

看起來像這樣的一個曲線。

所以這個X要帶不同的值,

你從0.1帶進去得到一條線,

0.1001帶進去也是一條線,

0.1002帶進去也是一條線,

通通帶進去你得到無窮無盡的線,

把這些所有的線的Upper Bound通通找出來,

就是紅色這一條線。

那你會發現說這條紅色的線,

它看起來像是Exponential,沒錯,

這一條紅色的線它是Exponential t-1,

所以F of X它的conjugate就是Exponential t-1。

這邊是舉一個很直觀的例子,

下一頁是一個Proof,

我們也許就可以把它跳過去,

反正你就怒算一波以後會發現說確實,

假設F of X是X-logX,

你跳一波以後就知道它是Exponential t-1,

它的conjugate是Exponential t-1。

好,那講這麼多,

好像都跟Game沒半毛錢的關係,

到底為什麼要講這些呢?

接下來我們就要進入跟Game有關的內容了,

我們就要進入跟Game有關的內容了。

我們剛才知道說F of X有一個conjugate,

F star of t,其實F star of t,

它本身的conjugate也就是F of X,

所以F of X跟F star of t,

它們其實是互為conjugate的,

所以F star of t跟F of X之間的關係,

可以寫成這樣的式子。

好,所以接下來,

假設你有一個convex function叫做F of X,

你就可以把這個convex function F of X,

換成右邊這樣的式子。

有人想說,

這不是把本來簡單的問題變得更複雜了嗎?

到底在搞什麼這樣子?

我還可以告訴你說,

這件事情跟Game是有關係的,

神妙的地方就是,

這件事情跟Game是有關係的。

好,所以假設我們有一個F divergence的function,

F divergence的function你是對,

X做積分,Q of X乘上F of t除以Q,

那這個F是一個convex的function對不對?

那我們說convex的function F of X,

都可以換成右邊這個看起來比較複雜的樣子,

所以我們就把它換掉,

就把它把簡單的問題弄得更複雜,

把它換掉。

所以本來X是P除以Q,

X這邊是P除以Q,

是P除以Q,

就將P除以Q帶進去,

P除以Q帶進去,

就得到這樣子的一個式子。

所以本來F of P除以Q,

就變成了P除以Q乘上T,

再減掉F star of t,

F star of t是F的conjugate,

然後再對所有的T取一個max,

你就得到這一個值。

接下來我要告訴你說,

我們現在認一個D,

它其實就是discriminator,

它這個D這個function,

它就是input一個S,

它output一個scalar,

它output的這個scalar,

就是這邊這個T,

就是這邊這個T,

所以我們把這個T用D of X取代掉,

我們希望說,

我們可以認出一個function,

這個function,

我們不要解這個max的problem,

我們不要解這個max的problem,

本來應該是說,

給你P,

給你P of X,

給你Q of X,

給你F star長什麼樣子,

你重舉所有的T,

看哪一個T可以讓這個值最大,

那這個就是你在小括號裡面的值,

在小括號裡面的值,

希望大家聽得懂這樣子。

接下來我們要找一個discriminator,

這個discriminator幫我們解這個max的problem,

這個discriminator怎麼幫我們解max的problem呢,

它就是input一個S,

它告訴我們說,

你現在input這個S以後,

到底哪一個T可以讓這個值最大,

它是一個,

這個D就是要做這件事,

但是因為假設D的capacity是有限的,

那你今天把這個T換成D of X,

你今天把這個T換成D of X,

這一下就會變成是F divergence的一個lower bound,

F divergence的一個lower bound。

好,然後接下來你再把它展開,

你再把它展開,

這邊Q可以刪掉,

所以變成P of X乘上D of X,

減掉Q of X乘上F star of D of X,

那就把這個式子列上來,

因為我現在說我們要找一個D,

因為如果你隨便找一個D,

它一定是,

它會比這個F divergence的值還要小,

如果你找一個最好的D,

它預測出來的T是最準的,

你就可以去逼近F divergence,

所以我們找一個D,

它可以maximize後面這一項,

它就可以去逼近F divergence,

所以F divergence的這個式子,

會等於找一個D,

它可以maximize後面這一項,

後面這一項是什麼呢?

後面這一項是,

對所有的X所有積分,

P of X乘上D of X,

減掉對所有的X所有積分,

Q of X乘上F star of D of X,

接下來我就要跟你說,

它跟Games有什麼關係,

這個式子我們可以寫成是,

對P of X就是一個機率,

P of X是一個機率,

對P of X所有積分,

乘上D of X,

就等於是用P這個distribution,

對D of X取期望值,

這邊是用F star of D of X這個值,

然後用Q這個distribution,

對F star of D of X取期望值,

接下來,

這邊我們只是換了一下名字,

我們把P改成P theta,

我們把Q改成PG,

所以今天P theta跟PG之間的F divergence,

就可以寫成後面這個式子,

你的F divergence是什麼,

就會影響到這個F star你放的是什麼,

所以今天假如你的F divergence是KL divergence,

那你就看KL divergence的F star是什麼,

KL divergence的F是X log X,

它的F star是exponential T減1,

所以這個F star就在exponential T減1,

就這樣子,

你看這個式子跟電看起來的式子,

怎麼看起來這麼像呢,

你想想看,

我們今天在train一個generator的時候,

我們要做的事情,

就是去minimize某一個divergence,

某一個F divergence,

KL divergence,

JX divergence,

reverse KL divergence等等,

而這個divergence,

我們就可以把它寫成這個式子,

隨著你要用什麼divergence,

你這F star就換不同的式子,

你就是在量不同的divergence,

而這個東西,

就是我們說在train gain的時候,

你要用discriminator去maximize,

你的generator要去minimize,

the objective function V of GD,

只是V of GD的定義不同,

你就是在量不同的divergence,

你設某種樣子,

它就是在量JX divergence,

你設另外一種樣子,

你就是在量KL divergence,

那這邊這個就是從Payment上面,

它就告訴你說,

各種不同的divergence的objective function,

都幫你列好了啦,

就選一個你自己喜歡的,

這個是total variance,

這是KL,

reverse KL,

Pearson,

Jeffery,

JS,

然後其實gain那個不算是JS,

它跟JS有一點點不一樣,

它的式子也列在這邊,

所以說你可以去optimize,

各種不同的你喜歡的divergence,

可以optimize不同的divergence,

到底有什麼厲害的地方呢?

它厲害的地方是,

也許這一招可以解決,

一個長期以來困擾著大家的問題是,

當你change gain的時候,

你會遇到一個現象叫做more complex,

more complex的意思是說,

你的real data的distribution是比較大,

但是你generate出來的example,

它的distribution非常的小,

舉例來說,

你在自己做這個二次元人物生成的時候,

如果你update iteration太多,

你得到的結果可能會是這樣,

你會發現某一張特定的人臉,

它就開始蔓延了,

它就開始蔓延,

變得到處都是這樣,

可是它這些人臉,

其實也是略有不同的,

這個是比較偏黃,

這個是比較偏紅,

但是它們都是,

看起來就像是同一張人臉,

也就是說你今天產生出來的distribution,

它會越來越小,

而最後會發現同一張人臉不斷反覆的出現,

那這個case叫做more complex,

那有另外一個case,

比more complex稍微輕微一點,

叫做more dropping,

意思是說,

你的distribution其實有很多個mode,

假設你的real distribution是兩群,

但是你的generator,

只會產生同一群而已,

它沒有辦法產生兩群不同的data,

舉例來說,

你可能train一個人臉的產生系統,

你會發現說,

它產生出來的人臉,

長得是這個樣子,

你仔細一看覺得,

看起來都還可以,

也許沒有什麼太大的問題,

但你發現你在update一次參數以後,

在update一次generator參數以後,

產生出來的image變成這樣,

所以發現說,

其實剛才在前面產生的image,

它沒有產生黃皮膚的人,

它是產生皮膚色比較偏白的人,

它沒產生黃皮膚的人,

但是你再update一次,

它就變成產生黃皮膚的人,

就沒產生白皮膚的人,

再update一次,

它就變成產生黑皮膚的人,

而且它每次都只能夠產生,

某一種膚色的人這樣子,

感覺好像是不太ok的,

為什麼會發生這種現象呢?

一個遠古的猜測是,

也許是因為我們divergence選的不好,

如果今天你的data distribution,

是藍色這樣子的分布,

你的generator distribution,

它只能夠有一個mixture,

它是綠色的虛減的分布,

如果你選不同的divergence,

它們就會,

你最後optimize的結果,

你最後選出來,

可以minimize divergence的generator distribution,

你會發現就是不一樣,

假設你現在去minimize KL divergence,

你用maximum likelihood的方法,

去minimize KL divergence,

那你的generator,

最後認為最好的distribution,

長的是這個樣子,

可以發現說,

假設你的generator distribution,

長的是這個樣子,

你從它裡面去sample data,

你sample在mixture之間,

結果反而會是差的,

所以這可以解釋,

為什麼過去沒有gain的時候,

我們是在minimize KL divergence,

我們是在maximum likelihood,

我們產生的圖片會那麼模糊,

也許就是因為我們產生的distribution,

是這個樣子的,

我們在sample的時候,

其實並不是真的在data density很高的地方sample,

而是會sample在data density很低的地方,

所以這個地方就對應到模糊的圖片,

有人就說,

如果你覺得是KL divergence所造成的,

如果你換別的divergence,

比如說你換inverse的KL divergence,

那你就會發現說,

對generator來說,

最好的distribution是完全跟某個mode一模一樣,

就因為如果你看這個inverse KL divergence的事,

你就會發現說,

對它來說,

如果它產生出來的data,

是原來的distribution,

藍色的distribution,

沒有涵蓋它penalty比較大,

所以如果你選擇inverse KL divergence,

那你的generator就會選擇集中在某一個mode就好,

而不是分散在不同的mode,

而我們傳統的GAM的JS divergence,

它比較接近inverse KL divergence,

這也許解釋了為什麼你train一下GAM的時候,

你會產生出來,

你會有mode collapse,

或者是mode dropping的情形,

因為對你的generator來說,

產生這種mode collapse或mode dropping的情形,

其實反而是比較optimal的,

所以今天FGAM的厲害的地方就是,

如果你覺得是JS divergence的問題,

那現在你可以換了,

你可以換KL divergence,

但結果就是換不同的divergence,

mode dropping的case,

狀況還是一樣,

所以看起來不是mode dropping,

或者是mode collapse的問題,

並不完全是選擇不同的divergence所造成的,

那你趕快問說,

那我要怎麼解決mode collapse的問題呢?

你在做作業的時候,

你很有可能會遇到mode collapse的問題,

我們不是要求大家要產生25張圖嗎?

你的generator可能會,

產生出來的圖通通都是一樣的,

那你這樣就會被扣分了,

那要怎麼避免這個情形呢?

這邊有一個,

其實做得好的同學都會這麼做的,

就是做ensemble,

什麼意思呢?

今天要你產生25張圖片,

你就train25個generator,

然後你的每一個generator,

也許它都mode collapse,

也許你的generator1只會產生這樣的圖,

generator2只會產生這樣的圖,

但沒有關係,

你有25個generator,

所以實際上塑膠在run你的code的時候,

其實是跑了25個generator,

每個generator會產生一張image,

但是對使用者來說,

那些使用者並不知道你有很多的generator,

那所以你產生出來的結果,

看起來就會diverse,

這是一個我覺得最有效可以避免mode collapse的問題,

要一個月?

不會啊,

你就train25個generator而已,

假設一個train3小時,

也是幾天就train完了,

對不對?

好,其實今天要講的呢,

大概就是這個樣子,

我們請塑膠來講一下342,

慢慢講就好。