各位同學大家好,我們就開始上課吧。

好,那趁同學一邊慢慢入座之前呢,我們就先很快的go over我們今天要上的內容,然後很快複習一下之前說過的東西。

那今天呢,我們要繼續講Gan,然後上次呢,我們已經講了Gan的這個basic的idea。

那今天呢,我們要更進一步講說Gan呢,它的unified framework是長什麼樣子。

有一個unified framework呢,來統設Gan的這個process。

那接下來呢,我們要講Gan的一個現在最知名的變化,就是WGAN。上次已經調查過了,隨便路邊sample一個人,通通都知道WGAN是什麼。

然後接下來呢,在這個圖上的右半部,我們要講的是如何生成。

也就是說,比如說,機器可以畫出圖,或者是合成出句子。

那在這個outline的左半邊綠色的部分呢,我們要講的是轉換。

給機器一個輸入,它把這個輸入轉換成另外一個東西。

比如說像我們在座位裡面做的,給它一個句子,它把它合成一張圖片。

或者是給它一張黑白的圖片,讓它合成出彩色的圖片等等。

好,那等一下在講transformation的時候,又分成兩部分。

一部分呢,是說假設我們有pair的data,另外一部分是更進一步假設我們是沒有pair的data。

好,那我們先很快地複習一下我們上次說的內容。

好,這個部分如果你覺得太快的話,你就舉手打斷。

好,那現在我們要說的是生成。

什麼意思呢?假設給機器看很多動畫的圖,它能不能夠自動畫出動畫的圖。

我們上次已經示範過,畫出來就有這個樣子。

如果擷取其中幾張的話,應該可以騙過87%的人。

好,那這個要怎麼做呢?我們要用的技術就是generative adversarial的network。

那我們知道說做這種生成的task其實有千千百百種的方法。

舉例來說,如果你看B.M.Buffalo的教科書,它在第20章通通都是在講各式各樣的generative的model。

但我們知道說,現在在做這種generative的model,最新的技術就是這個generative的adversarial network,也就是game。

所以呢,我們就直接講game。

那其實今天他講的這些內容呢,並沒有在教科書上被cover。

我相信你也沒有辦法在任何其他地方聽到,因為今天講的技術大部分都是在今年,甚至是一個月之前被develop出來。

但我們這門課就是要這個,因為我們已經有另外一門機器學習的課,他講的是basic的技術。

那我們這門課呢,就是要target在最前沿的技術,就是要與時俱進。

好,那這個game呢,講的是什麼呢?

那basic idea是這樣,我們要做的事情是說,我們現在已經有一個target distribution。

這個target distribution呢,我們寫作pθ的x,這個是我們希望machine可以生成的,可以找到的這個distribution。

這邊的x可以是任何東西,在我們之前舉的例子裡面,x你就可以想成是一張圖片。

好,在這個圖上呢,我們假設藍色的這個區域裡面,代表的是p of x的值是高的部分。

而藍色區域以外的代表的是p of x的值是低的部分。

而如果你從p of x的值是高的部分,去sample一個x出來,我們現在的x是image。

所以你在藍色區域裡面sample出來的image呢,會是看起來像模像樣的image。

如果是在藍色區域外面sample到的,就會是很模糊的圖。

現在我們要機器做的事情就是找出這個pθ的x。

這樣,你從這個pθ of x去sample出x的話,你就可以讓機器畫出以假亂真的圖了。

那怎麼做呢?我們要找的是一個generator。

這個generator呢,這邊用g來表示。

generator就是一個neural network,我們知道neural network就是一個function。

你丟一個東西進去,它就output一個東西出來。

丟一個vector進去,它就output另外一個vector出來。

所以現在如果你丟一個vector z進去,它就output一個vector x出來。

如果x的dimension跟image一樣,你就可以把它看作是一張圖。

那我們現在丟進去的x,其實不是一個point,而是一個normal distribution。

如果我們丟進去的是一個normal distribution,那通過g這個function的轉換以後,

那我們的輸出就是另外一個distribution。

這個distribution是什麼,我們不知道。

它可能不是你叫得出名字的distribution,比如說Gaussian mixture model等等。

它不是你叫得出名字的東西,因為g是一個neural,它可能有很多個layer。

所以經過這個轉換以後,你得到的distribution,

你根本不知道是什麼,它是個異常複雜的東西。

我們這邊就用Pg of x來描述它,來表示它。

那麼這邊要做的事情就是,我們希望找到這個G,

也就是調這個network裡面的參數,讓這個generator output的這個綠色的distribution

跟藍色的distribution越接近越好,跟我們要找的這個distribution的越接近越好。

這邊的難點是在於,我們沒有辦法直接去計算Pg of x,

也就是說,給我們一個x,你沒有辦法算出Pg of x是多少。

如果我們可以算Pg of x是多少,你可以maximum likelihood,

但是我們現在沒有辦法算Pg of x是多少。

所以給一筆data,我們根本不知道這個model產生這筆data的likelihood是多少。

我們唯一能做的事情,只有sample。

所以GaN的basic idea是這樣,有一個第一代的generator,

一開始我們不知道generator的參數是多少,所以它幾乎是隨機的。

然後呢,你給它從normal distribution裡面sample出一個橘色的點,

丟到這個generator裡面,因為這個generator它是一個很弱的generator,

它的參數幾乎是隨機的,所以它output的東西就是奇奇怪怪的圖,

看起來非常模糊的圖。

那你丟不同的點,你從GaN,你從normal distribution裡面sample多次,

你就sample出不同的圖出來。

好,那接下來呢,我們要找一個discriminator。

雖然我們要的東西只有generator,但是我們要另外訓練一個discriminator。

這個discriminator它的作用呢,就是要來引導這個generator。

我發現投影片上有一個錯誤,有人發現嗎?

這個discriminator啊,就拼錯了這樣子。

好,那我們丟一張,這個discriminator它做的事情就是你丟一張image進去,

它會輸出一個0到1之間的值,那它代表的意思就是,

這個輸入的image它看起來像不像是真的。

如果輸入的這個image越像是真的,那這個discriminator輸出的值就越大。

那同時我們會有另外一組真正的image,realistic的image,真正人化的image。

那discriminator要做的事情就是,它要學習說這些generator所產生的image,

它都是不好的,所以discriminator output的數值就要是0。

那這個database裡面真正人手畫的image呢,那它輸出就要是1。

那我們上次已經證明過說,這個discriminator它的loss跟

這兩個distribution是有關係的。

也就是說如果今天discriminator經過訓練以後,它的loss越大,

代表這兩個distribution它們越接近,越沒有辦法被分開。

那接下來呢,generator要做的事情呢,就是update它的參數。

它希望update它的參數,使得它所generate的這些image會被discriminator label成1。

就它希望update它的參數,使得它在產生image的時候,

它產生的image會被discriminator誤認為是realistic的。

那接下來呢,discriminator也會update它的參數,

使得第二代的generator所generate出來的這些image被它判斷是0。

然後呢,這些真正的image仍然被判斷是1。

然後接下來呢,generator還會再update參數。

這個process就反覆的進行,直到你覺得generator產生的image夠好為止。

那這邊呢,有另外一個直觀的解釋來說明說,

當我們有一個generator,有一個discriminator的時候,

它們中間做的事情,到底是做了什麼樣的事情。

這個藍色的,這個綠色的點啊,代表的是真正的data的distribution。

也就是說,你可以想成每一個藍色的點代表的是人所畫的一張圖,

如果你今天是要讓機器學會自動畫圖的話。

那藍色的點代表的是機器現在的generator,它所畫出來的圖。

那這個藍色的曲線,綠色的曲線跟藍色的曲線代表的是data的distribution,

還有generator產的distribution。

那discriminator做的事情呢,我們剛才說discriminator做的事情就是,

它要讓綠色的那些點輸入discriminator以後,它的輸出就是接近1。

藍色那些點輸入discriminator以後,它的輸出就是接近0。

所以如果你訓練了一個discriminator,

如果我們今天假設呢,是在一維的空間上,

這個discriminator的輸入是一維的空間的話,

那discriminator要讓綠色的這些點輸出是1,

藍色的這些點輸出接近0,那它長的樣子可能就像是這個樣子。

接下來呢,我們要調generator的參數,

使得generator所產生的點,會讓discriminator覺得也是1。

那如果我們要做這件事情的話,就會使得這些藍色的點,

因為我們希望藍色的點呢,可以,

因為現在discriminator output1的地方是在這個區域,

所以藍色的點呢,就會向右移。

因為他們呢,也希望被discriminator認為是1,

所以藍色的點就向右移。

不過我們在調這個network的時候,

你在調network的參數其實是很麻煩的。

所以呢,你很難update一次參數以後,

正好就落在你想要的distribution上面。

所以有可能update參數以後,跑過頭了,

那你現在generated藍色的distribution,

跑到realistic的distribution的右邊。

接下來呢,你就再訓練一個新的另外一個discriminator。

這個discriminator看了這一組綠色和藍色的data,

他要把藍色的dataassign值是0,

綠色的dataassign值是1,

所以他的曲線就變成另外一個樣子。

這個時候,根據這個discriminator,

藍色的點會往左移,

因為藍色的點呢,會希望挪到讓discriminator的值呢,

接近1的位置。

所以discriminator的值呢,就會,

generator這些藍色點的值呢,就會往左移,

那可能變成這個樣子。

那他們的process就反覆的在進行,

你再產生一個discriminator,

這個discriminator希望藍色的值是0,

綠色的點的值是1,

不過因為現在藍色跟綠色的點很靠近,

所以他沒有辦法完全做到這件事情,

可能只能讓綠色的點的值比藍色的點稍微高一點而已。

這時候藍色的點呢,再稍微往右移。

最後呢,當藍色點跟綠色點完全重合的時候,

discriminator已經沒有辦法讓藍色點和綠色點有不同的值,

這個時候discriminator會assign給藍色點和綠色點一模一樣的值,

他會給這個空間上的每一個點一模一樣的值,

這個時候呢,整個discriminator他就是平的,

那這個時候呢,你的generator就沒有目標可以繼續去update,

那整個process就會停止。

那這邊呢,其實有一個example,有一個toy example呢,

就是告訴你說,實際上這整個process是怎麼運作的。

在這個圖上呢,這是一個二維的平面啦,

所以現在你要產生的這個x是二維的,

但實際上在真的要做realistic task的時候呢,

你要產生的data point x是非常high dimensional的,

那你要visualize就只能用二維而已。

那在這個二維的圖上呢,

藍色的點代表real的data distribution,

他就一點而已。

紅色的點呢,代表你現在的network generator的distribution,

他也就是一點而已。

那這個圖上面的這個顏色啊,

代表的是這個discriminator的value,

那越接近白色呢,就代表越接近1,

而越接近紅色呢,就代表越接近0。

那我們呢,實際來看一下這個generator跟discriminator呢,

他的運作的情形。

誒,這個沒有辦法跑。

我發現說呢,我只要換回那個鍵號的時候呢,

他才能跑。

所以這樣你看得懂嗎?

就是discriminator呢,不斷地改變他的方向,

然後每次呢,都要把generator,

也就是藍色的點呢,去往綠色的點挪。

那到最後當藍色點跟綠色點重合在一起的時候,

discriminator沒有辦法給他們不同的值,

這個時候他就功成身退,

他給這整個圖上每一個點呢,一樣的值。

也許我們可以再看一次,你看,

藍色的點是你的data generator的點,

然後他會被你的discriminator呢,

一直引導掃來掃去,

直到他最後停在綠色的點上面。

好,這整個game的process呢,就是這樣。

但實際上我們要處理的是高危的問題,

遠比這個要複雜得多得多了。

那實際上我們在做game的時候,他是怎麼運作的呢?

那這個algorithm我們上次是講過了,

所以這次可以稍微講快一點。

我們有一個discriminator,

他其實是由一組參數θD所決定的,

我們有一個generator,

他其實是由一組參數θG所決定的。

在每一個training的iteration裡面,

我們都要sample m比data,

我們要從我們的pdata裡面sample m比data,

如果我們現在要做影像的生成,

那pdata呢,就是你的影像的database,

你就從你的影像的database裡面隨機抽取出m張圖片來。

那接下來呢,你要讓你的discriminator也產生,

呃,不是discriminator,說錯了,

你要讓你的generator也產生m張圖片。

那你的generator怎麼產生m張圖片呢?

你要丟給他一個從normal distribution sample出來的vector,

然後他從那個vector變成一張圖片。

所以先從normal distribution,

這邊寫成ppyalg,

其實這個ppyalg不一定要是normal啦,

呃,你只是通常都設成normal,其實他要是任何東西都可以的,

呃,這個是隨你高興。

好,我們一個ppyalg的distribution,

大家從裡面sample出z1到zn,

然後把z1到zn丟到generator裡面,

他產生x1到xn,

我們用delta呢,來代表說這些x是machine generated出來的,

他不是真的x,不是真的image。

好,那接下來我們要做的事情就是調整參數θD,

調整discriminator的參數θD。

這個discriminator的參數θD,

他要做的事情是要maximize下面這個function。

喔,呃,也許你已經忘了下面這個function是怎麼回事了,

但是你還是可以很直覺的理解它。

下面這個function,

如果你要maximize它的話呢,

呃,你要maximize它的話,

你會希望logD of x的值越大越好。

也就是說,

一個realistic image discriminator要讓它的D越大越好。

另外呢,這個x delta,

d log x delta是放在log1-D裡面,

所以如果我們要讓V的值越大越好,

意味著我們希望這一項的值越小越好。

discriminator希望給real data比較大的value,

給假的data比較小的value。

然後呢,就用gradient descent去找一個θD,

它可以maximize這邊這個式子,

它可以maximize這邊這個式子的detail。

那走過這個process以後,

我們就找到了我們的discriminatorVD。

那在實作上呢,

根據原來的GAMEPAPER的建議,

我們應該repeat這個processK次。

雖然Bianca Fellow,

GAMEPAPER的作者,

她說,嗯,她雖然建議repeatK次,

但是她personal並不repeatK次。

我們等一下會講說為什麼會這個樣子。

好,那接下來呢,要train generator。

剛才找了一個discriminator,

接下來要train這個generator。

generator做的事情呢,

就是我們另外呢,

再去sample n個vector,

從predistribution裡面sample n個vector出來。

接下來呢,

我們希望找generator的參數θG,

這個generator的參數θG,

它要使得這個vθ的值呢,越小越好。

剛才discriminator要使vθ的值越大越好,

現在generator要使vθ的值越小越好。

但是vθ的第一項,

是跟這個,

vθ的第一項呢,

是跟G,

是跟這個G呢,完全無關的。

它是real,

這個xi是real的image,

你調discriminate,

你調generator的值,

並沒有辦法影響這一項。

所以這一項呢,

就當作沒有看見。

我們只希望後面這一項呢,

越小越好。

希望後面這一項越小越好的意思,

就是希望D of G of Z,

越大越好。

你希望你把一個Z丟進去,

通過這個G以後,

它呢,

可以讓X呢,

output的值越大越好。

這個是那個generator呢,

想要完成的事情。

然後呢,

我們再update generator的參數,

讓它能夠minimize上面這一個式子。

那我們就完成training這個generator,

這件事情。

好,那有了這些東西以後,

我們下一步呢,

上一次只是很specific的告訴大家說,

原來的game是怎麼做的。

現在接下來呢,

我們要進入全新的東西。

這整個game的framework,

到底是怎麼一回事。

這一段呢,

其實頗長的,

我們要講三件事。

第一件事是要告訴大家,

什麼是f-diversions,

再來告訴大家,

什麼是franchise的conjugate,

最後呢,

把這些東西連接起來,

我們才會發現說,

經過這麼一長串的說明以後,

原來這一切呢,

都跟game是有關係的。

所以大家先忍耐一下,

這一段呢,

是比較多數學的。

好,那,

這邊是這篇paper的reference,

那它提出來的這個方法呢,

它這個generalize的framework呢,

它稱之為fgame,

fgame是f-diversions game的縮寫,

那它是發表在NIST的2016,

NIST 2016是去年的11月舉辦的,

所以這篇paper呢,

到發表呢,

還不到這個,

還不到一年,

但實際上呢,

它放到網路上,

它這個去年6月就已經放到網路上,

所以它已經出現將近一年了。

好,那這篇paper,

如果我們要一句話來summarize它的話,

假如等一下所有東西你不想聽的話呢,

聽不下去的話呢,

一句話summarize這個paper就是,

我們原來在做game的時候,

discriminator是跟js-diversions有關,

其實那個discriminator,

它可以跟任何f-diversions有關,

你可以選,

你可以設計你的discriminator,

讓它跟任何f-diversions有關,

那至於要選哪個f-diversions呢,

就看你自己。

好,那我們接下來呢,

第一件要講的事情就是,

什麼是f-diversions,

我相信可能有人知道,

但是也許有些人不知道,

所以我們還是用幾句話,

很快地告訴大家,

什麼是f-diversions。

f-diversions在做的事情是說,

假設我們現在有兩個distribution,

P跟Q,

那這個P of X和Q of X分別代表說,

從P跟Q這兩個distribution裡面,

sample出X的機率,

那在我們要考驗的process裡面,

P跟Q可能分別就是,

P比如說,

P是我們要找的data distribution,

Q是你的generator的distribution。

那f-diversions呢,

就是要量P跟Q它們有多不一樣。

這個f-diversions的式子呢,

是寫成這樣子的,

怎麼量P跟Q有多不一樣呢?

你把P of X跟Q of X

代到以下這個式子裡面,

以下這個式子是,

積分over所有可能的X,

然後把Q of X乘上f of P of X,

除掉Q of X。

那這個f它可以是很多不同的function,

只要滿足下面這個constraint,

第一個就是,

f是convex的,

第二個是,

f of E等於0,

它就是f-diversions,

它就可以拿來衡量呢,

P跟Q呢,

有多不一樣。

那為什麼我們說這個f-diversions

可以拿來衡量P跟Q有多不一樣呢?

因為,

首先假設P等於Q,

假設P跟Q這樣的distribution

是一模一樣的,

也就是說,

P of X跟Q of X

對所有的X它的值都是一樣。

這個時候,

你把這樣子的P跟Q

代到上面這個f-diversions的式子裡面

會發生什麼事呢?

你會發現說呢,

這個,

因為P跟Q永遠都是一樣的,

所以f裡面代的這個值等於1,

f裡面代的值等於1,

我們又假,

我們又已經限制說f of E等於0,

那,

這個f這一項就變成0。

f這一項變成0,

前面的Q of X不管Q of X的值是多少,

你最後得到的值都等於0。

所以我們現在知道說,

如果P跟Q是一模一樣的distribution,

那,

f-diversions衡量出來就是0。

接下來我們說明的是,

0是f-diversions可以得到的最小值。

這個f-diversions,

這一個式子啊,

你算出來總是正,

所以0是最小值。

這件事怎麼證明呢?

如果你對convex function熟悉的話,

這個也是秒證,

對不對?

因為f是convex,

假設你不熟悉的話,

你就把這個結果背起來,

因為這不是今天這堂課的重點。

好,

假設f是convex的話,

你可以把f提出來,

就變成這個樣子。

然後你可以把Q消掉,

你把Q消掉以後,

這邊變成對P of X這個distribution,

對所有的X做積分,

那,

一個distribution做積分,

就等於1, f of EO等於0。

所以我們知道說,

f-diversions它的值一定大於等於0。

所以從這些東西我們知道說,

f-diversions之間的東西,

它最小的值是0,

當你要量這兩個distribution,

它們一模一樣的時候,

它們的值就是0。

如果兩個distribution有點不一樣,

你得到的會是一個正值。

好,

那f-diversions如果你不熟悉的話,

KL-diversions你總是知道的吧?

KL-diversions就是一種f-diversions。

舉例來說,

如果f of X我們代X log X,

f of X我們代X log X,

那意味著說,

我們把這項f of P除以Q,

變成P除以Q乘上log P除以Q,

然後接下來呢,

我們把Q呢,

刪掉,

我們把Q刪掉,

我們就得到這樣的式子。

這個式子我想你是熟悉的,

它就是KL-diversions。

或者是如果今天f of X代負log X,

代負log X的話,

那我們就是把f of P除以Q,

變成負log P除以Q。

負log P除以Q,

你把這個負號拿進去,

會讓PQ的這個分子分母調換,

那你得到reverse的KL-diversions。

這些是你是聽過的,

你也可以弄一些你可能沒有那麼熟悉的,

比如說,

如果f of X是X-1平方,

但你要先check一下X-1平方,

它是不是convex,

它是convex。

如果1代進去,

會發生什麼事?

1代進去,

你得到的值是0。

所以符合我們上面說的這兩個條件,

所以這個f of X可以是X-1平方。

好,那我們把X-1平方代進去,

本來是f of P除以Q,

就變成P除以Q-1的平方。

這個X換成P除以Q,

就變成P除以Q-1的平方。

然後計算一下,

你就得到右邊這個式子。

你把這個平方的部分展開,

你把這個Q進去,

你就得到這樣子的結果。

這個其實就是high square。

好,那講了這個f-diversions以後,

接下來下一件事情,

也跟game有點沒有關係,

但是我們一定要講的是

franchise的conjugate。

這個我想大部分人可能就未必知道了。

這franchise conjugate是什麼呢?

franchise conjugate是說,

這邊我們可能就需要慢一點,

如果你有問題的話,

你就打斷了。

任何的,

每一個convex function f,

它都有一個conjugate,

叫做f-star。

每一個f,

它都有一個朋友,

有一個跟它配對的人,

有一個夥伴,

叫做f-star。

這個f-star,

它的定義可以來自於f。

這個f-star長什麼樣子呢?

這個f-star長得像是這個樣子。

看到這個我知道你就暈眩了,

對不對?

這個是啥玩意兒?

這個有一個max,

max括號後面又有f不知道在做什麼。

這個式子到底在做什麼呢?

我們先,

就如果你要一次,

你可能很難一次想這個f-star t,

到底應該是長什麼樣。

但如果我們試著只算f-star t的其中一個值,

你可能就比較清楚它是在做什麼。

假設我們t呢,

帶某一個specific的值是t1,

那f-star of t呢,

f-star of t1呢,

是如果今天max的這個式子裡面,

這個max的式子,

如果這個max的式子裡面,

把t帶一個specific的值,

t1,

那我們得到x乘t1,

-f of x這個式子。

那x呢,

我們可以帶各種不同的值,

唯一的限制是,

x必須要落在f of x的domain裡面,

不然你帶進去,

f of x沒有定義的話,

你沒辦法算。

除了這個限制以外,

沒有其他的限制,

你找一個x,

這個t1已經固定了,

你找一個x,

可以讓這個式子的值最大,

就是f-star of t1而已。

如果數學很好的同學,

我知道說這邊的max,

應該是super-null啦,

應該是最小上階,

但我知道在電子系,

可能沒有哪一門科室,

必修科室有講super-null的,

所以我也許不應該假設你知道,

所以就把它換成max。

好,

那,

這個式子到底是什麼意思呢?

如果要圖示化它的話,

就是給定了t1,

給定了t1,

然後呢,

我們x可以在不同的值,

我x可以試個x1,

x1乘以t1-f of x1,

我可以得到一個數值,

那我也可以試x2,

x2乘以t1-f of x2,

我得到另外一個數值,

然後我可以試x3,

t3我又得到另外一個數值,

我又可以試x3,

x3我又得到另外一個數值。

我們可以在所有可能的x數值裡面,

看看哪一個x,

可以給我們最大的值。

哪一個最大的值,

比如說這邊我們假設,

x1代進去以後,

可以給我們最大的值,

那這個值就是f star of t1。

那同理呢,

這邊只是同樣的事情再重複一遍,

如果剛才沒聽清楚的話,

等一下有機會再重聽一遍。

這邊是說,

有一個t2,

ok,

我們要算f star of t2,

那就只是把t換成t2,

那我們找一個x,

讓這個大括號裡面的值最大。

哪一個x可以讓大括號值最大呢?

窮取所有的x,

x1代進去試試看,

得到一個值,

x2代進去試試看,

得到一個值,

x3代進去試試看,

得到一個值,

但我們其實有無窮無盡的x,

每一個也都代進去試試看,

看哪一個x可以讓它最大的值最大。

但是因為今天呢,

這個t1跟t2的值是不一樣,

所以可以讓t1最大的x,

跟可以讓t2最大的x,

不見得是一樣。

在這個例子裡面,

在t1這邊,

是x1可以跟t1配合起來最大,

在這邊,

是讓x3可以跟t2呢,

配合起來最大。

那你發現說,

這個值是最大的,

那f star of t2呢,

就是這個值。

好,

那,

講問大家有問題嗎?

沒有,

誒,

有沒有嗎?

那,

接下來就下一頁,

剛才是考慮了一個點,

但是這是個function,

呃,

這個function,

你只考慮這個點而已,

這整個function到底,

長什麼樣子啊?

這整個function到底長什麼樣子?

我們應該要這樣想,

我們先看,

大括號裡面的東西,

大括號裡面的東西是,

xt-f of x,

這個x,

它可以代不同的值,

當給定t的時候,

我們希望找出說,

代哪一個x的值,

可以讓我們最後算出來的值最大。

如果今天沒有給定t呢?

如果沒有給定t,

而是給定x呢?

如果沒有給定t,

而是,

如果沒有給定t,

t可以是任何值,

而給定x的話,

這其實就只是一個linear的function而已,

對不對?

因為,

呃,

t是變數嘛,

xt-f of x,

f of x其實,

也是,

也就是一個constant啊,

因為x代替了f of x,

你得到的就是一個constant啊,

所以,

它是一個,

它就是一條直線而已。

哦,

所以如果你代x1的話,

你會得到一條直線,

你代x2的話,

你會得到一條直線,

你代x3,

會得到一條直線,

而你代不同的值,

都會給你一條直線,

代不同的x,

都會給你一條直線。

接下來我們要做的事情是,

給定某一個t,

看看哪一個x可以給你最大值。

在這個圖上,

你怎麼做呢?

你說,

我給定一個t,

等於t1,

我們給定t,

等於t1,

那你就從t1這個地方畫一刀上來,

它會切過好多條直線,

看看哪一條直線,

在t1的值最大。

那,

那一條直線,

在t1的值,

就是f star的t1。

OK?

然後呢,

我們再看看在哪個地方,

比如t這個,

我們都算f star of t2,

你在t2的地方切一刀,

看看哪個值最大,

看看哪一條線給你的值最大,

你就找到f star of t2。

好,

然後呢,

因為你看這邊,

它是一大堆線性,

它是一大堆的這個,

這個,

這個,

這個直線,

它是一大堆的這個直線,

對不對?

那對一大堆的直線,

如果我們取它的max,

那它是一個convex function,

對不對?

對一大堆的直線,

每一個點,

我們都去取它的max,

每一個點,

我們都去取它的max,

每一個點,

我們都去取它的max,

我們就得到紅色這一條線,

那紅色這一條線,

就是f star of t2。

好,

所以我們今天至少知道了一件事情,

就是f star of t也是convex。

好,

好,

那,

講了這麼多,

如果我們來看一個實際的例子,

我們來看一個實際的例子,

f of x,

如果是等於x log x,

我們剛才說,

如果f of x等於x log x,

把這個f拿去當作f divergence的f的話,

我們就得到KL divergence。

如果f of x等於x log x的話,

你代不同的值,

比如說x等於0.1,

你得到一條這樣的直線。

因為0.1的值比較小嘛,

對不對,

所以你得到的是比較,

斜率比較小,

平躺的直線。

比較平躺的直線,

那你x代1,

你得到另外一條直線,

你x代10,

你得到一條斜率比較高的直線,

你得到一條斜率比較高的直線,

等等,

你就得到一大堆的直線。

那如果我們今天看這個圖的話,

看起來呢,

好像如果我們對這些直線取它的max的話,

看起來像是一個exponential function。

那確實呢,

f of x,

如果等於x log x的話,

它的conjugate f star t,

是exponential t減1,

是一個跟exponential有關的function。

那從圖上也許你很難看出,

它的數學應該是要長什麼樣子,

你不可能說,

如果要你找一個f star,

你都把所有的直線都畫出來,

然後取它的max,

找出f star長什麼樣子,

你沒辦法做這件事,

但是你可以用算的把它算出來。

舉例來說,

f of x,

如果等於x log x,

那它的這個conjugate,

應該長什麼樣子呢?

我們就先把x log x,

代到f of x裡面,

把x log x,

代到f of x裡面。

接下來呢,

我們要計算說,

給定一個t,

給定一個t,

什麼樣的x可以讓這個t最大?

給定一個t,

什麼樣的x可以讓這個t最大?

我們把大括號裡面的這個式子,

用g of x來表示。

我們看說,

假設t是一個知道的數值,

它是個常數的話,

那x要代多少可以讓g of x最大?

怎麼算呢?

你就算個微分,

怒為一波,

然後看看讓那個微分等於0。

你看,

x是變數,

微下去就是t,

-x log x,

微下去就是-log x-1。

你就自己回去check一下,

看我算得對不對。

讓它等於0,

然後看看說,

哪裡的微分值,

x等於多少的時候,

可以讓微分值等於0。

發現,

x等於exponential t-1的時候,

可以讓它的微分值為0。

接下來呢,

你要算出,

所以我們現在已經知道說,

給定一個t的時候,

exponential t-1會有幾值?

接下來我們再把這個值代進去,

再把這個值代進去,

那你就怒算一波以後呢,

你就得到了exponential t-1。

你可以自己回去check看看,

我算得對不對。

好,那總之呢,

我們假設前面的東西,

你沒聽進去的話,

那就算了。

你現在需要知道的是,

你現在就假設沒聽進去,

你也來不及聽了。

你就記得說,

F of x,

它有個好朋友,

叫做F star of t,

然後不知道怎麼回事,

它就是寫成一個很奇怪的式子,

就是長這個樣子。

然後F star呢,

這邊還有另外一件事情,

要跟大家說明的是,

F star,

它的conjugate,

就會是F。

也就是說呢,

F,

如果你找出,

就x log x,

你找出它的F star,

你得到的是exponential t-1。

反過來,

exponential t-1,

它的conjugate得到的是x log x,

那它們呢,

是有這個對應的關係的。

那接下來呢,

我們就要進入,

真正和git有關的部分。

那這邊我們需要的就是,

這個式子。

你要記得說,

F of x,

它有一個好朋友,

就叫做F star of t,

那F star of t,

它有一個好朋友,

就是F of x,

它們中間呢,

有這樣子的轉換關係。

那這給我們什麼呢?

這給我們一個方法,

可以把F divergence,

F divergence,

本來寫成這個樣子。

這給我們一個方法,

把F divergence,

寫得非常像是,

一個game的式子。

本來呢,

我們說,

這個,這個,這個,這個,

F呢,

這邊有一個function F,

我們把這個function F呢,

用它的conjugate呢,

來替換掉。

我們知道說,

這個F of x,

會等於右邊這個式子。

所以我們可以把這一項,

就用右邊這個式子替換掉。

本來F這個括號裡面放的是x,

現在唯一不一樣的是,

你只需要把x改成P of x除以Q of x,

這邊本來放的是P of x除以Q of x,

然後把P of x除以Q of x,

把這個x呢,

置換成P of x除以Q of x,

把這個x置換成P of x,

乘以Q of x。

然後接下來呢,

我們就得到下面這個式子。

本來是F of P除以Q,

但我們知道F of x,

可以寫成右邊這個樣子,

max xt-F star of D,

把x換成P除以Q,

我們就得到下面這個式子。

所以P跟Q的F divergence,

我們可以寫成呢,

積分over所有的x,Q of x,

乘上,

這個括號裡面看起來很複雜,

先計算P of x除以Q of x,

把它們乘T,

然後再減掉F star of T,

然後這F star是什麼,

取決於你現在的F是什麼,

因為F跟F star是成對的,

所以你這邊F放什麼,

你有一個對應的F star,

你要找F star,

可以用我們剛才講的那個式子,

把它找出來,

要想辦法把它找出來。

OK,那這邊呢,

你要找看看有哪一個T,

可以讓這個綜化號裡面的式子最大。

好,

這一件事情呢,

這一件事情,

接下來就是,

也許是比較匪夷所思的部分,

我們假設有一個function叫做D,

就突然天外飛來一個function叫做D,

這個D呢,

它的input就是x,

它的output就是T,

這個有一個function叫做D,

它的input呢,

就是x,

它的output呢,

就是T,

那我們可以說,

我們已經知道說,

F divergence可以等於這個樣子,

可以等於這個樣子,

那我們今天可以知道說,

F divergence有一個lower bound,

這個lower bound是什麼呢,

這個lower bound是積分over所有的xQ of x,

然後括號P除以Q乘D of x,

減掉F star D of x,

這個D of x是誰都無所謂,

大家可以了解我的意思嗎,

為什麼D of x是誰都無所謂,

你想想看,

這邊給定一個x,

我們要找一個T可以讓這個值最大,

對不對,

給定一個x,

我們要找一個T可以讓這個值最大,

現在莫名其妙跑出一個D,

它是input一個x,

output一個T,

它output的T不見得是那個,

可以讓中括號裡面值最大的那個T,

它output的T不見得是可以讓中括號的值最大的那個T,

所以如果我們把這個T用D of x取代掉,

它會變成一個lower bound,

它會變成一個lower bound,

好,

我們把T用D取代掉,

它變成了一個lower bound,

接下來我們把它展開,

接下來這個就沒有什麼匪夷所思的地方,

就把Q乘進去,

把Q乘進去,

這個Q跟Q可以消掉變成P of x乘D of x,

這個Q乘進去變成Q of x乘上F star D of x,

那接下來呢,

接下來最後一步就是,

這個D啊,

我們不管找誰來,

我們不管,

這個D啊,

我們不管找哪一個function來,

它都是DF的lower bound,

接下來我們要做的事情就是,

找一個D,

它可以讓這個F divergence最大,

如果我找一個D,

它可以讓F divergence最大,

我們就可以近似這個F divergence了嘛,

下面這個D,

如果隨便找一個來,

它是個lower bound,

如果我今天找一個D,

它可以讓這一條式子最大,

那我們就可以去近似F divergence了嘛,

所以F divergence,

你可以說它有一個近似,

這個近似是,

假設你寫一個式子,

它是積分over x P of x D of x,

減掉積分over x Q of x F star of D of x,

然後這個D呢,

你可以自己挑一個,

你挑一個最大的,

你挑一個你可以讓,

這個式子最大的那個D放在這邊,

那你得到的值,

就可以去近似一個F divergence,

好,

那有了這個式子以後,

要幹嘛呢?

我們已經知道,

F divergence可以寫成這個樣子,

我們知道F divergence可以寫成這個樣子,

那這邊是積分over所有的P of x,

積分over所有的x乘上P of x,

這邊是積分over所有的x乘上Q of x,

我們可以寫成說,

前面這一項呢,

前面這一項呢,

是從P這個distribution裡面sample x出來,

然後呢,

我們算D of x的期望值,

後面這一項呢,

是從Q這個distribution裡面sample x出來,

我們接下來取F star乘以D of x的期望值,

然後接下來我們要找一個D,

它可以讓這兩個期望值相減後是最大,

我們找一個D,

它可以讓這兩個期望值相減後是最大,

那我們實作的時候,

不會真的去把期望值算出來,

因為我們沒有辦法真的對所有的x做積分,

在實作上,

假如給你一個distribution P,

給你一個distribution Q,

你能夠做的事情是從P裡面sample出一些data,

sample出一些x,

從Q裡面sample出一些x,

然後找一個D,

它可以讓這個式子最大,

你就可以算出P跟Q,

它們的F divergence,

好,

那就回到我們要做的事情,

我們現在假設有一個P data這個distribution,

是我們要讓model去target的那個distribution,

然後我們有一個generator的distribution,

那我們的目標是希望P data跟PG呢,

我們要先,

第一件事情是我們想要先量一下,

現在假設給你一個generator G,

它所generated出來的data distribution PG,

跟真正的data distribution P data,

它們的F divergence有多大,

怎麼算呢?

我們就可以直接套用這個式子來進行計算,

只是把P換成P data,

把Q換成PG,

那你說本來F divergence不是就已經有一個式子了嗎?

本來F divergence不是就已經有一個,

這個Q乘以logP,

Q乘以FP,

P除以Q的那個式子了嗎?

怎麼不直接代?

那是因為我們沒有辦法算P data跟PG,

對任何x的機率啊,

那個機率是不能算的,

我們唯一能做的事情是,

從P data跟PG做sample,

我們只能做sample,

你不能做其他式,

我們現在只能做sample,

今天這個式子如果你要算它的話,

你只需要sample就好了,

對不對?

我們只需要sample就好了,

我們說算期望值這件事情,

可以用sample來做近似,

所以如果我們今天要算P data跟PG,

就給定一個PG,

我們要算P data跟PG它們之間的F divergence,

我們唯一需要做的事情就是,

從P data裡面sample一堆x出來,

從PG裡面sample一堆x出來,

代到這些function裡面,

找一個D讓它的值最大,

所以接下來,

如果我們今天要找一個PG,

它可以跟P data越近越好的話,

我們其實就是要解下面這個式子,

對不對?

我們已經會算說,

給定一個PG它跟P data的某種F divergence,

接下來我要找一個最好的G,

它跟P data是最接近的,

那我要做的事情其實就是,

找一個G它可以minimize這個式子,

找一個G它可以minimize這個式子,

接下來我們知道說,

這個F divergence的這個式子,

就是max加中括號這一項,

就是這一項,

我們把這一項代換掉,

放到這邊,

就變成說,

我們要找最好的一個generator,

G star,

這個G star它產生出來的PG,

跟P data是最近的,

那怎麼找呢?

我們要找一個generator,

它可以minimize這一項,

找一個function D,

它可以maximize後面這一項,

那這個D其實就是,

你看我們用D來表示這個function,

所以這個D其實就是,

我們剛才在game裡面看到的discriminator,

如果我們今天把這一個式子,

寫做V of GD,

它是不是就讓你覺得非常熟悉呢?

是不是跟我們之前看的,

這個game的那個function一模一樣呢?

只是game之前我們在講game的時候,

我們是說不知道怎麼回事,

天外飛來一個V of GD,

然後我們不知道怎麼回事,

就要min它,max它,

然後好像可以做一個什麼,

跟minimize這一個divergence有關的事情,

那今天如果我們有了這個,

這一整套F divergence game的想法,

它就更完整了,

它告訴我們說,

如果你要定這個V of GD,

到底要怎麼定?

到底要怎麼定?

你只要知道你要minimize,

你想要minimize的F divergence是哪一個,

把它的F star找出來,

你就知道要怎麼minimize,

那個F divergence,

你就可以找出我們的那個V of GD了,

那你會發現說呢,

game就只是這個F divergence的game,

原來的game就只是這個F divergence game的一個特例而已,

那接下來還有一個,

比方是,

這個在F divergence這個paper裡面,

還有另外一個貢獻,

它是這樣說的,

那首先我們先改一下我們的notation,

我們原來是說,

找一個generator,

找一個discriminator,

然後找一個最好的generator,

G star,

但實際上這個generator呢,

它是由參數所控制的,

這個generator,

discriminator,

它們都是neural network,

那它們長什麼,

它們做什麼事,

長什麼樣子,

都是由它的參數,

θG跟θD所控制的,

所以我們這邊實際上做的事情是,

我們要找一個θD,

找一個θG,

然後呢,

找到最好的G star,

所以我現在把G跟D都換成θG跟θD,

好,

在原來的game的paper裡面,

它是一個double loop的algorithm,

我們等一下會說到底,

double loop的algorithm,

指的是什麼意思,

我們剛才已經很快的看過了,

game的這個,

這個,

這個,

這個algorithm,

那如果summarize一下的話,

它做的事情是這樣,

給你一個generator,

給你一個generator,

我們先有一個,

先給定一個初始化的generator,

θ是下標G,

上標T,

上標T就代表說是第七個iteration,

初始的時候的generator的參數,

接下來給定這個generator的參數,

在原來game的paper裡面,

我們要做的事情是,

找一個discriminator,

去maximize這個function B,

但是generator的部分,

是已經給定了,

找出來的這個最好的discriminator,

我們寫成θD,

上標T,

那因為今天我們要解一個argmax的花紋,

你是怎麼找這個θD出來的啊,

你要做gradient descent,

對不對,

或者是其實,

因為我們是要做max,

我們是要找max,

我們的objective function是要最大,

所以呢,

我們其實是做gradient ascent,

不是gradient descent,

但是意思是差不多的,

我們要做gradient ascent,

也就是說,

你要iterate的去找這個θD上標T,

你要迭代你的discriminator的參數很多次,

你才能夠找出你的這個θD上標T這個參數,

好,

那接下來呢,

你要update你的generator,

你要update你的generator,

你要update你的generator,

使得它可以讓V的這個value function的值變大,

你就有了這個新的generator,

然後就過完了一個iteration,

你就可以去找新的discriminator,

好,

在這個iteration裡面,

其實你有一個loop,

你有一個inner的loop是,

你要找θD的時候,

其實這邊呢,

是有一個後回圈的,

我們要updateθD的參數好多次,

我們才能夠maximize這個式子,

才能夠把θD找出來,

那這邊有一個outer loop,

這邊有一個outer loop,

就θD跟θG呢,

它們是反覆的被update,

也就是說,

實作上呢,

你就是updateθD很多次,

直到找到最好的θD,

然後updateθG一次,

然後再回頭去updateθG很多次,

這邊是要updateθD很多次,

找出最好的θD,

然後updateθG一次,

再回頭後去找出最好的θD很多次,

那Ian Garfield,

他在他的paper裡面說,

嗯,對啊,

這樣子聽起來就是很合理,

你要找最好的θD,

本來就是要update很多次,

但是他在他的,

這個Nyx 2016 tutorial裡面,

他說了一句話,

就personally,

我都只update一次,

為什麼他只update一次是ok的呢?

在這篇F Divergence Gain的paper裡面,

他也給出了答案,

如果你不打算證明這件事情,

那你可以自己去paper裡面看,

那篇paper裡面說,

如果我們今天要optimize這一個function,

我們要找出最好的G star,

下面這個algorithm也是可行的,

下面這個algorithm可以證明它會是收斂的,

在那邊沒有證明它會是收斂的,

所以下面這個algorithm也是可行的,

下面這個algorithm是一個single step algorithm,

就是θD update一次,θG update一次,

discriminator其實也只要update一次就好了,

實際上怎麼做呢?

實際上是這樣子,

在每一個iteration的時候,

我們都有一個初始化的θG,

跟初始化的θD,

我們今天寫成θG上標T,

跟θD上標T,

接下來,

我們在一個iteration裡面,

我們就各update θD跟θG一次,

我們可以用一個backpropagation,

我們可以用一個backpropagation,

就把V對θD的歸點,

還有V對θG的歸點算出來,

怎麼用一個backpropagation算出這件事情,

可能是比較實作上的問題,

但無論如何呢,

我們可以算出,

我們就算θG對V這個function的歸點,

我們就算θD對V這個function的歸點,

我們就算θG對V這個function的歸點,

然後接下來呢,

有了這個歸點以後,

θD要被update,

θG也要被update,

但是他們update的方向是不一樣的,

他們update的方向是不一樣的,

好,

那現在我們有了這個F divergence gain以後,

你說又怎麼樣呢?

現在好處就是,

你可以去用,

你可以調你的generator,

讓他minimize任何F divergence,

在那個paper裡面,

他列出了各式各樣的F divergence,

這樣你看了有覺得很過癮嗎?

有各種F divergence,

各式各樣的F divergence,

每個F divergence裡面都有一個F對一個function F,

我們說他是一個convex的function,

反正都有一個function F,

每一個function有一個F star,

你也不用求了,

因為paper附錄裡面有這個,

他幫你列出來,

你有了這些以後,

假設你要minimize某一個F divergence,

你其實就是找一個D去maximize,

這個式子,

就結束了,

就結束了,

對,

任何F divergence要找出他的F,

然後你就找出他的F star,

把他的F star帶進來,

就結束了,

那你可能會想說,

可是如果我要minimize F divergence,

最後minimize的值不都是零嗎?

F divergence最小都是零,

就是讓你的兩個distribution一模一樣,

你要讓你的generator,

generator distribution跟你的目標distribution一模一樣,

最後還是就是讓兩個distribution一模一樣而已,

minimize不同的F divergence有差嗎?

今天會有差的時候是,

比如說你的generator,

他不夠強的時候會有差,

假設我們今天要去acrossiment的對象,

是一個Gaussian的mixture model,

而你的generator只有一個single的Gaussian,

也就是說呢,

你現在的target distribution長的是這樣,

他可能比如說有兩個白色的點,

那你要只用一個Gaussian的distribution,

去調這個Gaussian distribution,

他的mean跟variance等等,

讓他可以跟這個Gaussian mixture越接近越好,

如果你今天minimize的對象是不同的F divergence,

最後會得到不同的結果,

換句話說,如果你minimize的KL divergence,

你得到的結果是這樣,

如果你minimize的是JSD divergence,

你得到的結果是這樣,

那在這個paper裡面呢,

他提供了一個有趣的toy example,

這個有趣的toy example是說,

假設在training的時候,

我們要minimize的是,

在training的時候,

他試了五種不同的minimize的對象,

可以是KL reverse,KLJS Jeffrey,還有Pearson divergence,

那在testing的時候呢,

不管你是用哪一種,

不管你是用哪一,

你train的時候是想要minimize哪一種F divergence,

都用不同的divergence來算一下,

那就發現說,

假設你今天是用KL divergence,

當作你testing data的evaluation,

那你在train的時候,

minimizeKL divergence,

你當然得到的值是最小的,

假設你今天是用KL的reverse,

來當作你的evaluation的話,

你當然在training的時候去minimizeKL reverse,

你得到的結果會是最好的,

那這件事情聽起來好像也沒有什麼特別,

但是他其實給了我們一個很重要的issue,

給了我們一個很重要的發現,

過去大家相信game沒有辦法得到diverse的結果,

就大家覺得說game在training的時候,

你的distribution往往都很狹窄,

你train出來的generator,

generate image的時候,

可能generate出來的image,

他的diversity夠大,

是因為我們在minimize的是JS divergence,

你可以看說在這個圖上面,

我就特別舉這個例子,

如果你minimize的是JS divergence,

那你最後得到的結果,

你可以去minimizeJS divergence的時候,

你得到的這個single mixture,

他的distribution是比較小,

如果你換成minimizeKL divergence的話,

他的distribution會是比較大,

所以也許我們把,

我們在train game的時候去minimizeKL divergence,

就可以解決我們說的game他generate的image,

很不diverse的問題,

然後得到的結果是,

換成KL divergence看起來沒有什麼不同,

所以我們就知道說,

沒有辦法產生多樣的image的問題,

可能不是來自於我們minimize的是哪一個divergence,

我們來上課吧,

那我剛才發現一件事情,

就是在這一張投影片上面,

這個正負號寫反了,

剛才發現這件事的同學,

我忘了留你的名字,

記得來等下下課來跟我講一下,

好,

我們講到,

接下來就要講W game,

要講W game,

啊,

這樣子,

不好意思,

好,

編的正負號呢,

是反的還是反的,

然後我已經把他改過來了,

他改過來了,

好,

接下來就要講W game,

那這邊是W game的paper,

那W game的第一篇paper呢,

我記得是今年一月的時候放在archive上,

後來有一個improve的版本,

那improve的版本是,

三月底放在archive上面,

所以他出來呢,

才一個月再多幾天而已,

但是我們呢,

就要在課堂上講一下,

那improve的W game,

好,那如果你,

就等一下講的東西聽不進去的話呢,

一句話說明W game就是,

我們本來就是用F divergence,

我們要minimize兩個distribution的F divergence,

現在改成是minimize兩個distribution的,

Earth movers distance,

而Earth movers distance呢,

其實就是Vessel stand distance,

因為Vessel stand distance的關係呢,

所以就叫他W game,

所以如果等一下你沒聽懂的話,

你以後只要能夠講出這幾句話,

別人就誤以為你懂了,

誤以為你懂懂懂,

誒那個W game,

我想說W game會這麼有名,

也許跟有一篇很好的vlog文章,

叫做令人拍案教學的W game很有關係的,

結果有一個問題,

誒你真的看過W game那篇paper,

有真的看過那篇paper的同學可以舉手一下,

哇還有不少人看過誒,

太厲害了太厲害了,

所以其實大家也不完全是看vlog文章,

所以這個跟我想一樣,

因為現在隨便sample一個人,

都知道W game是什麼,

誒好,

好接下來呢,

我們就是來講一下,

W game要做的事情是什麼,

誒這邊有個很無聊的知識就是,

這個distance的名字啊,

其實那個W是發,

就我手裡應該發V啦,

要念Vessel stand,

因為這個應該是數學家的名字,

應該是俄國數學家的名字,

然後呢這個W呢,

在俄文呢其實是寫成V啦,

所以發的時候應該是Vessel stand,

我還知道另外一個很有用的冷知識就是,

那game到底應該要怎麼發呢,

傳說,

就是如果仔細聽一下,

其他人的發音的話,

也許他應該是念成,

割案四聖,

你想想看那個,

就是那個會用一搓火藥的那個肝書,

那個姓那個肝,

在英文是翻成GAN,

所以GAN念的發音,

應該比較接近肝,

或者是肝四聖,

但是我覺得,

但是如果我們在這堂課,

一直這樣幹來幹去,

實在是在笑話,

而且這樣子會有問題,

就假設比如說,

我要跟大家說,

game的訓練不穩定,

然後就說,幹訓練不穩定,

人家就以為你在罵髒話,

一句話出去,這怎麼得了,

所以我們都要念,

所以我們都要念GAN,

聽起來像是個遊戲,

所以我覺得他聽起來好像,

比較聽到外國人念是,

割案四聖,

好,

那,

我們來講,

WGAN,

那WGAN是什麼呢,

WGAN我們這邊會講,

兩件事,

第一件事是他原來的版本,

原來的版本有一招叫做,

Wake Leaping,

再來是要講他Improved版本,

他Improved版本用的是,

規定Penalty,

等一下我們會分別講他是什麼,

好,那我們說WGAN呢,

他是要Minimize,

Earth Movers Distance,

所以我們要先講一下,

Earth Movers Distance是什麼,

第一件要回答的問題就是,

Earth Movers是什麼呢,

那Earth Movers Distance就是說,

假設兩個Distribution,

分別就是兩堆土,

如果我們要從,

某一個Distribution P,

把他的土呢,

鏟到,應該我們應該想這樣,

其中一個Distribution P是一堆土,

另外一個Distribution Q,

是你準備要放那個土的位置,

那我們要把土從,

P這個Distribution的位置鏟到,

Q這個位置,

然後我們希望,

平均要這個推土機,

要走的Distance,

平均推土機呢,

要把土呢,運送多遠,

這個呢,就是Earth Movers Distance,

不過簡單來講呢,

這邊有PQ這兩個Distribution,