好,那我們這一堂課要講什麼呢?

我們這一堂課要講作業三至二

我們要train一個輸入文字,然後要產生對應的二次元人物的頭像

那這個技術呢,你就要用到conditional game

conditional game的意思是說,我們之前的game是隨機輸入一個vector

然後就產生一張image

那你其實根本不能夠控制說,你要output什麼樣的東西

那我們這邊要講conditional game的意思是說

你可以輸入一個,比如說文字

然後呢,產生對應那個文字的圖片

也就是你可以操控你要輸出的結果

好,那我們今天要舉的例子呢

在作業二裡面要做的東西呢

就是text to image

在作業四裡面要做的東西就是

輸入文字,產生對應的圖片

當然要做到這件事情

要用輸入文字產生對應的圖片

它其實可以被當作是一個單純的supervised learning的problem來看

那怎麼用supervised learning的方式來learn一個text to image的model呢

那你需要的呢,就是一大堆的圖片

每一張圖片都需要對應的文字的描述

然後套用一個傳統的supervised learning的方法

你可以說我就learn一個network

它的輸入就是一段文字

輸出就是對應的圖片

那你希望輸出的圖片跟你的目標越接近越好

那比如說你會minimize你的network output的

你的network output跟這個文字所對應的image的L1或L2的Loss

但是光是這麼做會有什麼樣的問題呢

你可以想像說在你的training data裡面

火車呢,它的對應的圖片其實是有很多張的

這些是正面的火車,它們都是火車

這些是側面的火車,它們也通通都是火車

那你現在如果要讓你的network output去產

如果你用傳統的方法來learn一個network的話

它會覺得說輸入train的時候,輸入火車的時候

它要長得像這三張,同時也要長得像這三張

所以到時候你的network output就會變成是

這些一大堆image的平均

那如果你產生這種正面的火車是好的結果

你產生這個側面的火車是好的結果

但是同時產生正面的火車跟側面的火車合起來

就是錯誤的結果

先假設你用traditional的方法來learn一個conditional的generation

你用一般的方法來learn一個text to image的generator

你會發現說你產生出來的image都是特別模糊的

為什麼?那因為你產生出來的image會是多張image的平均

你的model在學習的時候

它想要產生的結果是多張image的平均

所以這邊就需要用到game的技術

那我們說在原來的game裡面

你的generator就是吃一個從normal distribution裡面sample出來的z

根據這個z產生一張image x

但在conditional generation裡面

你的generator不是只有吃z

它同時也吃了另外一個東西

吃了另外一個conditional的text c

所以你的conditional game

它就是同時吃一個normal distribution

這sample出來的vector跟一段文字

然後根據這段文字

還有這個sample出來的vector

它產生generator的結果

接下來你要train一個discriminator

在我們原來的game裡面

discriminator只吃一張image x

然後它告訴你說這個x它的quality好不好

這個discriminator它吃一個x

它output一個scalar

這個scalar代表說input的x

它到底有多好或者是多不好

那你在train這個discriminator的時候

你就告訴這個discriminator說

如果是real的image就給它1分

如果是generated的image就給它0分

但光是這麼做是不夠的

假設你是用我們之前看到的那種方式

來traindiscriminator的話

會發生什麼問題呢

你會發現說

今天generator在產生image的時候

它會完全無視input的condition

因為discriminator它是檢查說

你現在input的image

是不是一張high quality的image

所以今天對generator來說

它要騙過discriminator

它只要產生high quality的image就好

它只要產生清晰的圖就好了

它可以完全無視你input的condition

不管你輸入是貓啊狗啊還是火車啊

它可能都輸出貓

反正只要這個discriminator覺得

它產生出來的貓是一隻高品質的貓

看起來很像是真的貓

就結束了

但這個顯然不是我們要的

我們希望機器是按照我們輸入的condition

產生不同的圖片

所以今天你要注意

當你在做conditional game的時候

你的discriminator

不可以只看generator的輸出

它要同時看generator的輸入跟輸出

這個時候你的discriminator有兩個任務

我們說discriminator

它吃一個condition跟吃一個object

然後產生一個scalar

這個scalar它對應到兩件事情

第一件事情是

x是不是真實的

第二件事情是

你的x跟它的condition c

它們合起來是不是應該湊成一對

x是真的還是不是真的

x跟c是不是應該湊成一對

這兩個東西加起來

就是discriminator的output

所以你今天在train這種discriminator的時候

這個就是我們在作業

三之二要做的事情

我們今天在train這種discriminator的時候

對這種discriminator來說

什麼樣的

現在discriminator它不是只吃image

它是吃一個pair

它是吃一個image跟一段文字

什麼樣的文字跟image的組合

要給它高分呢

當然是一段文字

它對應的image

它們合起來要給它一分

但是什麼樣的狀況

應該給它零分呢

如果今天是正確的文字

一段文字

跟generator的輸出

正確的文字

跟generated image

當然要給它低分

但是還有另外一個case

應該要給它低分

因為這個discriminator

它不是只要看你產生出來的image好不好

它還要看你產生出來的image

跟它input的text

它們有沒有被match在一起

所以今天不是只有一個case

給它低分

還有另外一個case

要給它低分

什麼樣的case

應該要給它低分呢

你拿一張真實的image

但是隨便給它pair的

隨便給它加上隨機的文字

比如說這個是火車

也就是說它是一隻貓

這個case

也要給discriminator低分

你要告訴discriminator說

就算是產生好的圖

但是給它一個隨機的文字

它們沒有辦法match在一起

它們是不匹配的

這個時候也應該要給它低分

所以跟一般的generator不一樣

跟一般的game不一樣

當你做conditional game的時候

你的discriminator

它是吃一個pair當作input

那你在train這個discriminator的時候

它有兩種negative的example

有兩種case

是應該給它低分的

一個case是

輸入一段文字給generator

generator產生一張模糊的圖

這要給低分

給一張清晰的圖

但是隨便給它

加上一個隨機的文字

這個應該也要給它低分

想要這邊大家有問題要問嗎

覺得ok嗎

好 那如果你比較喜歡

看演算法的話

這邊我就把演算法列一下

你就照著這個code

這樣知不知道

就是照著這個code

怎麼code呢

怎麼code呢

我們就一行一行的講給你聽啦

這怎麼code

我們從database裡面呢

sample出m個example

那注意一下

因為今天是conditional的generation

所以你的每一個example都是

假設是text to image

都是image跟文字的pair

都是image跟文字的pair

知道嗎

文字是c

image是x

所以你的每一個sample data

都是文字跟image的pair

都是文字跟image的pair

都是文字跟image的pair

好 那這個是要給高分的

是positive example

對discriminator來說

要給高分的

前半段是在訓練discriminator

好 那你接下來sample出m個vector

然後呢

把這m個vector

每一個都去加上一個condition

這邊有m個condition

c1到cn對不對

把這m個vector

每一個都去加上condition

產生example

產生m張generated image

接下來

你再去你的database裡面

sample出m個object

我們這邊呢

寫做x1hat到xnhat

這m張image

這個xhat呢

它也是好的image

它也是好的image

這個xdelta是generated image

這個xhat呢

它也是real的image

也是database裡面sample出來的image

好 接下來

在訓練discriminator的時候

如果是正確的c跟x的pair

就給它高分

如果今天是c配上xdelta

一段文字敘述

配上generated出來的模糊的結果

那應該要給它低分

如果今天是一段文字敘述

配上xhat

從training data裡面

sample出來的real的image

從training data裡面

sample出來的清楚的image

但是跟這個c

它是沒有辦法配在一起的

這個也要給它低分

也要給它低分

所以今天是這個case給它高分

這兩個case也要給它低分

那這個實作跟

跟之前講的那個game

其實是沒有什麼太大的差別

唯一差別的地方就是

你記得你要多加這一項就是了

之前只有一種next example

現在變成有兩種next example

就這樣

接下來train generator

train generator怎麼做

sample出angle vector

再sample出angle condition

把每一個vector z

跟每一個condition加起來

一起丟到generator裡面

再通過discriminator

希望這個分數越大越好

那這個就是在train generator

好那這個就是大家

作業三至二要實作的東西了

那在discriminator

network的架構上

應該要怎麼設計呢

我發現我最常看到的設計

是這個樣子

input一個object

就是一張image

然後通過一個network

把它變成一個embedding

然後你的condition

condition現在是一串文字

文字你可能也通過一個network

把它也變成embedding

可以把這兩種embedding

組合起來丟到network裡面

然後最後network

output一個scalar

這個scalar代表了兩件事

一件事情是

input的x有多好

同時又代表了

x跟c合起來

他們湊成一個pair

有多合適

但是我發現

有另外一種discriminator的架構

而這種discriminator的架構

在文件上看起來

它的performance是不錯的

然後我發現有三篇paper

都是做這樣的事情

那我個人認為

這個架構

其實好像是比較有道理的

這個架構是這樣

這個架構是說

我們有一個object進來

object先通過一個network

然後呢

就output一個分數

接下來呢

這個綠色的network

它也吐出一個embedding

這個embedding也跟你的condition

結合起來

丟到另外一個藍色的network裡面

藍色的network也吐出一個分數

所以現在你吐出兩個分數

一個是綠色的network

吐出來的分數

綠色的network

只看你的object

它不管這個condition

它只看你的object

然後它去看這個object

決定說

現在output的結果

是realistic的

還是不是realistic的

那這個藍色的network呢

藍色的network

它同時看了X

也看了C

兩個湊起來以後

它會告訴你說

它應該是被match在一起的

還是不應該被match在一起的

所以

今天這個藍色的network

它同時看了X

同時看了C

它決定說

這兩個東西

它到底應該是match的

還是不是match的

那我覺得

把這兩種evaluation的結果

把它拆開

其實可能是比較合理的

因為今天在上面這個case

如果你給network一筆data

一組data

告訴它說

這是一個壞的example

你應該給它低分

但是你沒有告訴它說

為什麼是低分

我們都講說

我們有兩種sample嘛

有兩種negative example

一種negative example是

其實你的image跟文字還是match的

只是image的quality不好

因為它是generator產生的

因為case是

你的image的quality是好的

但是它是不match的

這兩種case都要給它低分

但是對這個network來說

它就會confuse這樣

它會不知道說

為什麼這個東西

是給它低分

舉例來說

你可能是說

給它一個很清晰的圖片

給它一個很清晰的火車

但是搭配狗

告訴它說

這個要給低分

也許它會覺得說

會不會是因為這個火車

不夠清晰

應該要產生得更清晰一點

所以今天對這種network來說

兩種不同的錯誤

就是你的X不夠realistic

還有X跟C不夠match

對它來說

它不知道到底是哪一種錯誤

你就把兩種theta都倒給它

希望它自己可以分辨

但是我覺得就下面這個case而言

你就可以

把這兩個case分開

你就會告訴它說

假設你今天的case是

你的X產生出來

不夠清晰

那只需要

這一個值變小就好

如果你今天是X很清晰

只是跟C不match

那你只需要讓這個值變小

那這個值就不用變小

我覺得

這可能是一個比較合理的設計

不過就是給大家

給大家參考就是了

不過我現在看到比較多的network

是用上面這個方式設計的

不過也有一些paper

用下面這個方式

來設計它的discriminator

我覺得下面其實是比較合理的

也許你可以在作業裡面試試看

然後告訴我說

你覺得哪一個結果

performance比較好

那這個就是大家作業要做的事情了

我們會給你image

跟它對應的一些特徵的描述

那你要做到的事情

就是輸入一段文字

比如說

這個角色是什麼樣的眼睛

什麼樣的頭髮

得到一個結果

那這個結果到底可以

做的什麼樣子呢

這個是去年

吳宗翰 謝俊成 陳炎浩

和錢柏君同學做的

他們結果是這樣

輸入紅頭髮 綠眼睛

這產生紅頭髮 綠眼睛的角色

理論上你也可以做到這樣子的

然後

對 它確實都是紅頭髮

然後都是綠眼睛

然後輸入藍頭髮 紅眼睛

產生出來的結果

是這個樣子的

那你會發現說

機器還是會犯錯

比如說這個角色

它一隻眼睛是紅的

另外一隻眼睛卻是藍的

顯然機器覺得說

產生一隻紅色的眼睛

就可以蒙混過去了

可是它兩隻眼睛顏色是不一樣

就是一眼白眼

一眼血綸眼這樣子

那還有一個技術

你可以用在作業裡面的

叫做State Game

你不用State Game

你就可以過Base Line

那如果你想要

登峰造極

你就可以用一下State Game這樣子

State Game是怎樣呢

State Game的概念是說

先產生小張的圖

再產生根據小張的圖

再產生大張的圖

在原始的State Game的Paper裡面

它想要產生圖的大小是256x256

不過太大張了

你直接產生256x256的圖

會壞掉

所以State Game在Train的時候

它把整個Training的Process

拆成兩階

先拆成兩階

有一個第一階的Generator

第一階的Generator

它的工作是說

吃一段文字進來

這個Label有點複雜

詳情你再去判一下Paper

吃一個文字敘述進來

再吃一個動文詞

把它們湊湊Component在一起

然後產生一張Image

這個Image比較小

只有64x64

第二個Discriminator

check說

這個Image

搭配這一段文字的敘述

是不是Match的

接下來你有第二個Generator

第二個Generator是什麼呢

第二個Generator

就吃一段文字的敘述

跟一張64x64的Image

然後產生一張256x256的圖

然後第二個Discriminator

再看說這個256x256的圖

是不是沒有Listing的

總之你在做的時候

你就是分成兩階

先產生小的

然後再產生大的

那你直覺就會知道說

這樣子做

應該Performance會比較好的

像之前不是那個NVIDIA

有Report說

他們的捲片

可以產生什麼1024x1024的超級大圖

然後連毛細

它們產生在人臉

是連毛細孔都看得到的那一種

所以這個時候

他們做的就是用

類似Skidcam的概念

你要產生小張的圖

你先產生4x4

再產生

根據4x4產生8x8

再產生16x16

最後一直到產生1024x1024

他們實際上在Chain的時候

這些所有疊在一起的Generator

都是用Euclid合在一起Chain的

它是先Chain第一個小的

然後再疊第二個比較大的

然後大的跟小的一起Chain

然後再疊更大的

然後再一起Chain這樣子

所以如果你今天想要在

作業32個

或者是前面的作業31

登峰造極的話

你就不要用Skidcam這樣子

你先產生一個比較小的圖

然後再把它產生比較大的圖

那剛才講的那個Conditioned

應該是產生文字

再產生對應的圖片

那我們現在也可以產生圖片

然後呢

產生另外一張對應的圖片

那這個東西

是怎麼做的呢

這個東西怎麼做的呢

這邊你在文件上

可以看到很多的例子

比如說把黑白圖轉成彩色圖

把白天轉成夜晚等等

這個怎麼做的

你要Chain這種Network

首先當然你要有Training Data

假設你今天是要把

簡單的幾何圖形

變成真實的房屋的樣子

那你需要蒐集很多

簡單的幾何圖形

跟真實房屋的Pair

這種Data蒐集個好幾萬張

然後去Chain一個Network

當然你可以用Supervised的方法

來解這個問題

但是用Supervised的方法

問題就是

你產生出來的圖片

會比較模糊

如果用Supervised的方法

你的做法是說

你有一個Network

然後你Input一張圖片

它Output一張對應的圖片

而你希望這張對應的圖片

跟它的目標越接近越好

你通常會算個比如說

L1 Loss或L2 Loss

但你發現

如果你只有這麼做的話

你會遇到的問題是

你產生出來的Output

會是特別模糊的

就跟我們之前講

Text to Image的Case一樣

你同一張Image

它可能可以對應到

很多不同的房子

但今天Network在學的時候

它就是產生一個平均的結果

所以它產生出來的圖片

會是比較模糊的

這個時候

你就可以引入Gan的概念

在Gan裡面

你的Generator

它吃一個這個簡單的圖

它吃這個Condition

跟一個Noise Z

產生一張對應的圖片

那你的Discriminator

做的事情是什麼呢

你的Discriminator會檢查

這個Generator的Input跟Output

湊起來

是不是一個Pair

那我們之前有講過說

你今天在Conditional Gan裡面

在Trend Discriminator的時候

你應該給它吃一個Pair

你應該給它吃一個Pair

而不是只是Generator的Output

你應該給它

Generator的Input跟Output的Pair

然後它會給它一個分數

如果你用Gan來做的話

你會發現你產生的圖

就清晰很多

但它的問題是

Gan它會產生一些

奇奇怪怪的東西

比如說這邊有一個

又像是煙囪又像是窗戶的東西

是本來Input裡面沒有的

對這個Discriminator來說

產生這個東西

好像也沒有特別不對

那如果你今天

要給它下額外的Constraint的話

你可以下另外一個Constraint說

你希望Generator的Output

跟Trending Data裡面

目標的那個Image

同時也要越高越近越好

比如說對你的Generator來說

它有兩個目標

一個目標是

要產生夠清晰的圖

去騙過Discriminator

另外一方面

你又希望Generator

產生出來的Output

不要跟原來的目標相差太多

如果你把這兩個東西

同時一起考慮的話

那你產生出來的結果

就會比較好

不只是產生清晰的圖

這個圖上面

也不會產生奇怪的東西

這個是Image to Image

那在Image to Image

那篇Paper裡面

它的Discriminator

是分為經過設計

因為如果你今天

要產生出來的Image

非常大張

那你的Discriminator

如果是吃整張Image

當作Input的話

你結果很容易壞掉

為什麼

因為你的Discriminator

因為Image很大嘛

所以你的Discriminator

參數也要很多

那你很容易Trend

Trend就很容易Overfitting

或你Trend的時間

就非常的長

所以其實在前面那張

前面那個Image to Image

那個Paper裡面

它做的事情是

它的Discriminator

是只檢查圖片裡面的

一小塊而已

它不是讓Discriminator

去檢查整張圖片

因為這樣子

你的Discriminator

參數量會太多

它只讓Discriminator

檢查一小塊圖片

再說這小塊圖片

它到底是好的

還是不好的

當然一個Discriminator

檢查多大的區域

就變成是一個

你需要去調整的參數

但Paper裡面

它當然有調說

如果看整張Image會怎樣

如果小到只看一個Pixel

會怎樣

如果只看一小塊

這個叫做Patch Gap

如果只看一個Pixel

就叫做Pixel Gap

你可以想像說

只看一個Pixel

當然是一點用都沒有

如果只看一個Pixel

它不是就只考慮

那一個點的事情嗎

所以它產生出來的Image

就整個都糊掉這樣

就看不出來在產生什麼東西

所以當然只用一個Pixel

是不行的

但是只看整張Image

Performance也不是最好的

你要調一下這個Patch的Size

看看說怎樣的Patch的Size

可以給你最好的結果

這個東西叫做Patch Gap

那其實同樣的技術

不是只能用在影像上

到目前為止我們講Gap的時候

都是Apply在影像上

其實同樣的技術

也可以用在語音上

舉例來說

你可以用Gap這個技術

來做Speech Enhancement

什麼是Speech Enhancement呢

Speech Enhancement意思是說

你有一段聲音訊號

可是它被雜訊干擾

它加了很多背景的噪音

你希望機器可以自動

把背景噪音去掉

那通常有兩個作用

一個是把背景噪音去掉以後

再丟到語音辨識系統裡面

也許正確率會比較高

另外一方面

把背景噪音去掉以後

再播給人聽

也許人聽得比較清楚

好那如果今天是一般的

Speech Enhancement

怎麼Train的呢

你要找很多聲音

然後把這些聲音呢

也都加上一些雜訊

好接下來呢

你就Train一個Generator

Input一段有雜訊的聲音

希望Output呢

就是沒有雜訊的聲音

Input一段有雜訊的聲音

把沒有雜訊的聲音

當作你的目標

去訓練你的Generator

那一般因為

像這個東西叫做

這是一段聲音訊號

但它是用這個

Spectrum來表示它

它看起來就像是

一個Image一樣

所以這個Generator呢

常常也就會直接套用

你在產生Image

在做那個

我們剛才說

Complete Generation

它會做在Image上嘛

那其實那些Image上

常用Neural架構

其實也可以直接套用到

Speech Enhancement上面

也是沒有什麼問題的

但是我剛才有講過說

直接Train Generator

你產生出來的結果

就會比較模糊

所以你要再加上Game的概念

不只要直接Train Generator

你還要Train一個Discriminator

Discriminator的工作呢

就是看Generator的Input加Output

這個我們今天強調很多次了

在Conditional Game裡面

你不可以只看

Generator的Output

Discriminator要同時看

Generator的Input跟Output

然後給它一個分數

這個分數決定說

現在Output的這一段聲音訊號

是不是Clean的

同時Output跟Input

是不是Match的

你並不希望你本來說

I love you

然後通過Generator以後

就變成I hate you這樣子

那樣就不行

所以你希望這個Output跟

這個Input呢

它們是Match在一起的

那同樣的技術呢

也可以做Video的Generation

那怎麼做Video Generation呢

就是給Generator看一段影片

然後讓它預測接下來

會發生什麼樣的事情

讓它產生影片

接下來發生的事情

然後怎麼做到這件事情呢

你就需要一個Discriminator

那我們說Discriminator

不能夠只看Generator的Output

它要同時看

Generator的Input跟Output

所以就把Generator的Input跟Output

接在一起

變成一段完整的影片

然後讓Discriminator去檢查說

這段影片到底是不是一個合理的影片

那這邊是一個

我在網路上找到的

有人用Game的技術呢

去產生小精靈的遊戲畫面的結果

那右邊呢

是沒有用Game的技術的結果

那沒有用Game的技術

會發生什麼問題呢

你會發現說

小精靈走著走著

走到轉角這邊

它就分裂了

它就分裂了

為什麼會分裂呢

因為TrainingData裡面同一個轉角

有時候小精靈會往左走

有時候會往右走

往左走是對的

往右走也是對的

但是對一個沒有Game的Generator來說

它學起來

它就會把往左走和往右走

全部平均起來

結果就壞掉

往左走是對的

往右走也是對的

同時往左走跟往右走

結果就會壞掉

那中間呢

就是用Game的方法來做的啦

你就發現說

它就比較不會有分裂的情形

但它結果也不是perfect

你會發現

有些小精靈走著走著

就不見了

這樣子

這邊還有一個有趣的現象

你會發現它那個數字會跳

不過它這個數字是隨機的跳動

就是了

好,那這個就是Conditional Game