好,那我們就開始來上課啦。

然後我們現在要進入開始講圖像的生成。

那因為我們下一個作業,作業六呢,就是圖像的生成。

所以我們開始來講圖像的生成模型。

那在開始之前呢,我們先講圖像生成有什麼特別的地方。

好,圖像生成有什麼特別的地方呢?

大家都知道俗話說啊,一張圖勝過千言萬語。

所以今天假設我們圖像生成的任務,是拿一段文字去生成一張圖,

比如說你把一次奔跑的狗丟給Me Journey,然後牠就會生一張圖給你。

但是一張圖是勝過千言萬語的,如果要把這一張圖描述成文字,

牠的資訊量是遠比一隻在奔跑的狗還要多的。

比如說這隻狗奔跑的位置是在街道上,或者是這一隻狗是一隻柯基。

有很多資料是不在你做影像生成的時候輸入的文字裡面的。

所以你輸入的文字只是千言萬語的部分。

在做圖像生成的時候,有很多部分不在人類輸入的文字裡面,

機器需要進行大量的腦補才能夠生成好的圖像。

這是圖像生成跟生成文字比較不一樣的地方。

當然生成文字輸入跟輸出也不是一對一的關係,

但是很多文字生成的任務,比如說翻譯,

你一旦給定了輸入的句子,你輸出的可能性其實是蠻有限的。

但圖像不一樣,你給一個句子,它輸出的可能性有非常多不同的樣貌。

其實我覺得語音合成也是一樣,你給一個句子,

它要合出什麼樣的聲音,男的、女的、老的、少的,

還是要用什麼樣的口氣說話,生氣的還是高興的,

有非常多不同的變化。

所以我覺得語音合成跟圖像生成比較像,

就是我們的輸入只是輸出的一小部分,

機器需要進行大量的腦補才能夠產生正確的結果。

等一下要跟大家講說這個需要進行大量腦補這件事,

造成模型的設計上有什麼特別的地方。

好,那我們知道文字生成多採用auto-regressive的方法,

那之前跟大家講過說在生成的時候,

兩種策略,auto-regressive各個擊破,

或者是non-auto-regressive一次到位的方法。

那我們知道文字生成是這樣,給一個句子,

不管你是像GVT一樣通通都是decoder,

還是你是一個sequence to sequence的model,

我們在這個課堂的錄音裡面,

大家應該已經看過sequence to sequence的model了,

反正概念是一樣的,給一個輸入一個句子,

然後接下來你要輸出一個機率的分布,

然後根據這個機率的分布去做sample,取出一個文字,

根據取出來的文字再產生新的機率分布,

再取出新的文字,這樣就可以產生一個句子,

產生一個回答的結果。

那對於影像生成來說,其實直覺上你會覺得,

應該也可以套用幾乎一模一樣的做法,

一個影像生成的模型應該可以吃一段文字,

接下來它輸出的distribution不是文字的distribution,

而是顏色的distribution,

比如說綠色產生的機率應該有多少,

黃色產生的機率應該有多少,

那這邊的單位可能就是用pixel,

通常是用pixel像素來表示,

也就是說現在要畫一隻奔跑的狗,

那你第一個像素要放一個紅色像素的機率有多少,

要放一個綠色像素的機率有多少。

那我們知道說這個影像,一個pixel,

它是由RGB三個顏色所組成,

那RGB分別又是由一個0到255的數字所表示,

所以照理說應該有256x256x256,

三種不同,這麼多種不同的顏色,

不過你實際在做影像生成的時候,

其實你也用不上那麼多的顏色,

你可以選個比如說256色,

其實往往就蠻足夠的,

因為像小時候在畫畫的時候,

那個蠟筆如果64色,你就已經畫得很高興了對不對,

所以影像生成的時候,

你其實沒有必要有256x256x256種顏色,

那其實像這種用auto-regressive sensing影像的方法,

過去也是有的,

OpenAI其實也做過很類似的事情,

那他們那時候如果沒記錯的話,

他也只選256個顏色而已,

那總之你決定第一個pixel要放每一個顏色的機率,

然後根據這個機率做sample,

那比如說sample到綠色,

就畫一個綠色的pixel,

然後接下來根據已經畫了綠色的pixel這件事,

還有已經輸入的文字,再產生新的分布,

然後可能就決定畫紅色的pixel,

以此類推,

那如果要畫一張256x256這樣子的解析度的影像,

那他有65536個pixel,

那同樣的過程,

就是重複25536次,

你就可以畫一個解析度是256x256的圖像,

就結束了,

能不能這麼做呢?

能這麼做,

所以其實OpenAI有一個影像版的GPT,

那影像版的GPT,

他就是先把一張圖片,

本來圖片其實是二維的,

拉直變成一排,變成一個sequence,

然後接下來呢,

就是直接當作一個language model的問題,

直接把它當作文字,

只是現在我們這個token的數目,

因為只有256色,

所以token的數目就是256個,

然後呢,

用一個autoregressive的model,

跟GPT架構是一樣的,

然後train下去,

就結束了,

然後他們就畫一些圖啊,

那為了要顯示說這個圖呢,

這個裡面的pixel呢,

都是一排一排生出來的,

那他特別呢,

做了這張動畫,

告訴你說,

這個圖呢,

他就是一排一排一排的,

把那個pixel生出來,

這個叫做Raster Order,

一排一排的生pixel的順序,

叫做Raster Order,

所以這個方法,

其實也可以生成蠻高清的圖片,

那我們之前有講過說,

對於影像生成而言,

這種方法太耗費時間了,

所以在影像生成的話,

今天你看到多數的模型採取的,

都是一次到位的方法,

也就是說,

給一段文字,

如果你要生一個影像,

那在概念上,

在概念上,

你會做的事情是,

我把每一個位置,

要放什麼顏色的distribution,

都先產生出來,

然後再根據這些distribution,

去做sample,

但是這麼做有什麼樣的問題呢?

因為我們剛才有講過說,

一張圖勝過千言萬語,

所以當你輸入一隻正在奔跑的狗的時候,

牠的正確答案,

不是只有一個,

有很多種不同的可能性,

在奔跑的狗,

可能有大隻的,

有小隻的,

有各種不同的毛色,

背景,

可能是在草原上,

可能在沙地裡,

可能在城市裡,

有各種不同的背景,

而且我這邊畫的圖啊,

這邊圖都說me journey生的啦,

這邊的狗都是迎面朝你衝來,

其實牠也可以有其他衝的方向,

由左到右啊,

或是遠離你啊,

也都是在奔跑的狗,

所以今天當你輸入一段文字的時候,

正確答案不是一個,

一般我們在做機器學習的時候,

我們通常比較習慣是,

輸入一個東西,

有一個標準的正確答案,

但是在影像生成這個問題,

它不是這樣的一個問題,

影像生成的問題是,

有一個輸入,

它的正確答案是一個分佈,

是一個distribution,

在這個分佈內的,

都可以說是正確答案,

但是如果我們一個一個pixel,

分開生成,

分開去做sample,

會發生什麼事呢?

如果一個一個pixel,

分開去做sample,

每一個pixel的產生,

都是各自獨立的,

那就會變成,

有些pixel是想要畫往左跑的狗,

有些pixel想要畫往右跑的狗,

有些pixel想要畫黑的狗,

有些pixel想要畫白的狗,

然後最後全部湊起來,

就會不成樣,

比如說我把這邊四張圖片,

各切一塊拼在一起,

那就不知道在畫些什麼東西,

所以如果是一次到位的方法,

你要pixel獨立的各自生成,

其實是會得到非常差的結果的,

所以怎麼辦呢?

你會發現今天影像生成的模型,

都有一個共同的套路,

這共同的套路是什麼呢?

都不是直接給一段文字就生出圖,

他們都會有一個額外的輸入,

這個額外的輸入,

是由一個normal distribution,

或者你要用別的distribution,

其實也是可以的,

總之就是一個簡單的,

你知道長什麼樣子的distribution,

也有人會用這個uniform distribution,

反正只要你知道這個distribution,

長什麼樣子就可以了,

你從一個你知道怎麼做sample的,

簡單的distribution,

去做sample,

sample出一個像量,

那這邊我在畫這個distribution的時候,

可能會讓你誤以為說,

這邊是從一個one dimensional distribution,

做sample,

那我不是這個意思,

就是說這個normal distribution,

你要想成是一個高微的normal distribution,

然後從一個高微的normal distribution,

做sample,

得到一個高微的像量,

然後把這個像量,

丟到影像生成的模型裡面,

跟這個文字合力去產生最後的結果,

你會發現說,

不管你今天是用什麼樣影像生成的模型,

VAE、GaN、Full Face Model,

或者是最近最熱門的Diffusion Model,

其實方法都是一樣的,

你都不是只有拿文字去生影像,

你都需要一個額外的輸入,

你都需要從某一個簡單的機率分佈裡面,

去sample出一個東西,

sample出來的這個東西有點像是雜訊,

因為通常你是從這個normal distribution sample出來,

就是一個像是雜訊的東西,

丟到影像生成模型裡面,

你才能夠產生最終的結果。

那這背後所代表的含義是什麼呢?

我們現在如果把文字用Y來描述,

影像用X來描述,

那正確答案的分佈,

我們可以寫成P of X given Y,

那這個P of X given Y,

它顯然會非常的複雜,

我們現在會想要去,

如果我們可以成功model P of X given Y,

如果我們可以知道說P of X given Y長什麼樣子,

我們從這個分佈裡面去做sample,

我們就可以把圖畫出來。

但是問題是P of X given Y,

它非常的複雜,

其實在過去古早的時代,

比如說在甚至game都還沒有的2014年以前,

你知道這個要生圖,

給文字生圖不是今天人們才開始做的事情,

一直都有人在做這方面的研究。

在更過去還不知道用什麼deep learning生圖的時候,

那時候多數時候就假設說,

比如說P of X given Y,

可能是一個mixture of Gaussian,

有多個Gaussian所組成的,

然後我們把這個模型看能不能夠認出來,

然後從這個mixture of Gaussian去sample,

你sample出來,那個圖都非常的模糊,

跟今天就是完全不在同一個量級上面。

所以這個P of X given Y,

它顯然非常的複雜,

複雜到它不是一個你用人腦可以想出來的模型,

它不是一個Gaussian distribution。

所以怎麼辦呢?

這邊的策略是,

我們把normal distribution裡面sample出來的vector,

都對應到P of X given Y裡面的每一個X。

我們知道說,如果要畫一隻奔跑的狗,

有這麼多不同可能的樣子。

那我們把normal distribution裡面sample出來的vector,

一個一個對應到可能畫的狗。

這一個影像生成的模型,

等於就是在產生這個對應關係。

影像生成的模型,

它做的工作就是想辦法把normal distribution裡面sample出來的東西,

對應到正確的狗在奔跑的圖片。

所以接下來難的點就是,怎麼把這個distribution,

把它做一些扭曲,扭成P of X given Y的樣子呢?

這個其實就是所有的影像生成的模型,

都在解的問題。

所以這些影像生成的模型,

它們背後想攻克的問題其實是一樣的,

只是解法是不一樣的。

那我們就很快地速覽一下常用的影像生成的模型。

以下的說明都非常簡略,

有很多東西我就把它帶過,就不細講。

那大家如果想知道這些影像模型真正背後的原理,

請參見參考資料。

那這邊呢,第一個會講的是VAE,

那VAE Variational Autoencoder,

它做的事情是什麼呢?

我們今天想要從normal distribution對應到影像,

那怎麼做呢?

我們期待有一個decoder,

這個decoder就吃normal distribution sample出來的vector作為輸入,

它的輸出就應該是一張正確的圖片。

那我這邊是把文字的輸入省略啦,

那希望大家知道我的意思。

好,那但是怎麼訓練這樣的decoder呢?

怎麼訓練一個像量對應到一張圖片這樣子的decoder呢?

你知道你今天要訓練一個network,

你就是要有成對的資料才能訓練network嘛。

如果有人告訴你說這邊每一張圖片都應該對應到哪一個像量,

那你就可以訓練這個decoder。

我們並不知道normal distribution sample出來的vector

跟這些狗正在奔跑的圖片到底有什麼樣的關係,

那怎麼辦呢?

那另外一個東西叫encoder,

encoder做的事就是decoder的相反,

把一張圖片變成一個像量。

那可是只有encoder跟只有decoder都沒有辦法訓練,

所以怎麼辦呢?

把encoder跟decoder串起來,

所以一張圖片輸入encoder變成一個像量,

欸,請說?

所以剛才那個同學是問說,

在這個投影片上面,

看起來是一個unconditional的,

我沒有把文字的部分放進去,

那其實你也可以把文字的部分放進去,

所以如果今天是要用文字生成影像的話,

那這個decoder呢,

其實它應該要有一個文字的輸入,

然後告訴它說,

我們已經有用文字限縮了我們可以生成的範圍,

但就算已經有文字限縮生成的範圍,

你生成的範圍仍然是一個機率的分布,

仍然不是有一個標準的正確的答案。

那剛才講到說,

好,我們就一個encoder輸一張圖片,

產生一個像量,

然後這個像量丟給decoder,

要還原回一樣的圖片,

那encoder跟decoder是一起訓練的,

要讓輸入跟輸出越接近越好。

但是光只有這樣訓練是不夠的,

因為如果光只有這樣訓練,

這邊的這些像量的分布

不一定會是一個normal distribution,

所以你要加一個額外的限制,

強迫中間的像量是normal distribution,

所以這個就是VAE的概念。

好,那如果想要知道VAE更多背後的原理,

那請見過去上課的錄影。

好,接下來呢,講flow-based model,

以下每一個模型都只有一頁投影片而已。

flow-based model是怎麼做的呢?

它跟剛才VAE反過來,

我們先來想encoder,

我們能不能夠訓練一個encoder,

吃一張圖片,輸出就是一個像量,

而這個像量的分布,

希望它是一個normal distribution。

好,那如果能夠做到這件事,

一個encoder輸一張圖片,

輸出的像量就是normal distribution,

然後接下來呢,我們再強迫這個encoder,

是一個invertible function,

你就可以直接把這個encoder,

當作decoder來用。

訓練的時候,它是吃圖片輸出像量,

這個像量的分布是normal distribution,

那實際上你要畫圖的時候,

要把這個encoder反過來用,

讓它可以輸入一個像量,

然後就輸出一張圖片。

那你第一個會問的問題是,

怎麼強迫encoder一定是invertible的呢?

我們現在是在訓練neural network,

隨便訓練一個neural network,

你怎麼知道它的inverse長什麼樣子呢?

這個就是flow-based model神奇的地方,

它有刻意限制network的架構,

所以flow-based model不是你隨便兜network架構,

都可以當作encoder來用的,

它有刻意限制了network的架構,

讓你train完以後,

你馬上知道這個encoder的inverse長什麼樣。

好,那這個細節呢,大家就再參考資料。

那另外一件事情是,

因為這個encoder它必須是invertible,

意味著什麼?意味著輸出的那個vector啊,

你的dimension要跟輸入的圖片一樣。

所以我在這個投影片上,

這個encoder的輸出看起來比輸入的圖片略小啦,

那你要想像,

這個encoder的輸出跟輸入的圖片是一樣大的,

如果你輸入的圖片是256x256的圖片,

那你encoder的輸出就要是一個256x256微的向量,

或者是你要把它排成一個256x256的圖片,

只是裡面都是一堆看起來像是噪音的,

看不懂的東西,這樣也可以。

為什麼輸入跟輸出的大小一定是一樣?

如果不一樣,你就沒有辦法保證它是invertible啦。

如果輸出的向量比輸入的圖片dimension小,

你就沒辦法保證它是invertible啦。

所以輸出的向量必須要跟輸入的圖片,

它們的大小是一樣的。

所以這個就是flow-based model的精神。

你可以再重複一次你的問題嗎?

我試著先描述一下我的認知,

然後等一下再看看你有沒有問題。

就是這個encoder就是輸入圖片,

輸出distribution,

輸出一個向量,

然後這個向量的分佈是normal distribution,

是說我們把很多圖片一起丟進去以後,

它的分佈是normal distribution,

這邊並不是輸出一個distribution喔。

然後這個是invertible的,

所以它可以逆向來用,就這很神奇,

它可以逆向來用,所以train完以後,

給它一個向量,從normal distribution sample出來的,

它會變成一張圖片。

這樣回答到你的問題嗎?

好的,謝謝謝謝。

好,大家有問題都歡迎隨時打斷我。

好,大家有問題嗎?

欸,你們問我什麼問題,要不要提出來啊?

一樣大的意思喔,

就是說,一樣大的意思就是,

我知道說這個圖畫得沒有很好啦,

把輸出畫得小一點,

就當作它離你遠一點,所以看起來小一點的。

好,所以這個圖,如果它是256x256的圖片,

這一個輸出的向量,輸出的東西,

它也要有256x256的數字那麼多。

然後,那當然就是256x256的數字,

你可以把它排成一個很長的向量,這樣也可以啦。

啊,這邊是把它排成256x256的一個矩陣。

那為什麼一定要這樣?

不這樣的話,你就沒有辦法保證這個function是invertible啦。

它是invertible,代表它的這個input跟output dimension是一樣大的。

就如果大家對這個floor-based model真的這麼有興趣的話,

就是詳盡的錄影。

好,然後接下來我們來就講diffusion model吧。

為什麼這學期一定要講diffusion model呢?

因為我們的作業6,我們從game改成diffusion model,

所以我們一定要來講一下diffusion model。

有必要這麼訝異嗎?

就算是改成diffusion model,還是有sample code這樣子。

好,這個來講一下。

等一下呢,在下一段投影片呢,

會更詳細的跟大家講diffusion model是怎麼做的。

所以這一頁投影片,我們就只用一頁來講一下diffusion model的概念。

好,diffusion model的概念是什麼呢?

我們就是把一張圖片一直加雜訊、一直加雜訊,

大到原來的圖看不出來是什麼。

那這個圖看起來就像是從normal distribution sample出來的一個雜訊一樣。

好,那怎麼生圖片呢?

生圖片的方法就是你認一個denoise的model,

那實際上怎麼做,等一下都還會再講到。

你認一個denoise的model,

丟一個看起來像是從normal distribution sample出來的vector當作輸入,

那它就去掉噪音、去掉噪音,你要的圖慢慢就產生出來的,

就是這麼神奇。

那如果你現在心裡充滿了困惑跟懷疑也是很正常的,

那我們等一下會再詳細的講這個模型。

好,那最後一個呢,

就是大家都耳熟能詳的Generative Adversarial Network,也就是GAN。

那GAN呢,它是只認decoder,它就沒有認encoder了。

那GAN怎麼認decoder呢?

那一開始GAN呢,你就多給它一大堆的從normal distribution sample出來的向量。

那一開始呢,這個decoder沒有經過訓練,

所以它根本不知道怎麼畫一張圖就輸出一些亂七八糟的東西。

通常一開始的輸出是比現在這個投影片上的還要差很多啦,

通常一開始輸出的東西就是一些雜訊,你根本不知道在畫些什麼。

那接下來你會訓練一個discriminator,

這個discriminator的工作啊,用白話來講就是,

去分辨輸入的圖片是decoder產生出來的假的圖片,還是真正的圖片。

如果我們今天把真正的圖片的分布想成P of X,當然如果你是有文字輸入的話,

這邊就要given Y啦,given一個文字的condition,

不過這邊先把文字的condition省略掉,

那這個真實圖片的分布是P of X,

decoder產生出來的圖片分布是P' of X。

這個discriminator實際上在做的事情是什麼呢?

其實這個discriminator訓練的時候的loss啊,

其實就代表了P of X跟P' of X它們的相似的程度。

那這個在直覺上其實也是蠻容易理解的,

因為當discriminator沒有辦法分辨來自這兩個distribution的image的時候,

代表這兩個distribution的image非常的接近。

如果你的discriminator它的performance是很差的,

它的分類的錯誤率是很高的,或是它的loss是很高的,

就代表說P of X跟P' of X非常的接近。

decoder要做的事情就是想辦法調整它的參數,

讓discriminator做得越差越好。

那這個就是game的概念,

當discriminator做得差了,就代表P' of X,

這個decoder生出來的圖片的分布跟真正的圖片的分布有很大的差距。

那這個就是game。

講到這邊,大家有問題想要問嗎?

你說為什麼要叫decoder然後不叫generator?

為了要跟前面講的VAE感覺比較一致,

所以我就把它命名為decoder。

但是這真的只是名稱而已,我們也可以把它改成叫generator。

希望這樣回答到你的問題,這只是名字的不同而已。

如果你想要知道game的話,過去花了很多很多時間講game,

這個講的話可以大概講個十個小時左右。

大家可以慢慢看,有一個game的系列的錄影。

好,那這張投影片呢,是一次速覽VAE flow-based model跟diffusion model的差異。

那它們的共通性就是,它們都有一個encode的機制,一個decode的機制。

在VAE裡面,encoder、decoder都是neural network,都是類神經網路,都很複雜。

那在flow-based model裡面,我們其實只認了encoder,

但是我們做了一些手腳,保證encoder是invertible的,

所以我們的decoder其實就是encoder的inverse,

所以在flow-based model裡面只需要認encoder。

那diffusion model是反過來,其實它只有認decoder的module,

它在encode的時候就沒有encoder這個東西,

它就是把圖片一直加雜訊、一直加雜訊,這個就是encoder。

當然你也可以把加雜訊這個步驟想成是一個encoder,

只是這是一個不需要認的encoder,它沒有參數,所以不需要train它。

那產生這個雜訊以後呢,再做denoise,做n次denoise,

把這個雜訊還原成圖片,那這個做n次denoise的過程,

其實就是decoder,你可以想成這每一次做denoise,

就是decoder通過了一層。

所以VAE flow-based model跟diffusion model,

其實它們有非常多的共通性。

好,那我知道說,今天大家看起來,

就是說今天最強的那些模型,比如說DALI啊,

都是用這個stable diffusion啊,都是用diffusion model做的,

但是這些模型會這麼強,也不完全是diffusion model的功勞啊,

其實等一下我們會講一下,概覽一下stable diffusion,

那你會知道說stable diffusion裡面其實是加了很多其他的東西,

今天這些模型才會這麼的厲害。

好,那這一頁投影片裡面沒有game,為什麼沒有game呢?

因為我覺得game跟VAE flow-based model跟diffusion model,

它其實就是另外一個角度的思考,

所以它跟VAE flow-based model跟diffusion model,

事實上是沒有互斥的,

你永遠可以在你的decoder後面再接一個discriminator,

讓你的decoder的output跟真實的圖片的分佈越接近越好。

所以VAE可不可以加game呢?

可以就有VAE game,這個是很古早的年代,

15年的paper,從這個圖上就可以明顯看出這是個VAE,

然後這是個game,然後這邊這個decoder呢,

在VAE裡面叫做decoder,在game裡面叫generator,

但其實是不同的名字,同樣的東西。

所以VAE可以加上game,flow-based model可以加上game,

diffusion model最近很紅,它也可以加上game。

所以game算是另外一個外掛,它可以加到現有的生成模型上面。

好,這個就是影像常用生成模型速覽。