沒有講到Deep Learning這樣子

剛才講的是一個General的Case

現在我們來講Deep Learning

那在講真正的Deep Learning之前

我們先來分析Deep的Linear的Network

它長什麼樣子

它的Loss Function長什麼樣子

我們先來假設一個非常非常簡單的Deep的Linear Network

這個Deep Linear Network呢

它只有兩個Neuron

它的Input就只有一圍就是X

然後它的每一個Neuron都沒有Non-Linear的Activation Function

每一個Neuron的Activation Function都是Linear的

那每一個Neuron就只有一個Weight W1跟W2

那今天把一個X帶進去

它只會Output一個Value Y

那Y顯然就是X乘上W1乘上W2就得到Y就結束了

那我們今天在做Deep Learning的時候

我們會給這個Network Training Data

我們假設現在Training Data只有一筆

也就是說Input是1,X等於1的時候

我們希望Network的Output跟1越接近越好

我們現在有這樣子的一個Linear的Network

它只有兩個Weight

因為它只有兩個Weight

我們甚至可以把它在一個二維平面上畫出來

其中一維是W1的值的變化

另外一維是W2的值的變化

然後這個圖上可能你就畫一些等高線

代表它的Low

我們寫做L

那你要不要猜猜看現在這一個Loss Function

它是不是Convex的

我們想想看

假設我們有一個

先問一下大家好

給你講個三秒鐘

這一個問題

你覺得它的Loss Function是Convex的

同學舉手一下

有一些同學覺得是

你覺得它不是Convex的同學舉手一下

有一些同學

所以有人覺得是Convex

有人覺得不是Convex

那我們再給你一個提示吧

我們再考慮一個更簡單的Network

這個Network只有一個參數

它只有一個Neural

只有一個參數叫W

InputX,OutputY等於WX

這一個Network它是一個Linear的Function

這一個Network它就跟Linear Regression是一模一樣的

如果我們今天考我們講機器學那門課

第一堂課就講Linear Regression

它跟Linear Regression是一樣的

Input是1

那希望它的Output跟1越接近越好

這一個Network

如果我們橫軸是W

縱軸是它的Loss

它是Convex的嗎

它是Convex的

如果今天W等於1

這個時候它的Loss會是0

當W偏離1越來越多

Loss就會逐漸上升

這是一個二次曲線

它長這個樣子

它是Convex的

那你問說

這一個Function

W1跟W2的Function

跟這個只有W的Function

它們有什麼不同嗎

其實沒什麼不同

你只是把這個W拆成W1乘上W2而已

這樣講完以後

你覺得它是一個Convex的Function嗎

你覺得它是一個Convex的Function

同學舉手一下

沒有人覺得,你覺得它不是一個Convex的Function的同學舉手一下

還是有些同學覺得它不是Convex的Function

那我們就實際上把它畫出來看看是什麼樣子

實際上畫出來

這個圖不是我自己畫的

我是截了那個Ian Guffalo paper

是長這個樣子的

所以它不是Convex的

今天這個顏色代表Loss的值

越偏藍代表Loss的值越小

它不是Convex的

你會發現很神奇就是

同樣是Linear的Function

只有一個weight的時候它是Convex的

今天有兩個weight的時候

你的Loss對weight來說就不是Convex的了

所以它是一個Linear的Function

但它的Loss不是Convex的

很多人聽到Linear方式就覺得說

嗯,它是Convex的

沒有,這只有在這個case才是Convex的

這是一個Linear的Function

但它的Loss就已經不是Convex的了

它的Loss長什麼樣子

它的Loss長這個樣子

那在這個地方跟這個地方

它的Loss是最低的

Loss最低的值可以是0對不對

因為你看W1代1、W2代1

Loss就是0了嘛

所以W1代1、W2代1

Loss就是0了

當然還有其他的組合就是了

連成一條曲線

那這個圖上的這個黑色箭頭

代表Gradient的方向

所以在這個地方

你就會順著Gradient的方向走走走走

走到這個Local Minima的地方

不過這個Local Minima也是Global Minima

因為它整個Function裡面是最小的地方

然後這個綠色的線代表

是Global Minima的Manifold

它只是把Global Minima連起來而已

紅色的線是一個Settled Point

其實在00這個地方

你就自己算

等一下算一下

就是它有一個Settled Point在00這個地方

它Gradient是0

但它不是Local Minima

也不是Local Maxima

因為從這個方向走會增加

從這個方向走也只會變小

然後藍色的這條線是說

假設你這邊是起始點

Gradient Descent會這樣子走

走走走走進去

然後今天這條粉紅色的線是要告訴我們說

它不是一個Convex的Function

它不是一個Convex的Function

因為我們把這兩邊連起來的時候

我們會發現說

這個區面上的這個值

是比紅色這條線連起來的值

是還要大的

好

那剛才是真的

因為你只有兩個參數

你真的把它硬化出來以後

看起來是這個樣子

那如果今天沒有辦法硬化呢

我們就來分析一下

我們知道說

現在這個Loss

等於Yhat減掉

W1乘W2乘以X的平方

然後呢

今天Yhat跟X都在1

都在1

隨便1減W1乘以W2的平方

然後我們計算一下它的Gradient

你把L對W1算Gradient

對W2算Gradient

你得到這樣的式子

得到這樣子的式子

然後接下來就可以分析看看說

什麼情況下

你會得到Critical Point

什麼情況下Gradient是零

有兩個可能

一個可能是說

我把圖都畫出來好了

我右上角本來有一個小圖

但不知道為什麼

它在這個螢幕上

沒有辦法顯示出來

好

沒關係

什麼情況下

它會有這個Critical Point

一個可能是

W1跟W2相乘等於1的時候

對不對

假設這一項是零

這一項是零

它是一個Critical Point

這個Critical Point

它是Global Minima

我們不需要想這件事情

因為W1乘以W2等於1

這就是一個Global Minima

今天有一個Critical Point

有一些Critical Point

它可以讓W1乘以W2等於1

它是Global Minima

另外一個可能是

W1等於零

W2等於零

有在原點的地方

它是另外一個Critical Point

這個Critical Point

長什麼樣子呢

如果我們今天算一下

它的黑懸的話

我們現在把黑懸的matrix算出來

把黑懸的matrix算出來長這樣

那我們把W1跟W2都在零

也就考慮原點那個地方的黑懸

我們會發現那個黑懸算出來

是

那個黑懸算出來

是

0-2-2-0

那接下來呢

我們要考慮一下

這一個黑懸

它是

Critical Point

還是Local Minima

還是Local Maxima呢

那你就要找一下它的

我這樣有沒有算錯啊

應該

應該沒有

應該沒有

好

那今天這個H

我們今天要找它的

Local

我們要算一下

它是Local Minima

還是Critical Point

那我們就要看一下

它的Eigenvector

那它有什麼樣的Eigenvector呢

你可以自己回去翻一下

因為我們看這個怎麼算

我清算一下以後

覺得應該是

1 1

跟

1-1

這樣子

直覺就是這個樣子

好那你就算一下它的

那個

Eigenvalue

Lambda 1

是怎麼樣

把1 1乘進去

所以10-2

Lambda Q

是2

好

所以現在呢

有正的Eigenvalue

有負的Eigenvalue

我們剛才講說

有正的Eigenvalue

有負的Eigenvalue

它是一個

Settle Point

當我們今天

從原點的地方

往1的方向走

會減少負2

往1-1的方向走

會

增加2

好不知道為什麼

那個圖沒有顯示出來

啊

對啊如果有錄音的話

它就會彈出一個

要不要按確認這樣子

所以如果沒有彈出來

就代表說

沒有錄到音這樣子

好不過沒有關係

剛才講的那個

也還蠻輕柔的

不是這樣嗎

不是這樣嗎

好剛才講的還蠻簡單的啊

所以

好

我們剛才想要表達的事情是說

我們在原點這個地方

它是一個Settle Point

往1-1走

會往變小

是不是往1

原點這個地方是往1-1走

會變小呢

是

往1-1走

會變大

往

1-

X是1

Y是負1

往1-1走

這個方向會變大

沒錯

跟這個圖上看起來的

是一模一樣

好我們今天知道說

在做歸點Descent的時候

你最後可能會停在

一個Settle Point

也可能會停在一個

Local Minima

停在Local Minima

沒有問題

因為今天這個地方

Local Minima

就是Global Minima

停在Settle Point

就有問題了

因為Settle Point

不是我們要的

它不是一個Global Minima

它的Loss是很大的

它的Loss不是

不是最小的

但是今天在這個問題裡面

你不太需要害怕Settle Point

為什麼

因為這個Settle Point啊

它非常的容易被逃出去

首先呢

假設

你從這個圖上的

任何一個點開始

你要最後走到Settle Point

是還蠻困難的

要怎麼樣才能走到Settle Point

你要正好

初始在這個對角線的地方

順著歸點走

你才能夠走到Settle Point

如果你稍微偏一點

像這個Case一樣

你就錯過Settle Point

你就走到

Global Minima去了

所以今天在這個Case裡面

你其實不太容易

卡在Settle Point

就算你不幸卡在Settle Point

也沒有關係

因為你可以算Hatred

你算了Hatred以後

Hatred可以告訴你說

往哪個地方走

可以讓Loss下降

你就可以逃出那個Settle Point

往Loss比較小的地方走了

這個是

只有兩個Neuron的狀況

我們現在來考慮一個

更複雜的狀況

是有三個Neuron

也就是有兩個

Hidden Layer的狀況

當我們今天有三個Neuron的時候

我們畫出來的Loss

我們的那個Loss L啊

等於1減掉

W1 W2 W3的平方

好接下來呢

我們就

你知道有三個參數啊

所以就不太好畫圖了

所以這個時候

你就用

Gradient和Hatred來分析一下說

今天這個Loss L呢

應該長什麼樣子

好我們現在把這個Loss L呢

分別對W1 W2和W3

做偏微分

做完這個偏微分以後

我們就可以知道說

哪些地方是Critical Point

但光知道Critical Point還不夠

我們要早算出Hatred

才能夠知道說

這個Critical Point

它的性質是什麼

好那這個Hatred

就如果今天這個Hatred算出來啊

理論上應該要有

3乘以3 9個值啦

有點麻煩

我這邊就隨便舉一個

隨便舉一個例子

就W1偏微分兩次

跟先對W1偏微分

再對W2偏微分的結果

那你可以輕易的

想像說剩下的值

長什麼樣子

我們先看一下Critical Point吧

有哪些地方

可能是Critical Point呢

一個可能是

W1 W2 W3等於1

如果W1 W2 W3都等於1的時候

會發生什麼事呢

這三個偏微分的值

也就是Gradient的第一項都是0

所以Gradient等於0

Gradient等於0

那還有另外兩個地方

兩個可能性

可能會製造出Critical Point

一個可能是

W1 W2 W3都是0

也就是在原點的地方

如果W1 W2 W3都是0的話

後面這一項會是0

所以這邊也是一個Critical Point

但其實不需要三項都是0

才能夠製造Critical Point

其實只要三項裡面的兩項是0

不一定要W1 W2是0

我這個是想表達意思說

只要三項裡面的兩項是0

舉例來說

W1 W2是0

就可以讓它變成一個Critical Point

接下來我們來分析說

這三個Critical Point

它分別是什麼樣的狀況

第一個Case

W1 W2 W3等於0

它是一個Global Minimum

你說沒分析還沒算Hesitant

你怎麼知道它是Global Minimum

你要至少先算個Hesitant

看看它的Eigenvalue

是不是都是正的

才知道它是不是一個Local Minimum

你又不知道它是不是Global Minimum

但是今天這個Case是比較特殊的

我知道說

W1 W2 W3

這個Loss的最小值就是0

W1 W2 W3等於1的時候

可以讓Loss是0

最小值是0

這邊正好讓Loss是0

所以它就已經是Global Minimum

沒有別的可能了

所以這個問題

這個Critical Point就不用分析了

那這邊分析

W1等於W2等於3

等於W3等於0

如果W1 W2 W3都是0的話

你就算一下它的Hesitant

發現它的Hesitant

是一個Zero Matrix

Hesitant是Zero Matrix

是一件很可怕的事情

因為它的Eigenvalue都是0

意味著說

如果我們今天用Hesitant來

考慮這一個原點的地方的話

Hesitant告訴你說

不管往什麼方向走

都是0

就如果我們不考慮更高的次數

更高的項

只考慮Hesitant那一項的話

這個Hesitant告訴我們說

在原點的地方

不管往哪個方向走

都是0

所以你今天如果走走走

走到Hesitant那個地方

你就逃不出去了

因為你就算是算了Hesitant

你仍然不知道哪個地方

可以讓你的Loss變小

除非你真的就是

挪動一下你的數值去試試看

不然你光是算Gradient

光是算Hesitant

你就逃不出這個地方了

因為這個Hesitant告訴我們說

不管往哪個方向走

值都不會增加

也不會減少

它是不增不減

你永遠都逃不出去了

這是一個可怕的

可怕的critical point

當然我們其實

你如果憑著直覺想

你知道說它是一個saddle point

就是有些

在原點的地方往旁邊走

有些時候可以讓Loss增加

有些時候可以讓Loss減小

它是一個saddle point

但是從Hesitant我們看不出來

從Hesitant這邊我們只知道說

這邊是一個黑洞

陷進去以後就出不來了

那如果是W1 W2等於0

W3等於K呢

這個時候我們得到了

這樣子的一個Hesitant matrix

那這個Hesitant的matrix

你實際上去算一下

它的Eigenvalue以後

你會發現說

它有一個positive Eigenvalue

一個negative Eigenvalue

一個zero Eigenvalue

雖然它有zero Eigenvalue

但是它的Eigenvalue又

正好一個positive一個negative

所以它往某個方向走會增加

往某個方向走會減少

那往zero的那個方向

zero Eigenvalue那個方向走

不知道增加還是減少

不過沒關係反正有增有減

所以它一定就是saddle point

好從這個例子裡面

我們發現什麼

從這個例子裡面

我想告訴大家的事情是

我們最後發現說

所有的minima

至少在這個case裡面

所有的minima

它都是global minima

其他的critical point

它都不是local minima

只要你是一個local minima

那你就是一個global minima

另外一件事情是

有一些critical point

它是很差的critical point

你陷進去以後

它就會跑不出來了

那什麼叫差的critical point

就是你從那個critical point

算Eigenvalue

沒有任何Eigenvalue是負的

你這樣就不知道說

哪個方向可以讓你的

loss的值減少

你就走不出去了

這個是兩個hidden layer的情況

如果是十個hidden layer的話

你其實也可以自己分析一下

也不會太難

但我就懶得再分析了

我這邊做的事情就是

在十個hidden layer

就有十個參數

我想看

兩個hidden layer有三個參數

所以十個hidden layer

有十一個參數

在十一個參數的space上面

我取兩個點

然後那兩個點

它們正好在原點的兩邊

然後把它們拉起來

再算說

在這個區間之內的loss的變化

那我如果取某兩個點

它們的loss的變化可能是這樣

然後再取某兩個點

它們loss的變化可能是這個樣子

那你會發現說

在原點的附近

這邊兩邊都是一樣

它們都是1

那在原點附近

有一個saddle point

它是saddle point

在原點附近呢

但是如果你光看Hessian的話

你不知道它是不是saddle point

在原點附近

有一個critical point

這個critical point

它算出來的Hessian都是0

然後在原點附近非常的平

非常的平

所以你如果走到原點附近

你就再也逃不出來

就像被吸入黑洞裡面

這個就是我們在開學

學習初的時候

demo的那一個狀況

好 那我們現在

真的來train一個非常簡單的

只有兩個neuron的linear network

那我在現在我們的training data呢

就像我們剛才講的

它的input是1

然後output的target也是1

這個network只有兩個neuron

第一個neuron

input只有一維

output只有一維

然後沒有bias

所以這個neuron

它只有一個參數

這個參數是weight

它沒有bias

那它的activation function是linear

接下來用for回圈

再加第二個neuron

那這第二個neuron呢

它的input dimension是1

output dimension是1

一樣沒有加bias

一樣它的activation function是linear

好 那這種network呢

我們可以輕易的把它train起來

但是我現在

故意在做參數的initialization的時候

把這個neuron的所有的weight

通通initialize在

這個weight等於0的狀況

那要怎麼做到這件事情呢

其實在Keras裡面非常容易

因為我這邊呢

是用random normal

來做參數的initialization

那我只要把standard deviation

設成0

那在做參數的initialization的時候

initialize的參數

就會自動的被設為0了

好 那我們剛才有講說

今天呢

一個只有兩個neuron的linear network

它的這個

在原點的地方

有一個saddle point

所以今天如果initialize

是在原點那個地方

你會發現說

training loss就完全降不下去了

你就算用add

有加momentum

也沒有用

因為一開始呢

初始的地方

gradient就是0

但你一開始初始在一個

這個saddle point的地方

你就沒有辦法再train下去了

但是

初始在saddle point的地方

這件事情

其實是

並沒有那麼容易發生

你現在呢

只要在做initialization的時候

給這個standard deviation

非常非常小的值

就算它的值非常非常小

也就是你initialize的時候

你initialize的點呢

在原點的附近

在兩個參數都是0

在所有參數都是0

在這個原點的附近

你會發現說

其實

network只要它不初始化呢

離原點有一點點的距離

就不會被卡在那個saddle point了

所以我們現在呢

給這個standard deviation

一個非常小非常小的值

這樣夠小了吧

好

那我們實際來train一下

你會發現說

現在loss呢

就可以輕易的降為0

如果你的參數初始化的時候

exactly在原點的地方

沒有辦法train

但只要離原點稍微偏離一點

就可以train了

接下來呢

我們稍微再加深一下這個network

現在變成有三個neural

同樣的initialization

你會發現說

三個neural

同樣的initialization

結果就train不起來了

因為我們剛才有分析說

如果今天有三個neural

那在原點那個地方的saddle point

它會變成一個很糟糕的saddle point

這個saddle point

它的hessian呢是一個zero matrix

也就是說在原點的地方

這個arrow的surface是非常平坦的

它平坦的就是一個一望無際的大地

平坦的就跟一個鏡面一樣

那邊完全沒有任何的coverture

所以如果你今天initialize的時候

initialize在原點的附近

initialize在那個非常平的

那個saddle point附近

你就很難逃出那一個區域

接下來呢

我們試一下

當把network加得非常深的時候

我們現在總共有十個neural

假設你現在有十個neural

就算是你用正常的initialization

你其實也逃不出去了

因為我剛才有講過說

如果你今天有

你今天的network是非常深的

你今天這個linear network是非常深的

在原點的地方呢

會產生一個

這個非常非常平的區域

那如果你今天initialize的時候呢

在這個非常非常平的區域的附近

你就會沒有辦法逃脫了

我們現在呢

給參數做initialization

用一個比較正常的standard deviation

然後圈圈看

現在network非常深

用一個正常的standard deviation

看能不能跑出去

發現說

現在loss就降不下去了

lossstrain了這個

一萬個epoch

但是這個loss呢

完全都沒有辦法降下去

那怎麼辦呢

這個時候

因為我們知道在原點附近

有一個非常平的區域

所以你要避免在你做initialization的時候

initialize在原點附近

盡量離原點足夠的遠

不要initialize在那個非常平的地方

initialize離那個非常平的地方遠一點

不要在那個很平的區域

其實就可以順利的把它圈起來了

我們試試看把standard deviation呢

自己設的大一點

你看發現

這個時候雖然network非常深

但是loss呢

也輕易的就下降到零了

非常的遠

那我就告訴你說

general現在可以證明出來的東西是怎麼樣

那證明的細節

我就把reference放在後面

你再自己

你再自己看看

現在我們知道的事情是

假設有一個network

它是linear的

什麼意思

它不見

剛才我們舉的是一個linear的network的

一個非常special的case

它

我們現在

它special的case

那現在是一個general的case

input是一個vector x

x乘以matrix w1以後

再乘以matrix w2

再乘以matrix wk

得到y

希望y跟y hat

它們的q0越接近越好

那再來

可以證明說

只要滿足一些非常寬鬆的條件

這一個linear的network

不管它疊幾層

它的所有local minima

都是global minima

就跟我剛才在兩個hidden layer證的case是一樣的

所有的

如果你只要算一算它的critical point

把你找到一個critical point

就發現說它是local minima

那它就一定是global minima

那不同的paper

他們證明的時候需要的條件不太一樣

我現在找到的一個最寬鬆的條件是

要求所有hidden layer的size

要大於等於input dimension跟output dimension

舉例來說

你input dimension是五維

output dimension是五維

中間每一個hidden layer的output都要至少五維

那為什麼需要這個限制呢

其實是在證明裡面會用到說

因為在證明裡面

實際上會用到的概念是說

現在loss最小是零

所以你需要讓你的這一個linear的network

它的global minima的loss是零

而實際上證明的時候會用到說

你找到一個critical point

發現它是local minima

接下來你又說

如果它是local minima

它的loss一定是零

那因為global minima的loss是零

所以它一定是global minima

所以它是這樣證出來的

所以需要加上這個條件

確保global minima的loss是零

那其實還有另外一個發現

這個發現是說

當今天network的深度

大過兩個hidden layer

那你就會產生我們剛才講的

不好的saddle point

就會產生不好的saddle point

所謂不好的saddle point是說

這個saddle point

它沒有任何negative的eigenvalue

它是個saddle point

但是它沒有negative的eigenvalue

所以不知道往哪個方向走

可以讓你的loss下降

這件事情在network的hidden layer

一層的時候不會發生

兩層以上就會發生

那我今天在講課的時候

我並沒有直接證

我就只是舉個例子

我們就剛才舉個例子

只有兩個neuron

也就是一個hidden layer的時候

沒有差的saddle point

但多加一個neuron

有兩個hidden layer

三個neuron的時候

它有差的saddle point

但是in general

不是只有好幾個neuron

而是一個

而是更general case

其實也是這樣子

詳情大家自己再去看一下paper

最早的完整的證明

應該是來自NIF2016

這一篇Deep learning without

poor local minima

其實2016離現在

其實也沒有太久

但是在Deep learning

這個地方的時空的

這個時間的流動是比較快的

所以2016就覺得說

非常久以前

那個時候

第一次有這樣證明的時候

大家其實都還蠻驚訝的

哇 原來Deep linear network

它雖然是non-convex的

但是它是沒有local minima的

好神奇啊

而且這個就是

Deep linear network

沒有local minima這件事

好像在不知道是80年

還是90年的時候

就有人提出這樣子的假說

但是沒有證

這篇paper就是說

過去有人提這樣的假說

沒證

然後我幫他證了一下

但是因為時間過得是非常快的

然後後面就有很多其他的paper

比方說2018的paper

它submit到ICLR就被reject

然後看到reject

他們就說

嗯 linear的network

只證linear network

實在是太linear

其實沒有什麼這樣子

過去可以上NIF2016的oral

但同樣差不多的東西

現在已經會被reject了

講給大家已經覺得說

linear的東西

分析的已經差不多了

所以接下來就是

更general的case

因為linear的network

簡單來說就沒有什麼用

我們真正處理問題的時候

我們需要的是

nonlinear的network

但是問題就是

nonlinear的network

到底長什麼

到底長什麼樣子呢

事實上在這篇paper裡面

deep learning without

破local minima

這篇paper裡面

它試著證明了

nonlinear的deep network

但它用的方式非常的怪異

如果你看它的

abstract introduction

你會以為說

原來所有deep的network

不管linear nonlinear

通通沒有local minima

太強了

但是其實你之後仔細看一下

發現說

它只真的證了linear的network

如果是nonlinear的network

它用一個非常奇怪的假設

告訴你說根據這兩個assumption

linear network等於nonlinear network

那兩個assumption是完全不合理的

然後我就不打算講那兩個assumption

因為如果講了

等一下大家問到頭炸裂

因為那個就是不合理的

所以接下來要怎麼證呢

就很多人會試著想要去往說

deep learning

一般的general deep network

是沒有破local minima

就只有global minima

這個方向去證明

但是發現非常困難

那你何不反過來問呢