好,那我們來上課吧。

那接下來我們要講什麼呢?

接下來呢,我們要講如果optimization失敗的時候怎麼辦。

所以看一下我們剛才的攻略,現在我們要講的是optimization的部分。

所以等一下我們要講的東西,基本上跟比如說overfitting沒有什麼太大的關聯,

我們只是討論optimization的時候,怎麼把gradient descent做得更好。

好,那為什麼optimization會失敗呢?

那你常常在做optimization的時候,你會發現說隨著你的參數不斷的update,

你的training的loss不會再下降,但是你對這個loss仍然不滿意。

就像我剛才說的,你可以把deep的network跟linear的model或比較shallow的network

比較發現說它沒有做得更好,所以你覺得deep的network沒有發揮它完整的力量,

所以optimization顯然是有問題。

那有時候你會甚至發現說,一開始你的model就train不起來,

一開始你不管怎麼update你的參數,你的loss通通都掉不下去。

那這個時候到底發生了什麼事情呢?

那過去常見的一個猜想是,因為我們現在走到了一個地方,

這個地方參數對loss的微分為零。

當你的參數對loss的微分為零的時候,gradient descent就沒有辦法再update參數了。

這個時候training就停下來了,你的參數不再update了,loss當然就不會再下降。

那講到gradient為零的時候,大家通常最先想到的,腦海中最先浮現的,

可能就是local minima。

所以常有人說,我做deep learning,你用gradient descent,你會卡在local minima,

所以gradient descent不work,所以deep learning不work。

但是如果有一天你要寫跟deep learning相關的paper的時候,

你千萬不要講什麼卡在local minima這種事情,

別人會覺得你非常沒有水準,為什麼?

因為不是只有local minima的gradient是零,還有其他可能會讓gradient是零,

比如說saddle point,所謂的saddle point其實就是gradient是零,

但是不是local minima,也不是local maxima的地方。

像在這個例子裡面,紅色的這個點,它在左右這個方向是比較高的,

前後這個方向是比較低的,它就像是一個馬鞍的形狀,

所以叫做saddle point,中文就翻成鞍點。

那像saddle point這種地方,它也是gradient為零,但它不是local minima。

那像這種gradient為零的點,統稱為critical point,

所以你可以說你的loss沒有辦法再下降,也許是因為卡在了critical point,

但你不能說是卡在local minima,因為saddle point也是為分為零的點。

好,但是如果我們今天你發現你的gradient真的很靠近零,

卡在了某個critical point,我們有沒有辦法知道到底是local minima還是saddle point呢?

其實是有辦法的,不是完全沒有辦法的。

那為什麼我們會想要知道到底是卡在local minima還是卡在saddle point呢?

因為如果是卡在local minima,那可能就沒有路可以走了,

因為四周都比較高,你現在所在的位置已經是最低的點,

loss最低的點了,往四周走,loss都會比較高,

你會不知道怎麼走到其他的地方去。

那saddle point就比較沒有這個問題,如果你今天是卡在saddle point的話,

你今天是走到一個saddle point的話,saddle point旁邊還是有路,

可以走的還是有路,可以讓你的loss更低的。

你只要逃離saddle point,你就有可能讓你的loss更低。

所以鑑別今天我們走到critical point的時候,

到底是local minima還是saddle point是一個值得去探討的問題。

那怎麼知道今天一個critical point到底是屬於local minima還是saddle point呢?

這邊需要用到一點數學。

以下這一段,其實沒有很難的數學啦,

就只是微積分跟線性代數,但如果你沒有聽懂的話,

以下這一段skip掉是沒有關係的。

那怎麼知道一個點到底是local minima還是saddle point呢?

你要知道我們loss function的形狀。

可是我們怎麼知道loss function的形狀呢?

Narrow本身很複雜,用復雜的Narrow算出來的loss function顯然也很複雜,

我們怎麼知道loss function長什麼樣子呢?

雖然我們沒有辦法完整知道整個loss function的樣子,

但是如果給定某一組參數,比如說藍色的這個saddle point,

在saddle point附近的loss function是有辦法被寫出來的,

它寫出來就像是這個樣子。

所以這個LO of saddle完整的樣子寫不出來,

但是它在saddle point附近,你可以用這個式子來表示它。

你可能說,哇,這個是什麼,這個還有好多種顏色啊,

這個東西到底是什麼。

這個東西是Heller-Series Approximation,

這個假設你在微積分的時候其實已經學過了,

所以我就不會細講說這一串是怎麼來的,

但我們就只講一下它的概念。

這一串裡面包含什麼東西呢?

第一項是LO of saddle point,就告訴我們說,

當saddle跟saddle point很近的時候,

LO of saddle應該跟LO of saddle point還蠻靠近的。

那第二項是什麼呢?

第二項是saddle-saddle point的transpose乘上G,

G是什麼?G是一個向量,這個G就是我們的gradient,

我們在上週已經講過gradient這個東西了,

我們用綠色的這個G來代表gradient,它是一個向量。

那這個gradient告訴我們什麼呢?

這個gradient會來彌補saddle point跟saddle之間的差距,

我們雖然剛才說saddle跟saddle point他們應該很接近,

但是中間還是有些差距的,

那這個差距第一項我們用這個gradient來表示他們之間的差距。

那這個G呢,就是有時候gradient會寫成倒三角形of L,

它是由saddle point這個地方的G,

然後G是一個向量,它的第一個component就是saddle的第一個component,

對L的微分。

好,光是看G還是沒有辦法完整的描述LO of saddle,

你還要看第三項,第三項是什麼?

第三項跟hesion有關。

這邊有一個H,這個H叫做hesion,它是一個矩陣。

這個第三項是saddle-saddle point的全後乘上H再乘上saddle-saddle point。

第三項會再補足再加上gradient以後跟真正的LO of saddle之間的差距。

那這個H裡面放的是什麼東西呢?

這個H裡面放的是LO的二次微分。

這個H它的第i個row,第j個column的值是什麼呢?

它第i個row,第j個column的值就是把saddle的第i個component對L做微分。

再把saddle的第j個component對L做微分。

再把saddle的第i個component對L做微分。

做兩次微分後的結果就是這個Hij。

好,如果這邊你覺得有點聽不太懂的話也沒有關係,

反正你就記得說這個LO of saddle,這個Loss function,

這個Loss surface在saddle point附近可以寫成這個樣子。

這個式子跟兩個東西有關係,跟gradient有關係,跟Hij有關係。

Gradient就是一次微分,Hij就是裡面有二次微分的項目。

好,那如果我們今天走到了一個critical point,那意味著什麼?

意味著gradient為0,也就是綠色的這一項完全都不見了。

即使一個zero vector,綠色的這一項完全都不見了,只剩下紅色的這一項。

所以當在critical point的時候,這個Loss function,

它可以被近似為L of saddle point加上紅色的這一項。

我們可以根據紅色的這一項來判斷說,

在saddle point附近的arrow surface到底長什麼樣子。

知道arrow surface長什麼樣子,我們就可以判斷說,

saddle point它是一個local minima,是一個local maxima,還是一個saddle point。

我們可以靠這一項來了解這個arrow surface的地貌大概長什麼樣子,

知道它地貌長什麼樣子,我們就可以知道說現在是在什麼樣的狀態。

這個是Hij。

好,那我們就來看一下怎麼根據Hij,怎麼根據紅色的這一項來判斷saddle point附近的地貌。

我們現在為了等一下符號方便起見,我們把saddle-saddle point用V這個向量來表示。

saddle是一個向量,saddle point也是一個向量,這兩個向量相減,我們用V這個向量來表示它。

如果今天對任何可能的V,V的control H乘上V都大於0,

也就是說現在saddle不管帶任何值,V可以是任何的V,

就代表說saddle-saddle point可以是任何值,也就是saddle可以是任何值。

不管saddle帶任何值,紅色框框裡面通通都大於0。

那意味著什麼?意味著說紅色框框裡面都大於0,

換言之,意味著說L of saddle大於L of saddle point。

比如說saddle不管帶多少,只要在saddle point附近,saddleL of saddle都大於L of saddle point。

那代表什麼?代表L of saddle point是附近的一個最低點,所以它是local minima。

如果今天反過來說對所有的V而言,V transpose H乘上V都小於0,

也就是紅色框框裡面永遠都小於0,

也就是saddle不管帶什麼,什麼值,紅色框框裡面都小於0,那意味著什麼?

意味著紅色框框裡面都小於0,意味著說L of saddle point都是大於L of saddle,

L of saddle小於L of saddle point。

代表說L of saddle point是附近最高的一個點,所以它是local maxima。

第三個可能是假設V transpose HV有時候大於0有時候小於0,

帶不同的V進去,也就是帶不同的saddle進去,

紅色這個框框裡面有時候大於0有時候小於0,

意味著說在saddle point附近有時候有些Loss比L of,

有時候L of saddle大於L of saddle point,有時候L of saddle小於L of saddle point。

在L of saddle point附近有些地方高有些地方低,這意味著什麼?

這意味著這是一個saddle point。

這邊你會有的接下一個問題是,我們看紅色這一項,

我們現在可以判斷它是local minima還是saddle point還是local maxima,

但是你這邊是說我們要帶所有的V去看V transpose HV是大於0還是小於0,

我們怎麼有可能把所有的V都拿來試試看呢?

所以有一個更簡便的方法去確認說這一個條件或這一個條件會不會發生,

這個就直接告訴你結論,先進代數理論上是有教過這件事情的。

如果今天對所有的V而言,V transpose HV都大於0,

那這種矩陣叫做positive definite。

Positive definite的矩陣有什麼特性呢?

它所有的Eigenvalue都是真的。

所以如果你今天算出一個Hesitant,你不需要把它跟所有的V都乘看看,

你只要去直接看這個H的Eigenvalue,

如果你發現說所有Eigenvalue都是真的,

那就代表說這一個條件成立,V transpose HV會大於0,

也就代表說是一個local minima。

所以你從Hesitant metric可以看出它是不是local minima,

你只要算出Hesitant metric,算完以後,

看它的Eigenvalue發現都是真的,它就是local minima,就結束了。

那反過來說也是一樣,如果今天在這個狀況,

對所有的V而言,V transpose HV小於0,

那H是negative definite,那就代表所有的Eigenvalue都是負的。

所有的Eigenvalue都是負的,就保證它是local maxima。

那如果Eigenvalue有正有負,那就代表是stable point。

那假設講到這邊,你沒有聽得很懂的話,

你就可以記得結論,你只要算出一個東西,

這個東西的名字叫做hesion,它是一個矩陣。

這個矩陣,如果它所有的Eigenvalue都是正的,

那就代表我們現在在local minima。

如果它有正有負,就代表還是stable point。

所以我們是有辦法判斷說是local minima還是stable point。

那如果剛才講的,你覺得你沒有聽得很懂的話,

我們這邊舉一個例子。

我們現在有一個史上最廢的Neuron,它廢到什麼程度呢?

輸入一個X,它只有一個Neuron乘上W1,

而且這個Neuron還沒有activation function,

所以X乘上W1以後,之後就輸出,然後再乘上W2,

然後就再輸出,就得到最終的數值就是Y。

總之這一個function非常的簡單,

單Y等於W1乘以W2乘以X,

這是一個史上最廢的Neuron network。

那我們有一個史上最廢的training dataset,

這個dataset說我們只有一筆data,

這筆data是X是1的時候,它的label是1,

所以輸入1進去,你希望最終的輸出跟1越接近越好。

這個史上最廢的training。

這個史上最廢的training它的error surface,

你是有辦法直接畫出來的,

因為反正只有兩個參數W1、W2嘛,連bias都沒有。

假設沒有bias,只有W1跟W2兩個參數,

這個Neuron只有兩個參數W1跟W2。

那我們可以窮取所有W1跟W2的數值,

算出所有W1、W2的數值所帶來的loss,

然後就畫出error surface,長這個樣子。

所以這邊是高的,這邊loss是高的,

這邊loss是高的,這邊loss也是高的。

四個角落loss是高的。

這個圖上你可以看出來說有一些critical point,

哪些地方critical point呢?

這個黑點點的地方,這個0,0啊,圓點的地方是critical point。

然後事實上呢,這一條線這邊也是一排critical point,

也是一排critical point。

如果你更進一步要分析它們是saddle point還是local minimum的話,

那圓心這個地方,圓點這個地方,它是saddle point。

為什麼它是saddle point呢?

你往這個方向走,loss會變大,

往這個方向走loss會變大,往這個方向走loss會變小,

往這個方向走loss會變小,它是一個saddle point。

而這兩群critical point,它們都是local minimum。

所以這個三溝裡面有一排local minimum,

這一排三溝裡面有一排local minimum,

然後在圓點的地方有一個saddle point。

這個是我們把error surface報收以後,

報收所有的參數得到的loss function以後,

得到的loss的值以後,畫出error surface,

可以得到這樣的結論。

那現在假設如果不報收所有可能的loss,

那如果要直接算出一個點,

是local minimum還是saddle point的話,

怎麼算呢?

我們可以把loss的function寫出來,

這個loss的function,這個l呢,

是正確答案y hat減掉model的輸出,

也就是w1,w2乘以x。

那這邊取這個square error,

這邊只有一筆data,

所以就不會submention over所有的training data,

因為反正只有一筆data。

x代1,y hat代1,我剛才說過,

只有一筆訓練資料,最廢的,

只有一筆訓練資料,

所以loss function就是1減w1,w2的平方。

那你可以把這個loss function,

它的gradient求出來,

那這邊細節我們就不講了。

你可以,你如果維基尊都還記得的話,

算一下就會知道說這個是對的,

反正w1對l的微分寫出來是這個樣子,

w2對l的微分寫出來是這個樣子。

那這個東西就是所謂的G,

所謂的規點。

什麼時候規點會0呢?

什麼時候會到一個critical point呢?

舉例來說,如果w1等於0,w2等於0,

在原心這個地方,

如果你w1代0,w2代0,

這個規點算出來就都是0了。

如果w1代0,w2代0,

w1對l的微分,w2對l的微分,

算出來就都是0,就都是0。

這個時候我們就知道說,

原點是一個critical point。

但是它是一個critical point,

但它是local maxima,

它是local minima,還是settled point呢?

那你就要看Hessian才能夠知道了。

你就要看Hessian才能夠知道。

那我們剛才已經報收說,

可能w1,w2了啦,

所以你已經知道說,

它顯然是一個settled point,

但是現在假設還沒有報收

所有可能的loss,

所以我們要看看能不能夠用H,

用Hessian看出它是什麼樣的critical point。

那怎麼算出這個H呢?

H它是一個矩陣,

那這個矩陣裡面呢,

就是收集了l的各次微分。

所以這個矩陣裡面,

第一個row,第一個column的位置,

就是w1對l微分兩次。

第一個row,第二個column的位置,

就是先用w2對l做微分,

再用w1對l做微分。

然後這邊就是w1對l做微分,

w2對l做微分,

然後w2對l微分兩次。

這四個值組合起來,

就是我們的Hessian。

那這個Hessian的值是多少呢?

這個Hessian的式子,

我都已經把它寫出來了。

你只要把w1等於0,w2等於0,

代進去,代進去,

你就得到在原點的地方,

Hessian是0,w2,w2,0,

這樣子的一個矩陣。

好,那這個矩陣告訴我們,

這個Hessian告訴我們,

它是local minima還是saddle point呢?

那就要看這個矩陣的eigenvalue了。

算一下發現,

這個矩陣有兩個eigenvalue,

2跟-2,

eigenvalue有正有負,

代表saddle point,對不對?

我們剛才講,

eigenvalue有正有負,

就代表的是saddle point。

好,那所以我們現在呢,

就是用一個例子跟你操作一下,

告訴你說,

你怎麼從Hessian看出一個點,

它一個critical point,

它是saddle point還是local minima。

好,如果今天呢,

你卡的地方是saddle point,

也許你就不用那麼害怕了。

為什麼?

因為如果你今天你發現

你停下來的時候

是因為saddle point停下來的,

那你可以放心的,

你其實就有機會可以放心了。

為什麼?

因為H啊,

它不只可以幫助我們判斷

現在是不是在一個saddle point,

它還指出了我們參數

可以update的方向。

就之前我們參數update的時候,

都是看gradient,看G,

但是我們走到某個地方

又發現G變成0了,

不能再看G了,

G不見了,

gradient沒有了。

但如果是一個saddle point的話,

還可以再看H。

怎麼再看H呢?

H怎麼告訴我們

怎麼update參數呢?

我們這邊假設U啊,

是H的eigenvector,

然後λ是U的eigenvalue,

就H有一個eigenvalue叫λ,

它的對應的eigenvector叫做U。

如果我們把這邊的V換成U的話,

會發生什麼事呢?

如果我們把U乘在H的左邊

跟H的右邊,

也就U乘Pose乘上H乘U,

會得到什麼呢?

H乘以U啊,

會得到λU,

為什麼?

因為U是一個eigenvector啊,

所以H乘上eigenvector,

會得到λeigenvalue乘上eigenvector,

所以這邊得到UT乘於λU。

然後再整理一下,

把UT跟U乘起來得到U的那種平方,

所以得到λU的那種平方。

所以這一項啊,

這一項,

假設我們這邊V

帶的是一個eigenvector,

我們這邊θ減θpoint

放的是一個eigenvector的話,

會發現說,

我們這個紅色的項裡面,

其實就是λ乘上U的那種平方。

那今天如果λ小於0,

eigenvalue小於0的話,

會發生什麼事呢?

如果eigenvalue小於0的話,

那λ乘上U的那種平方就會小於0,

因為U的那種平方一定是正的嘛,

所以eigenvalue是負的,

那這一整項就會是負的。

也就是U的Pose乘上H乘上U,

它是負的,

也就是紅色這個框框裡面,

是小於0的,是負的。

所以這個意思是說,

假設θ減θpoint等於U,

那這一項就是負的,

也就是λθ會小於λθpoint。

也就是說,

假設θ減θpoint等於U,

也就是θ等於θpoint加U,

你把θpoint,

本來參數在θpoint的位置加上U,

沿著U的方向做update得到θ,

你就可以讓loss變小,

因為根據這個式子,

你只要θ減θpoint等於U,

loss就會變小。

所以你今天只要讓θ等於θpoint加U,

你就可以讓loss變小。

你只要沿著U,

也就是eigenvector的方向,

去更新你的參數,

去改變你的參數,

你就可以讓loss變小了。

所以雖然在critical point沒有gradient,

如果我們今天是在一個theta point,

你也不一定要驚慌,

你只要找出負的eigenvalue,

再找出它對應的eigenvector,

用這個eigenvector去加θpoint,

就可以找到一個新的點,

這個點的loss比原來還要低。

如果這樣你聽得不是很清楚的話,

我們就舉具體的例子。

剛才我們已經發現說,

原點是一個critical point,

它的hesion長這個樣子。

我們現在發現說,

這個hesion有一個負的eigenvalue,

這個eigenvalue等於負2。

這個eigenvalue等於負2,

那它對應的eigenvector長什麼樣子呢?

它有很多個,

其實是無窮多個對應的eigenvector。

我們就取一個出來,

我們取11,11是它對應的一個eigenvector。

那我們其實只要順著這個u的方向,

順著11這個vector的方向,

去更新我們的參數,

你就可以找到一個比θpoint的loss,

還要更低的點。

如果以今天這個例子來看的話,

你的θpoint在00這個地方,

你在這個地方因為沒有歸點,

就會告訴你說你要怎麼更新參數。

那hesion告訴我們說,

hesion的eigenvector告訴我們說,

只要往11的方向更新,

你就可以讓loss變得更小。

只要往u這個eigenvector的方向更新,

11的方向更新,

你就可以讓你的loss變小。

也就是說你可以逃離你的θpoint,

然後讓你的loss變小。

所以從這個角度來看,

似乎θpoint並沒有那麼可怕。

如果你今天在training的時候,

你的訓練停下來,

你的歸點變成0,

你的訓練停下來,

是因為θpoint的話,

那似乎還有解。

但是當然實際上,

在實際的implementation裡面,

你幾乎不會真的把hesion算出來。

為什麼?

這個要是二次微分,

要計算這個矩陣的computation,

需要的運算量非常非常的大。

更遑論你還要把它的eigenvalue

跟eigenvector找出來。

所以在實作上,

你幾乎沒有看到有人用這一個方法

來逃離θpoint。

等一下我們會講其他

也有機會逃離θpoint的方法。

他們的運算量都比要算這個h還要小很多。

那今天之所以我們把這個

θpoint跟eigenvector,

跟hesion的eigenvector拿出來講,

是想要告訴你說,

如果是卡在θpoint,

也許沒有那麼可怕。

在這招的狀況下,

你還有這一招可以告訴你

要往哪一個方向走。

好,那在講到這邊,

你就會有一個問題了。

這個問題是,

那到底θpoint跟local minima

誰比較常見呢?

我們說θpoint其實並沒有很可怕,

那如果我們今天常遇到的是θpoint,

比較少遇到local minima,

那就太好了。

那到底θpoint跟local minima

哪一個比較常見呢?

那這邊呢,

我們要講一個不相干的故事。

先講一個故事。

這個故事是什麼呢?

這個故事發生在1543年。

1543年發生了什麼事呢?

那一年這個君士坦丁堡淪陷,

這個是君士坦丁堡淪陷圖。

君士坦丁堡本來是東羅馬帝國的領土,

然後被鄂圖曼土耳其帝國佔領了,

然後東羅馬帝國就滅亡了。

在鄂圖曼土耳其人進攻君士坦丁堡的時候,

那時候東羅馬帝國的國王是君士坦丁一世,

他不知道要怎麼對抗土耳其人。

有人就獻上了一策,

找來了一個魔法師叫做迪奧倫馬。

這是真實的故事,

知道嗎?

出自三體的故事。

迪奧倫馬這樣說,

迪奧倫馬是誰呢?

他有一個能力跟張飛一樣,

張飛不是可以萬軍從中取上將首級錄,

探囊取錄嗎?

迪奧倫馬也是一樣,

他可以直接取得蘇丹的頭,

他可以從萬軍中取得蘇丹的頭。

大家想說迪奧倫馬怎麼這麼厲害,

他真的有這麼強大的魔法嗎?

所以大家就要迪奧倫馬先展示一下他的力量,

這時候迪奧倫馬就拿出了一個聖杯,

大家看到這個聖杯就大吃一驚,

為什麼大家看到這個聖杯要大吃一驚呢?

因為這個聖杯本來是放在聖索菲亞大教堂的地下室,

而且它是被放在一個石棺裡面,

這個石棺是密封的,

沒有人可以打開它,

但是迪奧倫馬他從裡面取得了聖杯,

而且還放了一串葡萄進去。

那君士坦丁十一世為了要驗證迪奧倫馬是不是真的有這個能力,

就帶了一堆人真的去撬開了這個石棺,

發現聖杯真的被拿走了,

裡面真的有一串新鮮的葡萄,

就知道迪奧倫馬真的有萬軍從中去上將首級的能力。

那為什麼迪奧倫馬可以做到這件事呢?

那是因為這個石棺你覺得它是封閉的,

那是因為你是從三維的空間來看,

從三維的空間來看,

這個石棺是封閉的,

沒有任何路可以進去。

但是迪奧倫馬可以進入四維的空間,

從高維的空間中,

這個石棺是有路可以進去的,

它並不是封閉的。

那至於迪奧倫馬有沒有成功刺殺蘇丹呢?

你可以想像一定是沒有嘛,

所以君士坦丁堡才淪陷了。

那至於為什麼沒有,

大家請見三體,

這樣就不雷大家了。

那總之從三維的空間來看,

是沒有路可以走的東西,

在高維空間中是有路可以走的。

Error surface會不會也一樣呢?

所以你在一維的空間中,

一維的一個參數的Error surface,

你會覺得好像到處都是local minima。

但是會不會在二維的空間來看,

它就只是一個zero point呢?

常常會有人畫類似這樣的圖,

告訴你說deep learning的訓練,

是非常的複雜的。

如果我們移動某兩個參數,

Error surface的變化,

非常的複雜是這個樣子的。

那它顯然有非常多的local minima,

我在這邊顯然有一個local minima。

但是會不會這個local minima,

只是在二維的空間中,

看起來是一個local minima,

在更高維的空間中,

它看起來就是zero point呢?

在二維的空間中,

我們沒有路可以走,

那會不會在更高的維度上,

因為更高的維度,

我們沒有辦法比較來測,

我們沒辦法真的拿出來看,

會不會在更高維的空間中,

其實有路可以走呢?

那如果維度越高,

是不是可以走的路就越多了呢?

而今天我們在訓練一個network的時候,

我們的參數往往動輒百萬千萬上億。

所以我們的Error surface,

其實是在一個非常高的維度中。

我們參數有多少,

就代表我們的Error surface的維度有多少。

參數是一千萬,

就代表Error surface的維度是一千萬。

這樣維度這麼高,

會不會其實根本就有非常多的路可以走呢?

那既然有非常多的路可以走,

會不會其實local minima根本就很少呢?

而經驗上,

如果你自己做一些實驗的話,

也支持這個假說。

這邊是訓練某一個network的結果,

每一個點代表訓練那個network,

訓練完之後,

把他的hesion拿出來進行計算。

所以這邊的每一個點都代表一個network。

就我們訓練某一個network,

然後把他訓練訓練訓練到,

規律很小,

卡在critical point,

把那組參數拿出來分析,

看看他比較像是saddle point,

還是比較像是local minima。

那這邊的縱軸跟橫軸是什麼意思呢?

縱軸代表training的時候的loss,

就是我們今天卡住了,

那個loss沒辦法再下降了,

那個loss是多少。

那很多時候,

你的loss在還很高的時候,

訓練就不動了,

就卡在critical point。

那很多時候loss可以降得很低,

才卡在critical point。

這是縱軸的部分。

橫軸的部分是什麼呢?

橫軸的部分是minimum ratio。

什麼叫minimum ratio呢?

minimum ratio是eigenvalue的數目,

分之正的eigenvalue的數目。

如果所有的eigenvalue都是正的,

代表我們今天的critical point,

是local minima。

如果有正有負,代表saddle point。

那在實作上你會發現說,

你幾乎找不到完全所有eigenvalue

都是正的critical point。

你看這邊這個例子裡面,

這個minimum ratio代表eigenvalue的數目,

分之正的eigenvalue的數目,

最大也不過0.5到0.6間而已。

代表說,

只有一半的eigenvalue是正的,

還有一半的eigenvalue是負的。

所以今天雖然在這個圖上越往右,

代表我們的critical point越像local minima,

但是他們都沒有真的變成local minima。

就算是在最極端的狀況,

我們仍然有一半的case,

我們的eigenvalue是負的,

這一半的case,eigenvalue是正的。

代表說在所有的維度裡面,

有一半的路,

其實都還可以讓Loss下降。

這一半的路會讓Loss上升,

還有一半的路可以讓Loss下降。

所以從經驗上看起來,

其實local minima並沒有那麼常見。

多數的時候你覺得你圈到一個地方,

你規定真的很小,

所以你的參數不再update了,

往往是因為你卡在了一個Zero point。

好,那接下來我們就是要講說,

假設你圈啊圈啊,

也許你卡在local minima,

雖然我剛才講說local minima

出現的狀況也許沒有那麼多,

或卡在Zero point,

或甚至是在Zero point附近,

也就是非常平坦的地方,

那麼有什麼樣可能的解決方法?

好,那在這邊我們還是停一下,

看看大家有沒有問題要問的。