好,今天我們要講Batch跟Momentum這兩個訓練的技巧

希望我們在剩下的三十分鐘內可以講完

第一個是Batch

好多同學都問我說

為什麼我要用Batch?

為什麼Training的時候要用Batch?

我本來第一週的時候是不打算講這個東西的

因為我相信講了以後大家就會有好多好多的問題

因為這好像不是一個一般常理會想要採取的方式

但是因為助教的程式裡面有這一段

所以我決定先告訴大家用Batch這個東西

那Batch是怎麼做的呢?

上次我們有講說我們實際上在算微分的時候

你還不是真的對所有Data算出來的L做微分呢

你是把所有的Data分成一個一個的Batch

那有的人是叫做MiniBatch啦

那我這邊叫做Batch其實指的是一樣的東西

助教封篇裡面是寫MiniBatch

這邊每一個Batch的大小就是大B比資料

我們每次在Update參數的時候

我們是拿大B比資料出來算個Loss

算個GradientUpdate參數

拿另外B比資料再算個Loss

再算個Gradient再Update參數

以此類推

所以我們不會拿所有的資料一起去算出Loss

我們會拿一個Batch的資料拿出來算Loss

那我們說所有的Batch看過一遍

叫做一個APOC

那事實上啊

你今天在做這些Batch的時候

在把你所有的資料分成一個一個Batch的時候

你會做一件事情叫做Shuffle

Shuffle有很多不同的做法

但一個常見的做法就是

我們在每一個APOC開始之前

會分一次Batch

然後呢

每一個APOC的Batch都不一樣

就是第一個APOC

我們分這樣子的Batch

第二個APOC會重新再分一次Batch

所以哪些資料在同一個Batch裡面

每一個APOC都不一樣的這件事情

叫做Shuffle

那剛才助教程式裡面

其實也有提到Shuffle這件事情

好,再來的問題就是

為什麼要用Batch呢

我們先解釋為什麼要用Batch

再說Batch的Training帶來了什麼樣的幫助

為什麼要用Batch呢

我們來比較左右兩邊這兩個Case

那假設現在我們有20筆訓練資料

然後呢

左邊的Case就是沒有用Batch

或者是說我的Batch Size

直接設的跟我訓練資料一樣多

這種狀況啊

叫做All Batch

或者是沒有用Batch的意思啦

那右邊的Case就是Batch Size等於1

這是兩個最極端的狀況

我們先來看左邊的Case

在左邊的Case裡面

因為沒有用Batch

我們有20筆訓練資料

我們的Model

我們的程式必須把20筆訓練資料都看完

才能夠計算Loss

才能夠計算Gradient

所以我們必須要把所有的Example

也就是20筆Example都看完以後

我們的Model參數才能夠Update一次

就假設開始的地方在這邊

把所有資料都看完以後

Update參數就從這裡移動到這裡

那如果是一個Batch的話會怎麼樣呢

如果是一個Batch

如果Batch Size等於1的話

代表我們每次Update參數的時候

我們只要看一筆資料就好

Batch Size等於1

代表我們只需要拿一筆資料出來算Loss

我們就可以Update我們的參數

所以每次我們Update參數的時候

看一筆資料就好

所以我們開始的點在這邊

看一筆資料就Update一次參數

再看一筆資料就Update一次參數

再看一筆資料就Update一次參數

如果今天總共有20筆資料的話

那在一個Apple裡面

我們的參數會Update20次

那不過因為我們現在是只看一筆資料

就Update一次參數

所以用一筆資料算出來的Loss

顯然是比較Noisy的

所以我們今天Update的方向

你會發現它是曲曲折折的

所以如果我們比較左邊跟右邊

哪一個比較好呢

它們有什麼差別呢

你會發現左邊這種方式

沒有用Batch的方式

它蓄力的時間比較長

它技能冷卻的時間比較長

你要把所有的資料都看過一遍

才能夠Update一次參數

而右邊的這個方法

Batch Size等於1的時候

蓄力的時間比較短

每次看到一筆參數

每次看到一筆資料

你就會更新一次你的參數

所以今天假設2筆至10筆資料

看完所有資料看過一遍

你已經更新了20次的參數

但是左邊這樣子的方法有一個優點

就是它這一步走的是穩的

那右邊這個方法它的缺點

就是它每一步走的是不穩的

左邊跟右邊到底哪邊比較好呢

看起來左邊的方法跟右邊的方法

它們各自都有擅長跟不擅長的東西

左邊是蓄力時間長

但是威力比較大

右邊技能冷卻時間短

但是它是比較不準的

它是亂槍打鳥型的

到底誰比較好呢

看起來各自有各自的優缺點

但是你會覺得說

左邊的方法技能冷卻時間長

右邊的方法技能冷卻時間短

那只是你沒有考慮平行運算而已

實際上考慮平行運算的話

左邊這個並不一定時間比較長

怎麼說呢

這邊是真正的實驗結果

事實上比較大的Batch Size

你要算Loss

再進而算Gradient

所需要的時間

不一定比小的Batch Size

要花的時間長

以下是做在一個

叫做Amnesty的Compass上面

Amnesty是手寫數字辨識的Compass

就是機器要做的事情

就是給它一張圖片

然後判斷這張圖片

是0到9的哪一個數字

才要做數字的分類

Amnesty是機器學習的果蠅

假設你今天

從來沒有做過機器學習的任務

一般大家第一個會嘗試的

機器學習的任務

往往就是做Amnesty

做手寫數字辨識

這邊我們就是做了一個實驗

我們想要知道說

給機器一個Batch

它要計算出Gradient進了Update參數

到底需要花多少的時間

這邊列出了Batch Size

等於1 等於10 等於100 等於1000

所需要耗費的時間

你會發現說Batch Size

從1到1000

需要耗費的時間

幾乎是一樣的

為什麼呢

你可能會說直覺上有1000筆資料

那需要計算Loss

然後計算Gradient花的時間

不會是一筆資料的1000倍嗎

但是實際上並不是這樣的

因為在實際上做運算的時候

我們有GPU

你可以做平行運算

所以因為你可以做平行運算的關係

這1000筆資料是平行處理的

所以1000筆資料所花的時間

並不是一筆資料的1000倍

當然GPU平行運算的能力

還是有它的極限

當你的Batch Size

真的非常非常巨大的時候

GPU在跑完一個Batch

計算出Gradient所花費的時間

還是會隨著Batch Size的增加

而逐漸增長

所以今天如果Batch Size

是從1到1000

所需要的時間幾乎是一樣的

但是當你的Batch Size增加到1萬

乃至增加到6萬的時候

你就會發現

GPU要算完一個Batch

把這個Batch裡面的資料都拿出來

算Loss再進而算Gradient

所要耗費的時間

確實有隨著Batch Size的增加

而逐漸增長

但你會發現這邊用的是V100

所以它挺厲害的

給它6萬筆資料

Batch裡面塞了6萬筆資料

它在10秒鐘之內

也是把Gradient就算出來

Batch Size的大小跟時間的關係

其實每年都會做這個實驗

我特別把舊的投影片放在這邊

如果你有興趣的話可以看一下

可以看到什麼呢

可以看到時代的演進

17年的時候用的是980

2015年的時候用的是760

980要跑6萬個Batch

跑幾分鐘才跑得完

現在只要10秒鐘就可以跑得完了

可以看到這個時代的演進

所以GPU雖然有平行運算的能力

但它平行運算能力終究是有個極限

所以你Batch Size真的很大的時候

時間還是會增加的

但是因為有平行運算的能力

因此實際上

當你的Batch Size小的時候

你要跑完一個Apple

花的時間是大的Batch Size

是比大的Batch Size還要多的

怎麼說呢

如果今天假設我們的訓練資料

只有6萬筆

Batch Size1

那你要6萬個Update才能跑完一個Apple

如果今天是Batch Size等於1000

你要60個Update才能跑完一個Apple

假設今天一個Batch Size等於1000

要算規定的時間根本差不多

那6萬次Update跟60次Update比起來

它的時間的差距量就非常可觀

所以左邊這個圖是Update一次參數

拿一個Batch出來計算一個規定

Update一次參數所需要的時間

右邊這個圖是

跑完一個完整的Apple

需要花的時間

你會發現左邊的圖跟右邊的圖

它的趨勢正好是相反的

假設你Batch Size1

跑完一個Apple

你要Update6萬次參數

它的時間是非常可觀的

但是假設你的Batch Size1000

你只要跑60次Update

60次參數就會跑完一個Apple

所以你跑完一個Apple

看完所有資料的時間

如果你的Batch Size1000

其實是比較短的

比Batch Size1000的時候

把所有資料看過一遍

其實是比Batch Size1還要更快

所以如果我們看右邊這個圖的話

看完一個Batch

把所有資料看過一次這件事情

大的Batch Size反而是比較有效率的

是不是跟你直覺想的不太一樣

在沒有考慮平行運算的時候

你覺得大的Batch比較慢

但實際上在有考慮平行運算的時候

一個Apple大的Batch花的時間

反而是比較少的

所以這邊我們如果要比較

這個Batch Size大小的差異的話

看起來直接用技能時間冷卻的長短

並不是一個精確的描述

看起來在技能時間上面

大的Batch並沒有比較吃虧

甚至還佔到優勢了

所以事實上呢

這邊Update一次的時間

20筆資料Update一次的時間

跟這邊看1筆資料Update一次的時間

如果你用GPU的話

其實可能根本就是一樣的

所以大的Batch它的技能時間

它的技能冷卻的時間

並沒有比較長

所以這時候你可能就會說

那個大的Batch的劣勢消失了

難道它真的就這樣看起來

大的Batch應該比較好了喔

你不是說大的Batch

這個Update比較穩定

小的Batch

它的Gradient的方向比較Noisy嗎

那這樣看起來

大的Batch好像應該比較好喔

小的Batch應該比較差喔

因為現在大的Batch的劣勢

已經因為平行運算被拿掉了

它好像只剩下優勢而已

那神奇的地方是

Noisy的Gradient

反而可以幫助全體

這個也是跟直覺正好相反的

如果你今天拿不同的Batch

來訓練你的模型

你可能會得到這樣子的結果

左邊是坐在Amnesty上

右邊是坐在Cypher10上

不管是Amnesty還是Cypher10

都是影像辨識的問題

那橫軸代表的是Batch Size

從左到右越來越大

縱軸代表的是正確率

越上面正確率越高

當然正確率越高越好

如果你今天看Validation Set上的結果

如果你今天看Validation Set上的結果

會發現說Batch Size越大

Validation Set上的結果越差

但這個是Overfitting嗎

這個不是Overfitting

因為如果你看你的Trending的話

會發現Batch Size越大

Trending的結果也是越差的

而我們現在用的是同一個模型

同一個模型同一個Network

照理說他們可以表示的Function

就是一模一樣的

但神奇的事情是大的Batch Size

往往在Trending的時候

會給你帶來比較差的結果

所以這個是什麼樣的問題

同樣的Model

所以這個不是Model Bias的問題

這個是Optimization的問題

代表當你用大的Batch Size的時候

你的Optimization可能會有問題

小的Batch Size

Optimization的結果反而是比較好的

為什麼會這樣子呢

為什麼小的Batch Size

在Trending Set上會得到比較好的結果

為什麼Noisy的Update

Noisy的Gradient

會在Trending的時候

給我們比較好的結果呢

一個可能的解釋是這樣子的

假設你是Full Batch

那你今天在Update你的參數的時候

你就是沿著一個Loss Function

來Update參數

那今天Update參數的時候

走到一個Local Minimum

走到一個Settle Point

顯然就停下來了

Gradient這裡

如果你不特別去看Hessian的話

那你用Gradient Descent的方法

你就沒有辦法再更新你的參數了

但是假如是Small Batch的話

假如沒有用Batch的話

會發生什麼事呢

因為我們每次是挑一個Batch出來

算它的Loss

所以等於你每次Update

你的參數的時候

你用的Loss Function

都是略有差異的

你選到第一個Batch的時候

你是用L1來算你的Gradient

你選到第二個Batch的時候

你是用L2來算你的Gradient

假設你用L1算Gradient的時候

發現Gradient是零

卡住了

但L2它的Function跟L1又不一樣

所以L1卡住了

L2不一定會卡住啊

所以L1卡住了

沒關係

換下一個Batch來

L2再算Gradient

你還是有辦法Train你的Model

你可能還是有辦法

讓你的Loss變小

所以今天這種Noisy的Update方式

結果反而對Training

其實是有幫助的

那這邊還有另外一個

更神奇的事情

那這個神奇的事情是什麼呢

這個神奇的事情是

其實小的Batch

也對Testing有幫助

假設我們今天在Training的時候

不管是大的Batch還是小的Batch

都Train到一樣好

剛才的Case是Training的時候

就已經Train不好了

那假設你有一些方法

你努力的調大的Batch的Learning Rate

然後想辦法把大的Batch

跟小的BatchTrain得一樣好

結果你會發現

小的Batch居然在Testing的時候

會是比較好的

那以下這個實驗結果

是引用自

On Large Batch Training for Deep Learning Durization Gap

and Sharp Minimum

這篇Paper的實驗結果

那這篇Paper裡面呢

作者Train了六個Network

裡面有CNN的

有Fully Connected Feedforward Network的

然後做在不同Codec上

來代表說

這個實驗是很泛用的

在很多不同的Case

都觀察到一樣的結果

那它有小的Batch

一個Batch裡面有256名Sample

大的Batch就是Dataset乘0.1

Dataset乘0.1

Dataset有6萬筆

就是一個Batch

裡面有6000筆資料

然後他想辦法

在大的Batch跟小的Batch

都Train到差不多的

Training Accuracy

所以剛才我們看到的結果是

Batch Size大的時候

Training Accuracy就已經差掉了

跟不是

想辦法Train到大的Batch的時候

Training Accuracy跟小的Batch

其實是差不多的

但是就算是在Training的時候

結果差不多

Testing的時候

你還是看到了

小的Batch居然比大的Batch差

Training的時候都很好

Testing的時候

小的Batch差

那代表什麼

代表Overfitting

這個才是Overfitting

對不對

好

那為什麼會有這樣子的現象呢

在這篇文章裡面

也給出了一個解釋

他的解釋是這個樣子的

假設這個是我們的Training Loss

那在這個Training Loss上面

可能有很多個Local Minima

有不止一個Local Minima

那這些Local Minima

他們的Loss都很低

他們Loss可能都趨近於0

但是這個Local Minima

還是有好Minima跟壞Minima之分

什麼叫做好Minima跟壞Minima呢

我們會認為

如果一個Local Minima

他在一個峽谷裡面

他是壞的Minima

然後他在一個平原上

他是好的Minima

為什麼會有這樣的差異呢

因為假設現在Training跟Testing中間

有一個MixMatch

Training的Loss跟Testing的Loss

他們那個Function不一樣

為什麼會不一樣呢

有可能是

本來Training跟Testing的Distribution

就不一樣

也有可能是

因為Training跟Testing

你都是從Sample的Data算出來的

也許Training跟Testing

Sample到的Data不一樣

所以他們算出來的Loss

當然是有一點差距

那我們就假設

這個Training跟Testing

他的差距就是

把Training的Loss這個Function

往右比一點

這個時候你會發現

對左邊這個Minima來說

對這個在一個盆地裡面的Minima來說

他的

在Training跟Testing上面的結果

不會差太多

只差了一點點

但是對右邊這個

在峽谷裡面的Minima來說

一差就可以天差地遠

他在這個Training Set上

算出來的Loss很低

但是因為Training跟Testing之間的不一樣

所以Testing的時候

這個Error Surface一變

他算出來的Loss就變得很大

而很多人相信說

大的Batch Size

會讓我們傾向於走到峽谷裡面

而小的Batch Size

傾向於讓我們走到盆地裡面

他直覺上的想法是這樣

就是小的Batch

他有很多的Noise

他每次Update的方向都不太一樣

所以如果今天這個峽谷非常的窄

他可能一個不小心就跳出去了

因為每次Update的方向都不太一樣

他的Update的方向有些隨機性

所以一個很小的峽谷

沒有辦法困住小的Batch

如果峽谷很小

他可能動一下就跳出去了

之後停下來

如果有一個非常寬的盆地

他才會停下來

那對於大的Batch Size

反正他就是順著Gradient Update

他就很有可能走到一個

比較小的峽谷裡面

但這只是一個解釋啦

也不是每個人都相信這個解釋

那這個其實還是一個

上一代可以研究的問題

那這邊就是比較了一下

大的Batch跟小的Batch

左邊這個是第一個Column

是小的Batch

第二個Column是大的Batch

如果在沒有平行預設的情況下

我們會覺得小的Batch比較有效

大的Batch

一個Batch的時間要算得比較長

但是在有平行運算的情況下

小的Batch跟大的Batch

其實運算的時間

並沒有太大的差距

除非你的大的Batch

那個大是真的非常大

才會顯示出差距來

但是一個APOC需要的時間

小的Batch比較長

大的Batch反而是比較快的

所以從一個APOC需要的時間來看

大的Batch其實是占到優勢的

而小的Batch

你會Update的方向比較Noisy

大的BatchUpdate的方向比較穩定

但是Noisy的Update的方向

反而在Optimization的時候

會占到優勢

而且在Testing的時候

也會占到優勢

所以大的Batch跟小的Batch

他們各自有他們擅長的地方

所以Batch Size

變成另外一個Hyperparameter

這個Hyperparameter

是你需要去調它的

這個也是一個你需要去調整的

Hyperparameter

講到這邊有人就會想說

那我們能不能夠魚與熊掌兼得呢

我們能不能夠

擷取大的Batch的優點

跟小的Batch的優點

我們用大的Batch Size來做訓練

用平行運算的能力

來增加訓練的效率

但是訓練出來的結果

同時又得到好的結果呢

又得到好的訓練結果呢

這是有可能的

有很多文章都在探討這個問題

那今天我們就不細講

我們把一些Reference

列在這邊給大家參考

大家發現這些Paper

往往他想要做的事情

就是什麼

76分鐘Train Bird

15分鐘Train ResNet

1分鐘Train ImageNet等等

為什麼他們可以做到那麼快

就是因為他們Batch Size

是真的開很大

比如說在第一篇Paper裡面

Batch Size裡面有3萬筆

Example這樣

Batch Size開很大

Batch Size太大

你真的就可以算很快

你可以在很短的時間內

看到大量的資料

那他們需要有一些特別的方法

來解決Batch Size

可能會帶來的劣勢

那最後想要跟大家

在下課前想要跟大家分享的

另外一個技術是Momentum

這也是另外一個

有可能可以對抗Satellite Point

或Local Minima的技術

這個Momentum是怎麼運作的呢

Momentum的運作是這個樣子的

它的概念

你可以想像成

在物理的世界裡面

假設Aero Surface

就是真正的斜坡

而我們的參數是一個球

你把球從斜坡上滾下來

如果今天是Gradient Descent

它走到Local Minima就停住了

走到Satellite Point就停住了

但是在物理的世界裡面

一個球會這樣子嗎

一個球如果從高處滾下來

從高處滾下來

就算滾到Satellite Point

如果有慣性

它從左邊滾下來

因為慣性的慣性

它還是會繼續往右走

甚至它走到一個Local Minima

如果今天它的動量夠大的話

它還是會繼續往右走

甚至翻過這個小坡

然後繼續往右走

所以今天在物理的世界裡面

一個球從高處滾下來的時候

它並不會被Satellite Point

或Local Minima卡住

不一定會被Satellite Point

或Local Minima卡住

我們有沒有辦法

運用這樣子的概念

到Gradient Descent裡面呢

這個就是我們等一下要講的

Momentum這個技術

那我們先很快的複習一下

原來的Gradient Descent

長的是什麼樣子

這個是Vanilla的Gradient Descent

Vanilla的意思就是

一般的的意思

它直譯是香草的

但就是一般的

一般的Gradient Descent

長什麼樣子呢

一般的Gradient Descent是說

我們有一個初始的參數

叫做Satellite Point

我們計算一下Gradient

然後計算完這個Gradient以後呢

我們往Gradient的反方向

去Update參數

我們到了新的參數以後

再計算一次Gradient

再往Gradient的反方向

再Update一次參數

到了新的位置以後

再計算一次Gradient

再往Gradient的反方向

去Update參數

這個Process就一直這樣子下去

那如果加上Momentum的話

會是什麼樣子呢

加上Momentum以後

Gradient Descent變成這個樣子

每一次我們在移動

我們的參數的時候

我們不是只往Gradient Descent

我們不是只往Gradient的

反方向來移動參數

在一般的Gradient Descent裡面

我們都是往Gradient的

反方向去移動參數

但現在不只往Gradient的

反方向去移動參數

我們是Gradient的反方向

加上前一步移動的方向

兩者加起來的結果

去調整去移動我們的參數

那具體說起來是這個樣子

一樣找一個初始的參數

然後我們假設在一開始的時候

前一步的變化量

前一步的參數的Update量

就設為0

那接下來在Theta0的地方

你要計算G0

計算G0

計算Gradient的方向

然後接下來你要決定

下一步要怎麼走

那我們說下一步要怎麼走呢

它是Gradient的方向

加上前一步的方向

不過因為前一步正好是0

現在是剛初始的時候

所以前一步是0

所以Update的方向

跟原來的Gradient Descent是一樣的

這沒有什麼有趣的地方

但從第二步開始

有加上Momentum以後

就不太一樣了

從第二步開始

我們計算G1

然後接下來我們Update的方向

不是G1的反方向

而是根據上一次Update的方向

也就是M1

減掉G1

當作我們新的Update的方向

這邊寫成M2

如果你看數學式子覺得有點模糊的話

那我們就看左邊這個圖

G1告訴我們

Gradient告訴我們要往這邊走

但是我們不是只聽Gradient的話

加上Momentum以後

我們不是只根據Gradient的反方向

來調整我們的參數

我們也會看前一次Update的方向

如果前一次說要往這個方向走

Gradient說要往這個方向走

就把兩者相加起來

走兩者的折衷

也就是往這一個方向走

所以我們就移動了M2

走到Theta2這個地方

接下來就反覆進行同樣的過程

在這個位置我們計算出Gradient

但我們不是只根據Gradient反方向走

我們看前一步怎麼走的

前一步走這個方向

走這個藍色虛線的方向

我們把藍色的虛線加紅色的虛線

前一步指示的方向跟Gradient指示的方向

當作我們下一步要移動的方向

以此類推

反覆進行同樣的操作

Gradient在這個地方說要往這個方向走

然後前一步說要往這個方向走

兩者綜合起來

就往左下走

所以這個跟一般Gradient Design不一樣

我們不是只看Gradient的方向

來調整參數

我們還會考慮之前移動的方向

來調整參數

這邊每一步的移動

我們都用N來表示

這個N其實可以寫成

之前所有算出來的Gradient的Weight Design

怎麼說呢

從右邊的這個式子

其實就可以輕易的看出來

N0我們把它設為0

N1是N0減掉G0

N0為0

所以N1就是G0乘上負的η

N2呢

N2是λ乘上N1

λ就是另外一個參數

就跟Learning Rate一樣是要調的

η是Learning Rate我們要調

λ也是另外一個參數

這個也是需要調的

N2等於λ乘上N1減掉η乘上G1

然後N1在哪裡呢

N1在這邊

你把N1代進來

就知道說N2等於負的λ乘上η乘上G0

減掉η乘上G1

它是G0跟G1的Weight Design

以此類推

所以你會發現說

這個加上Momentum以後

一個解讀是Momentum是

Gradient的負反方向

加上前一次移動的方向

但另外一個解讀方式是

所謂的Momentum

當加上Momentum的時候

我們Update的方向

不是只考慮現在的Gradient

而是考慮過去所有Gradient的綜合

那假設你這邊也沒有聽得很懂的話

那這邊有一個更簡單的例子

希望幫助你了解Momentum是怎麼回事

那我們從這個地方開始Update參數

根據Gradient的方向告訴我們

應該往右Update參數

那現在沒有前一次Update的方向

所以我們就完全按照Gradient

給我們的指示往右移動參數

那我們的參數就往右移動了一點

到這個地方

Gradient變得很小

告訴我們往右移動

但是只有往右移動一點點

那前一步是往右移動的

我們把前一步的方向

用虛線來表示放在這個地方

我們把之前Gradient

告訴我們要走的方向

跟前一步移動的方向加起來

得到往右走的方向

那再往右走

走到一個Local Minimum

照理說走到Local Minimum

一般Gradient Design

無法向前走了

因為已經沒有Gradient的方向

那走到Settle Point也一樣

沒有Gradient的方向

已經無法向前走了

但沒有關係

如果有Momentum的話

你還是有辦法繼續走下去

因為Momentum不是只看Gradient

Gradient就算是0

你還有前一步的方向

前一步的方向告訴我們向右走

我們就繼續向右走

甚至你走到這種地方

Gradient告訴你應該要往左走了

但是假設你前一步的影響力

比Gradient要大的話

你還是有可能繼續往右走

甚至翻過一個小丘

搞不好就可以走到

更好的Local Minimum

這個就是Momentum

有可能帶來的好處

那這個就是今天

想要跟大家說的內容

沒想到就講到6點20了

我們在這邊就只好下課了

謝謝大家 謝謝

謝謝 謝謝