好,今天這堂課要告訴大家說,深度學習到底好在哪裡

好,我們說我們這個陷入了兩難,這個兩難是什麼呢?

這個兩難是如果我們把模型選擇比較大

也就是說呢,我們今天在做Optimization的時候

可以選擇的Function比較多

這個時候雖然我們可以讓這個LODO也就是最理想的狀況

理想的狀況他的Loss壓得很低

但是同時他的壞處是什麼呢?

他的壞處就是理想跟現實會有比較大的差距

反過來說,如果我們選擇了一個比較小的模型

只有比較少的可以選擇的Function

那我們的Loss就會比較大,我們的理想會比較糟

雖然我們的理想跟現實會比較接近

所以上次我們停在這邊說我們陷入了兩難

那最後我說魚與熊掌有沒有可能可以兼得呢?

什麼叫做魚與熊掌可以兼得?

我們有沒有可能既有一個Loss很低的理想

同時又讓現實跟理想很接近呢?

要怎麼做到這個魚與熊掌兼得的狀況呢?

如果你今天在找這個理想的HO的時候

如果你今天要從大H裡面找出某一個Function小H

把小H用在DO做的Data上

要讓Loss越小越好,找出這個HO

如果你今天可以找到一個大H

大H有神奇的能力

第一個大H本身裡面的成員沒有很多

你只有很少的可以選擇的Function

同時雖然這邊裡面的成員很少

但他們的成員都是菁英

可以讓這個大L可以讓你的Loss又很低

你既小又讓Loss很低

如果這兩者同時可以成立的話

那我們就可以讓魚與熊掌兼得

我們就可以有好的理想Loss低的理想

同時又讓現實跟理想很接近

這是我們要的狀況

上次就說什麼樣的模型可以做到這件事呢?

接下來我們要講深度學習

如何做到魚與熊掌兼得

在開始講深度學習之前

幫大家複習一下為什麼我們需要深度學習

為什麼我們需要Hidden Layer

在教大家預習的錄影裡面

已經跟大家講過Hidden Layer的重要性

所以以下這一段是複習

這一段講得比較快一點

它是預習的影片裡面已經有的複習

如果你等一下聽得沒有很清楚的話

你再回去看預習的影片

那為什麼我們要深度學習

為什麼我們要加Hidden Layer呢?

在預習的影片中跟你講的理由是這個樣子的

我們說我們可以透過一個Hidden Layer

就製造出所有可能的Function

我們要找一個Function

它的輸入就是這個圖上的X軸

它的輸出是這個圖上的Y軸

我們怎麼找一個Function來逼近

我們今天隨便畫一條線

怎麼找一個Function

怎麼用一個Network來逼近這條線呢?

怎麼用一個Network來產生這條線呢?

首先你先把這條線分成一段一段的

把它結成一段一段

然後把每一個線段的端點間連起來

得到一個Piecewise Linear的Function

那這個Piecewise Linear的Function

也就是這個綠色的線

雖然在這個例子裡面

可能跟黑色的線沒有非常的接近

但你可以很直覺的想到說

如果今天這個Piecewise Linear的

這個綠色的這條線

如果它的線段夠多

我在切這個Piece的時候

切得夠碎

那綠色的線跟黑色的線就會足夠接近

那接下來要跟大家講的就是

你可以用一個Hidden Layer的Neural Network

輕易的製造出綠色的這條Piecewise Linear的線段

那一個Neural Network

怎麼製造出綠色的這個線段呢?

那我們經過觀察發現說

這個綠色的線段

可以看作是一個長數項

加上一堆這樣形狀的藍色的Function

所以一個綠色的Piecewise Linear的Function

它可以看作是一個長數

加上一堆三坡形的Function

那在這個投影片上呢

跟大家舉了一個例子

怎麼製造這個綠色的Piecewise Linear的Function呢?

首先你要有一個這個長數項

這個長數項的高度呢

就跟這邊這個綠色的線段

最左邊的這個端點的地方一樣高

那接下來你加上第一個階梯形的Function

第一個階梯形的Function呢

是為了要產生這個線段

接下來呢

你再加第二個階梯形的Function

第二個階梯形的Function呢

是為了產生第二個線段

產生第二個線段

你再加第三個階梯形的Function

為了產生第三個線段

把這個長數項

加上這三個階梯形的Function

把它合在一起以後

就可以製造出綠色的Piecewise Linear的Function

所以一個Piecewise Linear的Function

你可以用長數項

加上一堆階梯形的Function

組合出來

而Piecewise Linear的Function

可以逼近任何的Function

所以任何的Function

你其實都有辦法用Neural Network製造出來

那Neural Network

怎麼製造出這個Piecewise Linear的Function呢

怎麼表示這個階梯形的Function呢

那我們可以用一個叫做

Sigmoid Function

來近似這個階梯形的Function

這個階梯形的Function呢

有人又叫做Hard Sigmoid Function

那接下來呢

每一個Neural

假設我們造了一個

一個Hidden Layer的Neural Network

它的每一個Neural

可以製造出一個階梯形的Function

假設你現在你的Neural Network

你選擇的Activation Function

是Sigmoid的話

那你可以透過

設定不同的Weight

設定不同的Bias

製造出不同的Sigmoid Function

那你製造出合適的Sigmoid Function

把它們通通加起來

再加上長數項以後

你可以產生任何的

Piecewise Linear的Function

那你就可以用這個Piecewise Linear的Function

去逼近任何的Function

所以我們上課的時候就告訴你說

任何再複雜的Function

你也不用怕

你只要有足夠多的Neural

你就可以想辦法去產生

任何的Function

另外一個

表示這個Hard Sigmoid Function的方法呢

是用另外一個叫做

兩個Relu的Function

所組合成的

Relu的Function

就是長得是這樣子的形狀

長得是這樣子的形狀

它有一個

這個轉角的地方

在轉角的地方

其中一邊都是0

另外一邊是一條直線

這個Function呢

叫做Relu

那用兩個Relu疊起來

可以產生一個

Hard Sigmoid Function

所以如果我們有

一個Hidden Layer的Network

這個Network裡面

它的Neural啊

都是Relu

那我們有夠多的

有Relu當作Activation Function的Neural

把它全部疊起來

兩個Relu可以形成一個

Hard Sigmoid

夠多的Hard Sigmoid

可以形成任何Piecewise Linear Function

Piecewise Linear Function

可以逼近任何的Function

所以就算是我們的Neural

是Relu也沒有關係

有夠多的Relu

把夠多的Relu組合起來

可以變成任何Piecewise Linear Function

可以逼近任何的Function

那講到這邊

有一個很自然的問題

你就會想到一個問題

這個問題是

我們一直強調

有一個Hidden Layer的Network

它可以產生任何的Function

它可以逼近任何的Function

那只要一個Hidden Layer就夠啦

弄一個Deep的Network

有什麼意義呢

所以有人就說

Deep Learning

它只是一個行銷的騙局

就是Deep聽起來就非常的厲害

其實只要一個Hidden Layer

就可以做所有的事情

你只要有一個夠胖的Network

一個Hidden Layer

很多Neural就很胖嘛

你只要有一個夠胖的Network

它可以做任何的事情

但是之所以不創造Fat Neural Network

只是因為Fat Neural Network

聽起來實在是太廢了

所以我們比較喜歡Deep Learning

Deep Learning聽起來就是比較潮

真的是這樣子嗎

在實驗上

你其實可以發現

Deep的Network確實比較強

那你通常在文獻上

你會看到這樣子的實驗結果

那這個是取自一篇

InterSpeech 2011年的paper

這個10年以前的paper

那個時代呢

Deep Learning還是一個非常潮的東西

可以疊個五六層的Network

大家覺得驚為天人

覺得哇好深喔好可怕

所以現在這樣子等級的Network

你在作業2裡面隨便Train

也是Train個五個八個

不過當年呢

要Train這種Network

還是非常困難的

像你們今天

像這個作業2啊

你Train個三層五層Network

你大概跑個一個小時

就可以結束了吧

但是你想想看同樣的東西

在當我剛回台大任教的時候

差不多類似的作業

大概要跑個一天左右

這個時候我就會告訴你說

如果你離Deadline只剩24個小時

你唯一可以做的事情

就是放棄這樣子

因為你不可能把這個NetworkTrain完了

但現在

你都可以趕在

這個作業佼佼前的前一個晚上

再來爆氣

在更久之前

還是學生的時候

如果你要Train個類似的Network

你的時間是用週來計算的

知道嗎

然後如果這個電機器突然跳電

你就欲哭無淚這樣子

所以這個

我只能說時代變了啊大人

就是時代變了

現在大家隨隨便便

都Train個十五成八成的Network

好

那總之呢

在文獻上

你常常可以看到這樣子的結果

我一開始呢

有一個Layer

然後呢

每個Layer

有2K兩千個Neural

那這個時候呢

這邊Paper是一個

跟語音辨識有關的Paper啦

那他這邊Report的數據呢

是語音辨識的錯誤率

那錯誤率當然是越低越好嘛

那其實啊

在這一篇Paper裡面

他實際上把Deep Learning使用的方式

跟大家在作業2做的方式

是一樣的

大家知道在作業2裡面啊

我們並不是真的產生語音辨識的結果

對不對

你是對一小段一小段的聲音訊號

我們叫做Friend

去預測每一個Friend

屬於哪一個Phoning

那他並不是真的語音辨識

因為你Output Phoning

人也看不懂嘛

而且他那個Phoning呢

還會重複很多次

所以那根本不是真正的語音辨識

但是在早年啊

在還沒有那個

End-to-end

In-train一發的那種Network之前啊

其實如果你說你用Deep Learning

做語音辨識

你就是做像作業2那個方式

你先用類似作業2的Network

產生每一個Friend

他對應到哪一個Phoning

接下來呢

你再把他丟到另外一個

如果我們叫WFST啦

那你就想成是

Rule-based的東西就對了

接下來呢

年後的

他可以把那個Phoning的Sequence

吃進去

然後想辦法呢

把他轉成文字這樣

那從Phoning轉成文字那一段

你可以想成

他其實是用規則產生出來的

所以總之

其實這篇文章裡面做的事

跟大家在作業2裡面

做的其實是一樣的

好 雖然他是語音辨識

但他並不是真的跑出文字

他其實也是跑出Phoning來

其實那個時候啊

跑出來的也不是Phoning

他跑出來是比Phoning更小的單位

叫做Xenon這樣子

一個Phoning

由三個Xenon所組成

那個時候覺得

預測Phoning還是更困難一點

所以我們預測一個更小的單位

預測叫做Xenon的東西

不過這個都是

就是過去的歷史啦

你可以直接弄個

Sequence to Sequence的Model

丟進聲音訊號

直接就輸出文字

然後中間呢

就不需要再接觸人的力量了

好 那我們回到這個

投影片上的數據

如果我們是一層的Network

2000個Neural

錯誤率24.2

兩層的Network

每一層一樣是2000個Neural

20.4%的錯誤率

三層18.4

四層17.8

五層17.2

七層17.1

這個Network越深

錯誤率越低

所以Network越深

表現越好

這個哇

就是Deep Learning的力量

當你這麼講的時候

有人就會質疑說

這個當Network越深的時候

它的參數量就越多啊

當參數量越多的時候

你可以讓你的理想

越來越美好

讓你的理想越來越美好

如果今天你的資料量足夠多

你知道這個

理想跟現實的差距

取決於兩件事嘛

一件事情是

你的模型有多大

如果太大

差距就會很大

但另外一件事情是取決於

你有多少的訓練資料

如果今天收集的到

足夠多的訓練資料

就算你的模型很大

理想跟現實也會是接近的

所以當我們把Network

越疊越深的時候

代表說你的這個H

你的模型越來越大

那你的這個理想

會越來越好

你的理想的Loss

會越來越低

那如果今天

有足夠的資料量

理想跟現實

也不會差太多

所以深度學習

沒什麼神奇的

就是需要一個大模型

但大模型

往往伴隨著

需要大量的資料

所以很多人對

深度學習的印象就是

深度學習就是大模型

大模型就要大資料

沒有大資料

就會Overfitting

所以沒有大資料

我們不適合用深度學習

那接下來還會有人質疑說

用個大模型

有什麼了不起的

不需要深度學習

我們也可以製造出

很大的模型啊

舉例來說

我們也可以讓模型

不要往天空發展

不要往直向的發展

而讓它變胖

往橫向的發展

這樣子也可以製造出

很大的模型啊

所以光是把Layer加深

把深度學習的網路加深

說它Performance會比較好

說它的Error rate

與變色錯誤率會比較低

是不夠的

如果你要真的體現

深度學習的力量的話

你應該把一個矮胖的內窩

跟一個高瘦的內窩

來進行評比

當它們參數量一樣的時候

當它們有一樣的參數量

一樣的未知的參數的時候

那到底誰會比較好呢

所以剛才在同一篇論文裡面

他就做了以下這個實驗

在論文中有這麼一個實驗

他說我們現在試個

一層的內窩吧

一層的內窩但是把它長得很胖

有3772個Neuron

那為什麼選3772呢

就是當你一層的內窩

3772個Neuron的時候

它的參數量會跟五層內窩

2000個Neuron的參數量

是接近的

當你選擇一層3772個Neuron的時候

你的錯誤率是22.5

你會發現說

同樣的參數量下

當我們把這些參數往直向發展

往天空發展

往深的多層的方向發展的時候

模型的表現是比較好的

同樣的道理今天

七層每層2000個Neuron

跟一層4634個Neuron

它們的參數量是一樣的

但是七層的內窩

表現是遠好於一層的內窩

甚至當你把參數量

不斷的增加

一層的內窩有16K個Neuron的時候

所以右下角的這個內窩

它的參數量是遠大於

投影片上的其他的內窩的

就算是你開了一個

很大的一層矮胖的內窩

它的表現雖然比同樣層數2000個Neuron還要好

但是你只要疊兩層的內窩

雖然它的參數量是遠少於巨大模型的

但是深的模型

深的網路

它的錯誤率還是比較低的

所以這個是深度學習真正的力量

當你有同樣大小的模型的時候

與其把內窩變胖

不如把內窩變高

反而會得到比較好的結果

接下來問的問題就是

為什麼會這樣呢?

為什麼把內窩變高

比把內窩變胖

更加的有效呢?

那直接跟大家講結論

雖然一個Hidden Layer的內窩

可以表示任何Function

但是當你要表示某一個Function的時候

往往用一個Deep的架構

會是比較有效率的

舉例來說假設你有某一個Function

這邊就隨便畫一個綠色的Function

你可以用一個矮胖的內窩

來產生這個Function

你也可以用一個高瘦的內窩

來產生這個Function

但是往往使用高瘦的內窩

你需要的參數量是比較少的

矮胖的內窩反而會需要比較多的參數

所以你會發現說

你要做到同一件事

你要產生某一個Function

用高瘦的內窩反而是比較有效率的

所以用Deep Learning並不是比較容易Overfitting

很多人對Deep Learning都有一個誤解

所謂的Deep就是大的模型

很多個Layer

增加了參數

增加了參數

如果你沒有足夠的Data

那就會Overfitting

但這不是Deep Learning的核心

並不是Deep Learning真正的優勢所在

Deep Learning真正的優勢所在是

當你要做某一件事情

當你要產生某一個Function的時候

你需要比較少的參數

比較少的參數意味著什麼

比較少的參數意味著

你比較不會Overfitting

或者是你只需要比較少的訓練資料

是不是跟你直覺想到的

或者是跟坊間報章雜誌上隨便看到的

是正好相反的呢

因為一般的印象就是Deep Learning

就是大資料容易Overfitting

但事實上Deep Learning它真正的強項

反而是不容易Overfitting

那我們來講一下

為什麼Deep

為什麼把Neo疊多層

會得到這樣的效果呢

在我們直接探討Deep Learning的好處之前

我們先來舉幾個例子

告訴你說

深多層往往會帶來什麼好處

第一個例子是有關邏輯電路

修過邏輯電路的同學舉手一下

很多好手放下

因為大多數的同學都修過邏輯電路

那今天假設有人說

我們要用邏輯電路來兜一個

Parity Check的模組

什麼是Parity Check呢

Parity Check的模組就是

你給你的電路一串0101的Sequence

然後接下來你的電路要去數

這個Sequence裡面

1出現的次數是奇數還是偶數

如果1出現的次數是偶數

那就輸出1

如果1出現的次數是奇數

就輸出0

像這樣的模組

在通訊領域裡面是很重要的

假設有人叫你兜這樣的電路出來

其實如果你有修過邏輯電路設計的話

你會知道說

不管什麼樣的要求

你一定都可以把電路兜出來

為什麼

因為只要兩層電路

只要兩層邏輯閘

可以製造出任何的功能

對不對

所以在這個例子裡面

如果你要做一個Parity Check的模組

如果你只用兩層的邏輯閘的話

那你需要2的低次方

這邊低是什麼

低是輸入的Sequence的長度

假設輸入的Sequence長度叫做低的話

你需要2的低次方的Gate

你就可以兜出這個Parity Check的模組

但是你知道說

這並不是一個有效率的方法

你可以用兩層邏輯電路做出任何的東西

但是沒有人用兩層的邏輯電路來做一台電腦

因為你知道說

把邏輯電路用其他的方式來建構

可能會產生更有效率的

可能會是更有效率的解法

舉例來說

在Parity Check裡面

如果你要用邏輯電路來解Parity Check的問題

你根本不需要用到2個低次方的Gate

其實如果依照上面這個例子

輸入是4個Bit的時候

你其實只需要3個XNOR的Gate

就可以得到我們想要的結果了

那XNOR的Gate是什麼呢

它的真值表就寫在右上角

當輸入XNOR的Gate

就是輸入兩個Bit輸出一個Bit

當輸入的兩個Bit不一樣的時候

輸出就是0

輸出兩個Bit一樣的時候

輸出就是1

所以當XNOR的Gate

比如說舉這個例子

輸入是1010

然後10進去XNOR的Gate

它就輸出0

然後接下來

把第一個XNOR的Gate

跟第三個Bit結合起來

再得到第二個輸出

然後把第二個輸出

再跟最後一個Bit結合起來

得到最終的輸出

你會得到你要的答案

所以你發現說

當你把這些XNOR的Gate

不是排成兩層

而是排成一個Diff的結構的時候

就是第一個XNOR的Gate

它的輸出會是

下一個XNOR的Gate的輸入

下一個XNOR的Gate的輸出

又會再是下一個XNOR的Gate的輸入

當你把它們串成一排的時候

你會用比較少的Gate

就做到比較複雜的事情

這個是用邏輯電路來做舉例

那如果用程式來做舉例的話

也是一樣的

你知道說今天我們在寫程式的時候

你的程式裡面

也是會有架構的

你不會把所有的東西

都放在你的Main Function裡面

對不對

你除了Main Function以外

你會寫很多的Module

你會在適當的時機去呼喚這些Module

然後呢

每一個Module

或者每一個這個Function裡面

都還有它可以去呼叫的Subfunction

然後不同的Function

也可以呼叫同樣的Subfunction

你知道你在寫程式的時候

你也是會有某種結構的

而有這種結構的好處是什麼呢

有這種結構的好處是

它會避免你的程式太過冗長

增加它的可讀性

那如果同一個功能

在一個程式裡面需要被反覆使用的話

那你可以去Call同樣的Function

可以讓你的程式更為簡潔

所以在寫程式的時候

其實你也會用到頂的結構

或者是

假設我們再舉一個

跟電機自動領域完全無關的例子

那這邊舉的例子呢

是剪窗花

大家應該都知道剪窗花是什麼吧

就你一個設置

然後把這個設置呢

把它折起來

然後在折起來的設置上剪幾刀

展開你就有一個複雜的圖案

那雖然這個複雜的圖案

你也可以直接去剪它

但你要直接剪出這個複雜的圖案

跟哪一張設置來

直接剪出這個圖案

沒有先把紙做對摺直接剪

那是很麻煩的

你要剪很多刀

但如果我們把紙折起來

我們只需要剪幾刀

就可以剪出複雜的圖案

我們會比較有效率

所以今天這個折紙的過程

把紙對摺再對摺

這個對摺的過程

其實就是Deep Learning裡面的Layer

在做的事情

好那以上呢

就是舉一些例子

跟大家說明

Deep有什麼潛在的好處

好那接下來

我們就真的來看

當一個Network

把它弄成Deep的時候

會發生什麼樣的事情

我們先來看一個

只有一層的Shallow的Network

這個只有一層的Shallow的Network

它的輸入我們叫做X

它的輸出我們叫做A1

那這個Network呢

假設它的參數

我們都已經知道了

它有兩個Neuron

第一個Neuron呢

它的Weight是1

Bias是-0.5

第二個Neuron呢

它的Weight是-1

它的Bias是0.5

好那在進入這兩個Neuron之前

進入這兩個Neuron的數值

分別是X-0.5跟-X加0.5

那這兩個Neuron呢

我們這邊用的Activation Function

是Relu這個Activation Function

所以把X-0.5跟-X加0.5通過Relu

然後呢再加起來

那再加起來的時候呢

我們會把這兩個Neuron的Output

都乘上1

再加起來得到A1

那我們現在來想一下

這個X跟A1之間的關係

是長什麼樣子的

假設我們的橫軸是X

這邊其實不是橫軸

這邊是縱軸

這個圖呢

是你要把頭轉90度來看的

希望你可以看得懂

這個軸是我們的X

這個軸是我們的A1

那我們來畫一下

X跟A1有什麼樣的關係

那你其實可以用想的

你就可以想一下

X跟A1之間的關係

因為第一個Neuron

它是一個Relu

所以當輸入的這個X大於0.5的時候

輸入的X大於0.5的時候

輸出就會跟輸入一樣

如果今天輸入的X小於0.5的時候

輸出就會是0

所以第一個Neuron

它製造出了這一條線

它製造出了這一條線

當輸入的值小於0.5的時候

輸出就是0了

它對A1就沒有任何貢獻了

那這個呢

-X加0.5呢

如果輸入小於0.5會發生什麼事呢

如果輸入小於0.5的話

那輸出就會跟輸入一樣

如果輸入大於0.5的話

那輸出就會是0

所以下面這個Neuron

它貢獻了這一條線

貢獻了這一條線

當輸入大於0.5的時候

輸出就會是0

就沒有任何貢獻了

所以把這兩個藍色的Neuron結合起來

我們產生的是這樣一條線

我們產生的是這樣的一個凹部

那兩個Neuron分別貢獻一半

把這兩個Neuron的輸出結合起來

就變成一個凹部

那這個對大家來說都非常簡單

非常的直覺

那接下來我們把這個Neuron變深

看看會發生什麼樣的事情

所以我們再加第二層的Neuron

那怎麼把第二層的Neuron加上去呢

首先呢

第一個Neuron

它把之前的A1

加上一個Bias

那我們這邊Bias的設-0.5

所以第一個Neuron

它的輸入是A1-0.5

那第二個Neuron呢

它把前面這兩個藍色Neuron的輸出

都乘上-1

然後呢

因為本來如果藍色這兩個Neuron都乘上1

就會變成A1嘛

如果都乘上-1

那就變成-A1

那把這個-A1再加上Bias

這邊Bias的設0.5

得到-A1加0.5

然後再通過一個Redu的Activation Function

這個是我們第二層的兩個Neuron

那我們把我們第二層的這兩個Neuron呢

它的輸出都乘上1

再加起來得到A2

再來我們要問的問題就是

X跟A2間

現在會有什麼樣的關係呢

我們已經知道X跟A1的關係

那A1跟A2的關係

我們其實也可以輕易的把它想出來

這個A1跟A2的關係是什麼呢

這個A1跟A2的關係啊

其實跟X還有A1的關係

是一樣的

對不對

我們已經知道說

假設第一個Neuron

它的Activation Function的輸入是X-0.5

第二個Neuron

它的輸入是-X加0.5

那我們知道X跟A1的關係

就是這個圖的這個樣子

那現在如果第一個綠色的Neuron

它的輸入是A1-0.5

第二個綠色的Neuron

它的輸入是-A1加0.5

那這個A1跟A2之間的關係

會長什麼樣子呢

你就是把藍色這條線

換成綠色這條線

把黑色這條線換成藍色這條線

A1跟A2之間的關係

也是一個山谷的形狀

但是我們現在真正關心的問題

是X跟A2之間的關係

那X跟A2之間有什麼樣的關係呢

我們已經知道

X跟A1之間的關係

我們也知道A1跟A2之間的關係

那接下來我們要問的就是

那X跟A2之間的關係

應該是什麼樣子呢

那我們就來想想看

當我們把X從0一直挪到1的時候

當我們把X從0挪到1的時候

A2會有什麼樣的變化

當我們把X從0挪到1的時候

我們先從這個地方開始

從0的地方

然後一直把這個X的值一直增加

增加到中間

增加到0.5的時候

我們來看A2會有什麼樣的變化

X從0增加到0.5的時候

綠色這條線

也就是A1是怎麼變的

它從1變到0

所以X從0挪到0.5的時候

綠色這條線

也就是A1

它是從1變到0

A1從1變到0

A2呢

A2它就經歷了一次輪迴

它從1變到0又變回1

它就經歷了

從1變到0又變回1這個過程

所以從0到0.5

X從0到0.5的過程中

A2已經經歷了一次輪迴

從1到0又變回了1

那這個是X從0到0.5的變化

那X如果從0.5到1會發生什麼事呢

X從0.5到1

這個藍色這條線是從0到1

藍色這條線是從0到1

那藍色這條線從0到1

綠色這條線是從1變到0

再變回1

所以綠色這條線

就從1變回0再變回1

所以X跟A2的關係

是兩個

一個這個W的形狀

一個W的形狀

本來只是一個V的形狀

但是呢

這個X跟A1的關係

是一個V的形狀

A1跟A2的關係

是一個V的形狀

兩個加起來

就變成一個W的形狀

那這個是接了第二層

而接下來呢

我們接第三層看看

我們現在呢

把A2加上一個BIAS

當作第三層的

第一個Neuron的輸入

我們也給第三層

加另外一個Neuron

這個Neuron呢

它的輸入是-A2加0.5

那把這兩個紅色Neuron的輸出

加起來得到A3

那你就可以很直覺的發現說

這邊X跟A1的關係

A1跟A2的關係

還有A2跟A3的關係

其實都是一樣的

所以A2跟A3的關係

一樣可以畫出一個V字形

當A2從0變到1的時候

A3呢

從1變回0

再變回1

所以A2跟A3的關係

是一個V字形

那現在我們要問的是

那X跟A3的關係

是什麼樣子呢

X跟A3的關係

才是這整個Network

所代表的Function嘛

那X跟A3的關係

是什麼樣呢

我們已經知道

X跟A2的關係

我們知道A2跟A3的關係

兩者疊起來

會發生什麼事呢

那我們就來看看

X跟A3的關係是什麼

當X從0變到1的時候

當X從0變到1的時候

A3會有什麼樣的變化呢

當X從0變到1的時候

首先我們先來看

前面這四分之一的移動

X移動了前面四分之一

從0到0.25

這個時候綠色這條線

是從1一路降到0

綠色這條線

從1一路降到0

那紅色這條線

就從1變回0

再變回1

所以紅色這條線

就產生了一個V字形

同樣的道理

當黑色這條線

再從0.25挪到0.5

從0.25挪到0.5的時候

紅色的線會有什麼變化呢

黑色線從0.25挪到0.5的時候

綠色這條線從0變1

所以紅色這條線

又再產生一個V字形

同樣的道理

剩下這邊

從0.5到1

會發生什麼事呢

綠色這條線

從1變到0再變到1

從1變到0再變回1

所以紅色這條線

它是1到0到1

從1到0到1

所以你發現說呢

當X的變化

從0.5到1的時候

這個紅色這個線

也就是我們的這個A3

它已經幾經輪迴

從1到0又變回1

再變到0

再變到1

又產生了另外一個W形

所以現在

如果我們看X跟A3的關係

看這個有三層的Neural Network

它的Input的X

跟Output的A3的關係

那你發現呢

A3它有2的三次方個線段

2的三次方個Pieces

那以此類推

假設今天在0到1之間

在X從0到1變化的過程中

你想讓一個Neural Network的Output Y呢

它有2的K次方的線段

2的K次方的Pieces

那你需要多複雜的Neural Network呢

現在你的Network的Input是X

Output是Y

Input是X

Output是Y

Y希望有2個K次方的

像這樣鋸齒狀的線段

那你其實不需要一個太複雜的Network

你只要有K層每層兩個Neural

總共2K個Neural

就可以達成像這樣子的

Input跟Output的關係

那同樣的這個鋸齒狀的

Input跟Output的關係

如果你想要用一個Shallow的Network

你要怎麼做到呢

假設一樣輸入是X輸出是Y

但是你的Network只有一層

你要怎麼產生這個

鋸齒狀的輸入跟輸出的關係呢

那也不是做不到

因為我們有說

就算是只有一個Hidden Layer

其實也可以製造出

任何可能的Function

但是你需要大量的Neural

因為當只有一個Hidden Layer的時候

假設你用的Neural是Relu

你的Activation Function是Relu

那每一個Neural只能製造一個線段出來

2的K次方的線段

就需要2的K次方的Neural

所以我們比較一個Shallow跟Deep的Network

要產生同樣的Function

Deep的Network2K個Neural

Shallow的Network是2的K次方的Neural

他們的差距是非常顯著的

他們是Exponential的差別

所以今天要產生同樣的Function的時候

Deep的Network參數量比較小

它有比較簡單的模型

而Shallow的Network它的參數量比較大

你需要一個比較複雜的模型

而複雜的模型比較容易Overfit

或者是複雜的模型

因為比較容易Overfit

所以你必須要比較大量的資料

所以Deep Learning的優勢

跟你直覺想像的是反過來的

很多人以為Deep Learning需要大量的資料

但事實上你要做到同樣的事情

你不用Deep的Network選擇Shallow的Network

你需要更大量的資料

所以我們今天學到一件事

如果你今天你的目標的Function

也就是可以讓你的Loss很低的那個Function

它是複雜而且有規律的

那Deep的Network會優於Shallow的Network

那什麼樣的問題會讓Loss低的那些Function

會是複雜且有規律的呢

那很有可能語音、影像等等這些問題

會讓Loss低的那些Function是複雜而有規律的

那這可以解釋說

為什麼今天深度學習在影像上、在語音上

尤其是效果非常的好呢

那可能就是因為語音跟影像上

那些可以讓Loss特別低的Function

正好是複雜而有規律的

那有人會問說

那到底要多複雜的Function

Deep相較於Shallow才能夠佔到優勢呢

那如果說Function要真的很複雜的時候

Deep才會有優勢

那也許多數的狀況

Deep仍然是不會有優勢的

那在以下這兩段影片裡面

就是實際舉例告訴你說

也許這個所謂的複雜

也不用複雜到哪裡去

那在以下這兩段影片中

會直接告訴你說

假設今天有一個Function

叫Y等於X平方

那Y等於X平方

那顯然是一個非常簡單的Function

我們用Shallow的Network去產生這樣的Function

跟用Deep的Network去產生這樣子的Function

這個比較起來啊

Deep是比Shallow還要Exponential的好

什麼叫Exponential的好

就是Shallow的Network

相較於Deep的Network

要產生Y等於X平方這個Function

它需要Exponential多的參數量

最後就是今天這堂課的結論

深度學習是一個可以讓魚與熊掌

可以兼得的方法

透過深度學習

我們有機會在比較少的

參數量的情況下

得到比較低的Loss

這就是為什麼深度學習

是一個有潛力的方法

因為它是一個可以讓魚與熊掌兼得的方法