好,那我們就繼續來上課吧。

那接下來的課程要講什麼樣的內容呢?

接下來要告訴你每一個作業通關的大戰略、通關的攻略長什麼樣子。

那我們已經看了作業一了,那其實之後好幾個作業,它看起來的樣子基本上都是大同小異。

就是你會有一堆訓練的資料,那這些訓練資料裡面呢,會包含了X跟Y的片。

你會有X1跟它對應的Y1,X2跟它對應的Y2,Xn還有它對應的Yn。

然後測試資料呢,測試資料就是你只有X,沒有Y。

那剛才大家已經看了作業一了,其實在之後每幾個作業看起來都是非常類似的格式。

比如說作業二,其實是做語音辨識,那我們的X呢,就是非常小的一段聲音訊號。

那其實這個不是真正的完整的語音辨識系統啦,它是語音辨識系統的一個閹割版,那個X是一小段訊號。

那Y呢,是要去預測,是要去判斷說這一小段聲音訊號呢,它對應到哪一個風鈴。

那你知道風鈴是什麼沒有關係,你就把它想成是KK音標就可以了。

那作業三呢,是要做影像辨識,那這個時候我們的X呢,是一張圖片。

那Y呢,是機器要判斷說這張圖片裡面有什麼樣的東西。

那作業四呢,是語者辨識,那語者辨識是要做什麼事情呢?

語者辨識要做的事情是,這個X呢,也是一段聲音訊號。

那Y呢,現在不是風鈴,Y呢,是現在是哪一個人在說話。

那你可以想像說這樣的系統現在其實非常的有用,如果你打電話去銀行的客服,那現在都有自動的語者辨識系統,

那會聽說現在打電話進來的人是不是客戶本人,那就少了客服人員問你身分驗證的時間。

那作業五呢,是做Machine Translation,是做機器翻譯。

那X呢,就是某一個語言,比如說,這是我文藝會的一句日文,

Itamiro Shiden,它的Y呢,就是另外一句話。

現在你在留言區裡面就可以洗一些諸葛春夫之類的。

那訓練資料呢,拿來做什麼呢?訓練資料就是要拿來訓練我們的Model。

那訓練Model的過程,上週已經講過了,訓練的過程就是三個步驟。

第一個步驟,你要先寫出一個有未知數的Function。

那這個未知數呢,以後我們都用Theta來代表一個Model裡面所有的未知參數。

所以Ftheta的意思就是說,我現在有一個Function叫F of X,

但它裡面有一些未知的參數,這些未知的參數表示成Theta,

那它的Input呢,叫做X,這個Input呢,叫做Feature。

那接下來呢,你要定一個東西叫做Loss,Loss是一個Function,

這個Loss的輸入呢,就是一組參數,然後去判斷說這一組參數是好還是不好。

那接下來你要解一個Optimization Problem,你要去找一個Theta,

那這個Theta呢,可以讓Loss的值越小越好。

那可以讓Loss的值最小的那個Theta,我們就寫做Theta star。

那有了Theta star以後,那你就把它拿來用在測試資料上,

也就是你把Theta star代入這些未知的參數。

再來,F Theta of X裡面有一些未知的參數,現在這個Theta呢,用Theta star來取代。

那它的輸入呢,就是你現在的測試資料,那輸出的結果,

你就把它存起來,然後上傳到Cargo,就結束了。

但接下來你就會遇到一個問題,那直接執行註調的Sample Code,

往往只能夠給你過Simple Baseline的結果而已。

如果你想要做得更好,那應該要怎麼辦呢?

以下就是如何讓你做得更好的攻略。

它適用於前期所有的作業。

這個就跟魔關羽一樣,你知道嗎?

開局就送,可以幫助你打贏前期所有的副本。

好,那這個攻略是怎麼走的呢?

從最上面開始走起。

第一個是,你今天如果你覺得你在Cargo上的結果不滿意的話,

第一件事情你要做的事情是什麼?

檢查你的Trending Data的Loss。

有的人說,我在意的不是應該是Testing Data的Loss嗎?

因為Cargo上面的結果呈現的是Testing Data的結果啊。

但是,你要先檢查你的Trending Data,

看看你的Model在Trending Data上面有沒有學起來,再去看Testing的結果。

所以你要先檢查一下Trending Data的Loss。

如果你發現你的Trending Data的Loss很大,

顯然它在訓練資料上面也沒有學好。

那接下來你就要分析一下,

在訓練資料上面沒有學好是什麼樣的原因。

那這邊有兩個可能。

第一個可能是Model的Bias。

那Model的Bias這件事情呢,

我們在上週已經跟大家講過了。

所謂Model Bias的意思是說,假設你的Model太過簡單。

舉例來說,我們現在寫了一個有未知Parameter的Function。

那這個未知的Parameter,我們可以帶各種不同的數字。

你在SetR1得到一個Function,我們把那個Function用這個點來表示。

在SetR2得到另外一個Function,

你把所有的Function集合起來,得到一個Function的Set。

但是這個Function的Set它太小了。

這個Function的Set裡面沒有包含任何一個Function,

可以讓我們的Loss變低。

可以讓Loss變低的Function,

不在你的Model可以描述的範圍內。

你的Model裡面有未知的參數、未知的參數,

可以在任何的數值,把這些數值帶進去以後,

你得到了一個Function的Set。

採用不同的數值,得到不同的Function,

把所有的Function集合起來,你得到一個Function的Set。

這個Set裡面沒有任何一個Function,

可以讓你的Loss變低。

那在這個情況下,就算你找出了一個SetR star,

它是這些藍色的Function裡面最好的那一個,

它是藍色的Function裡面可以讓Loss最低的那一個,

也無濟於事。

這些都是魯蛇,它只是魯蛇裡面的霸主,

就還是一個魯蛇,那個Loss還是不夠低。

那這個狀況就是,

你想要在大海裡面撈針,這個針指的是一個Loss低的Function,

結果針根本就不在海裡,

白忙一場,你怎麼撈都撈不出針,

因為針根本就不在你的Function Set裡面,

不在你的大海裡面。

所以怎麼辦?

這個時候,重新設計你的Model。

怎麼重新設計?

給你的Model更大的彈性。

我們上週已經示範過,

舉例來說,你可以增加你輸入的feature,

我們上週說,本來我們輸入的feature只有前一天的資訊,

假設我們要預測接下來的觀看人數的話,

那我們用前一天的資訊不夠多,

那用56天前的資訊,

那Model的彈性就比較大了,

那你也可以用Deep Learning增加更多的彈性。

所以如果你覺得你的Model的彈性不夠大,

那你可以增加更多feature,

可以設一個更大的Model,

可以用Deep Learning來增加Model的彈性。

這是第一個可以的解法。

但是並不是Training的時候Lockdown,

就代表一定是Model Bias。

你可能會遇到另外一個問題,

這個問題是什麼?

這個問題是Optimization做得不好。

什麼意思呢?

我們知道說,我們今天用的Optimization,

在這門課裡面,

我們其實都只會用到Gradient Descent這種Optimization的方法。

那這種Optimization的方法有很多的問題。

舉例來說,我們上週也講過說,

你可能會卡在Local Minima的地方,

你沒有辦法找到一個真的可以讓Loss很低的參數。

那如果要圖具象化的方式來表示的話,

就像是這個樣子。

這個是你的Model,

它可以表示的函式所形成的幾何。

你可以把Theta帶入不同的數值,

形成不同的Function,

把所有的Function統統集合在一起,

得到這個藍色的Set。

這個藍色的Set裡面確實包含了一些Function,

這些Function它的Loss是低的,

但問題是Gradient Descent這一個演算法,

沒辦法幫我們找出這個Loss低的Function。

Gradient Descent說,

你要我幫你解Optimization的Problem,

我給你這個Theta Start,

然後就結束了。

但這個Theta Start它給我們的Loss不夠低。

這個Model裡面存在著某一個Function,

它的Loss是夠低的,

但Gradient Descent沒有給我們這一個Function。

那這就好像是說,

我們想大海撈針,

針確實在海裡,

但是我們卻沒有辦法把針撈起來。

那這邊問題就來了。

我們今天看到Trending Data的Loss不夠低的時候,

到底是Model Bias,

還是Optimization的問題呢?

今天我們發現說,

我們找不到一個Loss低的Function,

到底是因為我們的Model的彈性不夠,

我們的海裡面沒有針,

還是說我們的Model彈性已經夠了,

只是Optimization,

Gradient Descent不給力,

它沒辦法把針撈出來。

到底是哪一個呢?

到底我們的Model已經夠大了,

還是它不夠大了?

怎麼判斷這件事呢?

那這邊一個建議判斷的方法,

就是你可以透過比較不同的模型,

來得知說你的Model現在到底夠不夠大。

怎麼說呢?

我們這邊舉一個例子。

那這個實驗是從Residual Network那篇Paper裡面

揭露出來的。

我們的Paper連結放在右上角。

這篇Paper一開頭就跟你講了一個故事,

它說我想Train兩個Network,

一個Network有20層,

一個Network有56層,

那我們把它們測試在測試資料上。

那這個橫軸指的是Training的過程,

就是你參數Update的過程。

那隨著參數的Update,

當然你的Loss會越來越低,

但是結果20層的Loss比較低,

56層的Loss還比較高。

那這個Residual Network是比較早期的Paper,

2015年的Paper,

如果你現在大學生的話,

那個時候你都還是高中生而已。

所以那個時候大家對Deep Learning,

我覺得了解還沒有那麼透徹,

大家對Deep Learning有各種奇怪的誤解。

所以很多人看到這張圖就會說,

啊,這個代表什麼?

這個代表Overfitting,

就告訴你Deep Learning不Work了,

知道嗎?56層太深了,

不Work根本就不需要那麼深。

那個時候大家,

也不是每個人都覺得Deep Learning是好的,

那個時候還有很多對Deep Learning的質疑,

所以看到這個實驗,

有人就會說,

最深沒有比較好,

這個叫做Overfitting。

但是這個是Overfitting嗎?

這個不是Overfitting,

等一下會告訴你Overfitting是什麼,

並不是所有的結果不好都叫做Overfitting。

你要檢查一下訓練資料上的結果。

你檢查訓練資料的結果發現說,

現在20層的Network跟56層的Network比起來,

在訓練資料上,20層的Network的Loss其實是比較低的,

50層的Network的Loss是比較高的。

這代表什麼?

這代表56層的Network,

它的Optimization沒有做好,

它的Optimization不給力。

你可能問說,

欸,你怎麼知道是56層的Optimization不給力,

搞不好是Model Bias啊,

搞不好是56層的Network,

它的Model的彈性還不夠大啊,

要156層才好啊,

56層也許彈性還不夠大。

但是你比較56層跟20層,

20層的Loss都已經可以做到這樣了,

56層的彈性一定比20層更大,對不對?

如果今天56層的Network要做到

20層的Network可以做到的事情,

對它來說是輕而易舉的,

它只要前20層的參數跟這個20層的Network一樣,

剩下36層就什麼事都不做,

Identity, Copy前一層的輸出就好。

那56層的Network一定可以做到

20層的Network可以做到的事情。

所以20層的Network都已經可以走到這麼低的Loss了,

56層的Network它比20層的Network的彈性還要更大啊,

所以沒有道理20層的Network可以做到的事情

56層的Network做不到啊。

所以56層的Network,

如果你Optimization成功的話,

它應該要比20層的Network可以得到更低的Loss,

但結果在訓練資料上面沒用。

這個不是Overfitting,這個也不是Model Bias,

因為56層的Network彈性是夠的,

這個問題是你的Optimization不給力,

Optimization做得不夠好。

所以剛才那個例子就告訴我們說,

你怎麼知道你的Optimization有沒有做好呢?

這邊給大家的建議是,

看到一個你從來沒有做過的問題,

也許你可以先跑一些比較小的、比較淺的Network,

或甚至用一些不是Deep Learning的方法,

比如說Linear的Model,

比如說Support Vector Machine。

有一些方法,比如說Support Vector Machine,

那不知道是什麼也沒有關係啦,

他們可能是比較容易做Optimize的,

他們比較不會有Optimization失敗的問題,

也就是這些Model,

他們會竭盡全力的在他們的能力範圍之內,

找出一組最好的參數,

他們比較不會有失敗的問題。

所以你可以先Train一些比較淺的Model,

或者是一些比較簡單的Model,

先知道,先有一個概念說,

這些簡單的Model到底可以得到什麼樣的North。

接下來才Train一個深的Model,

如果你發現你深的Model跟淺的Model比起來,

深的Model明明彈性比較大,

但North卻沒有辦法比淺的Model壓得更低,

那就代表說你的Optimization有問題,

你的Gradient Descent不給力,

那你要用一些其他的方法,

來把Optimization這件事情做得更好。

舉例來說,我們上次看到的觀看人數預測的例子,

我們說在訓練資料上面,

2017年到2020年的訓練資料,

一層的Network,它的North是0.28K,

兩層就降到0.18K,

三層就降到0.14K,

四層就降到0.10K,

但是我測五層的時候,結果變成0.34K。

這是什麼問題?

我們現在North很大,

這個是什麼問題?

這是Model Bias的問題嗎?

顯然不是,因為四層都可以做到0.10K了,

五層應該可以做得更低。

這個是Optimization的Problem,

這個是Optimization的時候做得不好,

才造成這樣子的問題。

好,那如果Optimization做得不好的話,怎麼辦呢?

這個我們下一節課,

就會告訴大家要怎麼辦。

現在就知道說,有這個問題,

知道怎麼判斷說,

現在如果你的Training的North大,

到底是Model Bias,還是Optimization。

如果Model Bias,那就把Model變大,

如果是Optimization失敗了,

那就看等一下的課程,

怎麼解決這個問題。

好,那假設你現在經過一番的努力,

你已經可以讓你的Training Data的North變小了,

那接下來,你就可以來看Testing Data的North,

看Testing Data的North做得怎麼樣。

那如果Testing Data的North也小,

比如比這個Strong Baseline還要小,

那就結束了,沒什麼好做的,就結束了,好嗎?

結束了。

好,那但是如果你覺得還不夠小呢,

如果Training Data上面的North小,

Testing Data上的North大,

那你可能就是真的遇到Overfitting的問題。

那你要注意,是Training的North小,

Testing的North大,才叫做Overfitting。

很多同學每次一看到結果不好,

在Testing上的結果不好,就說這個是Overfitting。

不一定是Overfitting,

你拿一個結果來問我說老師,

這個結果要怎麼變做得更好的時候,

第一個問題都會問你說,

你的Training Data上的North到底做得怎麼樣?

那我發現十個同學有八個都說,

要看Training Data的North嗎?

我沒有把Training Data的North記下來耶。

你要把Training Data的North記下來,

先確定說你的Optimization沒有問題,

你的Model夠大了,

然後接下來才看看是不是Testing的問題。

好,那如果是Training的North小,

Testing的North大,

這個有可能是Overfitting。

那為什麼會有Overfitting這樣的狀況呢?

為什麼有可能Training的North小,

Testing的North大呢?

那這邊就舉一個極端的例子,

來告訴你說為什麼會發生這樣的狀況。

好,那這是我們的訓練資料。

假設根據這些訓練資料,

某一個很廢的Machine Learning的方法,

他找出了一個一無是處的Function。

這個一無是處的Function是什麼樣的Function呢?

這個一無是處的Function說,

如果今天X當作輸入的時候,

我們就去比對這個X有沒有出現在訓練資料裡面。

如果X有出現在訓練資料裡面,

就把它對應的Y當作輸出。

如果X沒有出現在訓練資料裡面,那怎麼辦?

就輸出一個隨機的值。

你可以想像說這個Function啥事也沒有幹,

它是一個一無是處的Function。

但雖然它是一個一無是處的Function,

它在Training的Data上,

它的North可是0了。

你把Training的Data通通丟進這個Function裡面,

它的輸出跟你的訓練資料的Label是一模一樣的。

所以在Training的Data上面,

這個一無是處的Function,

它的North可是0了,

只是在Testing的Data上面,

它的North會變得很大,

因為它其實什麼都沒有選。

這是一個比較極端的例子。

那在一般的狀況下,

也有可能發生類似的事情。

舉例來說,

假設我們輸入的Feature叫做X,輸出的Label叫做Y。

那X跟Y都是一維的,

X跟Y之間的關係是這個二次的曲線。

那這個曲線我們可以用虛線來表示,

因為我們通常沒有辦法直接觀察到這條曲線。

我們真正可以觀察到的是什麼?

我們真正可以觀察到的是我們的訓練資料。

那訓練資料你可以想像成

就是從這條曲線上面隨機Sample出來的幾個點。

你今天的模型呢,

它的能力非常的強,

它的Flexibility很大,

它的彈性很大的話,

你只給它這三個點,

它會知道說在這三個點上面,

我們要讓North低。

所以你今天你的Model,

它的這個曲線會通過這三個點,

但是其它沒有訓練資料作為限制的地方,

它就會有Free Style。

因為它的Flexibility很大,

它的彈性很大嘛,

所以你的Model可以變成各式各樣的Function。

你沒有給它資料作為訓練,

它就有Free Style可以產生各式各樣奇怪的結果。

那這個時候,

如果你在丟進你的Testing Data,

那Testing Data跟Training Data當然不會一模一樣。

是從同一個Distribution Sample出來的,

Testing Data是橙色的這些點,

Training Data是藍色的這些點,

用藍色的這些點找出一個Function以後,

你測試在橘色的這些點上,

不一定會好。

如果你的Model,

它的自由度很大的話,

它可以產生非常奇怪的曲線,

導致訓練資料上的結果好,

但是測試資料上的Loss很大。

那至於更詳細的背後的數學原理,

為什麼比較有彈性的Model,

它就比較會Overfitting,

背後的數學原理,

我們留待下下週,

吳佩元老師會跟大家更詳細的說明。

好,那我們今天就是講一下它的概念就好。

那怎麼解決剛才那個Overfitting的問題呢?

有兩個可能的方向。

第一個方向是,

也許這個方向往往是最有效的方向,

是增加你的訓練資料。

所以今天假設你自己,

要想要做一個Application,

你發現有Overfitting的問題,

其實我覺得最簡單解決Overfitting的方法就是,

增加你的訓練資料。

所以今天如果訓練資料,

藍色的點變多了,

藍色的點變多了,

那雖然你的Model,

它的彈性可能很大,

但是因為這邊的點非常非常的多,

它就會被限制住。

它看起來的形狀,

雖然很像是在產生這些資料背後的直曲線,

但是你在作業裡面,

你是不能夠使用這一招的,

因為我們並不希望大家浪費時間,

來收集資料啊等等,

那這個不是機器學習技術最核心的部分,

我們希望大家多Focus在機器學習核心的技術上,

而不是花太多力氣去網路上收集資料,

看看怎麼把作業做好。

所以這個不是我們要大家做的,

在作業裡面,

你不能夠自己收集資料。

那你可以做什麼呢?

你可以做Data Augmentation,

這個方法並不算是使用了額外的資料。

Data Augmentation是什麼意思呢?

Data Augmentation就是,

你用一些你對於這個問題的理解,

自己創造出新的資料。

舉例來說,

在做影像辨識的時候,

非常常做的一個招式是,

假設你的訓練資料裡面有某一張圖片,

把它左右翻轉,

或者是把它其中一塊截出來放大等等。

你做左右翻轉,

你的資料就變成一倍,

那這個就是Data Augmentation。

但是你要注意一下Data Augmentation,

不能夠隨便亂做。

這個Data Augmentation,

這個Augment,

要Augment的有道理。

舉例來說,

在影像辨識裡面,

你就很少看到有人把影像上下顛倒,

當作Augmentation。

為什麼?

因為這些圖片都是合理的圖片,

你把一張照片左右翻轉,

並不會影響到裡面是什麼樣的東西。

你把它顛倒,

那就很奇怪了,

這可能不是一個訓練資料裡面,

可能不是真實世界會出現的影像。

如果你給機器看這種奇怪的影像的話,

它可能就會學到奇怪的東西。

所以Data Augmentation,

要根據你對資料的特性,

對你現在要處理的問題的理解,

來選擇合適的Data Augmentation的方式。

好,那這邊是增加資料的部分,

那還有什麼解法呢?

另外一個解法就是,

不要讓你的模型有那麼大的彈性,

給它一些限制。

舉例來說,

假設我們直接限制說,

現在我們的Model一定是一條二次曲線,

我們商號通靈出,知道說X跟Y背後的關係,

其實就是一條二次曲線,

只是我們不明確的知道,

這二次曲線裡面的每一個參數長什麼樣。

那你說你怎麼會通靈出這樣子的結果,

你怎麼會知道說,

要用多Constraint的Model才會好呢?

那這就取決於你對這個問題的理解。

因為這種Model是你自己設計的,

到底Model要多Constraint,

多Flexible,結果才會好?

那這個要問你自己,

那要看這個設計出不同的模型,

你就會得出不同的結果。

好,那現在假設我們已經知道說,

模型就是二次曲線,

那你就會給你,

你就會在選擇Function的時候有很大的限制,

因為二次曲線要嘛就是這樣子,

要嘛就是這樣子,

來來去去就是那幾個形狀而已。

所以當我們的訓練資料有限的時候,

因為我們來來去去只能夠選那幾個Function,

所以你可能雖然說只給了三個點,

但是因為我們能選擇的Function有限,

你可能就會正好選到跟真正的Distribution

比較接近的Function,

然後在測試資料上得到比較好的結果。

所以這是第二個方法,

解決Overfitting的問題,

你要給你的Model一些限制。

最好你的Model正好跟

背後產生資料的過程的Process是一樣的,

那你可能就會,

那你就有機會得到好的結果。

但是如果你給你的,

有哪些方法可以給Model製造限制呢?

舉例來說,

給他比較少的參數,

如果是Deep Learning的話,

就給他比較少的神經元的數目,

本來每成一千個神經元,

改成一百個神經元之類的。

或者是你可以讓Model共用參數,

你可以讓一些參數有一樣的數值。

那這個部分,

如果你沒有很清楚的話也沒有關係,

我們之後在講CNN的時候,

會講到這個部分。

所以這邊先前情先預告一下,

就是我們之前講的Network架構,

叫做Fully Connected Network。

那Fully Connected Network,

其實是一個比較有彈性的架構,

而CNN是一個比較有限制的架構。

你可能會說CNN不是比較厲害嗎?

大家都說做影像就是要用CNN,

那比較厲害的Model,

難道他比較沒有彈性嗎?

沒錯,他是一個比較沒有彈性的Model。

他厲害的地方就是,

他是針對影像的特性,

來限制模型的彈性。

所以今天Fully Connected Network,

可以找出來的Function所形成的集合性是比較大的。

CNN這個Model所找出來的Function,

他形成的集合性是比較小的。

其實包含在Fully Connected Network裡面的。

但是就是因為CNN給了比較大的限制,

所以CNN在影像上反而會做得比較好。

這個之後都還會再提到。

還有哪些其他的方法呢?

一個就是用比較少的feature啦。

那剛才朱教授已經示範過,

本來給三天的資料,

改成用給兩天的資料,

其實結果就好了一些。

那這個是一個招數。

還有一個招數呢,

叫做Early Stopping。

Early Stopping,

Regularization跟Dropout,

都是之後課程還會講到的東西。

那這三件事情呢,

在作業1的程式裡面,

這個Early Stopping其實是有的。

朱教有寫在他的Code裡面,

所以你不知道這是什麼也沒有關係,

反正你直接執行Sample Code裡面就有了。

Regularization,

朱教留下了一個空格給大家填。

那你不知道什麼是Regularization,

沒有關係,

反正你可以過得了middle的baseline。

那如果想做得更好,

也許你可以先自己survey一下

Regularization是什麼,

看看有沒有辦法自己寫。

那Dropout,

這是另外一個在Deep Learning裡面

常用來限制模型的方法,

這個之後還會再提到。

但是啊,

我們也不要給太多的限制。

為什麼不能給模型太多的限制呢?

假設我們現在給模型更大的限制說,

我們假設我們的模型一定是linear的model,

一定是寫成y等於a加bf。

那你的model呢,

它能夠產生的function就一定是一條直線。

今天給三個點,

沒有任何一條直線可以同時通過這三個點,

但是你只能找到一條直線,

這條直線跟這些點比起來,

他們的距離是比較近的,

但是你沒有辦法找到任何一條直線。

同時通過這三個點。

這個時候,

你的模型的限制就太大了,

你在測試資料上就不會得到好的結論。

但是這個是overfitting嗎?

這個不是overfitting,

因為你又回到了model bias的問題。

所以你現在這樣,

在這個情況下,

在這個投影片的case上面,

你結果不好,

並不是因為overfitting了,

而是因為你給你的模型太大的限制,

達到你有了model bias的問題。

所以你會發現說,

這邊產生了一個有點矛盾,

這邊產生了一個矛盾的狀況。

今天你讓你的模型的複雜的程度,

或這樣讓你的模型的彈性越來越大,

但什麼叫做複雜的程度,

什麼叫做彈性,

在今天這堂課裡面,

我們其實都沒有給明確的定義,

只給你一個概念上的敘述。

在下下週的課程裡面,

你會真的認識到,

什麼叫做一個模型很複雜,

什麼叫做一個模型有彈性,

怎麼真的衡量一個模型的彈性,

複雜的程度有多大。

今天我們先用直觀的來了解,

所謂比較複雜的就是,

它可以包含的function比較多,

它的參數比較多,

這個就是一個比較複雜的model。

那一個比較複雜的model,

如果你看它的training的notes,

你會發現說,

隨著model越來越複雜,

training的notes可以越來越低。

但是,testing的時候呢,

當model越來越複雜的時候,

剛開始你的testing的notes會跟著下降。

但是,當複雜的程度超過某一個程度以後,

testing的notes就會突然暴增了。

那這就是因為說,

當你的model越來越複雜的時候,

複雜到某一個程度,

overfitting的狀況就會出現。

所以你在training的notes上面,

可以得到比較好的結果,

但在testing的notes上面,

你會得到比較大的loss。

那我們當然期待說,

我們可以選一個中庸的模型,

不是太複雜的,

也不是太簡單的,

剛剛好可以在訓練資料上,

給我們最好的結果,

給我們最低的loss,

給我們最低的testing loss。

怎麼選出這樣的model呢?

一個很直覺的,

你很有可能沒有人告訴你要怎麼做的話,

你可能很直覺就會這麼做的做法是說,

這個kaggle不是立刻上傳,

就可以知道答案了嗎?

所以假設我們有三個模型,

他們的複雜的程度不太一樣,

我不知道選哪一個模型,

才會剛剛好在測試資料上,

得到最好的結果。

因為你選太複雜的,就overfitting,

太簡單的,有model bias的問題,

那怎麼選一個不偏不倚的,

不知道,那怎麼辦?

把這三個模型的結果都跑出來,

然後上傳到kaggle上面,

你即時的知道了你的分數,

看看哪個分數最低,

那個模型顯然就是最好的模型。

但是並不建議你這麼做。

為什麼不建議你這麼做呢?

我們再舉一個極端的例子。

我們再把剛才那個極端的例子拿出來。

假設現在有一群model,

這一群model不知道為什麼都非常廢,

他們每一個model產生出來的,

都是一無是處的function。

我們有1到這個0,

有多少個我不知道,

隨便打1兆好了,

我們有1到1兆個model。

這一到1兆個model,

不知道為什麼認出來的function,

都是一無是處的function。

他們會做的事情就是,

訓練資料裡面有的資料就把它記下來,

訓練資料沒看過的,

就直接open隨機的結果。

那你現在有一兆個模型,

那你再把這一兆個模型的結果,

通通上傳到kaggle上面,

你就得到1兆個分數,

然後看這一兆個分數裡面,

哪一個結果最好,

你就覺得那個模型是最好的。

雖然說每一個模型,

他們在這個testing data上,

他都沒有看過啊,

所以他輸出的結果都是隨機的。

雖然在testing data上面,

輸出的結果都是隨機的,

但是你不斷地隨機,

你總是會找到一個好的結果,

對不對?

所以也許編號56789的那一個模型,

他找出來的function,

正好在testing data上面,

就給你一個好的結果。

那你就會很高興覺得說,

這個model編號56789,

是個好model,

這個好model得到一個好function,

雖然他其實是隨機的,

但你不知道,

這個好function,

這個好function,

在這個testing data上面,

給我們好的結果。

所以你就覺得說,

這個結果不錯,

就這樣,

我就選這個model,

這個function,

當作我們最後上傳的結果,

當作我最後要用在

Python testing set上的結果。

但是如果你這樣做,

往往就會得到非常糟的結果,

因為這個model畢竟是隨機的,

他恰好在public的testing data上面,

他public的testing set上,

得到一個好結果,

但是他在private的testing set上,

可能仍然是隨機的。

所以假設你今天在選model的時候,

你都用public的,

就是我們這個testing set,

分成public的set跟private的set,

你在看分數的時候,

你只看得到public的分數,

private的分數,

要deadline以後才知道。

但假設你在挑模型的時候,

你完全看你在public set上面的,

也就是leaderboard上的分數,

來選擇你的模型的話,

你可能就會這個樣子。

你在public的leaderboard上面,

排前十,

但是deadline一結束,

你心態就崩了,

掉到三百名之外。

而且我們這邊的修課人這麼多,

你搞不好會掉到一千名之外,

也說不定。

而且這件事情並不是傳說,

並沒有誇飾,

每年都會有這樣子的狀況發生。

因為今年我們會看public,

就是說我們在算分數的時候,

你在public上面的結果好,

還是會給你一點分數。

我們不是只看private的分數而已,

是public跟private的分數看啦。

過去有些學期是只看private的分數的時候,

發生這種狀況,

你心態就會整個崩掉這樣子。

你就會非常非常的鬱悶。

好,那這個時候有同學就會說,

那為什麼我們要把testing的set,

分成public跟private呢?

為什麼我們不能就通通都分public就好呢?

為什麼要為難大家呢?

為什麼要讓大家疑神疑鬼,

不知道自己private上的結果是什麼呢?

你仔細想想看,

假設所有的data都是public,

那我剛才說,

就算是一個一無是處的model,

得到的一無是處的function,

它也有可能在public的data上面,

得到好的結果。

如果我們今天只有public的testing set,

沒有private的testing set,

那你就回去寫一個程式,

不斷random產生輸出就好,

然後不斷把random的輸出上傳到kart頭,

然後看你什麼時候可以random出一個好的結果,

那這個作業就結束了。

那這個顯然沒有意義,

顯然不是我們要的。

而且啊,因為如果今天,

然後這邊有另外一個有趣的事情就是,

因為如果今天public的testing data是公開的,

你可以知道public的testing data的結果,

那就算是一個很廢的模型,

產生了很廢的function,

也可能得到非常好的結果。

那這就印證了說,

為什麼在機器學習的領域,

在那些benchmark的conference上面,

往往機器可以得到,

異乎尋常的好的結果,

往往都超越人類。

所謂benchmark conference的意思就是,

有一些data set是公開的,

然後舉例來說,

這個libri-speech是一個公開的,

用來訓練語音辨識的資料集,

那如果你想要測試自己的語音辨識的模型,

好不好的話,

那就訓練在libri-speech上面,

那libri-speech有testing set,

所有人都共用一模一樣的testing set,

那我們就可以比較不同模型的好壞。

但是問題是,

這些testing set的結果都是public的。

所以就算是一個很廢的模型,

它只能產生很廢的function,

你只要做得夠多,

你還是可以在public的set上得到結果,

得到好的結果。

那這就解釋為什麼說,

這些benchmark conference最終,

往往機器可以得到超乎人類的結果。

那這個最有名的例子,

就是這個,

大家記得16年的時候,

Microsoft跟IPM都不約而同的說,

他們的machine在語音辨識上面,

得到超越人類的結果。

專業的聽打員做的語音辨識的錯誤率還要低。

那這個是怎麼來的?

那個其實就是做在benchmark的conference上面啦。

那個其實是做在一個叫做switch4的benchmark的conference上面。

那你說,

那在benchmark conference上面得到一個非常好的超越人類的結果,

在現實生活中,

它真的有超越人類嗎?

我想你不會相信對不對?

你不是做語音辨識的研究人員,

你光是有用過,

今天語音辨識系統無所不在嘛,

每個手機拿出來都有語音辨識,

你其實不會相信說,

機器在語音辨識的能力已經超越人類。

所以這個就是在那些benchmark conference上,

benchmark conference的testing set,

就是public的testing set。

但是你真的訓練出一個語音辨識系統上線給人用的時候,

那這個是private的testing set。

你有可能在public的testing set上面得到什麼超越人類的結果,

但並不代表它在private的testing set上一定是好的。

在那些benchmark conference上面,

機器都說超越人類的語音辨識的正確率了,

並不代表在日常生活中,

它的語音辨識的正確率超越了人類。

所以你知道說,

那些說在benchmark conference上得到什麼超越人類的結果,

那個都比較像是片片麻瓜的商業的辭令。

不過我覺得說,

有benchmark conference做出結果來,

還算是已經是很優品的了。

我聽過更優品的是怎樣呢?

就是有一個不知道哪來的新創,

去接了一個政府的計畫,

然後說要做語音辨識,

然後就拿那個data set,

然後KPI就訂說,

我們這個要做到90%以上的正確率,

然後做完,

哇,沒有得到90%,

怎麼做都做不到90%,

人家要來驗收怎麼辦呢?

然後他們就說,

跟驗收的人說,

你這個testing set不好,

你這個testing set裡面雜訊很多,

我幫你把它清乾淨,

我把有雜訊的那個句子拿掉,

然後KPI就達到了正確率90%以上,

就起飛了,

就過了那個KPI了。

而且還有更更沒品的啦,

就是有人會,

有怪怪的新創會拿出一個東西,

拿出他自己的app來看,

我自己做了一個語音辨識系統。

你知道嗎?

跟Google辨識出來的結果都一樣好喔。

為什麼呢?

就是因為他偷摳了Google的API這樣子。

好,所以有各種各樣奇奇怪怪的東西啦,

所以網路上奇奇怪怪的吹捧,

大家有時候看看就好。

好,所以講了這麼多,

只是想要告訴大家說,

我們為什麼要切public的testing set,

我們為什麼要切private的testing set,

然後你其實不要花,

不要用你public的testing set去調你的模型,

因為你可能會在private的testing set上面,

得到很差的結果。

那不過因為今年呢,

你在public set上面的好的結果,

也有算分數,

所以怎麼辦呢?

為了避免你,

為了就你可能會說,

好,那我放棄private set的結果,

我就只拿public set的結果,

然後不斷的產生隨機的結果,

去上傳到Cartel,

然後看看說能不能夠正好隨機出一個好的結果。

為了避免浪費時間做這件事情,

所以有每日上傳的限制,

讓你不會說我拿很廢的模型,

只產生隨機的結果,

不斷的測試public的testing score。

好,那到底要怎麼做,

才選擇model,

才是比較合理的呢?

那建議的方法是這個樣子的,

那其實助教程式裡面,

也都幫大家做好了,

你要把training的資料分成兩半,

一部分叫做training set,

一部分是validation set。

剛才助教程式裡面已經看到說,

有90%的資料放在training set裡面,

有10%的資料會被拿來做validation set。

那你在training set上訓練出來的模型,

你在validation set上面去衡量他們的分數,

你根據validation set上面的分數,

去挑選結果,

再把這個結果上傳到Cartel上面,

去看看你得到的public的分數。

那因為你在挑分數的時候,

是用validation set來挑你的model,

所以你的public testing set的分數,

就可以反映你的private testing set的分數,

就比較不會得到說,

在public上面結果很好,

但是在private上面結果很差,

這樣子的狀況。

但我知道說,

其實你看到public的結果以後,

你就會去想要挑他啦,

就你看到你現在弄了一堆模型,

然後用validation set檢查一下,

找了一個模型放到public set上以後,

發現結果不好,

你其實不太可能不根據這一個結果,

去調整你的模型。

但是假設這一個loop做太多次,

你根據你的public testing set上的結果,

去調整你的model太多次,

你就又有可能fit在你的public testing set上面,

然後在private testing set上面得到差的結果。

不過還好反正我們有限制上傳的次數,

所以這個loop呢,

你也沒有辦法走太多次,

可以避免你太多fit在public testing set上面的結果。

好,那我知道說,

今天因為public testing set上面的結果,

是大家都可以看到的,

然後很多人都會,

然後名字你又可以隨便亂取,

所以假設有一個人洗到第一名的話,

他就會非常的得意,

他就會把自己的名字改成一些什麼,

我第一次試就第一名了,

或是我其實只是個旁聽,

那其實他不是旁聽的,

他改成說我其實只是個旁聽的,

隨便做就第一名了。

那這個時候你就會覺得很緊張,

尤其他如果是你更認識的人,

隔壁小毛得到第一名,

到處耀武揚威的時候,

你就會開始有點緊張,

你就會說等一下,

你不要得意,

我等一下就去把你刷下來這樣。

那這個時候,

你要不要理他呢?

你不要理他。

根據過去的經驗,

就在public leaderboard上排前幾名的,

往往public是很容易剷掉這樣子,

所以在public的testing上面得到太好的結果,

也不用高興得太早。

其實最好的做法,

就是用validation log最小的直接挑就好了,

就是你不要去管你的public testing set的結果。

那我知道說在實作上,

你不太可能這麼做,

因為public set的結果你有看到,

所以他對你的模型的選擇可能還是有一些影響的,

但是你要越少去看public testing set的結果越好。

這樣我回答到你的問題嗎?

好,如果有其他問題,

我等一下再回答。

好,那這個是,

剛才忘了附屬那個同學的問題啦。

線上直播的同學,

我附屬一下剛才那個同學的問題,

他的問題是說,

所以我們不能去看public testing set的結果嗎?

理想上是,

就理想上,

你就用validation set挑就好,

然後上傳以後,

怎樣就是怎樣,

有過那個strong baseline以後就不要再去動它了,

那這樣子你比較不會,

那這樣子可以避免你overfit在testing set上面。

好,那但是這邊會有一個問題,

就是怎麼分training set跟validation set呢?

那如果在助教程式裡面,就是隨機分的。

但是你可能會說,

搞不好我這個分分的不好啊,

搞不好我分到很奇怪的validation set啊,

會導致我的結果很差啊。

如果你有這個擔心的話,

那你可以用N4的cross validation。

那N4的cross validation是怎麼做的呢?

就是你先把你的訓練資料切成N等份,

在這個例子裡面呢,我們切成3等份。

切完以後,

你拿其中一份當作validation set,

另外兩份當training set。

然後這件事情,你要重複三次。

也就是說,

你先第一份第二份當training,

第三份當validation,

然後第一份第三份當training,

第二份當validation,

第一份當validation,

第二份第三份當training。

然後接下來,你有三個模型,

你不知道哪一個是好的,

你就把這三個模型,

在這三個setting下,

這三個training跟validation的data set上面,

通通跑過一次。

然後把這三個模型,

在這三種狀況的結果都平均起來。

把每一個模型,

在這三種狀況的結果都平均起來。

再看看誰的結果最好。

再看看誰的結果最好。

那假設現在model 1的結果最好,

你用這三個fold,

得出來的結果是model 1最好,

然後你再把model 1

用在全部的training set上,

然後訓練出來的模型,

再用在testing set上面。

這個是M4的cross-validation。

那這個就是這門課前期的攻略,

它可以帶你打贏前期所有的部分。

那接下來,也許你要問的一個問題是,

上週結束的時候,

不是講到預測2月26號,

也就是上週五的觀看人數嗎?

到底結果做得怎麼樣?

好,那這個就是我們要做的結果啦。

上週比較多人選了三層的network,

所以我們就把三層的network

拿來測試一下。

以下是測試的結果,

我們就沒有再調參數了,

大家決定用三層的就是下好離手了,

就直接用上去了。

好,得到的結果呢,是這個樣子了。

這個圖上呢,這個橫軸啊,

就是從2021年的1月1號開始,

一直往下。

然後紅色的線是真實的數字,

藍色的線是預測的結果。

2月26號在這邊啦。

這個是今年2021年觀看人數最高的一天啦。

那機器的預測怎麼樣呢?

哇,非常的慘,差距非常的大,

差距有2.58K,這麼多。

感謝大家,為了讓這個模型不準,

上週我花了很多力氣去點了這個video,

所以這一天是今年觀看人數最多的一天。

那你可能會想說,那別的模型怎麼樣呢?

其實我也跑了一層、二層跟四層的看看啦,

所有的模型都會慘掉。

兩層跟三層的錯誤率都是2點多K,

其實四層跟一層比較好,都是1.8K左右。

但是這四個模型不約而同的,

覺得2月26號應該是個低點,

但實際上2月26號是一個峰值。

那模型其實會覺得它是個低點,

也不能怪它,因為根據過去的資料,

禮拜五就是沒有人要學機器學習,

禮拜五晚上大家出去玩了,

禮拜五觀看的人數是最少的,

但是2月26號出現了反常的狀況。

那這個就不能怪模型了,

我覺得出現這種狀況應該算是另外一種錯誤的形式,

這種錯誤的形式我們這邊叫做Mismatch。

也有人會說Mismatch也算是一種Overfitting,

這樣也可以啦,這都只是名詞定義的問題。

那我這邊想要表達的事情是,

Mismatch它的原因跟Overfitting其實不一樣,

一般的Overfitting你可以用收集更多的資料來克服,

但是Mismatch意思是說,

你今天的訓練資料跟測試資料,

它們的分佈是不一樣的,

在訓練資料跟測試資料分佈是不一樣的時候,

你訓練資料再增加,其實也沒有幫助了。

那其實在多數的作業裡面,

我們不會遇到這種Mismatch的問題,

我們都有把題目設計好了,

訓練資料跟測試資料的分佈差很多。

舉例來說,以剛才作業一的COVID-19為例的話,

假設我們今天資料在分訓練資料跟測試資料的時候,

我們說2020年的資料是訓練資料,

2021年的資料是測試資料,

那Mismatch的問題可能就很嚴重了,

這個我們其實有試過了,

試了一下,如果今天用2020年當訓練資料,

2021年當測試資料,你就怎麼做都是慘的,

做不起來,你訓練什麼模型都會慘掉。

因為2020年的資料跟2021年的資料,

他們的背後的分佈其實就是不一樣的。

所以你拿2020年的資料來訓練,

在2021年的作業一的資料上你根本就預測不準,

所以後來助教是用了別的方式來分割訓練資料跟測試資料。

所以我們多數的作業都不會有這種Mismatch的問題,

那除了作業十一,因為作業十一就是針對Mismatch的問題來設計的,

作業十一也是一個影像分類的問題,

這是他的訓練資料,看起來蠻正常的,

但他測試資料就是長這樣子,

所以你知道這個時候增加資料哪有什麼用呢?

增加資料你也沒有辦法讓你的模型做得更好,

所以這種問題要怎麼解決,留待作業十一的時候再講。

那你可能會問說,我怎麼知道現在到底是不是Mismatch呢?

那我覺得要不知道是不是Mismatch,

那就要看你對這個資料本身的理解了。

你可能要對你的訓練資料跟測試資料的產生方式有一些理解,

才能判斷說他是不是遇到了Mismatch的狀況。

好,那這個就是我們作業的攻略,

那我們在這邊停下來,看看大家有沒有問題要問的。