好,那接下來呢,我們要講有關分類怎麼做這件事情。

這邊講的是一個短的版本,因為時間有限的關係,

所以我們就講一個可以在20分鐘內講完的短的版本。

既然有短的版本,就是有長的版本。

如果你想要看長的版本的話,可以看一下過去上課的錄影,

可能是花兩個小時到三個小時的時間才講完分類這件事情。

我們這邊用一個最快的方法,直接跟你講分類是怎麼做的。

分類是怎麼做的呢?我們已經講了regression,

就是輸入一個項量,然後輸出一個數值,

我們希望輸出的數值跟某一個label,

也就是我們要學習的目標,越接近越好。

有同學會問說,為什麼目標label有加head,

而不是輸出有加head呢?

你可能在別的地方有看過輸出有加head。

那這邊的notation,它的使用並沒有一定的規定,

如果你先上過我的機器學習的話,

你就會去問別的老師說,為什麼model的輸出有加head,

然後你的label沒有加head。

所以我們這門課呢,如果是正確的答案就有加head,

model的輸出沒有加head。

那有一個可能,假設你會用regression的話,

我們其實可以把classification當作是regression來看。

怎麼說呢?那這個方法不一定是一個好方法,

這是一個比較奇妙的方法。

你可以說,一樣輸入一個東西以後,

我們的輸出仍然是一個scalar,它叫做y。

然後這個y,我們要讓它跟正確答案的class越接近越好。

但是y是一個數字啊,我們怎麼讓它跟class越接近越好呢?

我們必須把class也變成數字。

舉例來說,class1就是編號1,class2就是編號2,class3就是編號3。

然後接下來呢,我們要做的事情就是希望y可以跟class的編號越接近越好。

但是,這會是一個好方法嗎?

如果你仔細想想的話,這個方法也許在某些狀況下是會有瑕疵的。

因為如果你假設說class1就是編號1,class2就是編號2,class3就是編號3,

意味著說你覺得class1跟class2它是比較像的。

然後class1跟class3它是比較不像的。

那像這樣子的表示class的方式,有時候可行,有時候不可行。

假設你的class1,2,3真的有某種關係,

舉例來說,你想要根據一個人的身高跟體重,

然後預測他是幾年級的小學生,一年級、二年級還是三年級。

那可能一年級真的跟二年級比較接近,一年級真的跟三年級比較沒有關係。

但是假設你的三個class本身並沒有什麼特定的關係的話,

你說class1是1,class2是2,class3是3,那就很奇怪了,

因為你這樣預設說1,2有比較近的關係,1,3有比較遠的關係。

所以怎麼辦呢?當你在做分類的問題的時候,

比較常見的做法是把你的class用one-half vector來表示。

那one-half vector我們在作業1的時候有看過,對不對?

我們在作業1的時候說,我們把美國的州用one-half vector來表示。

那同樣的道理,我們也可以把每一個class用一個one-half vector來表示。

如果有三個class,我們的label這個whitehead就是一個三維的向量。

然後呢,如果是class1就是100,如果是class2就是010,如果是class3就是001。

所以每一個class你都用一個one-half vector來表示,

而且如果你用one-half vector來表示的話,就沒有說class1跟class2比較接近,

class1跟class3比較遠這樣子的問題。

如果你把one-half vector拿來算距離的話,class之間兩兩他們的距離都是一樣的。

好,那接下來呢,如果我們今天的目標whitehead是一個向量,

比如說這邊whitehead是有三個element的向量,三個數值的向量,

那我們的network也應該要output三個數值才行。

那到目前為止我們講的network其實都只output一個數值,

因為我們過去做的都是regression的問題,所以只output一個數值。

那怎麼把它改成output三個數值呢?

其實從一個數值到三個數值它是沒有什麼不同的啦。

怎麼說呢?你可以output一個數值,你就可以output三個數值。

所以把本來output一個數值的方法重複三次,你把a1、a2、a3乘上三個不同的位加上bias得到y1,

再把a1、a2、a3乘上另外三個位再加上另外一個bias得到y2,

把a1、a2、a3再乘上另外一組位再加上另外一個bias得到y3,

你就可以產生三組數值。

所以你就可以input一個feature的vector,然後產生y1、y2、y3,

然後期待y1、y2、y3跟我們的目標越接近越好。

所以我們現在知道了regression是怎麼做的。

input x, output y, yout跟label y hat越接近越好。

如果是classification呢?我們剛才說input x可能乘上一個w再加上b,

再通過activation function再乘上w'再加上b'得到y。

我們現在的y它不是一個數值,它是一個向量。

但是在做classification的時候,

我們往往會把y再通過一個叫做softmax的function得到y'.

然後我們才去計算y'跟y hat之間的距離,

才去說我們要讓y'跟y hat越接近越好。

為什麼要加上softmax呢?

一個比較簡單的解釋,

這一段到底要怎麼在數十分鐘內講完,

我其實想了很久。

如果是在過去的課程裡面,

我們會花很長一段時間告訴你說,

這裡為什麼要加softmax?

它背後有什麼樣的假設?

我們會先從generative的model開始講起,

然後一路講到logistic regression,

你就會知道為什麼這邊放個softmax,它有什麼樣的歷史淵源。

我們現在已經不是從那個角度切入,

所以就有點不知道要怎麼解釋說為什麼要放softmax。

那這邊有一個騙小孩的解釋就是,

這個y hat它裡面的值都是0跟1,對不對?

它是one-hot vector,所以裡面的值只有0跟1。

那y呢?y裡面有任何值?

y裡面有任何值。

既然我們的目標只有0跟1,

但是y有任何值,

那我們能不能夠就先把這個任何值,

先把它normalize,移到0到1之間,

這樣才好跟label的計算相似度。

這是一個比較簡單的講法,

如果你真的想要知道說為什麼要用softmax的話,

你可以參考過去的上課錄影。

那如果你不想知道的話,

你就記得一件事,

softmax要做的事情就是把

本來y裡面可以放任何值這件事情,

改成0到1之間。

那softmax它裡面是怎麼運作的呢?

這是這個softmax的block,

輸入y1、y2、y3,

它會產生y1'、y2'、y3'。

它裡面運作的模式是這個樣子的。

我們會先把所有的y取一個exponential,

所以本來不管y是正的還是負的,

反正取完exponential以後,

就都變成正的,對不對?

就算是負數,負小於0的值,

取exponential以後,也變成正的。

然後你再對它做normalize,

除掉所有y的exponential值的和,

然後你就得到y'.

或是用圖示化的方法是這個樣子,

y1取exponential、y2取exponential、y3取exponential,

把它全部加起來,得到一個summation,

得到一個summation,放在分母地方的summation。

接下來再把exponential y1除掉summation,

exponential y2除掉summation,

exponential y3除掉summation,

就得到y1'、y2'、y3'。

有了這個式子以後,

你就會發現說這個y1'、y2'、y3'

它們都是介於0到1之間。

然後這個y1'、y2'、y3'

它們的和會是1。

如果舉一個例子的話,

本來y1等於3、y2等於1、y3等於負3。

取完exponential的時候,

就變成exponential3就是20,

exponential1就是2.7,

exponential負3就是0.05。

做完normalization以後,

它就變成0.88、0.12跟0。

所以這個summax它要做的事情

除了normalize以外,

除了讓y1'、y2'、y3'

變成0到1之間還有和為1以外,

它還有一個附帶的效果是

它會讓大的值跟小的值

它們的差距更大。

所以本來負3,

然後通過這個exponential

再做normalize以後,

最後會變成趨近於0的值。

然後這個summax的輸入

往往就叫它logic,

它是有名字的,

有時候就叫它logic。

那這邊是考慮了三個class的狀況。

那如果兩個class會是怎麼樣呢?

如果是兩個class,

你當然可以直接套summax這個function,

沒有問題。

但是也許你更常聽到的是

當有兩個class的時候,

我們就不套summax了,

直接取sigmoid。

那當兩個class用sigmoid

跟summax兩個class

它們之間的關係是什麼呢?

你其實可以自己想一想。

你如果推一下的話會發現說

這兩件事情是得價的。

我知道說我這邊講summax,

那summax當然做在兩個class上

一定是沒有問題的。

但你更常看到的是

兩個class的時候就用sigmoid,

你可能會問說

這兩者有什麼不同,

哪一個比較好呢?

那我這邊告訴你

它們是一模一樣的。

你自己推一下會發現說

這兩件事情是同一件事情。

那所以呢,

我們把x丟到一個network裡面

產生y以後,

我們會通過summax得到y'

再去計算y'跟y'之間的距離,

這個寫作D。

那計算y'跟y'之間的距離

有不只一種做法。

舉例來說,你可以說

如果我喜歡的話,

我要讓這個距離是mean squared error

跟作業用的一模一樣。

就是把y'裡面的每一個element拿出來,

把y'裡面的每一個element拿出來,

然後計算它們的平方和,

然後當作我的error。

這也是一個做法。

這樣也是計算兩個向量之間的距離,

你也可以做到說

當minimize mean squared error的時候,

我們可以讓y'等於y'。

但是有另外一個更常用的做法,

叫做cross entropy。

那這個cross entropy

它的式子乍看之下

會讓你覺得有點匪夷所思,

怎麼是這個樣子呢?

我們先來看看這個cross entropy的式子

長什麼樣子。

它是summation over所有的i,

然後把y'的第i位拿出來,

乘上y'的第i位取natural log,

然後再全部加起來,

這個是cross entropy。

那當y'跟y'一模一樣的時候,

你也可以minimize cross entropy的值。

當y'跟y'一模一樣的時候,

NSE會是最小的,

cross entropy也會是最小的。

但是為什麼會有cross entropy

這麼奇怪的式子出現呢?

那如果要講得長一點的話,

這整個故事我們可以把它講成

minimize cross entropy

其實就是maximize likelihood這個東西,

那你可能在很多地方都聽過

likelihood這個詞彙。

但是因為這堂課裡面

我們even把likelihood拿掉了,

所以我們現在根本就沒有

likelihood這個東西,

所以我們就不能往這個方向解釋,

我們就不能說minimize cross entropy

為什麼是maximize likelihood,

因為其實不知道likelihood是什麼。

但是這兩件事情其實是等價的啦,

所以如果有一天有人問你說

如果我們今天在做分類問題的時候,

maximize likelihood跟minimize cross entropy

有什麼關係的時候,

你不要回答說

他們其實很像,

但是其實又有很微妙的不同。

不是這樣,他們兩個就是

一模一樣的東西,

只是同一件事,

不同的講法而已。

所以假設你可以接受說

我們在訓練一個classifier的時候

應該要maximize likelihood,

你就可以接受

我們應該要minimize cross entropy。

但是我們沒有講這件事,

所以我要怎麼說服你

我們應該要用cross entropy呢?

下一頁投影片

是從optimization的角度

來告訴你說

cross entropy比mean squared error

更加適合用在分類上。

那cross entropy真的

相較於mean squared error

是更常用在classification上面的。

所以它常用到什麼地步呢?

它常用到在PyTorch裡面

cross entropy跟softmax

它們是被綁在一起的

它們是一個set

你只要call cross entropy

裡面就自動內建了softmax

所以如果你看

助教作業2的程式的話

你會找不到softmax在哪裡

就本來softmax應該是

network的一部分

照理說你在定義network的時候

你應該也定義了softmax這個function

但是你發現在助教程式裡面

你找不到softmax

為什麼?它放在cross entropy裡面

當你使用cross entropy

這個loss function的時候

PyTorch自動幫你把softmax

加到你的network的最後一層

所以如果你今天在用PyTorch

你自己在network加softmax的時候

你用cross entropy

就會變成加了兩次softmax

就這個一個PyTorch

一個有趣的設計

所以這顯示說

softmax跟cross entropy

它們往往是被綁在一起的

它們是一個set

總是會被一起使用

那接下來呢

我從optimization的角度

來告訴你說

為什麼相較於

mean square error

cross entropy

是更備常用在分類上

那這個部分

你完全可以在數學上面做證明

但是我這邊是直接用

舉例的方式來跟你說明

如果你真的非常想看數學證明的話

我把連結放在這邊

你可以看一下過去上課的錄影

但如果你不想知道的話

那我們就是舉個例子來告訴你說

為什麼cross entropy比較好

好那現在我們要做一個

三個class的分類

我們的network先輸出

y1 y2 y3

再通過softmax以後

產生y1' y2' 跟 y3'

好接下來

假設我們的正確答案就是100

我們要去計算100這個向量

跟y1' y2' 跟 y3'

他們之間的距離

那這個距離我們用1來表示

1可以是mean square error

也可以是cross entropy

好那我們看一下

如果我們這個1

設定為mean square error

跟cross entropy的時候

算出來的error surface

會有什麼樣不一樣的地方

我們現在假設y1的變化

是從-10到10

y2的變化也是從-10到10

y3我們就固定設成-1000

因為y3設很小啊

y3設-1000

所以過softmax以後

y3'就是非常趨近於0

那他跟正確答案非常接近

所以他對我們的結果影響很少

總之我們y3設一個定值

我們只看y1跟y2

有變化的時候

對我們的1

對我們的loss

你知道把很多個1加起來

就變成loss嘛

對我們的loss

有什麼樣的影響

底下這兩個圖啊

而且在我們1是mean square error

跟cross entropy的時候

y1 y2

y1 y2的變化

對loss的影響

對error surface的影響

那如果今天y1很大

y2很小

y1很大

y2很小

那y1很大

y2很小

就代表y1'會很接近1

y2'會很接近0

所以不管是對mean square error

還是cross entropy而言

y1大

y2小的時候

loss都是小的

我們這邊是用紅色代表loss大

藍色代表loss小

那左上角這邊

y1小 y2大的時候

y1小 y2大的時候

如果y1小 y2大的話

這邊y1'就是0

y2'就是1

所以這個時候

loss會比較大

所以這兩個圖

都是左上角loss大

右下角loss小

所以我們就期待說

我們最後在training的時候

我們的參數

可以走到右下角的地方

那假設我們開始的地方

都是左上角的地方

會有什麼問題呢

你會發現說

如果我們選擇cross entropy

左上角這個地方

它是有斜率的

所以你有辦法

透過gradient

一路往右下的地方走

但如果你選mean square error的話

你就卡住了你知道嗎

mean square error

在這種loss很大的地方

它是非常平坦的

它的gradient

是非常小趨近於0的

如果你初始的時候

在這個地方

離你的目標非常遠

但它gradient很小

你就會沒有辦法

用gradient descent

順利的走到

右下角的地方去

所以如果你今天

自己在做classification

你選mean square error的時候

你有非常大的可能性

會trap不起來

當然這個是

在你沒有好的optimization

好的optimizer的情況下

今天如果你用added

這個地方

gradient很小

那gradient很小

它learning rate會自動幫你調大

也許你還是有機會

走到右下角

不過這會讓你的training

比較困難一點

讓你的training起步

比較慢一點

所以這邊有一個

很好的例子是告訴我們說

就算是loss function的定義

都可能影響training

是不是容易這件事情

我們剛才說

要用神羅天真

直接把error surface炸平

這邊就是一個好的例子

告訴你說

你可以改loss function

居然可以改變optimization的難度