好,我們要來上課囉。

剩下的時間,我們要進入新的主題,我們要來講分類這件事情。

好,在分類這件事情呢,我們要找的是一個function,它的input是一個object x,

它的output是這個object屬於哪一個class,屬於underclass的哪一個。

那這樣子的task有很多application其實信手拈來就有一大堆,比如說在金融上,

他們可以用classification的model來決定說要不要貸款給某一個人。

你就找一個function,它的input是某一個人的income,saving,他的工作,他的年紀,

還有他過去的financial record,他過去有沒有欠債等等。

那output就是要借錢給他還是不借錢給他,這是一個binary classification的product,

你就accept或是refuse。

那或者是拿來做醫療的診斷,比如說input就是某一個人的症狀,

還有他的年紀,性別,過去的就醫的歷史等等。

那output就是他生的是哪一種病,就自動來做醫療的診斷,

或者是做手寫的數字,手寫的文字的辨識,比如說你就手寫一個字給機器看,

機器看到就上圖,這個是金這樣子,鄉民都叫我大金,就是金這樣子。

然後output就是這個字,這個image,它是屬於哪一個case。

那如果你是做中文的手寫辨識的話,那中文有至少8000個character,

那它就是一個8000個class的classification。

你的model要從這8000個class裡面選一個class當作output。

或者是做人臉辨識,就是input一個人臉,然後告訴他說這個人臉是誰的。

好,那我們要用的是什麼樣的example application呢?

其實這個也是寶可夢的例子啊。

你可能以為說我只有前面那個predict CP值的例子,其實我還有很多其他的例子。

好,我又做了一些有關寶可夢的研究,我這個研究是這樣子的,

我們知道說寶可夢有不同的屬性,有幾種呢?

其實有18種屬性,包括就是水,就是火啊,水啊,電啊,草啊,還有冰啊,等等。

總共有18種屬性,到第6代為止總共有18種屬性。

我們現在要做的是一個分類的問題。

這個分類的問題就是要找一個function,這個function的input就是某一隻寶可夢,

然後它output就是要告訴你說這一隻寶可夢它是屬於哪一種type的。

比如說input給它一隻皮卡丘,它output就是雷。

input給它一個那個傑尼龜,它output就是水。

那input給它一個妙蛙草,它的output就是草。

所以是一個classification的問題。

那要怎麼樣做這個問題呢?

第一個你的問題就是怎麼把一個寶可夢當作function的input。

你要把一個東西當作function的input,它得數值化。

你要用數字來表示一隻寶可夢,你才能把它放到一個function裡面。

那我們要怎麼把一隻寶可夢用數字來表示呢?

一隻寶可夢其實它有很多的特性,這些特性是可以數值化的。

比如說它整體的強度,我先說一下這個其實不是pokemon go的那個東西,

這個是pokemon的那個電玩。

你聽不懂我講這個就算了,就當作沒聽到這句話。

好,那一個寶可夢它其實可以用一組數字來描述它的特性。

這組數字代表什麼呢?

比如說這個寶可夢它的total的strength,

就是它有多強,你可以用一個數字來表示它。

它的生命值,你可以用一個數字來表示它。

它的攻擊力,你可以用一個數字來表示它。

它的防禦力,你可以用一個數字來表示它。

它的特殊攻擊力,就是它用特殊攻擊的時候,

這我不知道怎麼解釋,反正就是另外一個特殊攻擊的攻擊力。

然後特殊攻擊的防禦力,還有它的速度,

速度的時候可以決定說兩隻寶可夢相遇的時候,誰可以先攻擊。

比如說皮卡丘,它的整體的強的程度是320,

它的HP是35,它的攻擊力是55,防禦力是40,

特殊攻擊力是50,然後它的特殊防禦力是50,

它的速度是90。

所以一隻皮卡丘,我們就可以用一個vector來描述它。

這個vector裡面有1,2,3,4,5,6,7,總共有7個數字。

所以一隻寶可夢,它就是一個7個數字所組成的一個vector,

所以一隻皮卡丘可以用這7個數字來描述它。

我們現在要問的問題就是,

我們能不能夠把7個數字輸進一個function,

這個function就告訴我們說,它的output是哪一種種類的寶可夢。

那你可能會問這樣一個問題,

這件事情的重要性到底在哪裡?

這件事情是非常重要的,

因為當兩隻寶可夢相遇在決鬥的時候,

它們中間是有屬性相剋的關係的。

這個是18x18的屬性相剋表,

因為你知道說總共有18隻寶可夢,

總共有18種態的,所以是18x18的屬性相剋表。

比如說今天這個格鬥系遇到,

左邊這個是攻擊方,上面這個是防禦方,

所以格鬥系遇到一般的時候,它的攻擊就乘2,

你看得懂這個圖了,所以這個是很重要的。

那你可能會問說,

可是寶可夢的屬性不是寶可夢圖鑑上面都有了嗎?

預測寶可夢的屬性有什麼意義呢?

這件事情是有很大的意義的,

因為你有可能在決鬥中遇到說,

對方出的是圖鑑上沒有的,你沒有見過的寶可夢。

如果你現在有這個預測的model的話,

你就可以預測說,它出的寶可夢是哪一種屬性的,

你就可以用正確的屬性來對應它。

所以這個是有非常廣泛的應用的。

而且我發現說寶可夢圖鑑其實是隱象辨識的功能,

它隱象辨識的功能很強,

你照一張圖它就可以告訴你說它是哪一種寶可夢。

我們應該要把這個預測的model加到寶可夢的圖鑑裡面,

它就可以幫我們預測新的寶可夢。

那怎麼完成這個任務?

首先我們要先收集data,

我們就說我把寶可夢編號400以下的當作training data,

編號400以上的就當作testing data,

就假設說,因為你知道寶可夢其實是越來越多的,

我記得我小時候只有150隻,

那後來發現越來越多寶可夢,

現在好像已經有800隻了,

所以寶可夢是不斷增加的,

所以編號在比較前面的是比較早發現的那些寶可夢,

所以要模擬說我們已經發現那些寶可夢的情況下,

如果看到新的寶可夢的時候,

就預測說它是屬於哪一種屬性。

所以你要收集data,

比如說我們的data就是一些pair,

告訴我們說function的input output是什麼,

比如說input皮卡丘叫output電,

input傑尼龜叫output水,

input妙蛙草叫output草。

那怎麼解這個classification的問題?

有人會這麼想,

假設有人沒有學過classification,

但學過regression,

他就說classification就當作regression的問題來硬解,

怎麼硬解呢?

我們用binary的classification來當作定義,

假設我們現在只要output,

input的x屬於class1或者class2,

那就把它當作一個regression的問題,

class1就代表說它的target,

也就是y hat是1,

class2就代表說它的target是-1,

你就這樣,就當作regression的problem,

然後硬train下去,

然後train完這個model以後,

在testing的時候,

因為regression的output不會正好是0或是1,

它是一個number,它是一個數值,

如果這個數值比較接近1的話,

就說是class1,

如果數值比較接近-1的話,

就說它是class2,

所以你可以想成說現在就是以0為分界,

如果你的regression model output是大於0的話,

就比較接近1,

所以你的model就會說是class1,

如果小於0的話就比較接近-1,

所以你的model會說是class2,

如果你這麼做的話,

會遇到什麼樣的問題呢?

會遇到什麼樣的問題呢?

你會遇到這樣的問題,

假設說我們現在的model是一個,

我們現在的model的input和output的關係,

y等於b加w1x1加w2x2,

input是兩個feature,

也就是x1跟x2,

那我們現在有兩個class,

藍色的是class1,

紅色的是class2,

那如果你用regression來想的話,

藍色的那些object,

藍色的那些東西,

input到這個regression的model,

我們都希望它越接近1越好,

紅色的這些東西,

input到regression的model,

我們都希望它越接近-1越好,

這件事可能是做得到,

如果你把這些data,

真的丟下去認,

然後拿出這個bw1和w2的話,

那你會發現說呢,

b加w1x1加w2x2,

這邊寫錯了,

就是這個式子,

等於0的第七線,

是綠色這一條,

也就是class1和class2的分界點,

是在綠色的這一條線上,

這看起來,

聽起來蠻好的,

但是你可能會遇到這樣的問題,

假設你今天class1的分布,

不是這樣子,

假設你class1的分布,

是這樣子,

你就麻煩了,

因為如果你用綠色的這一條線,

所代表的model的話,

注意一下,

這個是二維的,

綠色這條線只是代表說,

model的值是0,

y的值是0,

regression的output是0,

左上角這邊,

代表regression的output是小於0的,

右下角這邊,

代表regression的output是大於0,

綠色這條線會有什麼問題呢?

綠色這條線的問題是,

左下角小於0,

左上角小於0,

右下角大於0,

越偏右下,

它的值就越大,

所以如果今天是,

考慮右下角這些點的話,

他用這個綠色的分布,

他做regression的時候,

他的output可能會是遠大於1的,

但是如果你用regression的話,

你會希望藍色的點,

都越接近1越好,

有時候太大居然還不好,

太大不行,

然後越接近1越好,

太小不行,

那太大也不行,

所以變成說,

這些遠大於1的點,

他其實是對regression來說,

他是error,他是錯的,

這些點是不好的,

所以你今天如果拿,

這樣子兩群藍色的點,

跟這群紅色的點,

去做regression的時候,

你得到的線不會是綠色這一條,

雖然綠色這一條你用直覺看,

眼睛一看就會知道說,

他是一個比較好的founder,

但是如果你用regression認下去的話,

不會是綠色這一條,

他會是紫色這一條,

因為他會覺得說,

往右偏一點,

這樣的好處就是,

這邊這些藍色的點,

他的直就沒有那麼大,

他的直就會壓小,

就讓他們比較接近1,

結果這樣子的function,

反而對regression來說,

是一個比較好的function,

也就是說,

regression那個定義,

function好壞的方式,

對classification來說,

是不適用的,

所以這個problem,

對regression來說,

紫色的是一個好的function,

但是顯然對classification來說,

綠色的才是一個好的function,

但是如果你當作regression的problem來做,

套用跟regression,

一樣的做法的時候,

你得到的結果會是不好,

因為regression對model好壞的定義,

是不適合用在這個地方,

所以這個,

如果你用regression的話,

你的regression model,

他會懲罰那些太正確的,

他的output值太大的那些點,

這樣你反而得到的結果是不好,

那還有另外一個問題,

其實像這種把classification

硬當成regression來做,

我還看過是有人真的,

有人會真的這麼做的,

就勸你不要這麼做這樣子,

那你這個,

比如說,

如果你今天有multiple class的話,

那你可能說,

我把class1當作target是1,

class2當作target是2,

class3當作target是3,

這樣做會是有問題的,

因為當你這樣做的時候,

你就假設說,

class3和class2是比較近,

他們有某種關係,

class2跟class1是比較近的,

他們有某種關係,

但是如果實際上這種關係不存在的話,

class1,class2,class3,

他們中間並沒有某種特殊的relation,

並沒有誰應該跟誰比較有關係的話,

你這樣子把他當regression的問題來處理,

你就沒有辦法得到一個好的結果。

好,那我們今天應該要怎麼做呢?

理想上的做法是這個樣子,

找一個function,

這個function裡面呢,

反正我們,

就是在做regression的時候,

它output是real number,

對不對,

但是在classification的時候,

它output是discrete,

它是某一個class,

它是discrete,

那我們想辦法讓model做到這件事情,

你大概可以有不同的想法,

那一個可能的想法是,

假如是二元分類的問題,

是binary classification的話,

我就說,

我們要找的function f裡面,

內建另外一個function g,

希望它是自動,

當然我們g也是要根據training data被找出來的。

如果x代進g的值大於0的話,

那就說是class1,

否則呢,

就說是class2。

那在training的時候,

我們的loss應該,

怎麼定義才好呢?

我們的loss應該定義成,

我們可以把loss定義成呢,

如果我選了某一個function f,

它在我們training data上面,

predict錯誤的次數,

我們當然希望說,

我們如果找出來的function,

它在這個data上,

錯誤次數越小,

代表它的loss越小。

代表它的loss越小。

代表它的loss越小。

你可以把這個式子寫成這樣,

summation over all training examples,

delta f of xn,

不等於

y n hat,

就是如果f of xn的output,

跟正確答案y n hat,

不一樣的話,

這個delta就是1,否則就是0。

如果你把它全部上起來的話,

就是你用這個function f,

在training data上面,

它會分類錯誤的次數,

那你當然希望這個值,

越小越好。

但是,如果叫你解這個function,

你現在八成不會,

因為我們學過的是gradient descent,

你可能會用gradient descent解,

但是這個沒辦法尾分啊,

這個就沒辦法尾分了,

這個也沒辦法尾分,通通不能尾分,

不知道怎麼做。

其實這個是有方法,

比如說acceptron就是一個方法,

sbn就是一個方法,

但我們今天先不講這個方法,

我們先來講另外一個

solution,

然後這個solution,

我們先用機率的觀點來看待它,

然後之後我們會說,

這樣的solution也是跟

machine learning的三個step

其實是一樣的。

我們先這樣看,

有兩個盒子,

我們來回憶一下

國中的時候會問的機率問題,

有兩個盒子,盒子一裡面

有藍球跟綠球,盒子二裡面也有藍球跟綠球,

假設我不告訴你

我說我從哪一個盒子裡面

挑一個球出來,但是我告訴你說

我從這兩個盒子裡面,某一個盒子

裡面隨機

抽取一個球出來,它是藍色的。

那這兩個

藍色的球,它

從盒子1和從盒子2

抽出來的機率分別是多少?

我相信這個小學生就可以回答了。

假如說,

你告訴我說

你從盒子1裡面抽一個球的

機率是三分之二,

你從盒子2裡面抽一個球的機率是三分之一,

再告訴我說,在盒子1裡面

藍球佔五分之四,

綠球佔五分之一,

盒子2裡面,藍球佔五分之二,

綠球佔五分之三,

那你就可以輕易計算說,

如果我今天得到一個藍球,

它從盒子1裡面

抽出來的機率,

這個機率就是

這個國小應該就有教過了。

至少

國中有教過啊,對不對?

大家應該都會。

Given一個藍球,

它從B1裡面sample出來的機率

就是這個樣子。

這沒什麼好解釋的,我相信大家都瞄懂。

好,那這個

跟分類有什麼關係呢?

如果我們把盒子

換成分類的話,

把盒子1跟盒子2

換成類別1

跟類別2。

換成類別1跟類別2。

這個時候呢,

給我一個X,

就是我們要分類的對象。

比如說,今天我們的例子

就是分類一隻寶可夢,

給我一隻寶可夢,

它從某一個class裡面sample出來的機率

是多少呢?

那我們需要知道

哪些值?

我們需要知道class1,

我從class1裡面

抽一個X出來的機率。

我們要知道從class2裡面

抽一個X出來的機率。

我們要知道說

從X1裡面抽一個X出來

從X1裡面

抽出我們現在在考慮的

這個X的機率。

我們要知道從X2裡面

抽出我們現在在考慮的這個X的機率。

抽出我們現在在考慮的這個X的機率。

如果有這些,

剛給我們一個X的時候,

有了這四個數值,我們就可以計算

這個X是屬於

class1的機率。

怎麼算呢?

怎麼算class1的機率?

就是class1本身的機率

乘上class1

sample一個

object出來是X的機率。

再除掉

class1本身的機率

乘上class1 sample出來一個object

是X的機率。

加上class2本身的機率

乘上從class2裡面

sample出一個object出來

是X的機率。

所以我們現在的問題就是

如果我們知道這個機率的話

問題就解決了。

因為給我一個寶可夢X

我就可以看說

它從哪一個class裡面來的機率最大。

機率最大的那個class就是正確答案。

但現在的問題是

我們如果要算這個值

那我們就要算

這四個值。

假設我們是考慮一個二元分類的問題的話

我們就需要算這四個值。

那這四個值怎麼來呢?

我們就希望從我們的

training data去把這些值

估測出來。

那這一整套

想法呢

叫做generative model。

為什麼它叫一個generative model呢?

因為有這個model的話

你可以拿它來

generate一個X

什麼意思呢?

你可以計算

某一個X出現的機率。

如果你可以計算

每一個X出現的機率

每一個X的distribution

你就可以用這個distribution

來產生X。

你就可以用這個distribution來sample X出來。

這個機率是什麼呢?

這個機率很簡單,它就是

你從C1裡面

挑一個X出來的機率

乘上C1挑出X的機率。

加上你從class2裡面挑一個X的機率

乘上class2產生X的機率。

你有這些機率

你就可以算這個。

你就可以算

每一個X出現的機率

你就可以自己產生X。

所以這個東西呢

叫做generative model。

好,那我們先來看一下

P of C1

跟P of C2

我們先來算一下

P of C1跟P of C2

它出現的機率。

這個機率呢

叫做priority。

它們是比較好算的。

假設我們今天考慮的

class分別是

水系的跟一般系的。

class1就是指水系的神奇寶貝。

class2就是一般系的神奇寶貝。

另外16種寶可夢

我們就無視它。

我們只先考慮一個二元分類的問題。

那我們現在呢

把編號ID

在圖鑑編號裡面小於400的

水系的和一般系的

就當作是training data。

剩下的當作是testing data。

如果你想要做得更嚴謹一點的話

你可以把training data裡面切成validation的data出來。

在training data裡面呢

總共有79支水系的

總共有61支一般系的。

你可能會問說

為什麼選水系跟一般系的當作二元分類的問題。

因為我其實統計了一下

18種寶可夢的數目

18種種類的數目

水系跟一般系是最多的啦。

所以我們就先選水系跟一般系。

不過我試一下

如果你要把18種都分類正確

好像是做不太出來的。

所以我們就只先考慮

分兩個class就好了。

好

那

如果我們現在知道說training data裡面

79支水系

61支一般系

那從

這個第一類裡面

從class 1裡面

sample出一支寶可夢的機率是多少呢?

是不是就是

79除以79加61

那算出來是0.56

那從class 2裡面sample出

一支寶可夢的機率

就是61除以79加61

就是0.44

這個是比較容易

簡單可以理解的啦。

好那再來我們的

問題是這樣子

怎麼計算說

如果給我某一個class

某一支寶可夢

是從這個class

sample出來的機率

比如說如果給你一個海龜

我也不知道這個海龜應該叫什麼

給一個海龜

它是從

水系的神奇寶貝裡面

挑一支神奇寶貝出來

它是海龜的

這個機率到底

應該有多大呢?

那我們現在的training data

是長這個樣子

水系的神奇寶貝有79支

所以有傑尼龜啊

赫達鴨還有文香蝌蚪

之類的

我小時候在卡通有看到

這個是編號後面的

我小時候卡通是沒有看到的

所以我不知道它叫什麼名字

它也不在這79支裡面

那我們到底要怎麼算說

從水系的神奇寶貝裡面

挑一支挑出來

是海龜的機率呢?

你可能會想說

這79支神奇寶貝又沒海龜

所以挑一支出來是海龜的機率

根本就是零啊

可是這海龜是水系的

所以你就知道它是水系的

它就是水系的

所以你說

它從水系裡面挑出來的機率是零

這樣也不對啊

所以怎麼辦

首先就是每一支寶可夢

我們剛才講過

它都用一個向量來描述

這個向量裡面的值

就是它的各種的特徵值

所以這個vector呢

我們又稱之為一個feature

所以每一個寶可夢呢

都是用一堆feature呢

來描述它

然後呢我們就真的把那些水系的

神奇寶貝

他們的水系的寶可夢

他們的防禦力和特殊防禦力

劃出來

每一個寶可夢其實有七個不同的數值

不過七個沒辦法劃啊

所以我們就先劃這個防禦力

跟特殊防禦力就好

值得強調的是

這邊是真正的β

如果你要載完整的神奇

完整的寶可夢的β

我在影片最後有附個連結

你是可以載到

完整的β

好

那我們就把

79支寶可夢

它的這個

防禦力跟特殊防禦力

都劃在這個圖

二維的平面上

那所以這邊這二維平面上

每一個點呢就代表了某一支寶可夢

比如說這個

這個點是可達伊拉

它的防禦力是48特殊防禦力是50

這個點是傑尼龜

它的防禦力是65特殊防禦力是64

可是現在的問題就是

如果給我們一個

新的點

這個點是代表一支

沒有在我們的training data裡面的寶可夢

是我們沒有看過的

寶可夢

比如說這個海龜

它的防禦力是103特殊防禦力是

45它的位置大概在

這個地方

它從水系裡面

挑一支神奇寶貝挑到這個海龜的機率

到底

應該是多少

那你不能說它是零

在training data裡面從來沒有出現

這個海龜所以它的機率就是零

這樣顯然是不對的

你要想個辦法估測說

從這些我們已經有的神奇寶貝裡面

估測說如果從水系的

神奇寶貝裡面挑一支出來

它是這個海龜的機率

到底有多少

好那

怎麼辦呢

你可以想像說

這79支神奇寶貝

其實只是冰山的

一角

就是水系的神奇寶貝

是從一個機率的分佈裡面

水系神奇寶貝它的防禦力

跟特殊防禦力是從一個

Gaussian distribution裡面

sample出來

我們sample了79個點以後

得到的分佈長

這個樣子

但是從那個Gaussian distribution裡面

sample出這個點的機率

並不是零

我們假設說這79個點

是一個從一個Gaussian distribution裡面

sample出來

現在我們要做的事情就是

如果找這

給我這79個點

我們怎麼找到那一個

Gaussian distribution

好那

Gaussian distribution

我這邊還做了幾個投影片要說Gaussian distribution

但我覺得這應該

不用講吧

假設你不知道Gaussian distribution是什麼的話

你就想成它是一個function

這個function的input

就是一個vector x

在這邊代表某一支寶可夢的數字

它的output就是

這一支寶可夢

從

這一個distribution裡面

從這個distribution裡面

被sample出來的機率

其實嚴格說起來

這個東西並不是機率

它是probability的density

它跟機率是成正比的

但它並不exactly就是機率

但是這邊為了不要

讓大家太混亂

所以我們就假設說它是一個機率

好那這個機率的分佈呢

它是由兩個東西決定

一個東西呢

叫做mean

另外一個東西呢

叫做variance

寫做sigma它是一個matrix

mean是一個vector

sigma是一個matrix

所以如果你把mu跟sigma

代入這個看起來

有點複雜的function

那它就會有

不同的形狀

就同樣的x

如果有不同的mu跟不同的sigma

那你代進同樣的x

它的output的機率分佈呢

是不一樣的

下面呢就舉幾個例子

同樣的sigma

不同的mu代表說

它們機率分佈最高點的地方

是不一樣的

或者是同樣的mu不同的sigma

代表說機率分佈最高點是一樣的

但是它們這個分佈的

這個散的程度啊

是不一樣的

好那接下來的問題

就是

給我們這

我們假設有一個Gaussian存在

從這個Gaussian裡面

sample79次以後

sample出這79個點

那

到底這個Gaussian

長什麼樣子呢

到底這個Gaussian長什麼樣子呢

如果我們可以

找到這個Gaussian的話

假設我們可以根據這79個點

估測出這個Gaussian的mu

它的mean應該是在這個位置

是75

71.3

它的sigma應該是

這樣的分佈

它的這個x跟y

跟xy是有一些

有一些correlation的

但是沒有x平方跟y平方

這邊這麼大所以它大概是長這個樣子

那給我們一個

新的點x

它是我們過去從來沒有

看過的點它不在這個sampling裡面

它不在這79個sampling裡面

但是如果我們知道

mu跟x的話

我們就可以把Gaussian的

distribution的function寫出來

知道mu跟x我們就可以把這個function寫出來

而這個function是dependent on mu跟x

所以我把它寫成f

下面要mu跟sigma of x

而你把這個x代進去

經過一串複雜的運算以後

那你就可以算出呢

某一個x

從這個Gaussian裡面

從這個mean是mu

它的covariance matrix是sigma的Gaussian裡面

sample出來的機率

那你可以

如果你對這個function沒什麼概念的話

就可以想像說

如果x越接近這個中心點

越接近mu這個地方

它當然是sample出來的機率是比較大的

那像x在這麼遠的地方

sample出來的機率呢

就是比較小的

好那再來問題就是

怎麼找這個mu跟怎麼找

這個sigma

這邊用的這個概念呢

就是maximum的likelihood

那

你可以想像說這79個點

其實可以從任何一個

Gaussian裡面被sample出來

對不對任何一個Gaussian

都有可能sample出這79個點

不管你是

mu在這個位置

然後它的covariance matrix長這個樣子

還是

mu在這個位置

它的covariance長這個樣子

它都有可能sample出

這79個點對不對

因為你從Gaussian裡面

sample出一個point

它可以是整個空間上的任何一個點

只是有些地方機率很低

有些地方機率很高

但沒有一個地方機率是exactly等於0的

所以雖然說

右上角這個Gaussian

右上角這個Gaussian

它sample出左下角這個點的機率很低

但是

並不代表說這個機率呢

是0

但是雖然說

每一個Gaussian都有可能

sample出這79個點

但是它們sample出這

79個點的可能性

是不一樣

它們sample出這79個點的likelihood

是不一樣

顯然說如果你的Gaussian是這個的話

它sample出這79個點的likelihood

比較高

如果你的Gaussian是這個的話

它sample出這79個點的Gaussian

機率是比較低的

所以說呢

如果今天給我們

某一個Gaussian的μ跟σ

某一個Gaussian的μ跟σ

我們就可以算這個Gaussian的likelihood

我們就可以算這個Gaussian的likelihood

也就是說

給我一個Gaussian的μ跟σ

我們就可以算這個Gaussian

sample出這79個點的機率

sample出這79個點的機率

那這個likelihood呢

這個可能性呢

我們可以把它寫成這樣

這邊呢

我們也用了L

因為我想不到更好的notation

可能會跟loss function有點混淆

但是likelihood我覺得用別的notation

又很怪

還是用L

那這個L它的input就是Gaussian的μ

跟σ

做的事就把這個μ跟σ

做的事就把這個μ跟σ

帶到這個likelihood的function裡面

那它會告訴我們說

這個μ跟σ

sample出這79個點的機率呢

到底有多大

它的可能性到底有多大

這個東西怎麼算

你就算說

因為所有的79個點

是獨立被sample出來

是獨立被sample出來

所以今天這個Gaussian

sample出這79個點的機率

就是這個Gaussian

sample出第一個點的機率

乘上sample出第二個點的機率

乘上sample出第三個點的機率

一直到sample出第79個點的機率

一直到sample出第79個點的機率

好

所以我們有79支水系的神奇寶貝

我們知道說

它是從某一個Gaussian被sample出來

我們接下來要做的事情

就是找到

那個Gaussian

找一個Gaussian

找一個Gaussian

那個Gaussian它sample出這79個點的機率

是最大的

或它sample出這79個點的likelihood

是最大的

那這一個Gaussian

我們就當作是

sample出這79個點的Gaussian

那這個

likelihood最大的Gaussian

我們寫作mu star

跟sigma star

所以我們現在要做的事情是這樣

likelihood的function寫作這樣子

那這個每一個f如果你想知道的話

它很複雜就寫成這個樣子

你就把這個x帶進去

然後就算出它

然後呢

我們要找各種不同的

窮取所有的mu

窮取所有的sigma

看哪一個可以讓上面這個likelihood的式子最大

它就是

我們要找的那個mu star

跟sigma star

它就是我們認為最有可能產生這79個點的

mu star跟sigma star

我們用當初這79個點

就從這個mu star跟這個sigma starsample出來

這個東西

怎麼做呢

其實是這樣子

如果你爽的話你就用微分解一下

找那個極值的地方

描解

你也可以背個公式解

描解

哪一個mu star可以讓這個最大呢

結果是很直覺的

就是平均值可以讓它最大

所以你就把

79個x平均起來

79個x

它們都是vector啊

加起來除79

就得到mu star

平均就是mu star

如果你不爽的話

你就把這個式子取個微分

對mu取個微分

找它微分是0的點

解出來就是mu star

sigma star是什麼呢

你先把mu star算出來

先把mu star算出來

然後呢對所有的xn

你都算xn-mu star

xn-mu star

xn-mu star的transpose

也就是算說

這個xn

的這個這個這個

假設xn的mean是mu star的話

它的covariance算出來呢

就是sigma star

如果不爽的話就

把這些值對sigma做微分

對sigma做微分

解它這個

微分是0的點

好那

有了這些以後

有了這些以後

我們真的去算一下

這個是真正的結果

79隻水系的神奇寶貝

79隻水系的寶可夢

算出來的mu

是這樣子

算出來的sigma

是這樣子

也就是說呢

假設這個79隻水系的神奇寶貝

是從個高權sample出來的話

那最有可能sample出這79個點的高權

它的mean是mu1

它的covariance

是sigma1

那如果你看class 2的話

那class 2

是一般系的神奇寶貝

有幾隻呢

有61隻

那我們一樣算它的mean跟算它的variance

那這61隻

一般系的神奇寶貝

最有可能sample它們的高權

它的mean是長這樣

它的variance是長這樣

有了這些以後

就結束了

要做分類的問題了

怎麼做呢

我們說要做分類的問題

我們只要算得出p of class 1

given x

就給我一個x

它是從c1來的機率

那這整項可以寫成這樣子

如果最後我算出來這一項

大於0.5的話

那x就屬於class 1

那

p of c1

很容易算就這麼回事

p of

x given c1怎麼算呢

我們已經找出

這一個我們已經假設說

這個東西它就是一個高權distribution

這個高權distribution的

mean跟variance

分別就是mu1跟sigma1

這我們剛才已經算出來過了

因為我們剛才已經

根據class 1的

所有的那79隻神奇寶可夢

分布

知道說它們是從一個

mean是mu1

covariance是sigma1的distribution裡面

sample出來的

那如果是這一項呢

p of x given c2

那我們也知道說

它的這個高權distribution

它是從一個mean是mu2

covariance是sigma2的distribution裡面

sample出來

有了這些以後

問題就解決了

那結果怎麼樣呢

我是真的有做的

藍色的點呢

橫軸跟縱軸

分別就是

防禦力跟特殊防禦力

藍色的點呢

是水系的神奇寶可夢的分布

紅色的點呢

是一般系的神奇寶可夢的分布

看到這個結果有點緊張

我覺得好像分不出來

我用人眼看就知道

好像不太ok

那我們就真的計算一下

在這個平面上

在這個二維平面上

每一個點

我都當作一個x

進去我都可以算一個

它是這個c1的機率

這個圖上的每一個點

我都可以算

它是c1的機率

我把這個機率呢

用這個顏色來表示

紅色就代表說呢

在這個區域呢

是class1就是水系神奇寶可夢的機率

是比較大

在這個地方呢

水系神奇寶可夢的機率是比較小

那這很合理嘛

因為水系神奇寶可夢的分布還是在這邊比較多

還是這邊比較多

所以這個地方機率是比較大

好那我們現在

因為我們處理的是分類的問題

我們不是要算這個機率

我們是要output說是哪一類

所以我們說機率大於0.5

就是類別1

也就是紅色這個區間就是類別1

機率小於0.5

就是藍色這個區間

他們就是類別2

就不是類別1

你會發現說

如果你看藍色的點的話

是比較多的藍色的點是在這個紅色的區間

那紅色的點是比較多在這個

藍色的區間

但也有一些到紅色的區間

有點難搞

因為他們中間沒有一個明確的boundary

然後呢

把它apply到testing set上

現在呢

他們的class1和class2的寶可夢

把他們的class1和class2的寶可夢

也掛在這個二維平面上

那boundary呢是一樣

這個boundary是一樣

你會發現說

分的不甚太好

正確率是47%

那我就有點擔心

我看我

這會不會是

有可能是分不出來的

但是我想說我們現在只看了二維的空間

對不對

我最近學習厲害的地方就是

因為我們這樣繼續處理這個問題

所以高維的空間也可以處理的

不是只處理二維的空間而已

所以我們看一下高維的空間

事實上每一隻神奇寶

每一隻寶可夢呢

它是分佈在一個七維的空間裡面

如果只有二維的空間分不出來

可是搞不好七維分的出來啊

就是這個紅色跟藍色

搞不好在高維空間上看到是

一個是這樣一個是這樣

而且是現在從上面往下看

它在七維的空間上是分開的

所以每一個寶可夢呢

它都是用七個數字來表示

所以每一個寶可夢都是存在

七維空間中的一個點

我們一樣可以算

class1和class2在七維空間中

的那些點的

sample出七維空間中那些點的

μ1跟μ2

所以μ1跟μ2都是七維

σ1和σ2

都是

7乘以7的matrix

然後我就做一發

正確率50%

很糟這樣子

大概也是差不多這個樣子

然後就so sad

我們下周再來看看要怎麼改進它

謝謝

好

各位同學大家好

我們就開始上課吧

上次我們講到哪裡呢

我們講到說

如果我們想要

做寶可夢的

這個這個

屬性的分類的話

我們可以假設一個

機率模型

假設一個機率模型

我們把這個機率模型

裡面猜成

有quire的probability

跟每一個class自己的

distribution

每一個class自己的機率呢

就用Gaussian來

假設它

經過一番運算我們算出每一個class的

quire跟每一個class的

Gaussian distribution

以後呢

做一下

做一下

講到這邊

做一下以後就發現呢

結果壞掉了

就算是我用了全部寶可夢的

7個feature

還是壞掉

那怎麼辦呢

結果壞掉了

那其實呢

當你用

這樣子的probability

model的時候

像我在上一堂課裡面

用的那一種模型

是比較少見

其實你不常看到

給每一個Gaussian

都有自己的mean

跟自己的variance

給每一個Gaussian都有自己的mean

跟自己的variance

有一個μ1

有一個σ1

有一個μ2

比較常見的做法是

不同的class可以share

同一個covariance

的matrix

就首先你想想看covariance

matrix它其實是跟你

input的feature size

是乘這個

平方乘正比的

所以covariance matrix

當你的feature size很大的時候

它的增長呢其實可以是

非常快

所以在這個情況下呢

如果你把兩個不同的Gaussian都給它

不同的covariance matrix

那你的model參數可會太多

model參數多

它就variance就大

也就是容易overfitting

所以呢如果我們要有效

減少參數的話

我們可以給這兩個class

就是屬於水系的神奇寶貝

和屬於一般系的神奇寶貝

他們的這個

描述他們這兩個class

的這些feature分佈的Gaussian

故意給他們

同樣的covariance matrix

強迫他們共用

同一組covariance matrix

這樣子呢你就只需要

比較少的parameter

就可以來model

這一個模型了

這是什麼意思呢

也就是說現在

我們有79支

水系的寶可夢

我們假設

它是從一個μ1

這個covariance matrix

是σ的Gaussian

所generate出來

那另外

有這個這邊是多少支呢

這邊應該是61支

編號從

我們這邊給它的編號

從80到140

另外61支是屬於一般系的寶可夢

我們假設

這些寶可夢他們的屬性

的這個分佈呢

是從另外一個Gaussian所generate出來

另外一個Gaussian

它的mean是μ2

但是它的covariance matrix

跟generate前一個

generate class 1

跟generate水屬性的寶可夢

他們用的covariance matrix

是同一個

這兩個class他們share同一個

covariance matrix

如果這樣子的話

你怎麼計算likelihood呢

如果你現在要計算

某一組μ1

μ2和σ

generate這總共兩個class合起來

140比

β的可能性的話

你就

像下面這樣計算

這個

這個計算方法就是

計算如果你今天用μ1

跟σ1產生

x1的機率

乘上用μ1跟σ1產生

x2的機率

到用μ1跟

σ1

這個不是σ1

這個是只有σ1而已

因為這兩個class是共用同一個covariance matrix

現在呢

用μ1跟σ1產生

x1

到用μ1跟σ1產生

x79

如果是第一個class的

x呢

用這個方法來產生

第二個class的x呢

你用μ2跟σ來產生

x80

用μ2跟σ來產生x81

到用μ2和σ產生

x140

那這個式子裡面呢

μ1μ2

你要怎麼算μ1μ2呢

你要怎麼找一個μ1μ2跟σ

讓這個likelihood的function最大的

那μ1μ2的算法

跟我們之前沒有把

class1和class2的covariance

tie在一起的時候

那個算式呢

是一模一樣的

你就只要把class1裡面的x

平均起來就變μ1

class2裡面的x平均起來就變μ2

唯一不一樣的呢

是

我們要把它

按接受

好

好

那唯一不一樣的呢

是

σ

好

唯一不一樣的是σ

因為我們現在σ

要同時考慮這兩個class

所以它當然是不一樣

那這個σ的式子應該長什麼樣子呢

這個σ的式子呢

這個結果非常的直觀

那你可以

如果你想要看它的對照的話

我這邊引用的就是

B-Sharp這個角色數

以後如果需要引用的話

我會盡量引用B-Sharp

為什麼呢

因為它在網路上有available的版本

好

那個

這個σ應該長什麼樣子呢

這結果非常的直觀

你就把原來

我們根據這些data

所算出來的covariance matrix

跟

根據這些data

所算出來的covariance matrix σ2

weighted by

element的數目

你這個class1有79個

所以你就把σ1乘以79

class2有

61個

你就把σ2乘以61

然後再取平均

原來這兩個高選

各自算的covariance matrix

就會得到

如果你要求他們用

共同的高選的時候

所得到的covariance matrix

好

假設我們仍然是用

兩個feature

用defense跟

special defense的話

後來我發現我這兩個

這個example選的不是很好

因為如果你看defense跟special defense

你沒有辦法把它水系跟

這個一般系的水系反而分開

後來我研究了一下我覺得

好像用這個

一般攻擊力和一般防禦力合起來的

就好像還可以分的滿開的

這樣子

你怎麼會知道這件事呢

我又不是大目博士

好

如果我們今天用

我們今天共用covariance matrix

的話會發生什麼事呢

在沒有共用之前class1和class2的

boundary是這一條

是個曲線

如果我們今天共用同樣的covariance matrix

的話

你會發現說他們的boundary

變成是

一個直線

假設你把這兩個不同的class

強迫他們的covariance matrix

必須要共用同一個的話

那你今天在分類的時候

你的boundary就會變成

是一條直線

所以像這樣子的model

我們也稱之他為linear

的model

高全不是linear的

但是他的分兩個class的

那個boundary是linear

所以這樣的model我們也稱他為

linear的model

但是如果你今天

兩個class你用不同的covariance

matrix的話他們就不是linear

的model

如果我們考慮所有的feature會怎麼樣呢

如果我們考慮所有的feature

的話原來我們只得到

54%的正確率

但是神奇的是當我們共用covariance

matrix的時候就得到73%的正確率

顯然是有分對東西的

那你說

為什麼會做到這樣子呢

其實這就很難分析了

這是在高維空間中發生的事情

是在七維空間中發生的事情

是在七維空間中發生的事情

我們很難知道說這個boundary

是怎麼切的

但是這個就是machine learning

fantasy的地方

就是我們沒有辦法

人沒有辦法知道怎麼做

但是machine可以幫我們做出來

如果你今天feature很少二維

feature人一看就知道怎麼做

那其實你根本就用不上machine learning

對不對

73%的正確率

好

那

我們來回顧一下

我們講的這個

機率的模型

那我們講說machine learning

就是三個step

這個機率模型呢

它其實也是三個step

首先你有一個model

這個model就是你的function set

這個function set裡面的

function都長什麼樣子呢

這個function set裡面的function

都長下面這個樣子

input一個x

我們有

這個class1的

prior probability class2的prior probability

class1產生x的

probability distribution

class2產生x的probability distribution

這些prior probability

和這些

probability distribution

就是model的

參數ok

不同的probability distribution

你就得到

不同的function

那你把這些不同的probability distribution

那你把這些不同的probability distribution

就是高選你選不同的mean

跟不同的covariance metric

你就得到不同的probability distribution

你把這些probability distribution集合起來

就是一個model

就是一個function set

那怎麼決定是哪一個class呢

如果p of c1 given x

這個posterior probability

0.5的話就output class1

反之就output class2

這個是function的樣子

接下來我們要

找evaluate

function set裡面

每一個function的好壞

那怎麼evaluate呢

在這個機率的模型裡面

假設我們今天使用高選的話

那我們evaluate

我們要evaluate的對象其實就是

高選裡面的參數

也就是mean跟covariance metric

那今天呢

我們就是說如果一個mean

跟一個covariance metric

你用這些參數

來定義你的probability distribution

而它可以

它的這個產生

我們的training data的likelihood

就是

這組參數的好壞

所以我們要做的事情就是

找一個probability distribution

它可以最大化呢

產生這些data的

likelihood

這個是定義function的好壞

定義function的好壞

定義一組參數的好壞

那最後怎麼找出一組最好的參數呢

就看看前面的投影片

它的結果呢

是很trivial

那有人就會問說

為什麼要用高選

你為什麼不選別的

簡單的答案就是

如果我選了別的機率模型

你也會問我同樣的問題

其實你

永遠可以選一個你自己喜歡的

這個probability distribution

ok

這個是你自己決定的

這個就不是

不是人工智慧

是你憑人的智慧去決定說

你要選擇哪一個機率模型

是比較適合的

那你選擇比較簡單的機率模型

參數比較少的

那你的bias就大variance就小

你選擇複雜的

那你就可能需要用depth來決定

找怎麼樣的機率模型

是比較好的

那我們

有一種常見的假設是這樣

假設我們的這個x

我們知道x它是由

一組feature來描述它

像剛才在寶可夢的例子裡面

x可以有7個數字

7個參數

那我們假設呢

每一個dimension

它的

它產生的機率

它從機率模型產生出來的機率

是independent

所以這個x產生的機率

可以拆解成

x1產生的機率

乘上x2產生的機率

乘上xk產生的機率

一直到乘上xk

如果我們假設

這些機率分佈他們是independent的話

每個dimension機率分佈是independent的話

我們可以做

這樣子的假設

好那

今天你可以說

每一個機率

就是x1產生的機率

x2產生的機率

xk產生的機率

它們分別都是一維的Gaussian

一維的Gaussian大家知道意思嗎

如果你這樣假設的話

等於是說

我們之前討論的都是multivariable的Gaussian

都是多維度的Gaussian

如果你假設說

每一個dimension

在model它們都是一維的Gaussian的話

意思就是說

原來那個高維度的Gaussian

它的covariance metric

變成是diagonal的

在不是對角線的地方

值都是0只有對角線的地方有值

這樣你就可以更

減少你需要用的參數量

你就可以得到一個更簡單的模型

那我有試一下這個

試一下這樣結果是壞掉的

可以看這個模型太簡單了

model這個不同的

feature間的covariance

我看也是必要的

比如說戰鬥力跟防禦力其實是有正相關

model它們之間的covariance

看來是必要的

那你也不一定要用Gaussian

有很多時候你憑直覺就知道

不該用Gaussian

比如說今天假設你有

某個feature它是binary的

有某個feature它代表的是

是或不是

或者它的output就是