好,我們現在來上課啦。

我們今天要講這個Structure Support Vector Machine。

那我知道上一次上課結束前,還有一部分的投影片沒有講。

那一部分呢,我們就併到Structure Support Vector Machine來講。

那我不知道有多少人知道什麼是Support Vector Machine啦。

那我是假設你其實不知道什麼是Support Vector Machine。

那沒有關係啦,你聽完這門課以後呢,

你會知道什麼是Structure Support Vector Machine,

但你還是不知道什麼是Support Vector Machine。

那沒有關係這樣子。

你知道什麼是Structure Support Vector Machine,

那你再反過頭來去了解什麼是Support Vector Machine,其實是比較容易的。

好,那這個是公告。

我突然發現說就是作業二的Deadline正好是期中考中,

那我也不要讓大家太累,所以我們作業二的Deadline就延後一週。

所以如果是作業二的Deadline延後一週的話,那作業二就變成11月20號交。

那作業三公佈的日期和Deadline不變,

也就是作業三公佈的日期仍然是11月20日,也就是...

是不是弄錯啦?

我問一下就是,本來作業二是要下週交嗎?

那下週是...

13

好,所以作業三公佈的日期仍然是11月13日。

所以就是說作業二和作業三會有一週的重疊,

也就是說我們是從作業三借了一週來做作業二的意思就是了。

好,那我們今天就是要繼續講Structure Learning。

那很快複習一下,Structure Learning要解決什麼問題呢?

我們要解決的問題是說,我們現在要找一個Function。

它的Input和Output都是有Structure的Object。

比如說它是個Sequence,是個List,是個Tree,是個Bounding的Box,等等。

那遇到這種問題呢,我們要怎麼來處理?

那這些問題呢,其實有一個Unified Framework。

這個Unified Framework只有兩步。

第一步就是,我們現在要找一個Function叫做F.

這個F呢,它的Input是一個X跟一個Y,

它的Output是一個Real Number。

這個F呢,它的作用是要告訴我們說,

今天給我一個XY的Pair,

那這個XY的Pair呢,它們有多Compatible,

它們有多合理,它們放在一起有多適合。

那有了這個F以後,不管你用什麼方法,

比如說從TrainingData裡面找到F以後,你要做的事情就是,

今天假如有人給你一個X,你就去窮聚所有的Y,

那每一個Y呢,你都跟X一起帶進F裡面去試試看。

也就是說,看哪一個Y跟現在Input的X搭配起來最適當。

最適當的那個Y呢,就是你現在系統的Output,我們寫做Y Delta。

那雖然說這個Framework只有兩步看起來很簡單,

但是你要使用這個Framework呢,你必須要能夠回答以下三個問題。

第一個問題就是,F of XY呢,長什麼樣子?

第二個問題就是,可能的Y呢,其實可能有很多,Y的Space可能很大。

所以你呢,當你被給定一個X,你要窮聚所有的Y,

去看說哪一個Y可以讓F of XY最大,可能是一件很困難的事。

所以你要能夠使用這個Unified的Framework呢,必須要假設,

你帳號有什麼方法可以解這一個ARG Max的問題,

可以解這一個Optimization的問題。

然後第三步呢,就是現在給你一些TrainingData,

你怎麼找出這一個Function F。

那上次呢,我們有舉了很多的例子,那今天底下呢,

我們都用這個Object Detection當作例子。

Object Detection就是說呢,給你一個Image,

然後你要Detect說呢,你要用一個框框呢,

把你要的Object呢,把它框出來。

那事實上在這個Image呢,在這個影像處理的領域呢,

還有很多類似的Task,其實還比這個找一個框框呢,更複雜。

比如說呢,我們可以要求機器不只是找一個框框,

而是用不規則的形狀呢,把你要找的Object框出來。

比如說現在假設目標不是找兩公尺,而是找一匹馬的話呢,

你要想辦法把這個馬的輪廓呢,框出來。

這個呢,又是比找一個框框更複雜的問題。

或者是呢,我們不只是要Detect出Object,

我們還要知道說,假設我們現在DetectObject是人,

我們還要知道說這個人的動作是什麼,

他的身體在哪裡,他的手在幹嘛,他的手在幹嘛。

那這個又是一個更複雜的問題。

那但是其實呢,這些問題呢,你都可以套用我們等一下講的解法呢,

來Solve這些Problems。

只是在今天這一堂課裡面,我們舉的例子呢,

都是用這個兩公尺當作例子就是了。

那你可能會問說,為什麼偏偏要挑這個當作例子呢?

其實這個是這樣啦,我本來最開始的時候,

最開始做這套投影片的時候,

我是想要用一些比較正常的例子,比如說Machine Translation之類的。

可是後來呢,我也是看有某一個人,我忘記是誰了,

他講這個Structure Learning的時候呢,

他是用Object Detection當作例子。

那我覺得用Object Detection當作例子,

在Visualization上面非常的清楚。

所以我就想說,我要用Object Detection當作例子。

但他的例子是Detect一個羊,那我不知道為什麼他要Detect一個羊,

所以我就Detect兩公尺是這樣子。

好,這個只是提醒一下啦。

所以你要注意一下,雖然我們等一下的例子都是這個,

但是它其實可以用在各式各樣的問題,

甚至不只是Image Processing的問題,

其他你可以想到的Structure Learning的問題,

可能都可以套用我們等一下講的結構呢,

等一下講的方法來解決它。

好,那我們上次有講到說,

如果我們對這個F of X Y做一些假設,

那會讓我們之後的任務變得比較容易一點。

那麼現在是假設F of X Y它是Linear的,

也就是說現在如果我的X是一張Image,

我的Y是一個Bounding的Box,

那我的這個F of X Y呢,

我要能夠把它寫成一個Weight,

一個Weight的Vector W,

這個Feature Vector,Find of X Y的這個相乘。

那這個W呢,是到時候在Problem 3裡面,

我們要用Training Data去把它學出來的。

而這個Feature Vector Find呢,它是人定的。

你必須先自己定一套規則說,

Given一個Image和一個Bounding Box,

這個Find of X Y呢,應該長什麼樣子。

當然這邊有一個Open Question,

就是你可能知道說,F of X Y如果是Linear的話,

它其實很Weak,一個Linear的Function,

你做不了什麼太厲害的事情,

那你必須要仰賴一個複雜的Total Feature的方式,

來讓你得到好的結果。

但是這可能不是我們想要的,

我們希望機器能夠做更複雜的事,

而不是有太多人的Knowledge介入在裡面。

所以一個Open Question就是,

我們能不能讓F of X Y是不是Linear?

那其實這方面的研究還很少,

因為你會發現,

因為如果F of X Y不是Linear的話,

等一下我們的討論呢,就都不成立了。

所以今天在這堂課裡面呢,

我們在多數時候,都是假設F of X Y呢,是Linear。

再來第二個問題就是,

我們要解一個ARG Max的Problem,

這個步驟呢,我們叫做Inference。

也就是說呢,今天給你一個X,

你要有辦法去窮取所有的Y,

然後看哪一個Y可以讓你的Evaluation Function,

我們現在假設它是Linear的,

就是W跟F of X Y的Inner Quadrat最大。

那你要有,3號有一個演算法,

可以有效的做這件事情。

那這邊如果說以Object Detection為例的話呢,

我們現在要做的事情就是說,

首先呢,窮取所有可能的Bounding Box,

那這可能非常的多。

然後對每一個Bounding Box跟這個Image呢,

我們都去算一個分數,

我們都用W乘上F of X Y呢,

W跟F of X Y的Inner Quadrat呢,

去算一個分數。

然後呢,你看看哪一個X Y的Pair,

算出來的分數最高。

比如說呢,今天呢,這一個X Y的Pair,

X是這張Image,Y是這個Box的時候,

算出來的分數最高是10.1。

那我們呢,就把這個Box呢,

當作我們的答案Y tilde。

那你可能會想說,

這個窮取聽起來感覺是一個很花時間的東西,

聽起來不太過分。

但事實上呢,我們可能可以有比較Efficient的方法呢,

把窮取這件事情做出來。

了解嗎?

但是這個部分就是你需要自己去想,

應該要怎麼做的,這樣子。

那我猜你現在心情可能是這樣,

就是I think you should be more explicit here, Step 2。

這邊有一個Miracle的Step,

然後接下來我們,

假設這個Problem 2,

我們3號就是很神奇的解決了,

然後接下來的討論呢,就都成立了。

但是要怎麼解決這個問題呢,

就是你要自己去想。

那比如說在Object Detection的文線上,

剛才那個ArgMax的Problem,

就這個Problem 2呢,

你可能有別的方法,

比如說有Branch and Bound的Algorithm,

或者是這個Selective Search的Algorithm。

那如果是Sequence Labeling的Problem,

也就是大家在作業3呢,

要做的事情呢,

有一個很知名的演算法就是,

Veteran Algorithm,

可以幫助我們大家做Inference,

這件事情。

但這些東西呢,

我在上課不打算細講,

為什麼呢?

因為這些Algorithm其實是Depend on你的Task,

如果你有不同的Task的話呢,

你就要想不同的演算法,

甚至如果你的Feature的定義,

這個Find of同一個Task,

如果你的Feature定義Find of X Y不一樣,

你也需要不同的演算法,

因為這個東西太Task Dependent了,

所以我就沒有打算要在這門課呢,

深入的去討論它。

但是你可以想像說,

這一套Framework,

雖然說我沒有告訴你說Problem 2怎麼解決,

但這一套Framework還是有用的,

因為你今天本來給你一個Structured Learning的Problem,

如果你不知道這一套Framework,

你根本不知道從何解起,

現在你至少知道說,

有一個Unified的架構,

那我要想的,

就是解這個Inference的Problem,

你至少有一個思考的方向,

來處理你現在要解決的問題。

如果你不知道Inference的Problem怎麼解的話,

或許你也可以考慮用基因演算法,

基因演算法可以解決很多很多的問題,

只是它有時候找到的不一定是Exact的Solution。

所以這邊有一個Open的Question,

而這個Question還沒有太多討論的就是,

假如在以下的步驟裡面,

我們其實並沒有辦法找到一個Exact的Solution,

也就是那個ArgMax的Problem,

我們只能夠有Approximate的Solution,

沒有辦法找到一個Exact的Solution的話,

到底對我們的結果影響會有多大?

那當然是會有影響,

可是到底影響有多大呢?

這件事情目前為止還沒有太多的討論。

這個是Problem 2,

所以在等一下所有的課程內容裡面,

你就要假設Problem 2我們是已經解決了。

好,那再來我們就進入Problem Tree。

Problem Tree是說,

我們現在的原則是,

我有一堆Training Data,

X1,Y1,Head,X2,Y2,Head,到X大N,Y大N,Head。

那我今天希望找到一個,

我們之後要用的Evaluation Function,

F of X,Y。

這個F of X,Y應該具備什麼性質呢?

它應該要讓說,

如果我今天把X1,Y1,Head,

帶進這個F of X,Y,

我得到的值呢,

必須要比其他所有可能的Y,

帶進這個FX1 of Y得到的值還要大。

同理,如果說是X2,Y2,Head,

應該要比其他所有可能的FX2,Y得到的值還要大。

你對所有的Training Data,

我們都希望能夠做到這件事情。

那在以下課程裡面呢,

我們其實就是打算要Focus在第三個問題。

也就是假設說,

在第一個問題裡面,

我們已經知道怎麼抽Find of X,Y。

在第二個問題,

我們已經解了ARG,Max,Farben。

那現在,

假設在前面那兩個問題都已經Solved的情況下,

那Farben3應該要怎麼處理?

這個就是以下要講的內容。

今天講的內容其實很長。

我們先從一個Separable Case開始。

那個是我們上週沒有講到講完的東西。

Separable Case其實是不太Realistic,

所以我們要進到Non-Separable Case。

然後接下來呢,

我們會修改我們的Objective Function,

把Arrow加進我們的Objective Function,

然後當然要做一下Regularization。

最後呢,

我們就會產生Structured SVM。

然後我會講一下Structured SVM要怎麼解它。

它有一個特別的解法,

叫做Hacking Plane的Algorithm。

接下來呢,

我們會用Structured SVM,

來做Modal Class的Classification和Binary的Classification。

大家會發現說呢,

Modal Class的Classification和Binary的Classification,

只是Structured SVM的特例。

平常所聽到的那個SVM,

是Structured SVM的一個特例。

最後我們來講說,

下一步Beyond Structured SVM的東西,

可能是什麼。

所以我們就先從Separable Case開始。

所謂Separable Case的意思是說呢,

假設我現在有兩筆Data,

我有一筆Data,兩筆Data,

而在這兩筆Data裡面呢,

紅色代表是正確的,

藍色代表是錯誤的,

紅色代表是正確的,

藍色代表是錯誤的。

那所謂的Separable的意思就是說,

我們找得到一個Weight Vector,

這邊寫成W hat,

這個Weight Vector它的作用是說,

如果我們把這些點呢,

這些Feature的Point呢,

都對這個W hat呢,

做Inner Product,

都做Inner Product的話呢,

你會發現說呢,

我們能夠讓這個正確的這個Point,

也就是紅色的這個Point呢,

比跟它同樣形狀的藍色的Point呢,

值都大一個Delta。

那同比呢,

對這個紅色的星星呢,

它也比所有的藍色的星星呢,

值都大一個Delta。

如果寫成數學式的話呢,

就是W hat,

如果跟Phi x1 y1

在做Inner Product的話呢,

會比W hat跟Phi of x1跟任意y

所形成的Feature Vector加Delta還大。

W hat跟Phi of x2 y2

在做Inner Product,

會比呢,

W hat乘上Phi of x2 y

加一個Delta的值還要大。

這個是我們今天假設的case,

我們假設我們今天,

3號我們能夠找到一個Feature Definition,

一個Phi Definition,

它可以讓我們的這些點的分布呢,

呈現這個我們所要的case。

那如果我們今天能夠找到這樣的Feature Function的話呢,

我們就可以用以下這一個演算法呢,

來找到我們要的這個parameter,

也就是那個Weight Vector大定義。

那這個演算法的名字呢,

叫做Structure Perceptron。

那如果你知道什麼是Perceptron的話呢,

你就不難理解為什麼它叫Structure Perceptron,

因為它跟那個Perceptron的Algorithm呢,

其實是這個,

只有一線之隔,

Perceptron的Algorithm稍微改一下,

就變成Structure Perceptron的Algorithm。

在這個Structure Perceptron的Algorithm裡面呢,

它的input是一組training data,

它的output就是我們現在要找出來的Weight Vector w,

這個Weight Vector w可以做到的事情就是,

它是一個可以讓我們的Data Point Separable的Weight Vector。

那在Initialize的時候呢,

我們假設w等於0,

然後呢,

我們呢,

隨便取一個,

這邊要按照順序或者是Random都行嘛,

我們就取一個training的example,

xn跟yn hat,

然後呢,我們去找一個yn tilde,

那這個yn tilde呢,

可以讓w乘上final xn y的值最大,

這個yn tilde呢,

是這個argmax這個problem的output,

當然我剛才已經講過,

這個problem我們已經解決了,

所以我們知道這一步要怎麼做。

那接下來呢,

假設這個yn tilde跟正確的答案y hat,

它的值不一樣的話,

那我們就update我們的weight vector w,

那update的方式呢,

是把weight vector w,

加上正確的y hat所形成的feature vector,

減掉現在呢,

可以讓這個function,

可以讓這個inner product值最大的y tilde,

所形成的feature vector,

也就是你要讓w呢,

跟正確的y hat所形成的vector靠近一點,

跟錯誤的y tilde呢,

這個vector呢,遠離一點。

那就不斷地跑這個iteration,

那就不斷地呢,

從你的training data裡面呢,

從你的training data裡面的sample一個pair出來。

那如果今天,

當你看完了所有的example以後,

w都沒有被update的話,

也就是說對所有的example來說,

argmax得到的結果都是y hat的話,

那其實你就找到了你要的w了。

那這個演算法呢,

很簡單,

但是它一個真正的問題就是,

我們到底要花多久的時間才會收斂,

它到底要花多久的時間才會結束,

因為你可以想像說,

今天可能的y啊,

在這個argmax裡面可能的y呢,

是有非常非常多的。

在有這麼多藍色的點的情況下,

我們真的能夠輕易地找到一個vector,

把紅色的點跟藍色的點分開嗎?

那結論呢,就是可以的。

那以下是一個證明啦,

那如果不想聽的話,沒有關係,

我們就先講結論。

等一下這裡的結論是什麼呢?

我們的結論是這樣子,

在separable case,

我們呢,其實最多只要update

r除以delta的平方次,

我們就可以找到我們要的那個wave vector。

那這個r除以delta的平方是什麼呢?

這個delta呢,是margin,

我們剛才有講過說,

我們在separable case,

這個正確的答案至少比錯誤的答案呢,

大了一個delta,

就是那個delta。

那這個r是什麼呢?

這個r呢,是所有的這個,

如果給定同樣的x的情況下,

我們呢,帶不同的y呢,

就會得到不同的feature vector phi。

那這些feature vector phi之間距離的

最大值呢,就是r。

那你會發現說呢,

我們只要r除以delta的平方,

就可以結束剛才那個algorithm。

而,所以這個那個algorithm

你需要的iteration呢,

跟你這個y的space呢,

是完全沒有關係的。

所以不管剛才的藍色的點有多少,

我們都,就算剛才藍色點有非常非常多,

也不會影響我們需要update的次數。

那以下呢,就是一個很簡短的證明。

那這個證明是這樣子啦。

那這個你知道,

w什麼時候會被update呢?

它每次發現一筆錯誤的時候呢,

就會update。

那有時候它不會被update,

因為如果你找出來的,

argmax找出來的是y hat的話,

就不會被update。

如果找出來的y tilde不等於y hat的話呢,

就會被update。

那我們假設,

這個我們把這個w update的這個history,

它一路的演進時呢,

它寫出來,

它從w0、w1一直到wk、wk加1。

那我們會發現什麼事呢?

首先我們先檢查這個,

wk跟wk-1之間的關係。

我們知道說,

wk跟wk-1之間呢,

一定會有以下這個關係,

就是wk等於wk-1,

加上某一個正確的y hat所形成的feature,

再減掉某一個錯誤的y tilde所形成的feature。

我相信這個,

大家一定沒有問題,

這個就只是一個,

本來我們update的時候的rule呢,

就是這樣子。

好,那這邊只是提醒一下,

我們在考慮的case呢,

是一個separable的case。

也就是說,

存在一個w hat,

它可以使得對所有的n來說呢,

這個w hat呢,

跟y hat所形成的feature vector,

大於等於這個,

它跟其他所有的y所形成的feature vector,

再加上一個delta。

這邊其他所有的y也是不包括,

這y的space呢,

減掉y hat的。

然後呢,

我們今天可以不失一般性的,

假設w hat的長度為0。

為什麼呢?

因為你可以,

啊,

喔,

唯一,

不好意思,

我現在頭很偏上,

這樣子。

好,謝謝,

感謝你,

感謝。

好,

這個w hat呢,

我們不失一般性的,

假設它的長度為1。

為什麼呢?

因為假如說,

我們現在可以找到一個w hat,

它是可以讓我們data是separable的。

那我對這個w hat做normalize,

讓它的長度變成1的話,

它一樣還是可以separable啊,

對不對?

所以我們可以不失一般性的,

假設說呢,

我們的w,

我們有一個w hat,

它的長度呢,

是1的。

好,

大家有問題嗎?

好,

沒有問題的話呢,

我們就正式開始這個證明。

這個證明是這樣子啦,

首先我們來看一件事情,

就是我們來看,

剛才我們的目標w hat,

跟w k之間的關係。

那我們發現,

如果我們去計算w hat跟w k的夾角,

我們會發現說呢,

當k越來越大的時候,

這個夾角呢,

是會越來越小的。

當k越來越大的時候呢,

夾角是會越來越小的。

或者是呢,

換句話說,

我們今天如果算cosine這個low k的話呢,

我們算cosine low k的話呢,

因為這個夾角是越來越小的,

所以這個cosine low k的它的值呢,

是越來越大的。

我們會發現說這個cosine low k的值呢,

是越來越大的。

接下來呢,

我們就要計算一下,

在這個分子的地方呢,

它是w hat跟w k的inner product,

我們先來看看w hat跟w k的inner product的值呢,

應該是多少。

那w k呢,

我們剛才在上面這邊已經看到說,

w k呢,

就寫成這個樣子。

那我們把這個上面這個是,

左右兩邊都乘上w hat,

左右兩邊呢,

都乘上w hat,

然後再把它展開,

把這個w hat呢,

乘進去,

乘進去,

乘進去。

那把這個乘完以後呢,

我們會發現什麼事呢?

我們會發現說呢,

這一項,

這一項啊,

它一定會這個,

大於等於一個delta對不對?

因為這個就是我們的定義嘛,

我們說我們現在的w hat呢,

它是可以讓我們的data呢,

separable。

所以對w hat來說,

不管你今天找到這個y delta是誰,

它都一定比這個y hat的inner product呢,

還小一個delta。

所以今天這個紅色這邊呢,

紅色這兩項呢,

相減的話,

它得到的結果呢,

是大於等於一個delta。

因為呢,

這個是根據這個separable的definition來的。

所以呢,

我們可以說,

w hat乘上w k,

它大於等於w hat跟w k-1的inner product,

加上delta。

那這件事情告訴我們什麼呢?

這件事情告訴我們說,

因為我們一開始的那個w0呢,

一開始的w0等於0,

一開始的w0等於0。

所以呢,

所以你會發現說呢,

因為w hat乘上w1,

大於等於w hat乘上w0,

加上delta,

而w0又等於0,

所以呢,

這告訴我們說這個,

w hat呢,

乘上w1呢,

是大於等於delta。

那同理呢,

w hat乘上w hat跟w2的inner product,

大於等於w hat跟w1的inner product,

加上delta。

而w hat乘上w1的inner product,

又大於等於delta。

它大於等於它加delta,

這一下又大於等於delta。

所以w hat乘上這個w2,

w hat跟w2的inner product,

就大於等於兩倍的delta。

OK,

所以同理呢,

所以你可以這樣子一直算下去,

你就會發現說呢,

這個w hat跟w k的inner product呢,

是大於等於k倍的delta。

所以從分子這邊看來,

分子是不斷地增加的,

分子是不斷地增加,

但是so what,

分子不斷地增加,

並不能夠保證說,

最後它們之間的夾角一定會變小啊。

w hat跟w k的inner product增加,

並不保證w hat跟w k越來越接近,

因為它可能只是w k它不斷地增長而已。

了解我的意思嗎?

今天有兩個vector,

然後其中一個不斷增長,

inner product也是會增加。

所以inner product增加,

並不代表它們越來越接近。

所以呢,

我們應該還要再算一下分母的地方,

我們要考慮一下w k的長度是怎麼樣。

這個w hat的長度,

就是1啊,

我們剛才已經講過了,

我們可以假設,

我們不是一般性的假設它的長度為1,

所以我們只需要考慮w k的長度。

所以今天如果w k的長度,

它並沒有很快地增加,

而這兩個vector的inner product又增加的話,

我們就可以知道說,

w k隨著k增加,

它跟w hat是越來越接近的。

所以接下來呢,

我們就來看一下w k的長度,

一樣把w k的definition,

它的這個跟w k減1的relation,

寫在這邊。

接下來呢,

我們就是算一下它的長度。

好,那我想這個應該不成問題吧。

你可以假設這一項是A,

假設這一項是B,

把A跟B這兩個vector加起來,

取它們的none的平方,

會等於A的none的平方,

加上B的none的平方,

加上兩倍的A和B的inner product。

大家知道我的意思嗎?

如果不知道我的意思沒有完,

你就回去想一下吧。

反正這一項,

展開就變成這一項。

那展開完以後呢,

首先這是個長度,

所以它一定大於0,

沒有問題。

那這一項,

它應該是什麼樣的值呢?

它應該什麼樣的值呢?

這個wk-1,

乘上呢,

這邊有一個括號,

y hat所形成的feature,

減掉y tilde所形成的feature,

它應該是什麼樣的值呢?

那我們來做個名義調查好了。

它可能有三個,

可能一個大於0,

一個等於0,

一個小於0,

或者是其他。

給大家五秒鐘的時間想看看,

它應該是怎麼樣。

你覺得它大於0的同學舉手一下。

有一些同學覺得它大於0,

謝謝,手放下。

你覺得它等於0的同學舉手一下。

沒有人覺得它等於0。

你覺得它小於0的同學舉手一下。

有一些,感覺比較少。

那你覺得是其他,

就我沒有辦法決定它大於0,

還是小於0,

還是等於0的同學舉手一下。

沒有,好。

有什麼特別好笑嗎?

結果是小於0的。

答錯也不用太沮喪,

沒有關係。

為什麼呢?

你想想看,

今天為什麼在這邊會產生update的情形?

是不是因為我們今天找到的W,

我們今天的WK-1犯了一個錯,

所以我們的Weight才會被update?

它犯了什麼錯呢?

它犯的錯是,

它找出來的ARGMax是yΔ,

而不是yhat。

它找出來的ARGMax是錯的。

但是如果你今天把WK-1跟它相乘,

WK-1跟它相乘,

你會發現說,

因為WK-1它就是因為犯錯,

所以它才會在這邊做update。

所以WK-1跟yθ所形成的feature的inner product,

一定會大於跟正確的feature所形成的inner product還要大。

所以這邊才會做update。

所以這邊的值是小於0的。

如果你下次想不透的話,

沒有關係,

我們可以等一下下課討論,

或者是回家再想想。

但我們現在假設兩個feature之間的距離,

它的最大值一定是r。

所以我們就知道說,

因為這個最大值一定是r,

這個是小於0的。

所以WK一定小於等於WK-1,

加上r的平方。

於是我們就可以得到一個WK的長度的upper bound。

怎麼說呢?

因為我們知道說W1的長度的平方小於等於W0,

長度的平方加上r平方,

而W0又等於0。

所以W1長度的平方一定小於等於r平方。

以此類推,

W2長度的平方又小於等於W1長度的平方加r平方。

而W1長度的平方又小於等於r平方。

所以他們最後W2長度的平方...

有什麼問題嗎?

找個平方嗎?

在哪裡?

哎呀!

太棒了!

謝謝!

我會記得你的名字了。

對面有一個平方,謝謝!

沒有錯,沒有錯,對面有一個平方。

所以W2的平方呢,

它是小於等於兩倍的r平方。

那你就這樣一直算下去,

最後得到的結果就是WK的平方

小於等於K倍的r平方。

所以我們現在得到兩個結論。

一個是說,inner product大於等於K倍的delta,

WK的長度的平方小於等於K倍的r平方。

也就是說,它的長度不斷地增加,

它的inner product不斷地增加,

但是WK的長度呢,並沒有增加得很快。

所以如果我們把這兩個東西呢,

把它合起來的話,

把這個東西放到這邊,

這個東西放到這邊,

你會發現這個cos的值啊,

它大於等於KΔ除以√Kr平方。

或者是你把上下的K呢,

都除掉的話呢,

這個cos呢,它會大於等於√K乘以Δ除以r。

所以發現說,隨著K呢,不斷地增加。

隨著K呢,不斷地增加。

這個cos啊,它是可能會逐漸增加的。

我不會說它一定增加,

它可能會逐漸增加。

因為這個東西其實是它的一個lower bound。

這個東西其實是它的一個lower bound。

那你知道這個cos的值啊,

它最大值能夠是e。

所以呢,隨著時間不斷地增加,

或隨著這個weight不斷地被update,

這個甲角呢,這個甲角的cos呢,

它的這個upper bound是e啊,

它的這個lower bound是這一條線。

所以它會在這個中間呢,

可能會有些震盪。

但它最後呢,震盪的幅度會越來越小。

最後呢,就只能夠到e。

OK。

那我們知道說呢,

這一個值呢,一定要小於e。

因為cos的這個值呢,

一定要小於e。

那所以呢,這個K呢,

因為這個√K乘以Δ除以r

一定要小於1。

所以K一定要小於R除以Δ的平方。

所以我們就得到我們的結論。

如果剛才那個東西你沒聽懂的話,

其實就算了。

我只是想要表達,

我唯一想要表達的事情就是,

這個問題沒有你想像的那麼困難。

雖然說,可能的,

就是正確的y hat只有一個,

錯誤的y有好多好多。

但這個,要learning這件事情,

找一個好的weight這件事情,

或許沒有你想的那麼困難。

好。

那從這個K的upper bound,

從這個update次數的upper bound,

大R除以Δ的平方,

我們發現什麼事呢?

我們發現說,

如果這個Δ越大,

那你update的次數呢,

就越少。

這個很合理嘛,

因為今天如果你正確的data,

跟這個錯誤的data中間的gap越大,

那我們可能就可以花越少的次數,

就找到我們要的結果。

那你可能就會有一個突發奇想說,

為了要讓我的training快一點,

我想個方法把Δ增加。

那怎麼把Δ增加呢?

當然你可能會想說,

要找一組好的feature,

可以讓紅色的圈圈跟藍色的圈圈,

分得比較開一點。

但是你很懶惰,

你不想想一個新的feature,

所有的feature乘2,

這個圖就放大兩倍。

那這樣Δ不就直接增加兩倍了嗎?

但是這樣並不會真的讓你的learning變快。

為什麼呢?

因為還有分子的地方。

分子的地方呢,

是兩個圈圈之間,

分子的地方呢,

是這邊任兩個圈圈之間的距離的upbound。

所以當你把這個圖放大兩倍,

以為這個Δ會增加兩倍的時候,

其實這個R呢,

同時也增加了兩倍。

所以在一增一減的情況下呢,

你的training是不會變快的。

所以單純把feature,

單純把這個圖放大,

沒有辦法讓你的training變快。

你要真的挪動這些點之間的位置,

才有辦法讓training變快。

但是剛才那個case,

剛才那個separable case,

可能沒有什麼用。

因為在現真實的問題上,

你可能很難找到那個feature,

可以讓你的正確和錯的data separable。

而且你也不知道要怎麼找到它。

所以接下來呢,

我們要考慮non-separable的case。

那這個non-separable case呢,

我們要怎麼處理?

那這邊non-separable的case,

我們要考慮的是說,

雖然說假設今天我們沒有任何一個vector,

可以讓正確答案和錯誤答案被分開。

但是在這些vector裡面,

我們還是可以區分出好壞,

鑑別出高下的。

比如說假設我有一個weight vector是W',

它可以說我把這個正確答案排在第二名。

那我有另外一個weight vector是W',

它說我把正確答案排在最後一名。

紅色這個框框是正確答案。

所以雖然說這兩個weight vector,

W'跟W',

它們都沒有辦法讓正確答案的分數高過其他錯誤的。

但是我想這個就不用調查了,

大家都會知道說,

左邊這個W'顯然是好過右邊這個W'.

所以在non-separable case的情況下,

我們還是可以定義一些evaluation measure,

來看說今天W是好是壞。

所以接下來我們要做的事情,

就是定義一個cost function,

我們定義一個cost value c,

這個cost value c就是要來evaluate一個W,

一個weight vector W它有多不好。

接下來我們只要能夠找到一個W,

它可以讓cost c的值最小,

我們就知道說這個W是我們手上最好的W。

所以它可能不是separable W,

但是它是我們手上最好的W。

那我們要怎麼定義這個cost c呢?

其實跟我們在做DNN的時候一樣,

你可以有自己的定義的方式。

那我這邊提供一個方式是這樣,

我們呢,假設我這是DN比Data,

DN比Data cost我寫成CN,

那DN比Data的這個cost CN呢,

我把它寫成呢,

把它寫,就假設給我一個W,

這個cost CN的值呢,

是這個全部的Y裡面,

全部的Y裡面最大的,

可以讓這個W跟這個final inner product,

最大的那個Y的值減掉呢,

正確的那個Y,

這個正確的這個Y hat所形成的值。

如果在這個圖上呢,

你就可以很輕易的看出來說,

這個cost function的定義呢,

其實就是第一名的Y減掉,

這第一名的Y它的value,

減掉正確的Y,

紅色這個Y的value。

這件事情呢,其實是很直觀的。

好,然後呢,

對每一筆Data我們都有一個CN,

然後再全部summation起來,

就是我們total的cost。

講到這邊大家有沒有問題?

好,那你首先第一個要討論的問題就是,

這個CN的最小值,

你覺得它應該是多少?

它可以是負的嗎?

當然它一定可以是正的啦,

如果你看這個第一名,

如果它的值比這個Y hat值要大的話,

它當然可以是正的,

而Y hat值是負一萬,

這第一名是一萬,

那相減的這個CN就是兩萬。

但是這個值可以是,

有可能是負的嗎?

你覺得有可能是負的同學舉手一下。

你覺得它不可能是負的同學舉手一下。

好,謝謝,謝謝。

沒錯,大部分的同學都覺得它不可能是負的。

為什麼呢?

因為如果你今天你的Y hat這個紅色框框,

它是排在第一名的話,

那這個時候第一名就變成它自己啦,

自己減自己就是零啦。

所以今天這個CN,

它的最小值一定是零,

也就是它一定是正的。

OK,這是第一個觀察。

那再來呢,你可能會有一個想法說,

為什麼是第一名的減掉正確的呢?

為什麼不是,

比如說前三名的和減掉正確的,

前十名的和減掉正確的,

其他所有不是正確的Y和和減掉正確的。

這聽起來都是合理的做法,

怎麼只考慮第一名呢?

這為什麼呢?

因為我們不是在這個Problem2假設說,

我們知道這個東西怎麼求嗎?

如果你今天是說,

OK,我不是要第一名減掉正確的,

而是要前三名的和減掉正確的,

你等於是給自己找麻煩,

多製造了一個問題。

因為你現在變成要算

第二名跟第三名的Y是多少,

而這件事情你不一定是知道的。

我們在這個Problem2只假設,

我們會找第一名的值是多少。

所以呢,就順著我們那個Problem2的Constraint,

我們在這邊定義Cost的時候呢,

就不要再製造額外的問題了,

我們只用第一名的值減掉Y和。

當然有其他的可能,

我們之後也會看到,

但是其他的可能呢,

你要在比如說前三名

你能夠找得出來的情況下,

你才能夠用,這樣子。

再來你的問題就是,

要怎麼找一個W去Minimize這個Cost的C呢?

其實我們可以用,就用Gradient Descent就好了。

但是你可能會想說,

這個有辦法做Gradient Descent嗎?

我們可以找到一個W去Minimize這個Function C嗎?

這個Cn裡面可是有一個Max哦,

那我們要怎麼做這個Gradient Descent呢?

我們要怎麼做Gradient Descent呢?

我們要怎麼求這個Cn對W的這個Gradient呢?

其實這件事情呢,是有辦法的。

我想這個其實大家也沒有太意外啦,

因為我們已經看過那個Max Out Network對不對?

Max Out Network裡面也是有一個Max的Function啊,

那你還不是照,你還不是可以去違分它。

所以雖然說這邊Cn呢,

裡面有一個Max的Function,

我們還是可以算它對W的Gradient的。

好,怎麼算呢?

怎麼算呢?

我們觀察一下,

為什麼這一個Function呢,

它不是一個這個,

你會覺得它有點困難。

那是因為說這邊有一個Max,

所以當你今天W的Weight不同的時候,

你這個Max的Y啊,是不一樣的。

因為W不同的時候呢,

你這邊選出來的這個Max呢,是不一樣的。

所以呢,你可以想像說,

今天假如這是一個W所形成的Space,

這個W所形成的Space呢,

其實是被這個Max呢,

切割成好幾塊的。

也就是說,比如說你可以想像說,

當W呢,它的值呢,

今天因為這是二維的頂面嘛,

可能就是W有,

就是一個二維的Vector。

當W的值呢,落在這個範圍裡面的時候,

你把它帶進這個Function裡面,

得出來的Y呢,是Y'。

當W的值落在這個範圍裡面的時候呢,

帶進這個Function,得出來的值是Y''。

落在這個範圍裡面的時候呢,

得出來的值是Y'''.

那在每一個Region裡面呢,

它的Function其實你是可以非常輕易地算出來的。

因為如果你知道說,

在這個Region裡面,

這個Max的結果呢,

就是Y'的話,

那其實在這個Region裡面,

這個Value C它的Function呢,

其實就只是簡單的,

W跟Y' Feature的Inner Product,

減掉W跟Yhead的Inner Product而已。

或者是這一部分,

你知道它是Y'',

那它就只是W跟Y''的Inner Product,

減掉W跟Yhead的Inner Product。

或者是這一邊呢,

它只是這個,

W跟Y''的Inner Product,

減掉W跟Yhead的Inner Product。

你可以想像說,

在這邊邊界的地方,

在邊界的這個地方呢,

它是non-smooth的,

是沒有辦法為分的。

但是只要避開邊界的地方,

在這個每一個Region裡面,

在這個每一個Region裡面,

它都只是一個很簡單的Function,

你都是可以為分的。

所以呢,

這個每一個Region的為分呢,

這個每一個Region,

每一個Region的C對這個W的Gradient,

你可以輕易求出來,

在這個Region就是Y''的Feature,

減掉Yhead的Feature,

然後在中間這個Region,

就是Y''的Feature,

減掉Yhead的Feature,

右邊這個Region就是Y''的Feature,

減掉Yhead的Feature。

那既然你會求它的Gradient,

那你就可以用Gradient Descent,

來Optimize你的Function,

來找出一個讓Cost的Value最小。

所以呢,

我們的演算法就是這個樣子。

假設呢,我就執行T4的Update,

假設我做Stochastic Gradient Descent,

假設我做Stochastic Gradient Descent,

所以我每次呢,

都Random Pick一個Xn,Yn Head,

然後來做Trending,

來算它的Gradient。

那Given Xn,Yn Head,

我要怎麼算它的Gradient呢?

那首先呢,我要先知道說,

我落在哪一個Region裡面。

要知道我落在哪一個Region,

要知道我落在哪一個Region裡面呢,

要知道我落在哪一個Region裡面呢,

我發現我寫錯一個地方。

我發現我寫錯一個地方。

我發現我寫錯一個地方。

這個應該是ARG啊,

這個應該是ARG啊,

對不對?

對吧?

好,不過我先發現了。

Yn Head,這個Max的話,

它只是Value啊,ARG它才是會Return Y回來。

它才是會Return Y回來。

好,這邊有個ARG啊,

好,我們先知道說,

我們現在所在的這個W,

我們現在所在的這個W,

Given我們現在所在的W,

我們在哪一個Region裡面?

我們在哪一個Y的Region裡面?

然後我們算出來呢,

是在Y Delta N的Region裡面。

所以呢,我們現在要算Gradient就簡單了。

Gradient呢,

就是Y Delta所形成的Feature,

減掉Y Head呢,

所形成的Feature。

所以呢,Gradient很簡單。

然後呢,我們要Update呢,也很簡單。

就是把W減掉,

這個Eta乘上這個

歸年,

所以就W減掉Eta,

乘上Y Delta的Feature,減掉Y Head的Feature。

那你會發現說,

這個式子有沒有很眼熟呢?

如果我把這個

Learning Rate設1,

我把Learning Rate設1,

它是不是就是Structure Percentile呢?

對不對,Structure Percentile的時候,

我們就是

把這個W呢,

減掉錯誤的Feature,

再加上正確的Feature。

那今天呢,

在這邊我們用Weight and Descent的時候呢,

我們只是需要稍微調一下這個

Learning Rate而已。Learning Rate設1的話,

其實做的事情就跟剛才的Structure Percentile呢,

其實是一樣的。

好,那我們在這邊呢,

先休息一下,那等一下再繼續講。

好,那接下來要做的事情是,

我們要再修改一下

我們剛才的Cost Function。

我們要改什麼呢?

在我們剛才的那個

Cost Function裡面,

對我們來說呢,

所有錯的東西呢,

都是一視同仁的。

它並沒有任何的

差別。

所有錯的東西呢,

我們都是視為,

所有的錯誤我們都是視為一樣。

但事實上呢,並不是如此。

那在Structure Learning的

Case裡面,

你的Output有非常非常多的可能。

那在這些可能裡面,

有一些Output的可能,

其實是跟正確的很接近的。

舉例來說,假設正確的是紅色這個框框,

那如果你的系統的Output

是第二名這個框框,

那其實也是框在梁宏春的臉上。

或許你對這個結果呢,

也是可以接受的,

但是如果框在19樓的臉上,

或者是框在櫻花樹上,

你可能就不能夠接受。

所以不同的錯誤之間呢,

還是有差別的。

我們應該把這種錯誤不同的,

這個錯誤是有不同等級的,

我們應該把這件事情呢,

在Training的時候呢,

考慮進去。

比如說呢,如果框框呢,

放在櫻花樹上,

那這個結果其實是非常差的。

那我會希望他的分數呢,

特別低。

而如果今天的框框呢,

是框在梁宏春的臉上,

只是沒有,

那結果其實是可接受的。

那我希望他的分數呢,

其實沒有辦法壓低就算了,

就算他的分數呢,

是跟這個正確的框框分數很接近的話呢,

也無所謂,

或許也是可以接受的。

OK。

那所以今天呢,如果有一個waiter,

他是,

他只知道把正確的框框呢,

擺在第一位,

其他錯誤的框框對他來說都是一樣的。

或者是有另外一個waiter,

他不只知道說要把正確的框框擺在第一位,

他還知道說,

如果那個框框其實錯得沒有很離譜,

他的分數也應該很高。

那那些這個很離譜的框框,

錯得很離譜的框框呢,

要把他的分數壓得很低。

那顯然右邊這個waiter呢,

你會覺得是比較好的。

那如果你今天的waiter能夠做到說,

如果你今天的waiter可以做到說,

他是,

你可以想像,

他是按照這些框框的好壞來排序的話,

那其實你可以得到一個好處,

就是你的結果其實是比較安全的。

為什麼呢?

因為假如你今天的testing跟training

是有一些差距的話,

你的第一名不是正確的,

那至少可以保證說,

那些分數比較高的,

跟第一名呢,

他們的差距呢,

沒有很大,

他們是非常的相近。

那我要怎麼把這件事情考慮到我們的cost function裡面呢?

那以下呢,

是一個可能的想法。

這個想法是說,

這個是正確的框框,

這邊有兩個錯誤的框框,

而當這個錯誤的框框

跟正確的框框,

他其實很像,

或是我把這個錯誤的框框,

我把這個正確的框框弄錯,

弄錯成這個錯誤的框框,

大家也可以接受的話,

那我們會希望呢,

這一個框框他的分數,

跟正確的框框他的分數呢,

是差距比較小。

反之如果今天有一個框框呢,

他是錯得很離譜的,

那我會希望他的分數呢,

跟這個正確框框的分數呢,

是差距呢,

比較大。

那但是,接下來有另外一個問題就是,

我們要怎麼evaluate說,

這是一個好的框框,

這是一個不好的框框呢?

這件事情呢,其實也是這個,

task dependent的啦,

在不同的task呢,

去定義他。

那我們把這個正確的框框,

正確的一個y hat,

跟某一個y之間的這個差距呢,

定義成一個delta的function,

這個delta就是一個function,

你代入一個y hat,

給一個y,他就會告訴你說,

這個y hat跟y的差距呢,

有多少。

所以這個delta應該是什麼樣子,

這個是要你自己去定的。

然後這邊呢,

我們會在以下討論,

我們都會假設這個delta呢,

他是正值,

他代表一個差距,

他是一個正值,他沒有負的。

那如果今天呢,是自己對自己,

比如說這邊裡面的這兩個y呢,

都是一樣的話,那這個delta呢,

就是0。

那如果在影像上呢,

你會怎麼定這個delta呢?

當然你可以定一些很這個,

嚴格的delta說,OK,

只要這兩個框框有一點點不一樣,

那這個delta就是1萬,

然後說一樣的時候才是0。

你要這樣定也可以,

你可以用任何你想要定的方式來定。

那常見的做法呢,

是把這個delta呢,定成像這樣子。

這邊這個a of y啊,

代表著這個,

呃,y這一個框框,

他的這個面積。

然後我們把delta呢,

定義成1減掉呢,

這個input的這個y hat,

跟y的這個面積的交集,

除掉呢,

y hat跟y的面積的連接。

所以如果今天呢,

他們兩個面積的交集很小,

那這一項很小,

那delta呢,就會接近1。

如果今天他們兩個的,

這個交集很大,

交集很大,

那這樣子delta呢,就會接近0。

那這是一個很合理的delta的定法。

好,那有了delta以後呢,

我們會怎麼修改

這個cost function呢?

這邊呢,這個做法是這樣子。

我們本來的

cost function呢,

是取第一名,

這個分數最高的那一個y,

去減掉

正確的y hat

所得到的分數。

那我們現在呢,

不是取分數最高的那一個y,

我們評斷分數的方法呢,

是用那個y的分數,

再加上他的

delta。

我們會看看哪一個y,

他不只是分數大,

delta也大,

那我們才是覺得他是

真正的第一名。

然後呢,我們會拿

這樣子一個y呢,

來減掉y hat的

分數。

或者是呢,

你可以想看看,

我們的精神就是說,

如果今天呢,

這個y呢,

他的delta值很大,

我就希望呢,

他呢,跟正確的答案呢,

分數的差距拉得

越遠越好。

反之如果今天有一個框框呢,

他跟分數最大的

這個delta呢,

他跟正確的這個框框

其實很像的話呢,

那我就覺得說,他們的分數就算沒有

拉開呢,也沒有

關係。

沒有嗎?

OK,好。

有人有問題嗎?

好,沒有。

好,那這個,

所以呢,

你可以想想看,這個Cn

在什麼狀況下呢,

會得到0。

他得到0的狀況是,

這一項的值

大過於所有的

y的delta,

加上這一項的值。

也就是說,

什麼時候Cn會最小呢?

當你的正確的

y hat所形成的

當你的正確的y hat

所得到的分數,不只是

比其他的y還要

大,而都

大過一個error function

所形成的delta的值

的時候,那你的Cn呢,

會是最小。

好,所以那我們就用這個方式呢,

把delta呢,考慮到

我們的cost function裡面。

那這一個

delta呢,所形成的差距呢,

我們叫做

margin。所以今天如果有一個

y呢,他是一個

很糟的y,那

他呢,跟正確答案之間的margin

就要很大。如果有一個y呢,

是商號可以接受的y,

那他跟正確答案之間的margin呢,

就要比較小。

那我們是用這個cost function呢,

來描述

這一件事情。

那要,欸,有什麼問題嗎?

margin會怎麼定?OK。

比如說,我們今天要

做這個語音辨識,

那一樣是這個

framewise的

recognition,就是每一個vector

你都會得到一個label的話,

那你

可以把你的delta

定義成說在這個sequence

裡面,有百分之多少

的這個

你的系統的output,是跟

正確答案不一樣。那這個你可以

定義他是你的y。但你也可以

說,我今天這兩個sequence

只要有一個答案不一樣,

那這個delta呢,

就是這個1。

只有他們的兩個sequence完全

一樣的時候,你也可以這樣定。

就完全是看你的

就看你高興這樣。

那但是呢,這邊有一個

麻煩的地方是

你有沒有發現說,我們多了

一個問題呢?就我們

本來說我們假設問題2可以

告訴我們這個問題的答案。

那現在我們不是要

找w跟這個feature vector

inner product最大的值就好了。

我們是要找delta

再加上這個inner product最大的值。

這其實是另外一個問題啊。

所以我們其實

當我們加把這個margin考慮進來

的時候呢,我們其實

又給自己添了一個麻煩,就是我們增加了一個

新的問題。所以你在定義

這個delta的時候要很小心。

有的delta呢,會讓你這個問題

變得很難解。有的delta會讓你

這個問題是容易解的。

這個呢,也是你在定delta

的時候呢,需要考慮的一件事情。

好,那接下來這個東西啊,

我們原來的

function是這樣子。

那我們現在把它變成這樣子。

那這個東西我們要

怎麼用gradient descent去

optimize它呢?那其實很

容易的,跟剛才的這個

方法並沒有太大的差異。

首先呢,我們本來呢

是要找一個

這邊少了arg

好,沒關係。

我們本來要找的y delta

是讓這個式子的值呢

最大。那我們現在要找的

不是讓這個inefata最大就好。

我們要讓inefata加上delta的

sum最大。

那所以這個式子找出來的y

跟這個式子找出來的y

他們不會是同一個,了解嗎?

他們不一定會是同一個。

好,所以我們說

這個式子找出來的y,叫做y delta

這個式子找出來的y

叫做y bar,這樣。

那我希望你,你坐在下面

是可以看得出來這個,這個是bar

這個是delta,這樣你可以看得出來

這個差別。

那如果是bar的話,我就會用紫色啦。

所以你還是可以看得出來他們顏色是不一樣。

好,那我剛才有講過說

你用這個

你做這件事情的時候

你就會給自己增加一個新的問題了。

那你就要想想看說,這個問題

是不是你能夠解的。

那你可能需要稍微設計一下

你的delta,讓這個問題呢

是容易解的。

好,那所以

再來的事情呢,就都一樣了。

我們原來是

用y delta的feature,減掉

這個y hat的feature當作歸點。

現在只是把y bar的feature

減掉y hat的feature當作歸點。

那update呢,就一樣了。

我們就是w減掉eta

乘上y bar,減掉y hat。

然後呢,我們就可以optimize

這樣一個式子了。

好,那其實剛才那個cost function呢

有另外一個觀點

可以來解釋它。

這個觀點是說,剛才那個cost function

其實是

你在training data上的

error的upper bound。

所以當你去

minimize剛才那個cost function

的時候,有考慮margin的cost function

的時候,你是在

minimize training data上的error的

upper bound。你minimize upper bound

並不代表

你minimize upper bound並不代表說

這個error一定會變小,

但它有可能是會跟著變小的。

好,

這個意思是說

假設我們今天的

inference function就是這樣。

我們是拿y tilde,也就是

可以讓這個inner product值最大的那個y

當作我們系統的

output。那我們希望

minimize的對象呢,

是一個cost叫做c'

c'呢,其實是這個

y tilde跟

y hat它們的difference的

和。那我們希望呢,

y tilde跟y hat它們之間的

我們能夠找到一個w

讓y tilde跟y hat它們之間的difference

越小越好。

那我們呢,

希望去minimize這個c'

那minimize這個c'呢,

這等於是minimize我們的error。

但是呢,你會發現說

minimize c'這件事情

並沒有那麼容易。

因為今天這個delta

y可以是任何的object,

這個delta可以是任何的

function。而當delta

可以是任何的function的時候

這個

你可以想想看說,就算是

我們就算是一個

function它不是

它在某些地方不可為分,我們其實都

還是可以用gradient descent

去minimize它。但是這個delta呢,

可能比我們之前看到那些

不可為分的function都還要更複雜。

比如說它可能是

階梯狀。

它可能是階梯狀。

如果是階梯狀的話呢,這

一點呢,就

完全無能為力了。

知道嗎?因為今天

而且你可以想像它很有可能是階梯狀的。

因為你可能說我改變了

我對w的值做一些小小

的改變,但是對這個delta呢

完全

一點影響都沒有。比如說我們今天

做的是語音辨識,

那我們說錯了一個

就是我們這邊呢

是這個辨識錯誤的比率。

所以我們今天的w的影響

要影響到我們能夠讓

辨識的output有改變的時候,

delta的值才有可能有改變。

所以當我們稍微更動

一下w的時候,這個delta的值很有可能

是完全沒有改變的,它為分可能

是零的。所以你會發現說

當我調w的時候,

大部分的時候為分都是零。

只有在某個時候,調到某個

臨界點的時候呢,這delta

當你可以調w讓你這個

recognition output稍微有點改變的時候呢,

你才會讓delta的值有改變。

所以那個地方呢,歸電

又會瞬間有一個無限大的歸點,

那邊就變得

不知道要怎麼optimize。

所以這個delta這樣的

c'這個function呢,你其實很難去

optimize它。

不過還好是我們有這個

我們剛才要optimize

的那個function,我們剛才可以拿來