讓大家久等,好,那我們就用旁邊的附木來講,因為中間的,呃,主木不知道為什麼放不出來,那我們上次呢,講到LSTM,總之就是一個複雜的東西,好,那再來的問題是,像recurrent neural network這種架構,它要如何做learning呢,我們之前有說過說,如果要做learning的話,你要定一個cost的function。

來evaluate你的model的parameter是好還是不好,然後你選一個model的parameter,可以讓這個loss增小,那在recurrent neural network裡面,你會怎麼定這個loss呢,以下呢,我們就不寫算式,直接舉個例子,假設我們現在要做的事情呢,是slot theory,那你會有training data,

這個training data是說,給你一些sentence,這個它是,呃,它的光是有的,要這麼近才有,好,我想放在這邊,其實是有的,好,那個,呃,

其實我自己,我沒有辦法看到那個pointer的投影在螢幕上的光點,欸,你要嗎,如果,謝謝,謝謝,謝謝,謝謝,謝謝,太感謝了,好,呃,這個是sentence,ok,

然後呢,你要給sentence的label告訴machine說呢,這個第一個word,它屬於other這個slot,然後台北屬於destination這個slot,它屬於other的slot,member跟second都屬於這個出發,呃,目的地,呃,要抵達時間的slot,然後接下來呢,你希望說,你的cost會怎麼定呢,

把arrive丟到recurrent neural network的時候,recurrent neural network會得到一個output y1,接下來呢,這個y1呢,會和一個reference的vector算它的cost entropy,所以你會希望說,如果我們現在丟進去的是arrive,

那y1,它的reference的vector呢,應該是對應到other那個slot的dimension,value是1,其他是0,這個reference的vector的長度啊,就是你slot的數目,比如說你訂了40個slot,那這個reference vector的長度呢,它的dimension就是40,

那假設現在input的這個word呢,它應該對應到other這個slot的話,那對應到other的dimension就是1,其他的就是0,那現在你把台北丟進去的時候,因為台北屬於destination這個slot,

所以你就希望說把x2丟進去的時候,y2它要跟reference的vector距離越近越好,那y2的reference vector是對應到destination那個slot是1,其他是0,那這邊要注意的事情是,你在丟x2之前,一定要先丟x1,

你在把台北丟進去之前,你一定要先把arrive丟進去,不然你就會不知道存在memory裡面的是多少,所以在做training的時候呢,你也不能夠把你的alternates裡面的這些word呢,

這個word sequence呢,打散來看,word sequence呢,仍然要當這個整體來看,同樣道理,把on丟進去,它的reference vector呢,是對應到other是1,對應到other那個dimension是1,其他是0,

所以你的cost就是每一個時間點的on的output跟reference vector的cross-entropy的合,就是你要去minimize的對象,那現在有了這個loss function以後,training要怎麼做呢?

training呢,其實也是用gradient descent,也就是說,如果我們現在已經定出了loss function大L,我要update這個network裡面的某一個參數w,我要怎麼做呢?

你就計算w對大L的片尾分,這個片尾分計算出來以後,就用gradient descent的方法呢,去update每一個參數,那我們之前在講neural network的時候呢,已經講過很多次了,

那在講這個之前的那個v-forward network的時候,我們說gradient descent用在v-forward network裡面,你要用一個比較有效的演算法叫做backpropagation,在recurrent neural network裡面,gradient descent的原理是一模一樣的,

但是為了要計算方便,所以呢,也有開發一套演算法,這套演算法呢,是backpropagation的進階版,它叫做BPTT,那它跟backpropagation其實是很類似的,

只是因為recurrent neural network它是在time sequence上面做運作,所以BPTT呢,它需要考慮時間的information,那我們在這邊呢,我們就不講BPTT,

反正你只要知道說RNN就是用gradient descent train的,它是可以train的就行了。

然而不幸的就是呢,RNN的training呢,是比較困難的。

一般而言呢,你在做training的時候,你會期待你的這個learning curve呢,是像藍色這一條線,我這邊的這個縱軸呢,是total loss,

這個橫軸呢,是APOC training的時候的APOC的數目,你會希望說呢,隨著APOC越來越多,隨著參數不斷的被update,

Loss呢,應該就是慢慢慢慢的下降,最後趨向收斂。

但是不幸的是,當你在訓練這個recurrent neural network的時候,你有時候會看到綠色這一條線,綠色這一條線。

而這個很重要,如果你是第一次train recurrent neural network,你看到綠色的這樣子的這個learning curve,

這個learning curve呢,非常劇烈的走動,然後走到某個地方,就突然NAN,然後你的程式就segmentation fault了。

而這個時候,你會有什麼想法呢?我相信你的第一個想法就是,程式有bug啊,程式有bug。

好,這個,今年的春天呢,我要那個Thomas Mikolov來台灣,Thomas Mikolov就是發明那個workback的人,

之前說講過了,然後他跟我分享了他當時開發RNN的心得,

他是最早開始做RNN的learning model的人,大概在09年的時候呢,就開始做了。

而有很長一段時間呢,只有他能夠把RNN的learning modeltrain起來,其他人呢,都train不起來。

好,那,他說他,你知道在那個年代,那個年代是沒有像現在有什麼Tensorflow啊DLL之類的,

那個年代做什麼東西呢,都是要徒手刻的,所以他徒手刻了一個RNN,然後train完以後,就發生這樣的現象。

他第一個想法就是,程式有bug,程式有bug,然後努力的抵了bug以後,果然有很多bug。

然後就把所有,但是他後來就把bug修掉,修掉,他覺得應該是沒有bug,但是這個現象還是在,

所以他就覺得很困惑,而其他人就跟他說,放棄啦,放棄啦,這不work這樣子。

他說,嗯,可是我想要,他就想說,他要知道結果,為什麼會這樣,所以他就做分析。

等一下這個圖是來自於他的paper,他分析了一下RNN的性質,他發現說呢,

RNN的error surface,所謂error surface是total loss,對參數的變化是非常的陡峭,

非常崎嶇的,所謂的崎嶇的意思是說,這個error surface,他有一些地方非常平坦,有一些地方非常的陡峭,

就像是有懸崖峭壁一樣。

所以,底下這是一個,這邊這個通篇上是一個示意圖,縱軸呢,是total loss。

那這個x軸跟y軸呢,代表兩個參數,w1和w2,這個圖上顯示的就是w1、w2這兩個參數,

對total loss的影響,發現說呢,在很多地方都是非常平坦,在某些地方呢,非常的陡峭。

所以,這個會造成什麼樣的問題呢?

假設你從橙色這個點,當作你的初始的點,用gradient descent開始調整你的參數,

在橙色這個點,你算一下gradient,然後呢,update你的參數,就調到下一個橙色的點。

再算一下gradient,再update你的參數,你可能正好就跳過一個懸崖,

所以你的loss loss呢,就突然暴增,你會看到那個loss呢,上下非常劇烈的震盪。

有時候可能會遇到另外一個更慘的狀況,就是你正好就踩一腳踩在這個懸崖上,正好一腳踩在懸崖上。

那你踩在懸崖上會發生什麼事情呢?你踩在懸崖上,因為在懸崖上的gradient呢,很大。

然後呢,之前的gradient都很小,所以你措手不及,因為之前的gradient很小,所以你可能把learning rate調得比較大。

但是gradient突然很大,很大的gradient再乘上很大的learning rate,結果參數呢,就update很多,然後整個參數呢,就飛出去了。

所以你就按了an,所以程式呢,就segmentation fault。

然後Thomas de Colombe就想說,怎麼辦呢?怎麼辦?他說他不是一個數學家,所以他要用工程師的想法來解決這個問題。

然後他就想了一招,這一招呢,應該是蠻關鍵的,讓很長一段時間,只有他的code呢,可以把RN的learning model傳出來。

那很長一段時間呢,人們是不知道這一招的,因為這一招他覺得實在是太沒什麼,所以沒寫在paper裡面,直到他在寫那個博士論文的時候,那博士論文是比較長的。

所以有些東西就算你覺得trivial,很可能還是會寫進去,直到他在寫博士論文的時候,大家才發現了這個秘密。

這個秘密是什麼呢?這一招呢,說穿了就不值錢,這一招呢,叫做creeping。

creeping的意思是說,當gradient大於某一個threshold的時候,就不要讓它超過那個threshold。

在Thomas Percona的程式裡面,我記得就是,當gradient大於threshold的時候,就等於threshold結束。

好,所以因為gradient現在不會太大,所以當你做creeping的時候,就算是踩在這個懸崖上,也沒有關係,你的參數呢,就不會飛出去。

它會飛到一個比較近的地方,這樣你仍然可以繼續做RN的training。

有人就會問這個,那在接下來的問題就是,為什麼RN會有這種奇特的特性呢?

為什麼RN會有這種奇特的特性呢?

有人說,有人可能會說,是不是因為來自於sigmoid function,我們之前有講過,在講IELU的exclamation function的時候呢,

我們講過一個問題,叫做gradient vanishing的問題,然後我們說這個問題是從sigmoid function來的,

因為sigmoid的關係,所以有gradient vanishing這個問題,就是說RN會有這種很小的,很平滑的arrow surface,

是因為來自於gradient vanishing,是因為來自於sigmoid function。

這件事情呢,我覺得不是真的,你想想看,如果這個問題是來自於sigmoid function,換成IELU就解決這個問題啊,

所以不是這個問題。可以跟大家講一個秘密,如果你用IELU,你會發現說呢,一般在chain neural network的時候呢,

很少用IELU當作exclamation function,為什麼呢?因為如果你把sigmoid換成IELU,

其實在RN上面performance通常是比較差的,所以exclamation function並不是這個地方的關鍵點。

並不是這個地方的關鍵點。好,那如果說我們今天有講這個backpropagation through time的話,

從式子裡面呢,你會比較容易看出說為什麼會有這個問題。

那我今天沒有講backpropagation through time,沒有關係,我們有一個更直觀的方法可以來知道說一個gradient的大小是什麼樣子。

這個更直觀的方法就是你把某一個參數做小小的變化,看它對network output的變化有多大,

你就可以測出這個參數的gradient的大小。我們這邊呢,舉一個很簡單的RN當作我們的例子。

今天有一個全世界最簡單的RN,它只有一個neural,這個neural是linear,它只有一個input,沒有bias,

input的weight是1,output的weight也是1,那transition的部分呢,transition的部分的weight是W,

也就是從memory接到neural的input的weight是W。

好,現在假設我給這個network的輸入是100000,只有第一個時間點輸入,

1000大家都輸入0,那這個network的output會長什麼樣子呢?

比如說這個network在最後一個時間點,1000個時間點的output,值會是多少?

我相信大家都可以馬上回答我,它的值呢,是W的999次方,對吧?

你把1輸進去,再乘上W,乘上W,乘上W,乘上999次W,輸出就是W的999次方,

後面的輸入都是0嘛,非常貴,只有一開始的1有影響,但是它會通過999次的W。

好,那我們現在來看,假設W是我們要認的參數,我們想要知道它的gradient,

所以我們想要知道當我們改變W的值的時候,對network的output有多大的影響。

現在我們假設W等於1,那Y1000,連我的最後時間點的output也是1。

假設W等於1.01,那Y1000是多少呢?

Y1000是1.01的999次方,1.01的999次方是多少呢?

是2萬,是一個很大的值,這個就跟蝴蝶效應一樣。

而這個W呢,有一點小小的變化,對它的output影響呢,是非常大的。

所以,W呢,有很大的規定。

那可能想說有很大的規定,也沒有什麼,我們只要把它的learning rate設小一點就好。

但是事實上,如果我把W設成0.99,那Y1000呢,就等於1。

如果我把W呢,設0.01,那Y1000還是等於1。

也就是說,在1這個地方,有很大的gradient,但是在0.99的地方,gradient呢,就突然變得非常非常的小。

這個時候,你又需要一個很大的learning rate,就會造成說你設learning rate很麻煩,你的error service很崎嶇。

因為這個gradient呢,是時大時小,而且在非常短的區域之內,gradient就會有很大的變化。

所以從這個例子,其實你可以看出來說,為什麼RNN會有問題。

RNN的training的問題,其實是來自於它把同樣的東西呢,在transition的時候呢,在時間和時間轉換的時候呢,反覆使用。

從memory接到neuron的那一組位,在不同的時間點,都是反覆被使用。

所以這個W呢,只要一有變化,它有可能完全沒有造成任何影響。

但一旦它可以造成影響,那影響都會是天崩地裂的影響。

所以它有時候gradient很大,有時候gradient很小。

所以這個RNN會不好訓練的原因,並不是來自於activation function,而是來自於它有time sequence,

同樣的位在不同的時間點,是會被反覆的,不斷的被使用。

好,那有什麼樣的技巧可以幫助我們解決這個問題呢?

其實現在最廣泛被使用的技巧呢,就是LSTM。

那LSTM呢,可以讓你的error surface不要那麼崎嶇。

它可以做到的事情是,它會把那些比較平坦的地方拿掉。

它可以解決gradient vanishing的問題,但它不會解決gradient explode的問題,

因為你有些地方仍然是會非常的崎嶇的。

你有些地方它仍然是變化非常劇烈的,但是呢,不會有特別平坦的地方。

因為如果你在做LSTM的時候,大部分的地方都變化很劇烈,

所以呢,當你在做這個LSTM的時候呢,你可以放心的把你的learning rate設的小一點。

那它呢,要在learning rate特別小的情況下呢,進行訓練。

那為什麼LSTM可以做到這個handle gradient vanishing的問題呢?

為什麼它可以避免讓gradient特別小呢?

我聽說有人在這個面試某家國際大廠的時候,就被問這個問題。

那這個問題怎麼答比較好呢?

如果你答一些什麼,喔,因為L...

那個問題是這樣,為什麼我們把RNN換成LSTM?

如果你的答案是,喔,因為LSTM比較吵,因為LSTM比較複雜,

這個都做到太弱了這樣。

那真正的理由就是,LSTM可以handle gradient vanishing的問題。

但是接下來人家就會問說,為什麼LSTM可以handle gradient vanishing的問題呢?

我在這邊呢,試著來回答看看。

那這樣子之後如果有人,你口測的時候再問到這個問題的時候呢,

你可以想想看你有沒有辦法回答。

這個如果你想看RNN跟LSTM,他們在面對memory的時候,

他們處理的operation其實是不一樣的,對不對?

你想想看在RNN裡面,在每一個時間點,其實memory裡面的資訊都會被洗掉。

在每一個時間點,neural的output都會被放到memory裡面去,

所以每一個在每一個時間點memory裡面的資訊呢,都會被覆蓋掉,都會被完全洗掉。

但是在LSTM裡面不一樣,

它是把原來memory裡面的值乘上一個值,再把input的值呢,

加起來放到cell裡面去。

所以它的memory和input是相加的。

所以今天呢,它和RNN不同的地方是,

如果今天你的wait可以影響到memory裡面的值的話,

一旦發生影響,這個影響會永遠都存在。

不像RNN在每一個時間點,值都會被format掉,

所以只要這個影響一被format掉,它就消失了。

但是在LSTM裡面,一旦能夠對memory造成影響,

那個影響會永遠的留著,除非forget gate被使用,

除非forget gate決定要把memory裡面的值洗掉,

不然一旦memory有改變的時候,每一次都只會有新的東西加進來,

而不會把原來存在memory裡面的值洗掉。

所以它不會有灰點vanishing的問題。

你可能會想說,可是現在有forget gate啊,

forget gate就是會把過去存的值洗掉啊。

事實上在LSTM97年的時候就compose了,

那LSTM的第一個版本,其實就是為了解決灰點vanishing的問題,

所以它是沒有forget gate的,forget gate是後來才加上去的。

甚至呢,現在有一個傳言是,你在訓練LSTM的時候,

你要給forget gate特別大的byte,

你要確保forget gate在多數的情況下都是開啟的,

只有少數的情況它會被封閉掉。

現在有另外一個版本用gate操控memory的Cell,

叫做gated recurrent unit,LSTM有三個gate,

這個gated recurrent unit它只有兩個gate,

所以gated recurrent unit寫是GRU,

相較於LSTM它的gate只有兩個。

所以它需要的參數量是比較少的,

因為它需要的參數量比較少,

所以它在training的時候是比較robust的。

所以如果你今天try train LSTM的時候,

你覺得overfitting的情況很嚴重,

你可以試一下用GRU。

那GRU的精神就是,它怎麼拿掉一個gate呢?

我們今天就不講GRU的詳細原理,

它的精神就是舊的不去,新的不來。

它會把input gate跟forget gate連動起來,

它會把input gate跟forget gate連動起來。

那也就是說,當input gate被打開的時候,

forget gate就會自動的關閉,

當input gate被打開的時候,

forget gate就會format存在memory裡面的值。

當forget gate沒有要format值的時候,

input gate就會被關起來。

也就是說你要把存在memory裡面的值清掉,

才可以把新的值放進來。

其實還有很多其他的technique,

是來handle gradient vanishing這個問題。

比如說clockwise的RNN,

或者是structural constraint recurrent level SDRN等等。

我就把reference留在這邊給大家參考。

最後有一個蠻有趣的paper,

是Hinton propose的。

這個方法是這樣,

他說當他用一般的RNN,

不是用LSDN,

他說一般的RNN,

他用identity的matrix來initialize,

transition的weight,

然後再使用IOU的acclimation function的時候,

他可以得到很好的performance。

可能說我剛才不是說用IOU的performance會比較差嗎?

如果你是一般的training的方法,

你initialization的weight是random的話呢,

那IOU跟sigmoid function來比的話,

sigmoid function的performance會比較好。

但是如果你今天用了identity的matrix的話,

如果你今天用identity的matrix當做initialization的話,

這個時候用IOU的performance就會比較好。

這件事情真的是非常的神奇。

當你用了這一招以後呢,

用一般的RNN不用LSDN,

他performance就可以屌打原來的LSDN。

人就覺得說LSDN怎麼這麼複雜,

結果都是白忙一場。

這個是非常神奇的一篇文章。

那其實RNN有很多的application,

在我們前面舉的slot feeding的例子裡面,

我們是假設input和output element的數目是一樣做的。

也就是說input有幾個word,

我們就給每一個word一個slot的label。

但事實上RNN呢,

他可以做到更複雜的事情。

比如說input只是一個sequence, output只是一個vector。

這有什麼應用呢?

比如說你可以做sentiment analysis,

sentiment analysis現在有很多的application,

比喻來說,

某家公司想要知道說,

他們的產品在網路上的評價呢,

是positive還是negative,

他們可能就會寫一個puzzle,

把跟他們網路評價有關,

跟他們產品有關係的那些網路上的文章都爬下來。

但是一邊邊看太累了,

所以你可以用一個machine learning的方法,

自動認一個classifier去分類說,

哪些document是正向的,

哪些document是負向的。

或者是在電影版上呢,

sentiment analysis做的事情,

就是給machine看很多文章,

然後machine要自動知道說,

哪些文章是正類,

哪些文章是負類。

怎麼讓machine做到這件事情呢?

你就是認一個recurrent neural network,

這個input是一個character sequence,

然後recurrent neural network把這個character sequence讀過一遍。

然後在最後一個時間點呢,

把hidden layer拿出來,

可能再通過幾個transform,

然後你就可以得到最後的sentiment analysis的prediction。

比如說input這個document,

它是超好雷,好雷,負雷,還是超負雷。

它是一個分類的問題,

但是input是一個sequence,

所以你需要用RNN來處理這個input。

或者是我們實驗室做過,

用RNN來做pattern extraction,

所謂pattern extraction的意思是說,

給machine看一篇文章,

然後machine要predict說,

這篇文章裡面有哪些的關鍵詞彙,

然後跟我們在final project裡面的第三個test,

做的其實是非常類似的事情。

如果你今天能夠收集到一堆training data,

你能夠收集到一堆document,

然後這些document都有label說,

哪些詞彙是它對應的keyword的話,

那你就可以直接train一個RNN。

這個RNN把document當作input,

把document的word sequence當作input,

然後通過embedding layer,

然後用RNN把這個document讀過一次,

然後把出現在最後一個時間點的output,

拿過來做attention,

我們發現我們沒有講過attention是什麼,

沒有關係,這個地方你就聽聽就好。

用attention以後,

你可以把重要的information抽出來,

再丟到p4 network裡面去得到最後的output。

那它也可以是多對多的,

比如說當你的input和output都是sequence,

但是output的sequence比input sequence短的時候,

RNN可以處理這個問題。

什麼樣的任務是input sequence長,

output sequence短呢?

比如說語音辨識就是這樣一個任務。

在語音辨識這個任務裡面,

input是一串acoustic feature sequence,

語音是一段聲音訊號嘛,

所以你要做語音辨識的時候,

你就說一句話,

而這句話是一段聲音訊號。

我們一般處理聲音訊號的方式,

就是在聲音訊號裡面,

每隔一小段時間,

就把它用一個vector來表示。

那個一小段時間呢?

那個一小段時間通常很短,

比如說0.01秒之類的。

那它的output呢?

它的output是character的sequence。

好,那如果你是用原來的R文,

用我們在做slot feeding的那個R文,

你把這一串input丟進去,

它充其量呢?

只能夠做到說,

告訴你每一個vector,

它對應到哪一個character。

假設說中文的語音辨識的話,

那你的output的target,

你按output的target,

理論上就是這個世界上,

所有可能的中文的詞彙,

所有可能的中文的character,

那這個可能有,

常用的可能就有八千個,

可能你的這個R文的output的,

這個target的數目呢?

會有八千。

雖然很大,

但這個是有辦法做的。

好,但是你充其量只能做到說,

每一個vector屬於一個character,

每一個vector屬於一個character。

但是,

input的這個每一個vector,

對應到的時間是很短的,

通常才0.01秒。

所以通常是好多個vector,

才對應到同一個character。

所以你的辨識的結果就變成,

好好好,棒棒棒棒棒,這樣。

而且說,

這不是語音辨識的結果啊,怎麼辦?

你可以有一招叫做trimming,

trimming就是把重複的東西,

拿掉,就變成好棒。

但是這樣會有一個很嚴重的問題,

因為它就沒有辦法辨識好棒棒,這樣子。

不知道的人說一下,

好棒跟好棒棒,

不正好是相反,這樣子。

但是我發現很多人都不知道,

比如說我女朋友工作的地方,

就是有一次他們的老闆說,

我們來編個我們公司的口號吧,

然後就找個台大的人來編,這樣。

然後台大的同事心懷怨恨,

所以就在口號裡面寫著好棒棒,

就某某公司好棒棒,

然後主管都覺得很棒,這樣子,

他們都不知道,

說這個是負面的意思。

所以,

不把好棒跟好棒棒分開來,

是不行的,

所以需要把好棒跟好棒棒分開來,

怎麼辦?

我們要用一招叫做CTC,

要用一招叫CTC。

這一招也是那種說穿了不值錢的方法,

但這一招很神妙,

它說我們在output的時候,

我們不要不只是output所有中文的character,

我們還多output一個符號,

叫做no,

叫做沒有任何東西。

所以今天如果我input一串

acoustic feature sequence,

它的output是好,

no,

棒,

no,

然後我就把no的部分拿掉,

它就變成好棒。

如果我們輸入另外一個sequence,

它的output是好,

no,

棒,

no,

它的output就是好棒棒,

這樣子。

所以就可以解決疊字的問題了。

那在訓練的network的時候,

訓練的時候,

怎麼做呢?

CTC怎麼做訓練呢?

這個也是可以的。

CTC在做訓練,

在做training的時候啊,

你手上的training data,

就會告訴你說,

這一串acoustic feature,

對應到這一串character sequence,

這個sequence對應到這個sequence,

但它不會告訴你說,

好是對應第幾個friend到第幾個friend,

棒是對應第幾個friend,

對應到第幾個friend。

那怎麼辦呢?

窮取所有可能的alignment,

簡單來說就是,

我們不知道好對應到哪幾個friend,

不知道棒對應到好幾個friend,

我們就假設所有的狀況都是可能的,

可能第一個是好,後面接no,

棒後面再接三個no,

可能好,後面接兩個no,

棒後面接兩個no,

可能好,後面接三個no,

棒後面接一個no。

我們不知道哪一個是對的,

就假設全部都是對的,

在training的時候,

全部都當作是正確的一起去training,

可能會想說,窮取所有的可能,

那可能性感覺太多啦,

這個有巧妙的演算法,

可以解決這個問題,

那我們今天就不細講這個部分。

那以下呢,

是在文獻上CDC得到的一個結果,

這個是英文的,

在做英文辨識的時候呢,

你的RNN的output的target,

就是parent,

就是英文的字母,

加上空白,

空白就,你也不需要到,

你也不需要給,

你的RNN詞典啊,

什麼之類的,

它就直接output字母,

然後,

如果到那個字和字之間的boundary,

它自動呢,

就會有空白取得。

以下是一個例子,

第一個frame就output h,

第二個frame就output no,

第三個frame就output no,

第四個frame就output i,

第五個frame就output s,

接下來呢,

output這個,

底線這個代表空白,

output空白,

然後一串no,

然後s,no,no,ri,

no,end,no,no,

一片s,

底線的。

那如果你看到output是這個樣子的話,

那最後你把no的部分拿掉,

這句話辨識的結果,

就是his friend,

你不需要告訴Machine說,

HIS是一個詞彙,

friend是一個詞彙,

Machine透過training data,

它自己會學到這件事情。

那傳說呢,

Google現在的語音辨識系統,

已經全面換成,

這個CTC呢,

來做語音辨識,

如果你用CTC來做語音辨識的話,

就算是有某一個詞彙,

比如說英文的人名地名,

從來在training data裡面沒有出現過,

而是從來不知道這個詞彙,

它其實也有機會把它正確的辨識出來。

另外一個神奇的R的應用呢,

叫做Sequence to Sequence Layer,

在Sequence to Sequence Layer裡面,

Rm的input和output呢,

都是sequence,

但這樣的sequence的長度呢,

是不一樣的。

剛才在講CTC的時候,

input比較長,

output比較短。

在這邊,

我們要考一個case是,

不確定input和output,

誰比較長,

誰比較短。

好,我們現在呢,

來做machine translation,

比如說,我們現在要做的是machine translation,

input英文,

the word sequence,

要把它翻成中文的character sequence。

我們並不知道說,

英文跟中文呢,

誰比較長,

誰比較短。

我們並不知道誰比較長,

誰比較短。

都有可能是output比較長,

也有可能是output比較短。

所以怎麼辦呢?

現在假如input是machine learning,

那我們就把machine learning用RNN讀過去,

用RNN讀過去,

然後呢,

在最後的,

然後呢,

把machine learning呢,

用RNN讀過去,

然後在最後一個時間點呢,

這個memory裡面呢,

就存了所有input的整個sequence的information。

然後接下來呢,

你就讓machine to一個character,

比如說就湯可熙,

他第一個做的character呢,

就是機。

你把machine learning,

讓machine讀過一遍,

然後再讓他output character,

他可能就會output機。

然後接下來呢,

再叫他output下一個character,

你把之前output出來的character呢,

當作input,

再把memory裡面存的詞讀進來,

他就會output器這樣子。

那這個東西,

這個機呢,

要怎麼接到這裡,

這個地方呢,

有很多枝枝節節的技巧。

如果這個太多了,

這個以後呢,

我們再講一下。

這個以後,

或許下學期在MLDS再講。

這個其實有很多枝枝節節的地方,

還有很多各種不同的變形。

好,那他在下一個時間點,

氣以後呢,

他就output學,

然後學呢,

後面就output習,

然後他就會一直output下去。

習後面接慣,

慣後面接習。

永遠呢,

都不停止。

第一次看到這個model想說,

哇,

有這work嗎?

你根本不知道什麼時候該停止。

那怎麼辦呢?

這就讓我想到這個,

推文接龍。

我不知道大家知不知道,

推文接龍是什麼,

也不知道要講一下。

這個從鄉民百科上,

抄下來的啦。

推文接龍是,

推文中的一種趣味的玩法,

他推習有點類似,

但又有所不同。

是在推文中接去上一樓的句子,

推出連續的意思。

他就是起源於不可靠。

也就是說,

有一個人推抄以後,

下一個人就是推人,

然後人後面再推正,

然後一直推推推。

他可能推好幾個月,

然後都不會停下來。

我也不知道為什麼會這樣,

他不會停下來。

那你要怎麼讓他停下來呢?

你要怎麼讓他停下來?

你要有一個人冒險去推一個段,

他就會停下來了。

其實也不會停下來啦。

你要推一個段,

他就會停下來。

所以今天讓Machine做的事情,

也是一樣。

要如何阻止他不斷地繼續產生智慧呢?

你要多加一個symbol叫做段。

所以Machine現在不只是

output所有可能的character,

他還有一個可能的output叫做段。

所以如果今天期後面呢,

他的output是段的話,

就停下來。

你可能覺得說,

這個東西勸得起來嗎?

勸得起來。

所以神奇的就是,

這一招是有用的。

他也有被用在語音辨識上,

也就直接input

acoustic feature sequence,

直接就output

character sequence。

只是這個方法還沒有CT值強,

所以這個方法

還不是state-of-the-art的結果。

但讓人真的surprise的地方就是,

這麼做,

事情得通,

然後他的結果

是沒有爛掉的。

在翻譯上呢,

倒是據說用這個方法,

已經可以達到state-of-the-art的結果。

那最近呢,

這個是,

應該是Google Print

在12月初的時候發的paper,

所以是周前放在Rx上面的paper。

他們做了一件事情,

我相信這件事情

很多人都想到,

只是沒人去做。

他的想法是這樣,

sequence-to-sequence learning,

我們原來是input,

假設做翻譯的話,

也就是input某種語言的文字,

然後翻譯成另外一種語言的文字。

那我們有沒有可能,

直接input某種語言的聲音訊號,

output另外一種語言的文字呢?

我們完全不做語音辨識,

你就直接,

比如說你要把中文翻成,

你要把英文翻成中文,

你就蒐集一大堆英文的句子,

看它對應的中文翻譯,

你完全不要做語音辨識,

直接把英文的聲音訊號,

丟到這個model裡面去,

看它能不能夠output正確的中文。

結果這招居然是,

看起來是行得通的,

我相信很多人想過,

這邊大家覺得做不起來,

所以沒有人去試,

但這招看起來是行得通的,

可以直接input一串法文的聲音訊號,

然後model就得到辨識的結果,

model得到辨識的結果,

這件事情是還蠻surprise的,

如果這個東西能夠成功的話,

它可以帶給我們的好處是,

如果你今天在collect translation training data的時候,

會比較容易,

假設你今天要把某種方言,

比如說台語,

轉成英文,

但是台語的語音辨識系統,

其實比較不好做了,

因為台語你可能根本就沒有,

standard的文字的系統,

所以你要找人來label台語的文字,

可能也有點麻煩,

如果這招這樣的技術是可以成功的話,

未來你在訓練台語轉英文的語音辨識系統的時候,

你只需要蒐集台語的聲音訊號,

跟它的英文的翻譯就可以了,

你就不需要台語的語音辨識的結果,

也就不需要知道台語的文字,

你也可以做這種翻譯,

另外現在還可以用sequence to sequence的技術,

甚至可以做到beyond sequence,

比如說這個技術,

也被用在syntactic的parsing tree裡面,

用在產生syntactic的parsing tree上面,

這個syntactic的parsing tree是什麼呢?

意思就是讓machine開一個句子,

然後它要得到這個句子的文法的結構樹,

然後得到一個樹狀的結構,

要怎麼讓machine得到這樣子的樹狀的結構呢?

過去你可能要用structure learning的技術,

才能夠解這個問題,

但現在有了sequence to sequence learning的技術以後,

你只要把這個樹狀圖描述成一個sequence,

比如說樹狀圖怎麼描述成sequence,

當然可以描述成一個sequence,

看這個是root的地方是S,

所以這是S的左括號,

這是S的右括號,

它下面有NP跟DP,

所以有NP的左括號,NP的右括號,

DP的左括號,DP的右括號,

NP下面有NNP,

DP下面有DPC,

NP,DP下面有DPC,

NP,NP下面有DPC跟NNP等等,

所以它有一個sequence,

所以如果今天是sequence to sequence learning的話,

你就直接run一個sequence to sequence的model,

它的output直接是syntactic的發進去,

它直接output這個是syntactic的發進去,

就可以了,

就用這樣子train,

你可能覺得說這樣真的train得起來嗎?

可以train得起來,

很surprise,非常surprise,

當然你可能會想說,

如果我們訓練今天它長出來的output sequence,

如果它不合文法結構呢?

如果它記得加左括號,

卻忘了加右括號呢?

但是神奇的地方就是,

LSTM它有記憶力,

所以它不會忘記加上右括號。

好,那我們之前呢,

講過word vector,

那我們說,

如果我們要把一個document,

表示成一個vector的話,

往往會用backword這樣的方法,

但當我們用backword這樣的方法的時候呢,

我們就會忽略掉這個word order的information,

舉例來說,

有一個word sequence是,

white blood cell,

destroyed an infection,

另外一個word sequence是infection,

destroyed white blood cell,

這兩句話的意思完全是相反,

但是如果你用backword來描述它的話,

它們的這個backword呢,

完全是一樣的,

它裡面有一模一樣的六個詞彙,

但是因為這個詞彙的order是不一樣的,

所以它們的意思,

一個變成是positive,

另外一個變成是negative,

它們的意思呢,

是很不一樣的。

那我們可以用sequence to sequence,

open code的這種做法,

來在有考慮word sequence的order的情況下,

把一個document變成一個vector。

怎麼做呢?

怎麼做呢?

我們就input一個word sequence,

Mary was hungry,

she didn't find any food,

然後通過一個recurrent neural network,

把它變成一個embedded vector,

然後再把這個embedded vector,

當作這個decoder的輸入,

然後讓這個decoder呢,

找回一個一模一樣的句子。

如果今天呢,

recurrent neural network,

可以做到這件事情的話,

那encoding的這個vector,

就代表了這個input sequence裡面,

重要的information,

所以這個decoder呢,

才能夠根據這個encoder的vector,

把這個訊號呢,

把這個decode回來。

你train這個sequence to sequence,

autoencoder的時候,

你是不需要level data的,

你只需要收集到大量的文章,

你只需要收集到大量的文章,

然後直接train下去,就好了。

那這個sequence to sequence,

autoencoder呢,

還有另外一個版本呢,

叫做skip soul,

當你用skip soul的時候,

如果是用sequence to sequence,

autoencoder,

input跟output都是同一個句子。

如果你用skip soul的話,

你output的target呢,

會是下一個句子。

如果你用sequence to sequence,

autoencoder,

用skip soul呢,

可能會得到比較好的結果。

這個結構呢,甚至可以是

hierarchy,

你可以每一個句子,

都先得到一個vector,

Mary was hungry得到一個vector,

She didn't find any food得到一個vector,

我再把這些vector呢,

用,

把這些vector呢,加起來,

然後變成

一個整個document

high level的vector,

去產生一串

sentence的vector,

再根據每一個sentence的vector,

再去解回

這個word sequence,

所以這是一個四層的

LSTM,

你從word變成

sentence的sequence,

再變成document level的東西,

再解回sentence的sequence,

再解回word的sequence,

這個東西呢,也是可以train的。

那剛才的東西呢,

也可以被用在語音上,

sequence是sequence的auto-encoder,

除了被用在文字上,

可以用在語音上,

如果在語音上的話,

它可以做到的事情呢,

就是它可以把一段呢,

audio的segment,

把它變成一個fixed length的vector,

比如說,

它可以把動變成,

比如說,

這邊有一堆聲音訊號,

它們長長短短的都不一樣,

那你把它們變成vector的話,

可能動跟動的vector比較接近,

可能never

和ever的vector

是比較接近的。

那這個呢,

我稱之為audio的word vector,

就像一般的word vector,

它是把一個word變成一個vector,

也就是把一段聲音訊號,

變成一個vector,

那這個東西呢,

你可以把它用在,

有什麼用呢?

一開始在想這個的時候,

我覺得應該就沒有什麼用,

但是它其實可以拿來做很多事,

比如說,

我們可以拿來做語音的搜尋,

什麼是語音的搜尋呢?

可能你有一個聲音的database,

比如說上課的錄音,

然後你說一句話,

美國白宮有關的東西,

用說的說美國白宮,

然後不需要做語音辨識,

直接比對聲音訊號的相似度,

machine就可以從database裡面,

把有提到美國白宮的部分找出來。

那這個怎麼做呢?

你就先把,也有一個audio的database,

把這個database呢,

做segmentation,切成一段一段,

然後每一段呢,

用剛才講的,

這個audio segment to vector的技術呢,

又把它們呢,

通通變成vector。

然後現在呢,

使用者輸入一個query,

這個query呢,也是語音的,

透過audio segment to vector的技術呢,

可以把這段聲音訊號呢,

也變成vector。

然後接下來呢,

計算它們的相似程度,

接下來呢,計算它們的相似程度,

然後呢,

就得到這個搜尋的結果。

搜尋的結果。

然後就得到搜尋的結果。

然後呢,

那這件事情怎麼做呢?

怎麼把一個audio的segment,

變成一個vector呢?

做法是這樣,

先把audio的segment呢,

抽成acoustic feature sequence,

然後呢,

把它存在recurrent neural network裡面去,

而這個recurrent neural network呢,

它的角色就是一個encoder。

而這個recurrent neural network,

它讀過這個acoustic feature sequence以後,

它存在memory裡面的值,

就代表了,

它在最後一個時間點,

存在這個memory裡面的值,

就代表了整個input的聲音訊號,

它的這個information。

那這一個,

它存在memory裡面的值是一個vector,

這個東西,其實就是我們要拿來

代表是一整段聲音訊號的vector。

但是只有這個Rn的encoder,

我們沒有辦法train,

你要同時呢,還要train一個Rn的decoder。

Rn decoder它的作用呢,

就是它把encoder存在memory裡面的值呢,

拿進來當作input,

然後產生一個acoustic feature sequence。

那你會希望說,這個y1跟x1呢,

越接近越好。

然後根據y1,

再產生y2,再產生y3,

再產生y4。

而今天訓練的target,

就是希望y1到y4,

跟x1到x4,

它們呢,是越接近呢,

越好的。

那在訓練的時候,

這個Rn的encoder,

和Rn的decoder,

它們是joining了。

這個Rn的encoder,

跟Rn的decoder呢,

它們是一起train的。

如果只有Rn的encoder,

它們只有一個人,是沒有辦法train。

但是把它們兩個接起來,

你就有一個target,

可以一路從這邊的backup給回來,

你就可以同時trainRn的encoder,

跟decoder。

那這邊呢,是我們在實驗上呢,

得到的一些有趣的結果。

在這圖上每一個點呢,

其實都是一段聲音訊號。

你把聲音訊號用剛才講的,

這個sequence to sequence encoder技術呢,

把它變成平面上的一個vector,

來發現說,

near的位置在左上角,

near的位置在右下角,

它們中間是這樣的關係。

fan的位置在左上角,

fan的位置在右下角,

它們中間有一個這樣子的關係。

那你會發現說,

把near的開頭的f換成n,

跟fan開頭的f換成n,

它們的這個word vector的變化呢,

方向是一樣的。

就好像我們之前看到的,

這個vector一樣。

就好像我們之前看到的文字的word vector一樣。

不過這邊的這個vector,

還沒有辦法考慮,

考慮semantic語意的information。

那我們下一步要做的事情呢,

就是把語意加進去。

但這個部分呢,現在還沒有完成。

那接下來我有一個demo,

這個demo呢,

是用sequence to sequence autoencoder呢,

來訓練一個chattbot。

所謂chattbot就是聊天機器人。

到現在呢,很流行的做聊天機器人。

那怎麼用這種sequence to sequence呢?

那怎麼用這種sequence to sequence呢?

怎麼用這種sequence to sequence autoencoder呢?

怎麼用這種sequence to sequence learning

來train一個chattbot呢?

你就收集很多的對話,

比如說電影的台詞。

假設電影的台詞裡面,

有某一個人說How are you?

然後另外一個人直接按fine。

那就告訴我們就是說,

這個sequence to sequence learning它的input,

當它的input是How are you?的時候,

這一個model的output呢,

就要是按fine。

那你可以收集到這種data,

然後呢,就讓Machine去train。

然後我們就

收集了四萬句的電視影集,

和美國總統大選的辯論的句子,

然後讓Machine呢,

去學這一個sequence to sequence的model。

去學這一個sequence to sequence的model。

去學這一個sequence to sequence的model。

這個是跟中央大學蔡同漢老師的團隊一起開發的。

是跟中央大學蔡同漢老師的團隊一起開發的。

是跟中央大學蔡同漢老師的團隊一起開發的。

作為同學呢,

台大這邊就有李志偉和盧波魯。

我們來。

好,那其實現在除了RNN以外呢,

好,那其實現在除了RNN以外呢,

還有另外一種有用到memory的network,

還有另外一種有用到memory的network,

叫做tension-based model。

它可以想成是RNN的一個進階的版本。

它可以想成是RNN的一個進階的版本。

那我們知道說呢,

人的大腦有非常強的記憶力。

人的大腦呢,

有非常強的記憶力。

所以你可以記得非常非常多的東西,

所以你可以記得非常非常多的東西,

比如說你現在可能同時記得早餐吃了什麼,

比如說你現在可能同時記得早餐吃了什麼,

可能同時記得十年前中二的夏天發生了什麼事,

可能同時記得十年前中二的夏天發生了什麼事,

可能同時記得在這幾門課裡面學到的東西。

可能同時記得在這幾門課裡面學到的東西。

那當然有人問你說什麼是deep learning的時候,

那當然有人問你說什麼是deep learning的時候,

那你的腦中呢,

會去提取重要的information,

然後再把這些information組織起來產生答案。

然後再把這些information組織起來產生答案。

然後再把這些information組織起來產生答案。

但是呢,

你的腦會自動忽略掉那些無關的事情,

你的腦會自動忽略掉那些無關的事情,

比如說十年前中二的夏天發生的事情,

比如說十年前中二的夏天發生的事情,

那其實呢,

machine也可以做到類似的事情。

machine也可以有很大的記憶的容量,

machine也可以有很大的記憶的容量,

它也可以有一個很大的database,

它也可以有一個很大的database,

在這個database裡面的每一個vector,

就代表了某種information被存在machine的記憶裡面。

就代表了某種information被存在machine的記憶裡面。

當你輸入一個input的時候,

這個input會被丟進一個中央處理器,

這個中央處理器可能是一個DNN,

或者是一個RNN。

那這個中央處理器呢,

會操控一個讀寫頭,

會操控一個讀寫頭,

會操控一個讀寫頭,

這個reading head controller呢,

會去決定呢,

這個reading head放的位置。

然後machine再從這個reading head放的位置裡面,

去讀取information出來。

去讀取information出來。

然後呢,產生最後的open。

然後呢,產生最後的open。

那我們就不打算細講這樣的model,

如果你有興趣的話,

可以參考我之前上課的錄影。

那這個model呢,

還有一個2.0的版本。

還有一個2.0的版本。

這個2.0的版本呢,

這個2.0的版本呢,

它呢,會去操控一個writing head的controller。

它呢,會去操控一個writing head的controller。

這個writing head的controller呢,

會去決定呢,writing head放的位置。

然後呢,machine會去把它的information,

透過這個writing head呢,

寫進它的database裡面。

寫進它的database裡面。

所以它不只是有讀的功能,

還可以把資訊呢,

它discover出來的東西,

寫到它的memory裡面去。

寫到它的memory裡面去。

這個東西呢,就是大名鼎鼎的

neural turing machine。

這些其實都是很新的東西,

有些neural turing machine應該是在,

我想想看,

14年的年底的時候,

14年的年底的時候,

提出來的。

我忘了,

我忘了,

不知道是15年初,

還是14年年底的時候提出來的。

還是14年年底的時候提出來的。

所以都是很新的東西。

現在這樣的attention-based model,

常常被用在reading comprehension裡面。

常常被用在reading comprehension裡面。

所謂的reading comprehension呢,

就是讓machine去讀一堆document,

然後把這些document裡面的內容,

每一句話呢,

變成一個vector,

而這句話裡面,

每一個vector呢,

代表了某一句話的語意,

代表某一句話的semantics。

而接下來呢,

你問machine一個問題,

比如說,日上有多高啊,什麼之類的。

然後呢,這個問題,

被丟進一個中央處理器裡面,

那這個中央處理器呢,

去控制了一個reading head controller,

去決定說,

現在在這個database裡面,

哪些句子是跟

中央處理器呢,

有關的。

假設呢,machine發現說這個句子,

是跟現在的問題呢,是有關的,

它就把reading head放在這個地方,

把information讀到中央處理器裡面。

這個讀取information的過程,

它可以是incorrect,

它可以是重複數次讀。

也就是說,machine

並不會只從一個地方讀取information,

它先從這裡讀取information以後,

它還可以換一個位置,

從另外一個地方,

再去讀取information。

那它把所有它讀到的information,

collect起來,它可以給你一個

最終的答案。

以下呢,是Facebook AI Research

在一個,

在這個Baby這個Corpus上面的一個

實驗結果。

它是一個實驗結果。

那Baby這個Corpus呢,是一個QA

question engine的test,它其實是

比較簡單的一個test,

那有很多用template產生的

document,和一些簡單的問題,

那我們需要回答這個問題。

我們需要做的事情就是,讀過這五個句子,

來問它說,what color is gray?

那它要得到正確的答案,yes。

那你可以從

machine attention的位置,

也就是它reading head的位置,

看出machine的思路。

這邊的藍色,代表了

machine的reading head放著的位置。

那這個,

1 hop 2 hop 2,代表

1 hop 2 hop 3,代表的是時間。

也就是說,在第一個時間點,

machine呢,先把它的reading head

放在gray is a frog,

所以它把這個information提取出來,

它提取gray is a frog的information,

而接下來呢,它再提取

brown is a frog的information,

那接下來它再提取

brown is yellow的information,

最後呢,它就得到結論說,

答案呢,gray的顏色,

是yellow的。

那這些事情呢,是machine自動

認出來的,也就是machine要attent在

哪一個位置,這些

是透過

neural network自己去

學到,知道怎麼做的。也就是說,

並不是去寫程式,告訴machine說

你要先看這個句子,再看

這個句子,再看這個句子,不是,是machine

自動去決定,你要看哪一個句子。

那也可以

做visual question answering,

visual question answering就是

讓machine看一張圖,

問它一個問題,問它這是什麼。

如果它可以正確回答是香蕉的話呢,

它就超越部分的人類了。

那這個visual

question answering怎麼做呢?

這個visual question answering就讓machine

看一張圖,然後呢,透過

CNN呢,你可以把這個圖的

每一小塊region

用一個vector

來表示。

那接下來呢,輸入一個

query,然後

這個query呢,被丟到

中央處理器裡面,那這個

中央處理器呢,去

操控了reading head

的controller,那這個reading head的controller呢

決定了

它要

讀取資訊的位置,

看看這個圖片的什麼位置呢,

是跟現在輸入的問題呢

是有關的,那把information讀到

中央處理器裡面,那這個

讀取的process呢,

可能有好幾個步驟,我們會分好幾次呢

把information讀到中央處理器裡面

最後得到答案。

好,那

也可以做語音的

這個question answer,比如說

在語音處理實驗室

我們讓machine做

托福的聽力測驗。

托福聽力測驗就是

讓machine聽一段聲音,然後呢

問它問題,

然後從

四個正確的選項裡面呢,machine

要回,選出正確的選項。

那machine做的事情,跟

人類考生做的事情,

是一模一樣。我們用來

訓練和測試machine的資料,

就是托福聽力測驗的資料。

那用的model architecture呢,

跟我們剛才看到的呢,

其實就是大同小異。

你讓machine呢,先

讀一下question,

讓machine先讀一下question,然後把這個

question呢,做語音的分析,

得到這個question的語意。

那聲音的部分呢,

用語音辨識把它轉成文字,

那再把這些文字呢,

做語意的分析,

得到這段文字的語意。

那麼machine了解了question的

問題的語意和

這個audio的story的語意以後,

它就可以做attention,

決定在這個audio story裡面,

哪些部分是和回答問題有關的。

那這個就好像是

畫重點一樣。那machine根據它畫的

重點呢,產生答案。

那它甚至也可以回頭

過去修正

它產生出來的答案。

那經過幾個process以後呢,

最後machine得到它的答案,

它把它的答案的其他選項呢,

計算相似度,然後看

哪一個選項的相似度最高,

它就得到

它就選哪一個選項。

那這整個task

其實就是一個大的

neural network。

除了語音辨識以外,

這個question semantic的

部分,還有

audio story semantic的部分

都是neural network,所以它們就是

jointly trained。

你就只要給machine呢,託普聽一聲的考古題,

然後machine就自己會去學了。

那這個

底下呢,是一些

實驗結果啦。

底下是一些實驗結果。

這個實驗結果是這樣的。

random猜啊,正確率是

25%。

那你會發現說,有兩個方法

是遠比25%強的。

這個是很重要的一方面。

這邊這五個方法呢,都是

拿一和方法,也就是完全

不管

那個文章的內容,

就直接看問題跟選項,

就猜答案。

然後我們發現說,如果你選

最短的那個選項,你就可以得到

35%的正確率了。

所以這個是

計中計啦,你可能會覺得應該要選最長的,

但其實是要選最短的。

還有另外一個是這樣子。

如果你分析四個選項的

semantic,你做那個sequence to sequence

autoencoder,去把

每一個選項的semantic

找出來,然後你再去看說

某一個選項跟

另外三個選項,與以上的相似度。

你會發現說,

如果某一個選項

和另外三個選項的相似度

比較高的話,

然後你就把它選出來,那你有35%的正確率啊。

這跟你的直覺是相反的。

我們直覺通常會覺得說

我們應該選一個選項,它的語意

和另外三個選項是不像的。

但是人家早就計算到

你會這麼做了,所以這是個計中計。

如果你要選

你要選某一個

選項的它的語意跟另外三個選項

最像的話,你反而可以得到

超過random的答案。如果你今天

是選最不像的,

語意最不像的那個選項,

你得到的答案就會接近random,

它都是設計好的。

那這個呢,都是一些

trivial的方法。

那你可以用一些machine learning的方法,比如說用

memory level,

memory level可以得到39%的正確率,

是比隨機弄一下的

還要好一些。

如果用我們剛才講的

model的話呢,我們現在

在有語音辨識錯的

情況下,最好可以做到

將近50%的正確率啦。

其實50%的正確率是沒有很高,

我覺得這樣應該是

去不了什麼美國學校了啦。

但是就是

兩題可以答對一題,所以如果你沒辦法

兩題答對一題的話,你其實就沒有

machine learning了。

好,那以下是一些

reference給大家參考。

那最後,

我這邊其實

有一個問題。

我們講了thick learning,

也講了structured learning,

它們中間有什麼樣的

關係呢?你想想看,

我們上周

講了HAM,

講了CRM,

講了structured perceptron和structured SVM,

它們可以做的事情是

比如說做POS tagging,

inputting a sequence, outputting another sequence,

RNN,

LSTM,也可以做到

一樣的事情。

當我們使用

deep learning的技術,

跟使用structured learning的技術,

有什麼不同呢?

咳咳咳

有什麼不同?

有什麼不同?

首先,

假如我們

現在用的是

unidirectional的RNN或LSTM,

當你在

make decision的時候,

你只看了sentence的一半,

而如果你是

用structured learning的話,

透過Viterbi的algorithm,

你考慮的是

整個句子。

如果你是用Viterbi的algorithm的話,

Machine會讀過整個句子以後,

才下決定。

所以從這個角度來看,也許

HAM,CRM,

structured SVM等等,還是有

佔到一些優勢。

但是這個優勢並沒有很明顯,

因為RNN,

LSTM等等,

他們可以做bi-directional,

所以他們也有辦法考慮

一整個句子的information。

咳咳

那

在這個

HAM,CRM

裡面,你可以

很explicit地

去考慮你的

label和label之間的

關係。

什麼意思呢?

舉例來說,你今天在做inference的時候,

你在用Viterbi

algorithm求解的時候,

假設你可以

直接把你要的content

下到那個Viterbi的algorithm

裡面去,你了解我的意思嗎?

你可以直接說,我希望

每一個label出現的時候,都要連續進行五次。

這件事情,

你可以輕易地用Viterbi algorithm

做到,因為你可以修改Viterbi algorithm,

讓Machine Learning在選擇

分數最高的句子的時候,

排除掉不符合你要的content

的那些結果。

但是,如果是RNN

或LSTM的話,

你要直接下一個content進去,

是比較難的。

你沒有辦法要求RNN說,

你一定要連續突出

某一個label五次才是正確的。

你很難讓RNN,

給他看這種training data,

但是你叫他去學,

這樣是比較麻煩的。

Viterbi可以直接告訴

你的Machine,要他做什麼事。

所以在這點上,

Structure Learning似乎

是有一些優勢的。

如果是RNN

或LSTM,你的cost function

跟你實際上

最後要考慮的error,

往往是沒有關係的。

你想想看,當你在做RNN

或LSTM的時候,你在考慮的

cost是比如說

每一個時間點的

cross entropy,每一個時間點

你的RNN的output跟reference

的cross entropy,

他跟你的error往往不見得是

直接相關。

因為你的error可能是,比如說

兩個sequence

之間的meta distance,

但是如果你

是用Structure Learning的話,

Structure Learning的cost會是

error的一個upper bound。

所以從這個角度來看,Structure Learning

也是有一些優勢的。

但是最後最困難,

但是最後最重要的,

RNN跟LSTM

可以是定核。

而HLMCRF,Structure Perceptron,

他們其實也可以是定核,

但是他們拿來做定核的

learning其實比較困難。

在我們上一堂課講的

內容裡面,他們都是

linear。

為什麼他們是linear?

因為我們定的evaluation function

是linear。

如果他不是linear的話,你會很麻煩。

你在training的時候會有很多麻煩。

所以他要是linear的,我們才能夠套用

我們在上一堂課教的那些方法

來做influence跟training。

在這個比較上,

deep learning會佔到很大的優勢。

最後整體說起來,

其實如果你要

得到一些state of the art的結果,

這種secret laboring的test

要得到state of the art的結果,

RLLSTM是不可或缺的。

所以整體說來,

RLLSTM這種secret laboring

的test上面的表現

其實會是比較好。

定核這件事情是比較強的,

他非常的重要。

如果你今天用的只是

linear的model,

如果你的model是linear,你的function space就這麼大,

就算你可以

直接minimize

一個arrow的upper bound,那又怎樣?

因為你所有的function都是壞的,

所以相比之下,

deep learning可以

佔到很大的優勢。

但是其實deep learning

跟structured learning,

他們是可以被結合起來,

而且有非常非常多的先例,

有很多成功的

結合的先例。

你可以說,

底部就是

input的feature,

先通過

RNN跟

LSTM,

然後先通過RNN LSTM,

RNN LSTM的output,再作為

HNSCRF structured SVM

等等的input,

你用RNN LSTM的output

來定義

HNSCRF structured SVM的

evaluation function。

如此,

你就可以同時又享有

deep的好處,同時又享有

structured learning的

好處。

那這個呢,在過去已經有很多先例,

比如說呢,在

最後,你現在這邊有

deep,這邊有structured,

這兩個是可以jointly

一起learn的,你可以想想看,

SCRF可以用gradient descent train,

那其實structured SVM,我們好像

沒有講,但是它也可以用gradient descent train。

所以你可以

把deep learning的部分和

structured learning的部分jointly合起來,

一起用gradient descent

來做成立。

那在語音上呢,

我們常常會把

deep learning和structured learning合起來,

你可以常常見到的組合是

deep learning的model

CNN LSTM DNN

加上HNSCRF的組合。

所以我們常常說

我們把過去我們所做的東西

通通丟掉了,其實不是,

HNN呢,往往都還在,

往往都還在。

如果呢,你要得到最state of the art

的結果,現在

還是用這樣子hybrid system

得到的結果,往往是最好的。

而這種hybrid system

怎麼work呢?我們說在

HNN裡面,我們

必須要去計算

X跟Y的

joint probability,或是在structured learning

裡面,我們要計算

X跟Y的evaluation function,

在語音辨識裡面,X是

聲音訊號,Y是語音

辨識的結果。

在HNN裡面,我們有

transition的部分,

我們有

emission的部分。

DNN做的事情

其實就是

去取代了emission的部分。

原來在HNN裡面,

這個emission就是

簡單的統計,就是統計一個

emission model,但是把它換成

DNN以後,你會得到

很好的performance。

怎麼換呢?

一般RNN

它可以給我們的offer是invalid

occlusive feature,它告訴你說這個

occlusive feature屬於每一個state

的幾率。你可能想說,

這跟我們要的東西不一樣啊,我們要的是

P of X

given Y,這邊給我們的是

P of Y given X,

怎麼辦呢?做一下轉換。

RNN可以給我們P of X

given Y,然後你可以把它

分解成P of XY

除以P of Y,再把它分解成

P of Y given X

乘以P of X,除以P of Y。

那前面這個P of Y

given X,它可以從RNN來,

那P of Y

可以從,你就直接

看,你就可以直接從你的converse

裡面,統計P of Y