好,到目前為止呢

我們講了很多跟語音有關的任務

那接下來呢

我們要進入跟文字有關的任務

這一門課裡面呢

我們要講的模型就是六個

那我們已經講過這四個模型

那剩下右邊右下角這兩個還沒有講過

那這兩個模型

一個是輸入一段文字

輸出一段文字

另外一個是輸入一段文字

輸出這段文字

屬於什麼樣的類別

那右邊這兩個紅框框裡面的模型

好,這就是大家一般所熟知的

NLP相關的任務

不過我開學的時候就有跟大家講過說

這個NLP這個詞彙

其實它的用法有點模糊

因為按照字面上的解釋

Natural Language指的就是

我們人與人之間溝通所用的語言

而Natural Language它可以是文字的

也可以是語音的

所以語音相關的技術

其實也應該算是

Natural Language Processing的一環

但不知道為什麼

一般我們在講Natural Language Processing的時候

指的都是文字處理相關的技術

那很多人在講Natural Language Processing的時候

除了文字處理相關的技術以外

還可以加上語音辨識

不過這就有點奇怪

到底Natural Language Processing的定義是什麼

如果說Natural Language Processing的定義是

如果你的模型輸入是文字

就叫NLP的話

那你為什麼要把語音加進來

為什麼你不把TTS加進來

TTS也是輸入文字啊

那如果你說Natural Language Processing

就是完全沒有語音

就叫Natural Language Processing的話

那為什麼要把語音辨識加進來

所以這個Natural Language Processing

這個詞彙的用法

在每個人的心理其實都不太一樣

所以有一個人跟你說

他在研究Natural Language Processing的時候

你最好就是直接問清楚說

他做的是什麼樣的研究

那每個人心理想像的Natural Language Processing

其實都不太一樣

那有人可能會說Natural Language Processing

就是要understanding

要有理解才叫做Natural Language Processing

但是像我們才剛講完TTS

TTS裡面也會用到BERT的model啊

也會用到文法的結構啊

那機器也是要理解一個句子

才能夠知道要怎麼把它念出來啊

所以TTS裡面也有用到understanding啊

但是我很少聽到有人把TTS

算作是Natural Language Processing的一環

所以總之這個詞彙

每個人心理的用法都不太一樣啦

那你聽到有人在講NLP這個詞彙的時候

你自己多加留意他們指的是什麼東西

好總之我們現在要講的

就是輸入一段文字輸出一段文字

輸入一段文字輸出一個類別

這樣子的模型

好那因為Natural Language Processing的

這個應用非常非常的廣泛

所以你在文件上會看到

讓人目不暇給的應用

滿坑滿谷的應用

非常複雜的而變化多端的模型

那雖然模型是如此的變化多端

但是總歸起來來說

其實不拖以下幾個變化

首先如果你今天考慮的啊

是輸入一段文字輸出的是類別的話

那這種模型大概有兩種

一種是輸入一段文字只輸出一個類別

這個類別代表這整段文字所屬的類別

另外一種狀況是輸入一段文字

這一段文字裡面的每一個Token

那至於Token的單位是什麼

我們在一開學在講語音辨識的時候

就講說Token的單位

可以有很多不同的單位

它可以指的是字母

也可以指的是Subword的Unit

也可以指的是詞彙

那每個人的用法都不一樣

總之今天給你一段文字

裡面的每一個Token

我們都需要給它一個類別

我們想要知道這段文字裡面

每一個Token屬於什麼樣的類別

而當你今天在處理這種輸入一段文字

輸出一個類別模型的時候

不外乎就是這兩種問題

而這兩種問題今天

我們之後很快就會講到BERT

如果你熟悉BERT的話

其實就是用BERT來解啦

或者是用BERT的一些進階的版本

就可以解這樣子的模型

那在過去還沒有BERT的時候

怎麼做呢

那也可以想見說

上面就是一個LSTM

然後最後一個Time Step的資訊讀出來

那就通過幾個Transform就變成Class

那下面就是一個LSTM

這個LSTM每個Time Step

都會輸出一些東西

通過Transform就變成Class

所以雖然這種INPUT文字

OUTPUT Class的這種模型

有各式各樣的應用

但是都不拖這兩種類型

而這兩種類型

今天你就是用BERT

或者是它的各種進階的版本

來直接給它解下去就好了

那另外一種狀況呢

是輸入一段文字

輸出一段文字

那如果輸入一段文字

輸出一段文字很直覺的

你就會想說我要採用

Sequence to Sequence的Model

那Sequence to Sequence Model

這個大家都已經很熟悉了

我們就不用再講了

它就是有一個Encoder

有一個Decoder

那有時候你還會需要做Attention

那在這種輸入一段文字

輸出一段文字的任務裡面

很多時候呢

我們會希望這個Attention

有Copy的Mechanism

它有Copy的能力

Decoder的輸出

不需要完全是

它自己產生出來的結果

Decoder可以有一些狀況

是直接從Encoder的輸入

直接Copy一些詞彙

作為它的輸出

那至於這個實際上要怎麼做

我們之後再講

那我只是要講說

假設你今天遇到的是

輸入文字輸出文字的問題

那就是Sequence to Sequence Model

那接下來你要考慮的是

需不需要加上Copy的Mechanism

剛才講的是有關輸出的部分

那如果是輸入的部分呢

如果輸入的部分是一個Sequence

那沒有問題

你就用一個Encoder

把這個Sequence讀過去

就結束了

那如果輸入的部分

是多個Sequence的話怎麼辦呢

如果輸入的是不只一個Sentence

而是多個Sentence的話怎麼辦呢

那有大概兩種可能的解法

一個解法是

我們把這兩個Sequence

分別用一個Model去做Encode

然後把Encode的結果

再丟給另外一個負責做整合的Network

再得到最終的輸出

看你最終要輸出Class

還是最終要輸出文字都可以

那有時候呢

我們也會在這兩個Model之間

加上Attention

也許你覺得說

在Encode左邊這個句子的時候

應該要知道右邊那個句子是什麼

才能夠Encode得好

在Encode右邊這個句子的時候

應該要知道左邊這個句子的內容是什麼

才能夠Encode得好

那我們就需要在這兩個句子中間

加上Attention

那另外一個想法

近年來比較流行的做法

是直接把兩個句子接起來

然後中間加一個特別的Token

這個特別的Token

告訴我們說這是兩個不同的句子

然後把兩個句子接起來

中間加上特別的Token

變成一個比較長的句子

變成一個比較長的Sequence

直接丟到一個Encoder裡面

就結束了

那接下來再看說

你要拿這個Encoder的結果

來做什麼樣的事情

所以其實

雖然NLP的任務千變萬化

但是其實依據模型的輸入輸出

可以分成幾個大類

依據模型的輸入

你可以分成只有一個Sequence當作輸入

還有多個Sequence作為輸入

依據模型的輸出

NLP的任務有的是要輸出一個Class

有的是每一個輸入的Token

都要給它一個Class

有的是直接Copy輸入的資訊作為輸出

有的是輸出一個General的Sequence

當然還有一些例外

那以下呢

我們就是要把這些NLP的任務

都很快的跟大家講過一遍

告訴你說這些任務是什麼

根據輸入和輸出的不同

你可以大致分為八類

那以下我們就是把各種NLP的任務

很快的跟大家講過一遍

讓你知道說

這些NLP的任務分別是屬於哪一個類別

第一個基礎的NLP的應用

叫做Parallel Speech

PoS的Tagging

那PoS的Tagging做的事情就是說

給Machine一個句子

句子裡面有很多詞彙

機器要自動幫我們標記出

每一個詞彙的詞性是什麼

它自動幫我們標記出

每一個詞彙是動詞啊

還是形容詞啊

還是名詞啊等等

這件事情為什麼重要呢

舉例來說

你今天給機器看一個句子

John saw the soul

John看了一個看

這邊出現了兩個看

不知道是什麼意思

但是假如說

我們可以把這樣子的句子

丟到一個PoS Tagging的模型裡面

PoS Tagging的模型告訴我們說

第一個soul其實是動詞

第二個soul其實就名詞

那我們知道說

soul當作名詞的時候呢

它不是看

它指的是句子

它指的是句子

這個句子不是sentence那個句子

是可以拿來鋸東西的句子

還可以鋸木頭的句子

所以今天soul當動詞用

跟soul當名詞用的時候

雖然是同一個詞彙

但是它們的含義是非常不同的

所以如果我們可以把這個句子

丟到一個PoS Tagging的模型

先告訴我們PoS Tagging的資訊

再把這個PoS Tagging的資訊

跟這些文字把它綁在一起

再丟到其他的downstream的task

其他NLP的任務更複雜

任務比如說摘要啊

比如說翻譯等等

你就可以做得更好

如果你直接把文字

輸入downstream的task

那可能不見得好

因為也許你的模型

沒有足夠的能力分辨說

這兩個soul是不一樣的意思

但是如果你先做一下PoS Tagging

那你就可以讓downstream的模型

更清楚知道說

這兩個soul是不一樣的

希望在其他接下來的任務

可以做得更好

當然不過近年來啊

這個downstream task用的模型

也越來越強

它可能是BERT

BERT裡面可能本身

就已經有PoS Tagging的能力

那是不是真的需要

把一個句子先做PoS Tagging

再丟到接下來的任務裡面去

變成一個可以討論的問題

不一定是需要的

假設你downstream的模型夠強

它自動就可以做PoS Tag

它的模型裡面

自動就有PoS Tagging的能力

那你不見得需要

先做一個PoS Tagging

來作為前處理

那像PoS Tagging這種問題啊

就是input一個sequence

然後接下來這個sequence

裡面的每一個token

你都要output一個class

那這是我們剛才

在講模型的時候講過的

其中一個類別

好 這是PoS Tag

好 第二個呢

是word segmentation

這個也是前處理呢

常常需要使用到的一個技術

尤其是中文

我們往往會需要

做word segmentation這件事

那word segmentation

是什麼意思呢

如果是英文的話

你完全就不需要word segmentation

因為英文的詞彙和詞彙之間

有空白作為分隔

但是中文不是

中文的詞彙和詞彙之間

沒有空白作為分隔

舉例來說

台灣大學簡稱台大

那台灣大學是一個詞彙

簡稱是一個詞彙

台大是一個詞彙

但是如果直接給你這個句子

詞彙和詞彙之間的邊界

並沒有明顯的在句子裡面

被直接的寫出來

而且這個word segmentation

有時候是會有這個ambiguity的

就到底什麼樣的句子

什麼樣的這個字呢

拼起來是一個詞彙

它是有爭議的

比如台灣大學

到底應該算是

台灣跟大學兩個詞彙

還是台灣大學一個詞彙

不知道

你可以有各種不同的處理方法

那因為word segmentation

對中文而言

找出word和word之間的邊界

它也不是一個非常簡單的問題

所以你其實也可以用model來做

就是訓練一個模型

這個模型呢

可能就是把這個句子裡面的

把這個句子裡面的字呢

一個一個字讀進去

然後接下來呢

它就做一個binary的classification

每一個字呢

它都要決定yes或no

這個yes no代表什麼意思呢

yes就代表說

這邊是一個詞彙的boundary

這邊是一個詞彙的邊界

n就代表說

這邊不是一個詞彙的邊界

那在這個例子裡面

學這邊output的yes

稱這邊output的yes

打這邊output的yes

就讓我們知道說

這個數的句子裡面

有三個詞彙

它們邊界分別在學跟稱跟打

好 那你就先用這樣子的技術呢

做preprocessing

你就知道詞彙的邊界在哪裡

你就把屬於同一個詞彙的這些字呢

把它組合起來

接下來

在接下來的任務裡面

在downstream的task裡面

你可能就會以詞彙

來當作你的處理的單位

而不是用字來當作處理的單位

但是今天這件事情

是不是真的有必要

what segmentation在中文

是不是真的有必要

也是一個可以討論的問題

因為之後我們講到BERT的時候

大家就會知道說

其實像BERT這種模型

它已經不是

它在處理中文的時候

它已經不是以詞彙作為單位

BERT這種模型在處理中文的時候

它其實就是以字作為單位

所以它很有可能在這個模型裡面

已經自動學到了段詞這件事情

那到底需不需要先做段詞

再把段詞的結果

丟到downstream的模型

就變成一個值得討論的問題

也許對BERT而言

先做段詞就變成不是絕對必要

因為BERT的模型裡面

可能也有學到段詞這件事情

那這是what segmentation

那它就是輸入一個sequence

輸出就是這個sequence裡面的

每一個token都要給它一個class

這也是我們在這門課的開頭

跟大家講過的模型的其中一個

那這個段詞非常非常重要

尤其是對中文而言

這邊就舉一個例子

這個例子是來自於笑傲江湖

就有一次陶骨六仙

就進到一個廟裡面

就是看那個牌位

寫的是陽公在心之神

那其中一個人就說

這邊顯然供奉的是陽在心

那陶幹仙就會說

怎麼會是陽在心呢

這邊明明是陽公在

不是陽在心

陽公在

陽公在真的是一個好名字

好名字

而另外一個人就問說

那心之神是什麼意思呢

陶幹仙就說

信就是高興的意思

信之神就是精神很高興的意思

陽公在這個信仰的小子

死後有人供奉他

他的精神當然很高興囉

然後其他人就說

嗯 很是很是

就是告訴我們

在中文裡面

知道這個詞彙的boundary在哪裡

對語意的理解

是非常重要的一件事情

好那還有一個

常常被拿來當作前處理

其他任務的

前處理的NLP的任務

叫做Parsing

那Parsing又分成兩種

一個是Constituency的Parsing

跟Dependency的Parsing

那不管是哪一種Parsing

都是給一個句子

產生一個樹狀的結構

給一個句子

產生一個樹狀的結構

那這個Parsing這個任務

產生樹狀這個結構的任務

好像不在我們剛才講過的

種種模型的類別裡面

那因為Parsing

他做的事情有點不一樣

不是我們剛才講的

種種類別中的其中一個

所以我們會把

怎麼產生樹這件事情

另外拿出來講

因為我們這門課就是

以這個技術為導向

那Parsing他不在

我們剛才講的

種種的模型裡面

所以我們會把Parsing

另外拿出來講

那Parsing的用途通常就是

Parsing的這個結果

也會被拿來

在接下來的任務裡面被使用

他會被當作一種

額外的feature

他會被當作一種

額外的輸入

在接下來的任務裡面

被使用到

那Burt有沒有學到Parsing呢

會不會今天其實也

不見得需要做Parsing呢

這也是另外一個

值得討論的問題

其實在我們的作業裡面

就會有一個

是從Burt裡面讀取

Parsing資訊的任務

你可以自己體會一下

看你覺得說Burt

到底有沒有

learn到Parsing這件事

那還有一個

常常被當作前處理的任務呢

叫做Coreference Resolution

那Coreference Resolution呢

他的中文叫做

指代消解啦

那不管是中文跟英文

可能都不是

如果你沒有做NLP任務的話

可能都不是

你常常會聽到的詞彙

那這個Coreference Resolution

是什麼意思呢

他做的事情呢

就是他要找出一篇文章裡面

哪些詞彙

指的是同樣的entity

指的是同樣的東西

尤其是我們會特別在意的是

某一個代名詞he she it

他指的是什麼樣的東西

那這邊呢

就舉一個具體的例子

給機器呢

讀一篇文章

這篇文章裡面講的是說

有一個叫Paul Allen的人

他1953年生

然後他後來呢

去念這個Layside School

然後呢

他在那邊認識了Bill Gates

然後他們兩個呢

一起做了一些一些事情

那如果你把這篇文章

拿去做紙袋消解的話

那紙袋消解Coreference Resolution

要做到的事情是什麼呢

他就要知道說

這裡面哪些詞彙指的

其實是同樣的東西

指的是同一個人

指的是同一個entity

舉例來說

這邊的Paul Allen

跟這邊的he

跟這邊的he

跟這邊的Paul

他們指的就是同一個人

或者說

這邊的Layside School

跟Layer High School

Layside指的

其實是同一間學校

或者是這邊的Bill Gates

跟這邊的Bill

其實是同一個人

那Coreference Resolution

甚至要做到說

他知道說

Paul and Bill

這個群體

這兩個合起來

就是這邊的Layer

跟這邊的Layer

這個是紙袋消解

那我們往往也會把

紙袋消解的結果

當作額外的feature

把紙袋消解的結果

先做出紙袋

把一篇文章先做紙袋消解

先做Coreference Resolution以後

再當作其他NLP任務的輸入

所以紙袋消解

也是一個常用的

前處理的方法

這個東西要怎麼做呢

它好像也不屬於

我們剛才講的

種種模型之一

所以我們也把

Coreference Resolution拉出來

另外講

講說如果用Deep Learning的技術

Coreference Resolution

是怎麼處理的

接下來是摘要

摘要又分成兩種

在過去

比較常做的是

Extractive Summarization

Extractive Summarization

意思是說

給機器開一篇文章

這個文章裡面

有很多很多的句子

機器要做的事情

是從這些文章裡面

挑選出一些

它覺得重要的句子

把這些句子拼起來

就變成摘要

你可能會覺得說

用這種方法

可以產生出好的摘要嗎

當然不行嘛

用這種方法

你其實很難產生好的摘要

不過我們過去覺得說

機器的能力

可能也就到這邊

所以只要求機器

做Extractive Summary

不叫機器做更複雜的任務

其實你想國小的時候

在寫那個課文的摘要的時候

其實你也很多時候

都是直接從文章裡面

就抄一些句子出來

就當作課文的摘要

雖然老師都說

我們不要這麼做

不過很多時候

我們都是直接把課文裡面

抄一些句子出來

就當作這個課文的摘要

所以機器跟人的能力

其實也是差不多的

很多時候

你其實也很難真的把摘要做好

所以過去我們覺得說

也許做到Extractive Summarization

就夠了

那Extractive Summarization

大概是怎麼做呢

最簡單的看來

它其實就是一個

Binary Classification的問題

你就把一個一個一個的句子

丟到一個Binary的Classifier

這Binary Classifier它要做的事情

就是決定說

這個句子

它是要放到摘要裡面的

還是不要放到摘要裡面的

那訓練一個Binary的Classification

Extractive Summarization的事情

這個任務呢

就做完了

不過這個最後的任務

不會給你得到最好的結果

你也可以想見說

一篇文章裡面

可能有兩個句子都很重要

但他們內容很像

你選了其中一個句子

你就不該選另外一個句子

所以如果把所有的句子

分開來考慮

是不夠的

每一個句子

分開來各自去

做Binary的Classification

決定說

它是摘要還是不是摘要

是不夠的

所以如果有了

Deep Learning的技術

也許你會想要

做的一個Solution是

把這整篇文章讀進去

然後接下來呢

先讓你用一個

Bidirectional的STM

或今天你可能會選擇Transformer

把整篇文章讀進去

然後接下來呢

讓機器去決定說

這邊的每一個句子

它應該被放到摘要裡面

還是沒有被放到摘要裡面

機器應該是

讀了整篇文章以後

才決定說

一個句子要不要

被放到摘要裡面

那現在這種

Extracted Summarization的任務

可以看成是

Input一個Sequence

接下來Sequence裡面的

每一個單位

每一個Token

都要給它一個Class

不過我們這邊的Token

指的不是一個詞彙

而是指的是一個句子

你可能會把這邊的

每一個句子

都用Sentence Embedding

來表示它

然後把Sentence

把一堆Sentence Embedding

讀進去以後

決定說每一個Sentence Embedding

它應該是

放在摘要裡面

還是不應該放在摘要裡面

好 但近年來

隨著Sequence to Sequence

Model的風行

人們已經開始知道

怎麼做Attractive Summarization

所以Attractive Summarization的意思就是說

不要從文章裡面

直接挑句子出來

組成摘要

機器要用自己的話

來寫摘要

怎麼樣讓機器

讀一篇文章

用自己的話來寫摘要呢

那這其實就是一個

Sequence to Sequence Learning的問題

你其實就是

讓機器讀一篇文章

Sequence to Sequence Model

讀一篇文章

機器把文章丟進去以後

再吐出一段簡短的摘要

它是輸入一個Long的Sequence

輸出一個Short的Sequence

所以這也是

輸入一個Sequence

輸出一個Sequence的問題

你直接Train一個

Sequence to Sequence Model

就有機會

來解這樣子的問題

那不過在摘要裡面

輸出的這個短的句子

往往跟輸入的長的句子

它們會有很多共用的詞彙

你可以想像說

你把這個長的文章裡面的

一些內容抽取出來

再把這些內容稍作修改

稍作精簡

可能就是不錯的摘要了

所以呢

今天如果你是用一個

Sequence to Sequence Model

來解Attractive Summarization的問題

那也許你需要

讓你的Sequence to Sequence Model

有Copy的能力

那很多人會採取

類似Pointer Network的架構

讓這個Model有能力

從原來的文章裡面

直接拷貝一些詞彙出來

直接把輸入的

這個輸入的文章裡面的

一些詞彙

直接拷貝出來

放到輸出的摘要裡面

那這個呢

是Attractive Summarization

它是Sequence to Sequence Model

也沒有超出我們前面講的

種種的模型

好 再來還有摘要

摘要就是

舉例來說

輸入一段英文

輸出一段中文

這就是摘要

那這顯然就是一個

Sequence to Sequence Model

這也沒有超出我們

在這份投影片一開始

所跟大家講的模型

那一般在講

這個Machine Translation的時候

大家想的往往是

輸入一段文字

輸出另外一段文字

但是今天我們甚至可以做到

輸入一段語音

然後直接輸出文字

你輸入一段

假設你要英文翻中文

你可能直接給機器聽

How are you的聲音訊號

機器直接輸出

就是你好嗎

那為什麼要這麼做呢

若是英文你可能

不一定有必要這麼做

但是很多語言

其實是連文字都沒有

若那些語言沒有文字

你根本不可能

做文字對文字的翻譯

你只能做語音對文字的翻譯

甚至假設你兩種翻譯的語言

你今天輸入跟輸出的語言

其實都沒有文字

那甚至有機會可以做

語音對語音的翻譯

輸入How are you的聲音訊號

機器直接吐出一段聲音訊號

說你好嗎

它也不吐出文字

因為也許我們今天輸出的語言

是沒有文字的

它也不吐出文字

它直接就吐一段聲音訊號出來

像這樣子輸入語音

輸出語音的模型

也是在文獻上是存在的

也是有人在進行嘗試的

好那對Machine Translation來說

一個很關鍵的問題

就是Unsupervised Learning

怎麼說呢

因為世界上的語言有非常多

我們在開學的時候就說

世界上有七千種語言

那今天如果要做翻譯的話

有多少語言和語言間的Pair呢

有七千的平方

但是假設我們今天

在做Machine Translation

我們一定要兩種語言成對的資料

都收集齊

我們才能做Machine Translation的話

我們要收集七千的平方的Corpus

七千個平方種

不同Language Pair的Training Data

我們才有辦法進行訓練

才有辦法把所有的語言

都可以互相做翻譯

那這顯然是不切實際的

所以在Machine Translation的領域

很早就有人開始思考說

我們有沒有機會做到

Unsupervised Machine Translation

有沒有辦法讓機器說

看了一大堆英文的句子

再看了一大堆中文的句子

但是沒有給它中文跟英文

之間的對應關係

機器就自動學會

把英文轉成中文

把中文轉成英文

這件事情今天是有機會的

那之後我們會講

這樣子的Unsupervised Learning

是怎麼做的

那Machine Translation

就是Input Sequence

Output一個Sequence

那不出我們之前所講的

各種模型的範疇

好了 還有Grammar Error Correction

Grammar Error Correction是什麼呢

讓機器幫你改錯字

舉例來說你寫了一個

很爛的英文的句子

I are good

這個顯然是有錯的

你把這個I are good

丟到一個Model裡面

它就直接輸出I am good

那像這樣子

這個Error Correction的Model

要怎麼訓練呢

在還沒有Deep Learning的時候

你可能會覺得

嗯 有點困難

怎麼做 不知道

但今天你就

Sequence to Sequence

Learn下去就結束了

其實這還是算滿主流的方法的

Sequence to Sequence

直接Input一個Sequence

Output一個Sequence

直接Input有錯的句子

Output沒有錯的句子

你就做到文法的檢查了

那當然今天Input的Sequence

跟Output的Sequence

它們有非常非常多詞彙是重複的

所以這邊你可能也會想要

用一些Copy的Mechanism

讓Model可以自動

把一些沒有錯的詞彙

就直接從輸入的地方

拷貝到輸出的地方

那其實這種

Grammar Error Correction的問題

還可以再更進一步簡化

有人進一步簡化說

這個問題可以看作是

Input一個Sequence

然後Sequence裡面的

每一個Token

都給它一個Class的問題

給它什麼樣的Class呢

舉例來說

你今天要把

Bold can have wrong race

這個句子

改成

Bold could have wrong the race

這個句子

你其實只需要做兩件事

一件事是

把can改成could

一件事是

在wrong後面插一個詞彙

叫做the

其他東西都不要動

其實你就可以把

這一個句子

改成這一個句子了

那所以其實用一個

Sequence to Sequence Model

來解Grammar Error Correction

其實也許是殺雞用了牛刀

所以有人就想說

這個問題能不能

更簡化一點呢

我們就是讓機器去預測說

這邊每一個詞彙

我們要怎麼做

就每一個詞彙

它有三個可能的operation

你可以保留這個詞彙

你可以把這個詞彙

置換成另外一個詞彙

你可以把這個詞彙

後面再加一個詞彙

R代表置換

那只要置換哪一個詞彙

你可以用另外一個classifier

跑出來

那A代表append

代表說你要插入一個詞彙

只要插入哪一個詞彙

你可以用一個classifier

跑出來

所以今天你其實也可以

把Grammar Error Correction

看做是

input一個token sequence

input一個sequence

output就是

每一個token

都要有一個類別

這樣子的問題

不過更general而言

它是一個sequence-to-sequence

learning的problem

好那還有很多很多NLP的任務

比如說sentiment classification

sentiment classification

就是讓機器看一段文字

然後它告訴你說這段文字

它覺得是正面的還是負面的

那像這樣的問題

顯然就是input一個sequence

output一個class的問題

那sentiment classification

通常拿來用來

比如說在網路上自動的

讓這個賣家

可以知道他的商品的評價

或者是電影公司

上映了一部電影以後

他想要知道說

在網路的評價上面

在網路上的評價怎麼樣

也許他可以用sentiment classification的技術

來讀一下網友的留言

然後就可以知道說

這個句子

這個電影的評價

是正面的還是負面的

舉例來說有人說

幹青之拳還蠻有趣的

是正面的

說幹青之拳 槽點很多

是負面的

但是有時候句子會蠻複雜的

它這個句子裡面

可以有正面的詞彙

也有負面的詞彙

但是這些正面和負面的詞彙

用不同的順序湊起來

它的意思就不太一樣

舉例來說

如果我說幹青之拳

雖然槽點很多

但是它蠻有趣的

我看這個裡面那個荊棘真

他都是用念能力在戰鬥啊

我看到戰鬥的時候

他的身體會發光啊

我用明看的時候

都看到氣覆蓋他身體上啊

他顯然是個職業獵人啊

他用念能力在戰鬥啊

所以我覺得還蠻有趣的

那這句話就是正面的

但是如果我們把

這個詞彙的順序對調

改成說雖然蠻有趣的

但是槽點很多

這荊棘真都是職業獵人啦

還比什麼空手道啊

怎麼不去天空鬥技場啊

柯南他到底還有沒有人要推理啊

那這個就是負面的句子

那這個是Sentiment Classification

輸脫我們剛才講過的模型

有一個任務呢

叫做立場偵測

立場偵測要做的事情是什麼呢

立場偵測通常是這樣

給機器看一則

Po文啊

Facebook或Twitter上的Po文

比如說一個Po文說

這個李洪一世的型男

然後呢這個Po文下面呢

就會有人回覆啦

有人回覆說

他只是個死臭酸宅

接下來機器要做的事情

是偵測說這個回覆

對這則Po文的立場是什麼

比如說在這個例子裡面

這個回覆他的立場就是

Deny就反對

那通常這個回覆的立場啊

可以分成四類啦

就是Support、Deny、Query跟Comment

那有人把這四種

這個Reply的類型啊

縮寫成SDQC

那像這種Stance Detection的問題

當然沒有非常的容易

你要非常深的這個

理解的能力才能夠真的解這種問題

但是從Model的角度來看

他就是輸入兩個Sequence

輸出是你是SDQC的四個類別裡面

四個Class裡面的哪一個

就這樣 就結束了

那像這樣Stance Detection的Model

常常被用在Variety的Prediction裡面

什麼是Variety的Prediction呢

Variety的Prediction應該可以

翻譯成事實偵測

那通常他要做的事情

就是讓機器看一篇文章

比如說看一則Twitter

然後決定說

這個Twitter的內容

是真的還是假的

比如說昨天晚上謠傳說

這個金正恩病危

這個事情到底是真的還是假的呢

我到今天早上其實也還不知道

那這時候我們就需要這種

Variety Prediction的Model

告訴我們說

這則新聞是真的還是假的

那像這種Variety Prediction的

這種任務有辦法用Machine Learning做嗎

是有辦法用Machine Learning做的

相關的文獻其實還不少

那可以想像說

如果用Machine Learning做

怎麼做呢

你就是有一個Model

那C則Twitter上的文章進去

然後輸出

就是Binary的Classification

True或False

所以從Model的角度來看

沒有很複雜

就是是一段文字

or就是這段文字

是真的還是假的

當然如果只是從文章本身

往往連人都沒有辦法判斷

它是真的還是假的

假新聞就是很像真的

人都看不出來是真的還是假的

所以它才能夠變成假新聞嗎

才能騙過人

所以有的人就會說

那也許應該要把這個Poll文的

這些回應

把這些回應

也當作是模型輸入的一部分

因為過去的分析有發現說

如果一則Poll文的回應

第一時間都是否認

那往往這個Poll文

它就是一個假的消息

所以你可以把這個Reply

跟它的Stance Detection

你可以先把這些回文

這些Response

先做立場偵測

得到他們的立場

再把立場偵測的結果

也輸進這個模型

可以幫助模型判斷說

這個Poll文是不是真的

你還可以給模型看

Wikipedia裡面的資料

你把跟這個Poll文的內容

有關的Wikipedia的文章

拿出來給這個Model來讀

然後看看這個Model

能不能根據Wikipedia

提供的資訊

告訴我們說

這個Poll文是真的還是假的

那所以這整個問題

整體來說

它就是一個

Input好幾個Sequence

Output一個Class的問題

就模型來說

沒有超出我們

今天在這門課一開始

跟大家講的種種的模型

當然用這樣的模型

能不能夠真的解Variety

Prediction的Problem

它還有非常長一段距離

但是確實很多人

在朝這個方向努力

還有一個任務

是Natural Language的Inference

縮寫是NLI

那Natural Language Inference

在做什麼呢

在Natural Language Inference

這樣的任務裡面

首先你會先給機器一個Premise

Premise就是一個前提

舉例來說

這邊的Premise是說

有一個人他騎著一匹馬

然後跳過了一架飛機

接下來呢

你會有一個Hypothesis

這個Hypothesis是說

今天從這一個Premise

有沒有辦法推得這個Hypothesis

這個就是NLI的任務

NLI的任務要做的事情就是

從這個前提

有沒有辦法推得這個假設

那怎麼讓機器做到NLI呢

那NLI聽起來好像是一個

很難的任務

好像要知道解很多邏輯的問題

才能夠做NLI

不過今天往往就是

有個模型

這個模型是兩個句子

然後它的輸出呢

就是三個類別

輸入兩個句子

決定三個類別

這三個類別分別是

這個矛盾

蘊涵

或者是中立

那像這一個例子

就是矛盾

因為從這個前提

不可能推到這個結論

推到這個假設

這個假設是

這個人正在一個Diner

Diner就是

可以翻成小吃店吧

這個人呢

正在一個餐廳裡面吃飯

這個人因為這個前提已經說

他是在馬上了

然後又跳過一架飛機

所以他不太可能

在餐廳裡面吃飯

所以輸入這個Premise

跟這個Hypothesis

那Model輸出呢

就應該是矛盾

那如果你今天的假設是

這個人呢

在戶外

在一匹馬上

從這個敘述

很有機會可以

推得這一個結論

因為這個人確實在馬上

而且他跳過一架飛機

所以他確實是在馬上

他也確實很有可能

是在戶外

那輸入這樣子的前提

跟這樣子的假設

那Model應該就要輸出

Intelment

這個叫做蘊涵

代表說從這個前提

可以推得這個假設

那或者是今天的假設是

這個人呢

正在訓練他的馬

要參加一個比賽

那這個人到底

要跳過飛機的目的是什麼呢

他其實也許

不一定在訓練他的馬

他就爽

他就想跳過這個飛機

你不要管他在幹嘛

他不見得是想要參加比賽

那所以從這個前提

不見得可以推到這個假設

那像這樣子的狀況呢

就叫做Neutral

就代表中性

那雖然NLI

顯然是一個

非常困難的問題

但是

如果就模型的角度來看

你也就是Input

兩個Sequence

Output

一個Class

就結束了

你就是要決定說

這兩個Sequence

這兩個Sentence

屬於這三個Class的哪一個

就結束了

好那搜尋引擎

搜尋引擎這個

大家應該都非常的熟悉啦

就是你輸入一個

你的問題

然後或者是

輸入一些關鍵詞彙

那今天Google呢

就會吐一串文章給你

其實BERT這個Model啊

據說已經被用在

Google的搜尋系統裡面了

Google特別寫一個

Blog的文章呢

來告訴大家這一件事情

那像這種搜尋呢

如果你要用

Machine Learning的技術來解

大概會像是什麼樣呢

你就是需要一個模型

這個模型呢

把你在這個

搜尋的這個欄位

所輸入的句子

或者是關鍵字讀進去

然後把一篇文章讀進去

然後輸出就是

這篇文章跟這個問題

有沒有關係

有

那它就排序排在前面一點

沒有

排序就排在後面一點

那搜尋引擎

是一個非常複雜的問題啦

就模型而言

我們可以說

它是input兩個sequence

output一個class

不過搜尋引擎

當然還有很多很多

其他的問題

就不是我們這一門課呢

可以討論的

那Google有說

他們有把Bert呢

用在搜尋引擎上啦

那在還沒有用Bert的時候

你輸入這個問題

這個問題是

due

asphyetition

asphyetition是什麼呢

我本來不知道

那我查了一下

我連它中文翻譯是什麼

都搞不清楚

有點像是

幫你護膚的人吧

就是幫你做美容的人

就這個職業的人

他是不是在工作的時候

需要常常站著呢

那在沒有用Bert之前啦

Google return的第一篇文章

是這一篇文章

那這篇文章裡面

有提到一個詞彙叫做

stand alone

提到獨立這個詞彙

那stand alone的stand

正好跟這個stand是一樣的

雖然意思是不一樣的

但是可能原來的系統

覺得說有同樣的詞彙

就把它搜尋出來

但是Bert它厲害的地方就是

同樣的詞彙

Bert知道它的意思

是不一樣的

所以有了Bert以後呢

這個搜尋的結果

就變得更好了

機器知道說這個stand呢

指的是站立

而跟stand alone

沒有什麼太多的關係

那這個呢

是搜尋引擎

好了

用這些技術呢

也可以做question answering

也可以做QA

這邊放個魔鏡啦

因為魔鏡就是一個

最早的QA系統

對不對

你可以問它一個問題

誰是世界上最漂亮的女人

它就會給你一個答案

那在過去啊

在這種end-to-end的deep model

還不風行的時候

這種QA的系統呢

通常長得是這個樣子的

你就畫一個圖

這個圖裡面呢

有很多很多的

各式各樣的module

那每一個module呢

其實也通常是用

machine learning的技術做的

可能是用一些比較簡單的

SVM

或者是比較簡單的

network的架構來做的

那通常會有哪一些的module呢

一個問題進來

你會先對問題呢

做一些processing

先對問題做一些處理

然後根據處理完的問題

比如說你的處理可能是

把問題裡面關鍵字找出來

然後根據你處理完的結果

你會去找出一篇文章

你有個資料庫

裡面有很多很多的文章

然後把這些文章呢

拿出來

然後根據這些

拿出來的文章裡面呢

你要挑出說

這篇文章裡面

可能哪一個詞彙是最重要的

那過去在沒有

很好的技術之前

有時候甚至會用

非常簡單的方法

就看這些文章裡面

哪一個詞彙出現最多次

或者是哪一個詞彙

出現在問題的關鍵字裡面

旁邊跟問題的關鍵字

一起出現的這個頻率最高

就把那個詞彙抽出來

當作是答案

那抽出來

這樣抽出來的答案

不見得是對的

所以會做一個

answer type的detection

我們要決定說

問這個問題

那回答的要是什麼樣的答案

比如說它叫數字嗎

是人名嗎

透過這個資訊

我們可以從

answer的candidate裡面呢

挑出一個更好的answer

那這是過去

在end-to-end model

還不風行的時候

這個常常使用的solution

那其實就算是Watson

我不知道大家知不知道Watson

Watson就是

IBM開發的一個

這個QA的系統

然後他去參加了這個

美國版的百萬大挑戰

然後就痛電了人類

在AlphaGo之前

他就痛電了人類

痛電

那個時候就流行痛電人類了

那就算是Watson

其實他就最大的架構看起來

跟我們上面這個常見的

QA model的架構

其實也沒有那麼大的差別

一個問題進來

他會做question的pre-processing

那但是像Watson

他做question的pre-processing

就做得非常非常的複雜

比如說一般

如果你自己做問題的時候

比如說一般自己

問題進來會先做一個

問題的分類

決定說這個問題

你的答案要是

人事實地物的哪一種

通常你可能分個

六七個類別

分個十幾個類別

你可能就覺得說

欸不錯了

我記得Watson

一個問題進來的時候

他是會分成

2500個類別的其中一個

所以可見

他做的這個複雜的程度

是遠比一般的QA model

要複雜很多

這邊看到說

他這個question的pre-processing裡面

有非常非常多的module

做完question的pre-processing以後

一樣可以根據pre-processing的結果

從資料庫的文章裡面

去得到一些答案

那Watson除了這一堆文章以外

他還有一個

有系統的

有結構的資料庫

他也可以從有結構的資料庫裡面

得到一些答案

所以他得到了很多很多的

candidate的answer

然後再從candidate的answer裡面

用一些其他的方法

去對這一些answer做排序

那可能會對這些answer

估一個confidence的分數

看說根據我們所得到的

種種種種的evidence

種種種種的證據

種種種種從資料庫

不管他是沒結構的

還是有結構的資料庫裡面

得到的資料

這一個answer

他的是正確的confidence有多大

然後做一些排序

可能用machine learning的方法

做一些排序

每一個answer呢

都會抽上百個不同的feature

然後認一個

你看這邊寫

logistic regression

他這個是我們在

machine learning的課的開頭

就有教過的東西

認個logistic regression

去決定說要怎麼排這些answer

然後最後呢

得到最終的答案

所以Watson

雖然非常強

痛電人類

但是其實他並不是

今天我們所看到那種

MQM的model

他仍然是有很多模組組成的

只是他內部有

非常非常多的模組

拼湊起來

就發揮了不可思議的能力

那但是今天

如果你想要做question answering

你的solution

往往是長這個樣子

你有一個QA的model

這個QA的model

吃一個question

吃一個問題

跟吃你的資料的來源

他可能是有結構的資料庫

他可能是

沒有結構的一堆文章

然後就吐出答案

所以他是input兩個sequence

output一個sequence的問題

也不拖我們今天

在這門課的開頭

跟大家講的模型的種種分類

好那這個knowledge的source

哪裡來呢

假設他是

他假設他是unstructured document

那這些文章哪裡來呢

他可以是從search engine來的

你可能就把這個問題

丟到search engine上

看search engine

回傳什麼樣的資料

把這些資料收集起來

就當作你的QA model的node source

那因為今天

我們往往希望QA model

不只是看一個有結構的資料庫

而是有能力去閱讀

沒有結構的文章

比如說一些網頁

所以像這樣子的任務

今天我們又把它叫做

reading comprehension

把它叫做閱讀理解測驗

接下來要閱讀文章

然後給他問題

接下來他可以得到答案

那你可能會問說

也許今天搜尋引擎不是完美的

搜尋引擎回傳的文章網頁裡面

可能很多網頁都是無關的

跟這個問題無關的

那怎麼辦

你的QA model要自己決定說

哪些文章是需要的

哪些文章是不需要的

反正這個QA model

往往就是吃十幾篇文章進來

再吃一個問題進來

那不重要的文章

沒有跟問題沒有關係的文章

反正QA model自己會學到

要無視它

然後最後就產生一個answer

所以它是input好幾個sequence

output一個sequence的問題

不過要直接讓QA model