好,那大家好啊

這堂課呢,想跟大家講的是

自督導式學習有多麼的無所不能

那今天呢,我會跟大家分享三個故事

那這三個故事呢,第一個跟第二個

其實在之前的上課錄影中有提過了啦

但是今天呢,會補充更多的內容

那第三個故事是全新的

那很高興呢,今天可以跟大家分享這三個故事

第一個故事是

自督導式學習的模型

它有跨語言的能力

什麼意思呢?

我們在訓練這個BERT的時候

不是只能用一種語言

我們都知道BERT的訓練

就是做填空題

你可以拿一堆英文的句子

叫機器去學做填空題

但是我們在訓練BERT的時候

不是只能用一種語言

你可以把各種語言的資料都餵給BERT

讓它做多種語言的填空題練習

那如果BERT這個模型

在做了多種語言的填空題練習以後

它會有什麼樣不可思議的效果呢?

以下我們就來看看這種多語言的BERT

它有什麼樣神奇的能力

多語言的BERT可以做到什麼樣的事情呢?

我們知道在Self-Supervised Learning裡面

我們就是要先pre-train

然後把pre-trained好的模型

針對某一個任務進行Find Q

然後再測試在你感興趣的任務上

那今天假設我們感興趣的

我們想要解決的任務

是中文的QA

就是你問機器一個中文的問題

機器讀一篇中文的文章

給你一個中文的答案

那一般而言呢

一般的想法

如果你要解的問題

是要做中文的QA

那你當然需要提供一些中文QA的訓練資料

讓機器去Find Q

去微調pre-trained的模型

但是有了這種Multilingual的BERT

當BERT看過多種語言以後

神奇的地方來了

如果今天你要叫機器解的是中文的QA問題

你不需要提供給他中文QA的訓練資料

你可以只給他英文QA的訓練資料就好

你可以只給他英文的文章

英文的問題

英文的答案

你可以只給他英文的QA的訓練資料

讓機器學習

他自動可以舉一反三

自動可以做中文的問題

這個就好像說

你今天要去考一個語言能力檢定

你明明要去考的是中文的閱讀測驗

但是不知道怎麼回事

你拿到的是英文的考古題

但是你做了英文的考古題

你也會做中文的閱讀測驗

這麼神奇

BERT在中文的QA上是可以裸考的

他完全不需要看過中文QA的問題

他只要看過英文QA的問題

就可以解中文QA的問題

這個發現是許宗源同學跟劉濟良同學

發表在2019年的EMNLP的結果

這邊是節錄Paper裡面的一個表格

這個實驗

我們的測試資料是中文的QA

用的是一個叫做DRCD的Dataset

如果英文的QA

我們用的是大家都耳熟能詳的SCRUM

這個Dataset

我們來看一下實驗結果

假設你沒有用BERT

如果你沒有做Pre-Train的話

那你用的是QANet

如果沒有做Pre-Train

只有拿中文的資料進行FindQ測試在中文上

那你的F1 Score是78.1

那大家可以把F1 Score就當作是正確率

今天如果你用BERT

你Pre-Train在中文上

讓BERT在中文上做過填空題

FindQ在中文的QA上

接下來測試在中文的QA上

你可以得到89%的F1 Score

當然比沒有Pre-Train只有78%的F1 Score

結果好很多

但真正神奇的地方是

假設你Pre-Train的時候

是用了104種語言Pre-Train的MultilingualBERT

MultilingualBERT在104種語言上做過填空題

FindQ的時候

給他英文的QA Data進行FindQ

接下來直接測試在中文上

會發生什麼事情呢

他也得到78.8%的F1 Score

跟訓練在中文上的結果

幾乎是一樣好甚至還更好一點

神奇的事情是

他只看過英文的QA Data

直接去測試在中文的QA Data上

居然也有78%的F1 Score

這個結果並不是什麼巧合

那在同一年

很多團隊也都發現了類似的結果

不只在QA上

在很多不同的任務

不同的語言上

都有類似的現象

都觀察到MultilingualBERT

有跨語言舉一反三的能力

而今天這種MultilingualBERT

跨語言的能力

那甚至一點都不稀奇了

這個今天在自然語言處理的領域

根本就是一個Common Sense

因為在自然語言處理的領域

他有一個這個基準的資料集

叫做Extreme

Extreme要做的事情

就是要測驗你的MultilingualBERT

他有沒有跨語言的能力

在Extreme裡面

有這個九個不同的任務

然後你的目標

是要在這九個任務上

你只有英文的訓練資料

你只有英文的訓練資料

可以去Finding微調你的MultilingualBERT

然後要測試在

剩下其他三十幾種語言上

所以今天BERT有跨語言的能力

一點都不令人意外

大家都已經知道

MultilingualBERT

就是有這種跨語言的能力

但是雖然大家都知道

MultilingualBERT有跨語言的能力

但是這個跨語言的能力

是怎麼來的呢

一個常見的猜想是這樣子

就是MultilingualBERT

他可以無視語言的差異

對他來說不同語言的符號

只是一個表象

他可以無視語言的差異

把不同語言同樣意思的符號

給他一樣的Representation

所以對MultilingualBERT來說

你給他魚跟Fish

他看起來是差不多的

你給他兔跟Rabbit

他看起來是差不多的

他可以無視不同語言符號的差異

只了解這個符號背後

本身所代表的語意

所以這可以解釋說

為什麼MultilingualBERT

他有跨語言的能力

因為對他來說

不同語言是沒有差別的

真的是這樣嗎

我們這邊做了一個簡單的實驗

來驗證MultilingualBERT

是不是可以把不同語言

同樣意思的符號

把它對應在一起

這個實驗是這樣的

首先你先準備一個字典

這個字典是一個中英對照的字典

所以你有一些英文的詞彙

你有一些中文的字

然後你知道哪些中文的字

跟哪些英文的詞彙

他們有一樣的語意

所以你有一個英文詞彙的List

有一個中文字的List

接下來我們給每一個英文的詞彙

或者是每一個中文的字

都給它一個代表的Embedding

那怎麼找這個代表的Embedding呢

因為大家都知道說這個BERT

它是一個Contextualized Representation Model

所以同一個詞彙

在不同的上下文中

它的Representation都是不一樣的

不過沒有關係

我們這邊就是把同樣的詞彙

出現在整個Corpus裡面

所有的Representation

通通找出來

直接做平均

把這個平均的結果

當作代表那個詞彙的Representation

所以這邊每一個中文的字

都有一個Representation

每一個英文的詞彙

都有一個Representation

接下來就可以計算中文的某一個字

跟英文的某一個詞彙

它們中間Representation的相似度

所以這邊就把中文的詞彙

跟英文的詞彙

它們的相似度都計算出來

接下來我們怎麼知道

中文跟英文的詞彙

如果它們意思一樣

它們的Representation就越接近呢

因為我們已經有這個詞典的關係

所以你知道哪一個英文的詞彙

是對應到哪一個中文的詞彙

接下來就計算看看說

比如說我們知道這個Year

就對應到年

那就計算Year跟年之間

它們的Representation的相似度

然後再看看說

Year跟其他中文詞彙的相似度

如果Year跟年的相似度是最大的

那就給它Ranking是1

然後比如說舉另外一個例子

Month跟月的意思是一樣的

再看Month跟其他的中文字的相似度

然後發現月的相似度是只有排第三

這邊的Rank就給它3

以此類推

所以每一個英文的詞彙都會得到一個Rank

那這個Rank的值越小

就代表說英文的詞彙

跟它對應的一樣意思的中文字

它們的這個相似度是越高的

接下來呢

計算一下這個Rank的倒數

再把計算出來的結果平均

可以得到一個分數

叫做Mean Reciprocal Rank NRR

那這個NRR就是分數越高

就代表中文跟英文它的Alignment

它的對應關係

這個Multilingual Bird學得越好

那如果剛才這個步驟你聽不太懂的話

就是記得說NRR的值越大

就代表說呢

今天這一個Multilingual Bird

它越有把英文跟中文這兩種不同語言

同樣意思的詞彙

把它們這個對應的越好

對應的越好

NRR的分數就越高

那這邊呢是一些實驗結果啦

我們分析了這個Bird呢

跟這個英文

這個給Bird的英文

跟另外十種語言

它們的對應關係

那我們先來看最右邊的這個Bar

最右邊這個藍色的Bar呢

它是Google的Multilingual Bird

用一百多種語言訓練出來的

那這個縱軸呢

就是我們剛才看到的NRR

這個值越大

代表說這個Bird呢

越可以無視兩種語言的差異

越可以無視符號的差異

只把語意的資訊抽出來

那你會發現說呢

這個Google所訓練的這個Bird呢

它其實非常的強喔

在不同語言上呢

它的NRR的分數都蠻高的

那這個右邊數來第二個Bar啊

這個是我們自己訓練的Multilingual Bird

我們只用了十種語言

每一種語言用了一千K個句子

那我們發現說

其實就算我們只用十種語言

也可以達到不同語言間

Alignment的效果

它跟這個最右邊數來第二個Bar

跟最右邊這個Bar

其實在不同的語言上

只有差一點點

但是如果我們今天只用十種語言

但是把訓練資料量

從每一種語言一千K

降到每一種語言兩百K

也就是把資料變少了

那我們得到的是什麼

我們得到的是粉紅色的這個Bar

你會發現說粉紅色的Bar

跟最右邊這兩條Bar比起來

都有非常顯著的差異

這告訴我們什麼

這告訴我們訓練資料很重要

你訓練資料一少

哇這個跨語言的能力就不見了

訓練資料夠多

我們才能觀察到跨語言的能力

那這剩下四個 剩下四條這個Bar

是什麼東西呢

它們是過去在還沒有BERT的時代的

World Representation的模型

有Globe 還有Water Vector

然後用不同的訓練資料訓練出來

那為什麼要做這個實驗呢

因為我就在想說

把不同語言的資料倒在一起

過去在還沒有BERT的年代

其實也不是沒有人試過

但過去從來沒有人說

把不同語言倒在一起

你的模型就自動可以把

同樣意思不同語言的詞彙

把它對應起來

是一直到有BERT以後

才有人觀察到這個現象

那到底是過去的模型不行

還是只是過去的人

沒有做這樣的觀察呢

所以我們就把傳統的

在還沒有BERT年代的那些

World Embedding的模型

拿來跑一下

然後也給它不同的資料量

那我們發現說

傳統的這些模型

在不同的資料量下

就算它的資料

跟MultilingualBERT用的一樣多

它不同語言間對應的關係

也趕不上MultilingualBERT的結果

這顯示說模型也是重要的

所以資料是重要的

模型也是重要的

有一個大的模型

有足夠的資料

才能夠觀察到今天

MultilingualBERT有跨語言的能力

但是雖然大家都說

MultilingualBERT有跨語言的能力

它可以無視不同語言符號間的差異

但是如果它真的做到

這件事情的話

你有沒有覺得哪裡怪怪的呢

想想看假設MultilingualBERT

它真的完全無視語言間的差異

那我們今天叫它做填空題的時候

給它一個英文的句子

它怎麼會知道最後

能夠填入英文的詞彙

給它中文的句子

它怎麼能夠填入

把這個mask的地方

填入中文的詞彙呢

我們實際上在訓練MultilingualBERT的時候

也觀察到說

有一個中文的句子

那填空的地方

它就是填中文

英文的句子

填空的地方

就是填英文

它不會弄錯的

所以對MultilingualBERT來說

它應該還是知道

輸入的句子的符號

代表哪一個語言

它應該還是沒有完全去掉

所有語言間的差異

它應該還是沒有完全

無視語言間的資訊

對它來說

語言間的資訊

語言間的差異

仍然是存在的

只是這個資訊

它被藏在哪裡呢

那後來啊

我們發現

這個語言的資訊

其實有可能可以用很簡單的方法

就把語言的資訊抽取出來

怎麼說呢

我們這邊有個實驗

就假設你把英文的embedding平均

得到一個所有英文embedding平均的項量

那你再把所有中文的這些字呢

所有的中文的這些符號呢

它的embedding也拿來做平均

得到一個所有中文符號的embedding

現在有所有英文的符號的embedding

所有中文的符號的embedding

接下來計算它們的差距

你得到了英文的

英文跟中文之間的差距

得到這個差距以後

你可以做到什麼事情呢

神奇的地方是

你可以把英文的這些詞彙

加上這個差距以後

它就會得到中文的同樣意思的詞彙

當然這個對應的關係沒有非常非常的精確

但是你可以大致觀察到說

如果你把fish

加上這個英文跟中文間的差距

那你得到的結果

可能就跟中文的魚的embedding很接近

Rabbit加上這個差距

可能就跟中文的兔很接近

那甚至你還可以做到一個神奇的事情

是這樣

你給multilingual bird一個英文的句子

本來你給他英文的句子

正常的狀況就是

他會做英文的填空題

他會把英文單字填到你mask起來的地方

但是呢

如果你把英文丟進去以後

在multilingual bird裡面

把英文跟中文的差異

加到multilingual bird的representation上面

我們剛才說你可以算出英文跟中文之間的差異

所以你把英文的句子

丟到multilingual bird裡面

讓multilingual bird得到英文句子裡面

每一個token的embedding

接下來你再把這些embedding

通通加上英文跟中文的差異

把這些embedding通通往某一個方向移動一下

那這些embedding

就會從原來像是英文的embedding

變成對multilingual bird來說

像是中文的embedding

你再把這些東西

叫multilingual bird還原回來

你會發現

會得到一個中文的句子

舉一個更具體的例子

以下這個例子

不是憑空想像的例子

它是真實的實驗結果

我們輸入一句

There is no one who can help me

我們輸入一個英文的句子給multilingual bird

multilingual bird得到一堆representation

接下來把這些representation

往同一個方向平移

讓這些representation看起來像是中文

然後進行還原以後

得到的句子是

There is no one who can help me

當然這不是一個非常精確的翻譯

但是你發現multilingual bird

它確實可以把me就對應到我

把is就對應到是

把no one就對應到無人

這邊只是舉一個例子

我們也有更完整的結果

在這篇文章裡面

我們試了把英文

轉成另外六種不同的語言

還有把另外六種不同的語言

轉成英文

然後我們把英文轉成另外一個語言

比如說把英文轉成法文以後

我們去看看那個法文的句子

跟真正的翻譯結果之間的blue score

這個blue score越高

就代表說透過這個方法

透過加不同語言間差異的向量這個方法

我們確實可以把某個語言

轉成另外一個語言的翻譯

你發現這邊blue score

雖然說沒有真的很高

這個十上下的blue score

它是non-trivial的

它代表說今天這個multilingual bird

確實可以用加上這些向量的方法

達到部分翻譯的成果

其實在差不多時間

也有另外兩篇論文

有非常類似的發現

發現說multilingual bird

不只是把不同語言同樣意思的詞彙對應在一起

它其實也有存有語言的資訊

那發現multilingual bird

存有語言的資訊

有什麼樣的作用呢

這個發現可以帶來什麼樣的好處呢

這些發現我想還是有一些應用的

舉例來說

我們都會說今天multilingual bird

它有跨語言的能力

你可以給它訓練的時候

訓練在英文上

接下來測試的時候

直接測試在中文上

但是問題是

如果它訓練的時候是

訓練在英文的訓練資料上

測試的時候是測試在中文的資料上

我們知道英文跟中文

對multilingual bird來說

還是有一些差異的

因為我們說multilingual bird

存有語言的資訊

所以對它來說

英文的embedding跟中文的embedding

還是略有差異的

所以這種跨語言的轉換

雖然可以做到一定程度

但是它沒有辦法跟

同樣語言的結果做得一樣好

所以訓練在英文上

測試在英文上

它結果很有可能就是比

訓練在英文上

測試在中文上的結果還要好

因為英文跟中文

畢竟看起來是不太一樣的

所以怎麼辦呢

有一個方法可以去修正

multilingual bird的output

假設我們現在訓練的時候

是訓練在英文上

所以你的downstream model

它看得懂英文的representation

如果給它中文的句子

抽出中文的representation

雖然downstream model

好像也看得懂

但是它畢竟跟英文的representation

還是有一些差異的

怎麼辦呢

我們能不能把這一個

中文的representation

減掉英文跟中文之間的差異

把它做一下修正

讓這些representation

看起來比較像是英文

然後這個downstream model

就比較有機會得到好的結果

這個結果如何呢

我把論文放在右上角這邊

給大家參考

所以第一個故事

是Bird有跨語言的能力

接下來要講一個更離奇的故事

是Bird不只有跨語言的能力

只有supervised model

不只有跨語言的能力

它還有跨學科的能力

什麼叫跨學科的能力呢

這邊我們要做的事情是

假設我們把model

pretrained在人類的語言上

接下來我們能不能夠

讓它去做一些跟人類語言

完全無關的任務

比如說DNA的分類

或蛋白質的分類

如果我們讓這些模型

去做一些跟人類語言

完全沒有關係的任務

它會有幫助嗎

那等一下要講的

是高偉聰同學在ENNLP 2021

發表的論文

等一下只是摘要部分的實驗結果

如果你想要更知道論文的

詳細的實驗結果的話

可以參見放在右下角的論文

好那這些訓練在人類語言上的

在人類語言上做pre-trained的BERT

它把它用在跟人類語言

無關的任務上

到底有沒有幫助呢

那你第一個也許會想問的問題是

pre-trained在人類語言上的模型

它只會在人類語言上做填空題

它只看得懂人類語言

它只會拿人類語言當作輸入

那怎麼把它用在DNA或蛋白質上呢

DNA就是由四種去氧核糖核酸所構成的

DNA是由ATCG四種去氧核糖核酸所構成的

所以如果給你一個DNA的序列

那它其實是用ATCG等連串的符號所表示的

那接下來我們就建一個表格

這個表格裡面把ATCG四種去氧核糖核酸

分別對應到英文的四個詞彙

而且我們發現這個對應的關係並不重要

等一下雖然沒有講這方面的實驗

但是這個對應的關係啊

我們有做過大量的嘗試

發現對應的關係並不重要

這個表格隨機生成就好

好 那我們呢

假設把A對應到We T對應到You C對應到He G對應到She

那給你一個DNA sequence

它是AGAC

那A就對到We G就對到She

A再對到We C再對到He

這個DNA sequence就變成一串英文

We She We He

好 這一段不知所云的英文

把它丟到BERT裡面去

然後呢用這個BERT的模型來做DNA的分類

那一樣呢

如果你要做分類的話呢

你需要在BERT的後面多加一個linear的model

那linear的model是需要train from scratch

是需要從頭訓練的

但是我們的BERT的本體不需要從頭訓練

它已經有pre-trained過了

我們會用一個pre-trained的BERT來做initialization

那我這邊要特別強調的事情是

我知道已經有很多研究

在DNA在蛋白質的sequence上面做pre-training

我這邊要做的研究跟那些在DNA蛋白質上

做pre-training的研究是完全不一樣的

我們這邊要做的事情是

這個BERT它是在英文上做填空題

它是pre-trained在英文上

但我們把它用在蛋白質上面

用在DNA的分類上面

看看會發生什麼樣的事情

好 那以下呢就是實驗結果

我們試了三個不同的蛋白質分類任務

我們試了四個不同的DNA分類任務

我們還試了一個音樂的分類任務

那這邊這個音樂的任務並沒有真的用到聲音訊號

它是根據音符來判斷一首歌的風格

好 那這邊我們就做了一大堆

跟人類語言無關的任務

好 那這個藍色的框框裡面的結果

是假設你沒有用pre-trained在英文上的模型

這是你在這些不同的任務上

可以得到的正確率

這邊的數值是正確率

所以越大越好

如果我們用pre-trained在英文上的BERT

來做這三個蛋白質的任務

這四個DNA的任務

還有這個音樂的任務會發生什麼事呢

紅色框框裡面得到的是有使用BERT的正確率

你會發現如果比較有用BERT的結果

跟沒有用BERT的結果

在所有我們嘗試的任務裡面

有用BERT正確率都有顯著的提升

最神奇的事情是BERT

它明明就是用英文的填空題來做pre-training

但是神秘的事情是

在跟人類語言完全無關的任務上也有幫助

所以這顯示什麼

這顯示說這些pre-trained的model

它不只是學到人類語言的語意而已

因為它不只會解人類語言相關的問題

它還可以解跟人類語言無關的問題

這顯示說它不只是學到語意

它還學到了一些更通用的能力

而這些更通用的能力

是可以讓它解一些跟語言無關的任務的

這些更通用的能力

可以讓它把所有的分類任務

所有的其他機器學習的任務都做得更好

有人可能會想說

你才試了一個pre-trained的model

會不會這只是巧合

我告訴你說

這個不是巧合

不是trained在英文上的那個BERT

有什麼特別的地方

我們這邊試了四種不同的pre-trained的model

我們試了BERT

試了Roberta

試了Albert

還試了BERT C

BERT C就是pre-trained在中文上的那個BERT

這邊我們顯示了

我們放了在DNA的分類上的結果

在蛋白質分類上的結果

還有在音樂分類上的結果

藍色的這些bar

藍色的這些bar

代表有用pre-trained在人類語言模型上的結果

橙色的這個bar

代表沒有pre-trained的結果

你會發現很明顯的

各種不同pre-trained在人類語言上的模型都有幫助

各種不同pre-trained在人類語言上的模型

都對DNA的分類

蛋白質的分類等等

跟人類語言無關的任務有幫助

那接下來你可能會問說

既然有幫助

那是在哪一個面向上帶來幫助呢

是讓這個在人類語言上pre-trained

是讓DNA的任務

在optimization的時候更容易

還是讓這些模型generalization

也就是舉一反三的能力

變得更好呢

那到底是哪一個呢

我們先來看optimization的能力

要知道說一個optimization做得如何

就是觀察training的過程中

你的loss function的變化

所以這個圖是某一個任務

其實其他任務做起來

這個結果也差不多啦

這邊只是舉個例子而已

某一個任務在訓練的過程中

loss的變化

那scratch就是代表

沒有用pre-trained的模型

沒有用pre-trained的模型

loss很快就沒有辦法下降了

很快就卡住了

如果有用pre-trained的模型

有用BERT的話

你發現這個loss的下降呢

是可以比trained from scratch

橙色的這條線下降的更多了

這個實驗告訴我們什麼

這個實驗告訴我們說

這些pre-trained的模型

它有強化optimization的能力

那這些pre-trained的模型

有沒有強化generalization的能力呢

那這邊就是舉兩個例子

我們就看左邊這個圖就好

這邊這兩條橙色跟藍色的curve

是訓練的過程中loss的變化

橙色的線是trained from scratch

藍色的線是pre-trained

那我們已經在左邊這個圖看到說

trained from scratch

loss下降的比較慢

這個pre-trained

你的loss這邊是下降的比較快

那但是呢

我們故意讓它trained久一點

trained到說

今天不管是trained from scratch

還是pre-trained

在training data上都得到

非常低的loss

都得到接近零的loss

那今天pre-trained跟trained from scratch

他們在training set上都做的一樣好了

接下來我們在development set上

看看他們舉一反三的能力如何

那development set這邊show的是accuracy啦

所以只是越大越好

那你會發現說pre-training的accuracy

是比trained from scratch的accuracy還要高的

雖然在training的時候可以壓到差不多的loss

但是pre-training的模型

它的舉一反三能力是比較強的

在訓練資料上

pre-training跟trained from scratch的結果

有辦法做到一樣好

就算你在訓練資料上

把pre-training跟trained from scratch

做到一樣好

在development set上

當你要測驗你的模型

舉一反三的能力的時候

你會發現pre-trained的模型

它舉一反三的能力也是比較強的

所以神奇的事情就是

這些pre-trained的模型

是幫助了optimization

還是幫助了generalization呢

它兩者都有幫助到

它讓optimization做得更好

也讓generalization做得更好

接下來也要問的問題是

發現這個BERT有cross-discipline的能力

有跨學科的能力是很神奇的

但是這個發現能幹嘛呢

接下來我要跟你講一個

剛才所講的跨學科的能力的應用

我們可以把這個跨學科的能力

用在speech的question answering上面

台大語音處理實驗室

其實很早就開始研究

speech question answering這個問題

在2016年之前

就嘗試想要讓機器

去做托福的聽力測驗

也就是讓機器聽一段聲音

就跟人去考托福的時候考的考題

是一樣的

讓機器去聽一段人考的托福的試題

然後給他聽一個問題

然後看他能不能從四個選項裡面

選出正確的答案

那托福聽力測驗畢竟是選擇題

所以還是比較簡單的

後來我們又嘗試讓機器

做了真正的question answering

所謂真正的question answering

就是說你給他一個問題

給他一篇語音的文章

然後告訴你說正確的答案

出現在這個語音文章的聲音檔的

第幾秒到第幾秒

這個是發表在

Interspeech 2018的文章

當時我們做了一個

可以拿來做speech question answering

的benchmark compass

叫做Spoken SQUAD

顧名思義它就是SQUAD的語音版

但是當時是怎麼解的呢

當時要解speech question answering的問題

都是用一個cascade model

也就是我們先把聲音訊號

透過語音辨識辨識成文字

然後在語音辨識的結果上面去做理解

套用一個文字處理的模型

在語音辨識的結果上面進行理解

後來有一個很厲害的模型

叫做speech bird

這個speech bird

它是一個

這個是莊永松同學做的

這個speech bird

它是一個end-to-end的模型

它確實可以給它語音檔

給它問題就輸出

這個在語音檔的哪一個位置

有出現答案

但是它在訓練的時候

它還是需要語音跟文字成對的資料

才有辦法訓練這個speech bird

所以這個speech bird

離我的夢想還差一步

我對於speech question answering的期待是

我們有沒有可能

我們的訓練資料是完全沒有文字的transcription

我們只有語音的問題

語音的文章

還有標註答案出現在語音文章裡面的哪一個片段

我們沒有任何文字的transcription

在這種情況下

我們有沒有可能訓練一個QA的模型

這個QA的模型不做語音辨識

它可以做到聽一個問題

聽一段聲音檔

然後根據這個問題的內容

它就可以找出在聲音檔的哪裡到哪裡

有出現問題的答案

我們有沒有可能在完全不做語音辨識

在完全沒有任何語音跟文字成對資料的情況下

就學一個QA的模型

讀聲音檔直接告訴我們

答案出現在聲音檔的哪一個位置

過去

這一直是一個很有挑戰性的問題

要訓練一個模型

它讀語音的問題

讀一段語音檔

告訴你說正確答案落在聲音檔的哪裡

直接train

顯然難度非常的高

但是今天

我們有了pre-trained語音的模型

比如說Hubert

所以我覺得說

有了這些pre-trained的模型

也許我們有機會再來挑戰一次

10-to-end的speech question answer

但是我們用語音的BERT

我用這個Hubert來initialize這個模型

語音QA的模型發現

語音的QA還是做不起來

我仔細想想

這個結果好像也是可以預期的

為什麼呢

因為如果你分析這些語音的pre-trained model

比如說Hubert的representation

你會發現

其實他們沒有學到太多語意的資訊

而如果你要解speech question answer的model

你的模型

不只是要能夠抽出聲音訊號的內容

它還必須要理解

這些內容背後所代表的意思

所以也許光用Hubert是不夠的

我們的想法是說

我們把Hubert的輸出

做tokenization

把它離散化

變成discrete的token

接下來在discrete的token後面

再疊幾層self-attention的layer

那我們期待說

也許Hubert只抽出content的資訊

他是告訴我們聲音的內容是什麼

但他還沒有辦法做到理解

我們期待透過後面多加幾層neural network

多加幾層self-attention

可以讓整個模型具有理解的能力

那在多加幾個self-attention layer以後

有沒有辦法讓整個模型

可以做語音的speech的question answering呢

答案是不行

還是做不起來

那怎麼辦呢

那我就突發奇想

想說會不會我們應該也要pre-train

後面這一個模型呢

我這個接在語音的模型

後面的這個模型

這些layer是不是應該要用

pre-train在文字上的BERT

來做initialization呢

講到這邊有人可能會覺得說

老師你是不是頭腦壞掉了

你早上是不是吃了什麼髒東西

這個想清楚啊

這個文字的BERT

是訓練在人類的語言上

所以它的輸入是什麼

它的輸入是文字

那它有辦法看得懂

語音上面pre-train的模型它的輸出嗎

語音上的pre-train模型

它的輸出的這些符號

輸出的這些token

輸出的這些ID

跟文字是沒有什麼關係的

這邊這個9號

我們根本不知道對應到哪一個詞彙

對應到哪一個文字的詞彙

那我們直接把這樣的東西

丟給文字上面pre-train的BERT

那會有好的結果嗎

我如果之前沒有做過

把BERT用在DNA上面的實驗

我可能會覺得這個實驗呢

根本就是在瞎搞

但是你想想看

我們剛才已經看到

訓練在文字上的BERT

可以用在DNA啊

蛋白質的分類任務上

所以其實我們也可以做一樣的事情

我們可以把這個Huber呢

它output的這些ID

就隨機對應到英文的文字

比如說ID編號1就對應到U

就別對應到He

以此類推

然後呢

把這些ID轉成文字以後

丟給文字的BERT

讓他來做question answering

然後呢

他會可以

然後我們fine-tune這個文字的BERT

看看能不能夠把

speech的question answering做起來

結果是如何呢

結果是

有pre-train以後

神奇的事情是

就起飛了

如果沒有拿文字的BERT

來pre-train這個黃色的module

那你的F1 score是6%

那基本上就是沒做起來

但是如果用文字的模型

來pre-train這個黃色的module

那你可以得到54%的F1 score

也就是說

你現在有語音上pre-train的模型

也有文字上pre-train的模型

把他們兩個接起來以後

達到了不可思議的效果

可以真的把speech的question answering

做起來

你可以得到54%的F1 score

那這個54%的F1 score

他的表現到底是多好呢

那這邊呢

就只列一個圖表了

那如果大家有興趣的話

這個是林冠廷同學做的

可以參見林冠廷同學的論文

那這個綠色的這一條線

他是cascade模型的表現

也就是你先把聲音訊號

做語音辨識

把它轉成文字

在這些文字上面

再去做question answering

那因為有做語音辨識

所以顯然你的模型

受到語音辨識的錯誤率

影響非常的大

所以我們這邊的橫軸是什麼

橫軸是語音辨識的錯誤率

縱軸是QA的正確率

那我們發現

隨著語音辨識的錯誤率越來越大

QA的模型

他的這個錯誤率呢

會越來越高

答對的題目會越來越少

那這是很直覺的

如果語音辨識辨識錯了

後面再接一個QA的模型

顯然他也沒有辦法

得到正確的答案

藍色的這條線呢

是end-to-end

完全沒有做語音辨識的模型

藍色這條線

就是我剛才講的

把一個語音上普串的模型

後面再接一個文字上普串的模型

所得到的結果

那你會發現藍色這一條線呢

基本上不受語音辨識錯誤的影響

那當語音辨識錯誤的

這個語音辨識的錯誤率

大概超過25%的時候

這個藍色的這個end-to-end的模型

他的正確率居然可以超過

有做語音辨識的模型

所以神奇的地方是

把語音的普串模型

加上文字的普串模型合起來

得到不可思議的效果

我們可以真的有機會

把speech question answer end-to-end訓練出來

好 這是第二個故事

那第三個故事啊

我想跟大家分享的是

我們甚至可以在人造的資料上

訓練出BERT

好 那我們知道說一般而言

那BERT呢

就是訓練在人類的語言上

然後呢

你會在這個NLP的任務上面呢

做fine-tune 然後做測試

那在NLP的任務上呢

最知名的就是GLUE這個data set

裡面有好幾個NLP的任務

那通常會用GLUE的data set

來檢視BERT模型

他pre-trained的好不好

這個pre-trained有沒有學到東西

但是我們剛才已經有看到說

今天這些pre-training呢

他有很厲害的跨語言的能力

訓練在人類語言上的模型

都可以去解DNA的分類

那如果我們要解

人類語言相關的NLP任務

我們真的需要拿人類的文字

來做pre-training嗎

我們能不能不用人類的文字

來做pre-training

那我們這邊就做了一個嘗試

我們呢

用一些簡單的規則

產生一些token的sequence

我們用一些簡單的規則

製造出假的資料

在這些假的資料上面做pre-training

BERT呢

在這些假的資料上面

學習做填空題

然後看看

他在group上面

會有什麼樣的表現

那你可能會問說

做這個實驗有什麼意義呢

做這個實驗的意義是

我們可以透過使用不同的規則

產生不同的人造的資料

那有不同的人造資料

我們就可以讓BERT

具備不同的能力

然後我們可以藉由

讓BERT具備不同的能力

知道說

如果我們要讓一個pre-trained的模型

在人類語言相關的任務上

在group上面有好的表現

那什麼樣的能力是重要的

什麼樣的能力是必須的

而這個研究成果呢

是幫大家上過很多次課的

江承翰同學的研究成果

那我們把實驗流程

講得更具體一點

所以我們就是有人造的資料

拿這些人造的資料呢

來訓練一個BERT

而這個BERT

不是一般用人類語言訓練的BERT

他是用人造的資料訓練出來的BERT

所以他只能夠讀這種ID

他讀不懂人類的語言

那你怎麼拿這樣子的BERT

來做人類語言相關的任務呢

你就是有一個人類語言的句子輸進來

你需要有一個表格

告訴我們說

人類的語言的每一個詞彙

對應到這個人造資料裡面的哪一個ID

那這個ID跟這個人類語言之間的對應關係

隨機生成就好

所以那個的呢

就對應到編號1

Movie呢

就對應到編號101

就對應到編號3

就對應到編號4

以此類推

所以一個人類的句子

他會被轉成一個Token Sequence

丟到BERT裡面

然後呢你就把這個Token Sequence輸入到BERT裡面

接下來呢

你就做

舉例來說

假設你現在要做的

是Sentimental Classification

要決定說輸入的這個句子

是正面的句子

還是負面的句子

你就會去Trend這個Linear的Model

然後這個BERT呢

它是用這個Token ID去Trend過

但是你也可以Fine-Tune這個BERT的模型

那接下來呢

我們就來看看實驗結果怎樣

那這個圖表上的縱軸啊

代表的是

如果我們比較有Pre-Trend的模型

跟沒有Pre-Trend

也就是Trend From Scratch的模型

它們在Rule的那些任務上

平均表現的差異

那個值

這個值越大

就代表說

Pre-Trend這件事情越有效

那我們先來看看

拿英文資料Pre-Trend的結果

如果拿英文資料Pre-Trend

相較於Trend From Scratch

你有20%的進步

所以這可以看作是Upper Bound了

如果你今天要解英文相關的任務

當然是拿英文的Pre-Trend的資料

結果會是最好的

拿英文的Pre-Trend的資料

在英文的相關任務上

相較於沒有Pre-Trend

有20%的進步

那今天如果我們的這個Token

我們的這個人造的資料

是隨機生成的

那會發生什麼事呢

我們發現如果是用隨機生成的資料

那Pre-Trend完全就沒有幫助

這告訴我們什麼事情

這告訴我們說資料還是重要

因為我們剛才前面看到說

BERT有神奇的這個化學科的能力

怎麼訓練在人類語言上

在DNA上也有用

那這會讓人不禁懷疑說

會不會資料本身

在什麼資料上面Pre-Trend

根本不重要

重要的也許是Pre-Trend這個動作

只要有做Pre-Trend

在什麼資料上都會好

但是呢我們現在這個實驗

就是破解剛才那個假設

資料還是重要的

如果你今天的資料

是隨機生成的沒有什麼規律

那拿這些沒有規律的資料做Pre-Trend

那也是沒有幫助

好那接下來呢

我們發現有某一種人造的資料

非常有用

它可以得到幾乎15%的進步量

跟訓練在英文上其實只差了一點點

那什麼樣人造的資料非常有用呢

我們發現

假設你生出來的這一些Token

它是成對的

也就是你產生出來的Sequence裡面

如果出現一個5

那等一下一定要出現一個5

出現個3

等一下一定要出現個3

出現個0

等一下一定要出現個0

如果你產生出來的Sequence是成對的

拿這種成對的資料來訓練BERT

在人類語言上面

神奇的事情是非常有效

跟英文只差了一點點

大概可以做到英文的四分之三那麼好

好那為什麼會這樣呢

過去也有一篇論文

有做過很類似的事情

他也有拿人造的資料來訓練一個模型

只是那個時候做的不是今天的BERT

所以那個實驗的Setting是非常不一樣的

不過過去呢

這篇Dan Jurewski的論文

他說Learning Music Helps You Read

所以他也發現說

趁在一些人造的資料上面

會對自然語言處理有幫助

那他也發現說這種成對的資料呢

是蠻有幫助的

這種在成對的資料上做訓練

是對自然語言處理是有幫助的

那也許是因為在人類的語言裡面

有時候也會有這種成對的結構

你提到某一個詞彙的時候

接下來接另外一個詞彙的機率就會非常大

你提到i的時候

後面比較有可能會接n

你提到i的時候後面不會接r等等

人類語言好像也有這種成對的資訊

也許這可以解釋

為什麼在這種人造資料上面

做Pretraining是有用的

好那接下來更離奇的事情發生了

我們有另外一種方法叫做Shuffle

這個Shuffle呢

他可以達到跟剛才那個成對的資料

也是差不多的Pretraining的進步量

那這種Shuffle是怎麼做的呢

這種Shuffle的做法是

你先給一個

你先產生一些連續編號的Token Sequence

比如說1到64

接下來把他隨機的Shuffle

把他的順序打亂

然後在這個打亂順序的Sequence上面

去做Mask去做填空題

那你會發現說

你的模型訓練在這種打亂的Sequence上面

他也非常好

這種打亂的Sequence對於Pretraining來說

也非常有幫助

那這個就非常難以解釋

就很難解釋說

這樣子的Sequence跟人類的語言有什麼關係

那神奇的事情就是

這樣子的Sequence對Pretraining

用在人類的語言上居然是有幫助的

那到底有什麼樣的原因

造成這一些人造的資料有用或沒有用呢

我們剛才一開始說

我們想要透過不同的人造的資料

讓模型具備不同的能力

看看說什麼樣的能力

對於解NLP的任務是重要的

到底什麼樣的能力

對於解NLP的任務是重要的呢

我們沒有非常精確的答案

但是這邊我們有一個發現給大家參考

這個發現是什麼呢

左邊這個圖啊

他的縱軸仍然是Pretraining跟沒有Pretraining

這個Pretraining跟沒有Pretraining相減後的差異

所以值越大代表Pretraining越有效

那這邊4 6 8 16 32的數字代表什麼意思呢

這個數字代表說

我們一樣都是用剛才Shuffle的方法

但是如果我們今天選的是數字4的話

就代表我們一次只產生4個數字連續的Token

比如說我們先產生1到4

然後接下來呢

就要重新產生4個數字連續的Token

比如說3到6

然後接下來呢

我們以4個4個為單位

把4個Token做打亂

4個Token做打亂

那在這個Sequence上面去做Pretraining

那我們發現說呢

如果你今天只用4個4個一數

你每次只產生4個連續的Sequence

那你的這個進步量呢

其實沒有很大

但如果你是產生64個連續的Sequence

這個進步量就很可觀了

這告訴我們什麼

這告訴我們說

假設你給你的Pretrain Model

這個產生比較長的連續數字的Sequence

那要解這樣子的問題的填空題

那你的模型必須要學會

看一個比較長的範圍

那有可能看一個比較長的範圍

對於Pretrain是重要的

如果今天模型在Pretrain的時候

可以學看一個Sequence裡面比較長的範圍

可以讓他在NLP的當初任務上面做得比較好

但這只是一個發現

有沒有其他的因素影響這些模型呢

有沒有其他的因素

也對NLP的Pretraining很重要呢

這個是上代研究的問題

我們這邊只提供一個發現

發現說如果你強迫讓你的Sequence

在Pretrain的時候

可以看到比較大的範圍

強迫他要看比較大的範圍

才能夠解填空題的話

那他可能可以做得比較好

那有沒有其他的因素

目前還在研究中

那以上就是跟大家分享

三個有趣的跟Sales Supervised Learning

有關的故事

然後這個Sales Supervised Learning

還有很多未解之謎

等著大家來發現

這個就是今天想跟大家分享的內容

謝謝大家謝謝