例如說像 Siri 或 Alexa 的 ASR

但是有 Self-Service 的話

我們就可以做到下面這件事情

也就是紅色這些文字

我有一大堆人類的語音

那我就可以 Pre-Train 一個 Model

然後這個 Model 是可以從這些大量語音獲得知識

那我這個 ASR 系統

就可以從這個紫色的 Pre-Train Model 得到幫助

那他就會做得比原本只有上面這樣子來得更好

那這就是 Self-Service Learning 的精神

那接下來就是要講

所有的 Self-Service Learning

然後在語音上面的應用跟方法

那這個方法其實就是千奇百怪

然後有許許多多的 Work

那今天大概會講24個不同的 Self-Service 的方法

那也都是最近然後也是最強的方法

那一開始可以主要分成兩大類

也就是這個綠色的跟紫色的兩大類

兩大群不同的門派

那上面這個門派就是以 CPC 為首

那下面就是以 APC 為首

那他們分別是不同的 Loss

用不同的 Loss 去學

這樣子的 Self-Service 的 Model

那 CPC 是這種 Contrastive Loss

那 APC 下面這種門派主要是用

這個 Reconstruction Loss

那我們就先來講這個 CPC

他是 DeepMind 發表的一篇 Paper

那他的做法其實就是很簡單

就是下面我有一排的聲音

那可能是有若干個 Frame 這樣子

那我有一個 Encoder 的 Network

他是由 CN 組成的 5 層的 CN

然後掃過這一排的聲音之後呢

上面有一個 GRU 的 Recurrent Context Network

他會再去 Encode 這些

得到了這個 Vector

那最終 GRU Output 這個粉紅色的 Vector

他就會跟下面這一群藍色的 Vector

做一個 Prediction

他就是 Predict 說

你這個藍色的是不是跟我紅色的

是屬於同一個句子

所以他在 Training 的時候呢

他就會隨機地 Sample 一些假的

藍色的這種給紅色去做 Predict

所以紅色跟藍色

他就是希望他們在空間中呢

他如果是屬於同一個句子呢

可以越近越好

那舉例來說

如果這個紅色跟這個 CT 加 1 呢

他是同一個句子的 Encoding 的話

那他們就要越近越好

越向越好

那未來的也是

只要是屬於同一個 Input 句子的

就越向越好

那如果是不同的句子

或者是同一個 Speaker

但講不同的話

那就要讓他們離得

在向量空間中離得越遠越好

所以他的這個想法就是這樣子

他會有一個這樣子的

Contrastive 的 Representation

那這個呢

其實他是有一些數學的證明

是可以證明說他們這樣子

他是在 Maximize 他們之間的 Mutual Information

好

那所以 CPC 的做法就是很簡單

他最終要學到的是這個

紅色的一個向量

那這個向量呢

就可以用到 ASR 系統

比如說像這張圖來講的話

那 CPC 呢

就是拿到這個紅色跟紫色這邊

去做 Pre-training

那這個 Pre-training 好的 CPC

得到的那個向量呢

就可以拿來幫助 ASR 的系統

那他就會得到 Performance 的提升

好

那這個是 CPC

那 CPC 他兩個比較有名的實驗

在語音上的實驗

就是做那個

Foam 的分類跟 Speaker 的分類

然後這兩個實驗就是

是還蠻 Standard 的 Setup

所以很多後面的 Work

也都是用這樣子的實驗

來跟他做比較

那 CPC 他其實還有做在

非語音上

就是圖片啊

文字等等

但是今天我們就是主要 Focus

在語音的部分

好

那這個 CPC 呢

做完之後就有人拿他來做 ASR

因為如同上一頁所講

CPC 他那邊並沒有做 ASR

他只有做分類

所以這個 Wave2Vec

是這個 Facebook 做的

那他呢

就是一樣剛剛的那個 CPC

但是他把紅色的這個東西

拿來當作 ASR 的 Input

那 ASR 的 Input 就是吃這個

CPC 的這個 Vector

然後 Representation

然後他 Output 就是文字

這樣子

所以 Wave2Vec 這篇

就是拿 CPC 做 ASR

然後他是做在這個

Word3 Journal 跟 Timmy 上面

好

那也有人說

因為 CPC 是單向的

他就是拿來做雙向的

這個 Bidirectional CPC

那他其實就是

原本右邊這個 CPC

是 Forward Direction

他就是做一個

再加上一個 Backward 的版本

那這個 Backward 的版本

他的這個

下面的這個

CL Network 是 Shared 的

那上面的這個 GRU 呢

Backward 跟 Forward 是分開的

那他在 Inference 的時候

就是把這個 Forward 跟 Backward 的

Representation Concate 起來

這樣子

那其實是有點像文字版的

那個 Elmo 這樣

好

那他也是用 ASR 來 Evaluate

那最後一個 CPC 的呢

就是這個 Modified CPC

那他是

他其實是針對原本

這一篇做改進

那改進的點主要有三個

第一個是說

他把原本的 BatchNorm

改成 Channel-Wise Normalization

那第二個是說

原本的 Prediction Layer 是 Linear

他把它改成 Transformer

那第三個呢

就是他把 GRU 換成 LSTM

這樣子

然後他這些改動之後

發現就是

比原本的好

好上一些

就是 Performance 好上一些這樣

所以這四個主要是

這個 CPC

那接下來就是

還有剛說的這個 APC

用 Reconstruction 的 Loss

Reconstruction Loss

那這邊的話

APC 呢

他的想法其實就更簡單了

他就是說

我有一個

就是文字上可以做 Language Model

比如說右邊這張圖

就是我 Input 一個 Word 1

那 Output 是 Word 2

那下一個 Time Step

就是 Input Word 2

然後 Output Word 3

那他說

我可以做個語音版的這個

Language Model

那我就是 Input 是第一個 Frame

Output 是第二個 Frame

那下一個 Time Step

Input 第二個 Frame

Output 第三個 Frame

這樣子 與此類推

那這樣子的話呢

他 Model 在學習的時候

他就是 Input Frame

那 Output 的時候

是用 Reconstruction 去還原

就是他要的那個 Frame

那就是把 Softmax 的 Layer

原本那個文字的 Language Model

Softmax 換成 Regression

這樣就可以了

那 APC 他的想法其實就這樣子

非常的簡單

那他也是做

這個 Phone 跟 Speaker 的

分類的實驗

來驗證他學到的

這些 Representation 的好壞

好 那這個 Multitarget APC

他就是針對 APC 的改良

那他的想法是說

因為原本 APC 也只有前項的

那他就是再增加一個

後項的 RN

那他就說

我這一個 Time Step T 呢

HT 這 Hidden State T

除了我要 Input

當下 Time Step T

然後 Predict T 加 1 之外

他還要拿去

Predict 過去的 Frame

就是拿去當作這個

T-4 的這個

Hidden State Initialization

然後 Predict T-3

然後一路 Predict 回 T-1

所以他的用意就是說

除了記得未來的資訊呢

他還要記得過去的資訊

然後他這個 Target 呢

也都是用 Reconstruction

所以就是跟原本的 APC 是一樣的

那其實他們兩個

這兩篇是同個作者

這樣子他就是

延伸出一個

另一個變形

然後他就說

這樣子兩個 Target 的訓練

就是過去跟未來的訓練呢

他是可以提升模型的效能

好

那 APC 之外呢

他還有一個

另一個 Amazon 做了一個版本

叫做這個 DeCore

那 DeCore 他是這樣子的縮寫

就是 Deep Contextualized Acoustic Representation

的縮寫

那他其實是把 APC 呢

跟 ELMO 這兩個做法

combine 在一起

那怎麼做呢

就是我這裡

Input 也是有一堆的

Acoustic Feature

那經過 Forward 跟 Backward 的 LSTM

那我可以得到兩個

前項跟後項的這個 Representation

Hidden State

那我就像 ELMO 一樣

把他 Concate 在一起

Concate 在一起之後呢

我就一次

還原一個 Window Size 的 Frame

有點像 APC 的 Reconstruction

那在 Training 的時候呢

他就是從 Timestamp 0

然後一路掃到

就是最後一個 Timestamp

然後全部就是

全部都 Reconstruct 一次

這樣

好

所以他也是

基本上就是 Reconstruction Based 的方法

那也是像 APC 那樣子

去 Reconstruct Frame

好

那除了 APC 這些

這三個是用 Reconstruction Lot

其實還有一些

別的也是用 Reconstruction Lot 去 Learn

那這三篇呢

都是 Google 提出的做法

那先講這兩個 Autoencoder

跟這個 Phase Autoencoder

他其實都是相似的做法

就是說呢

我有一個 Autoencoder

是 Input 是那個

Acoustic Feature

那他可能會 Encode 成一些

Hidden Factor

那我有一個 Decoder 呢

那這邊是用 WaveNet 當作這個 Decoder

那他會還原成原來的 Input

然後就是這兩個 Input 呢

算一個 Reconstruction Lot

那學到 Representation 就是中間這個

那中間這個就可以拿去

應用在 Downstream Tasks 上面

那這個 Autoencoder 是這樣子

那這個 Phase Autoencoder

就是說我這個 Output

我不是還原 Magnitude

我是還原 Phase

那其實就是這樣子

那他們就是透過不同的

Reconstruction Target

要嘛是 Phase

要嘛是 Magnitude

他就去學到說

中間這裡呢

可以代表一些語音上

有意義的資訊

那這些資訊呢

是可以拿去幫助

下游的語音任務

好 那其實這個架構

跟那個 Voice Conversion

其實是很像的

就是很多 Voice Conversion

也是這樣子做

就是一個 ASR 的 Encoder

跟 TTS 的 Decoder

那也是用一個 Autoencoder 的方式

中間可能會加一些 Constraint

那這邊這個

Google 這瓶 Autoencoder

他也是有一些

不同的 Constraint 的變化

比如說 VQ, VAE 等等

好 那這個 Audio2Vec 就是

可能如果熟悉 NLP 的人

會比較知道

就是有 NLP Word2Vec 有兩種

就是 Seabold 跟 Skipgram

他就只是把它拿來

做了一個語音的版本

那這個語音版本

就是這樣子

就是我看過去的 Frame

跟未來的 Frame

那我要預測中間這一塊

這就是這個 Seabold

然後 Skipgram 就是

我有中間的 Frame

然後我 Encode 完之後

我要 Decode 出左右兩邊的

過去跟未來的 Frame

那這樣子的話

他就是透過這兩個任務

來學中間這個 Hidden Representation

那這邊他還提出一個

第三個任務

就是這個 Temporal Gap

他就是說

我有一段聲音

那他就是隨機

讓 Encoder 看兩段

然後叫 Encoder 去

Predict 出他們之間的時間

差了多少

那他主要呢

所以這個 Self-Sort By 的架構

他主要在訓練的是這個 Encoder

他想要學出這個好的 Encoder

那這個 Encoder 呢

他就可以拿來用在

比如說 ASR 的 Encoder

當作他的 Initialization

或者是他從這 Encoder

抽一些 Speech Representation

抽一些 Feature 來用

那這邊就是 Audio To Fab 的做法

那這邊這個 CPC 跟 Reconstruction Loss

這兩大類都講完了

但其實還有一大類

也就是今天的那個重點

就是 BERT 要怎麼應用在語音上

那其實是五花八門

就是大家可以看到右邊

這些做法呢

都是把 BERT 的概念

用在語音上的例子

那等一下就是會

一個一個講他們的差異

跟他們的不同

那這些呢

這幾個我全部都是

去年十月的時候

就是大家突然都有這個點子

然後突然大家都做出來這樣

那就是在差不多去年十月

有些是今年

比如說這個跟這個是今年

才做出來

所以是還蠻新的點子

所以接下來就來講說

這個 BERT 要怎麼用在語音上面

那 BERT 大家應該都非常知道

就是很強的這個 Language Model

那就是有 11 個 Sota 在 Publish 的時候

那他的這個訓練任務

因為我們等一下會講到語音的版本

所以就很快地幫大家複習一下

這個概念

就是客漏字的填空

所以我有 input 一個句子

那我可能會中間挖空

比如說 How are you today?

變成 How are masks today?

那 BERT 呢

他就是要從這個 representation

去預測說這個挖空的這個 mask 是什麼

就是做一個客漏字填空的動作

那 BERT 裡面就是 Transformer Encoder

那有 Multi-Head Self-Attention

跟 Feed-forward Network

最後會得到 Hidden State

那也就是這個 output 的地方

這個 R

也就是這個 Transformer Encoder Output

好,那 BERT 的複習呢

就是到這邊

那等一下就會講說

要怎麼應用在語音上呢

那這邊呢

是把 BERT 套入剛剛的那個

這張圖裡面

這個橘色的框框原本是這個

語音的例子

那如果換成 BERT 的話

會變怎麼樣

那就變下面這張圖

就是原本的我這個 QA 的 model 呢

是需要一堆的這種 pair data

也就是 passage 跟 question

還有 answer 去做訓練這種 pair

那比如說看一個 passage

然後問他一個問題

他就跟我講一個答案

那 QA model 是這樣訓練

那 BERT 的話就是

我有一大堆的文字

那我就可以訓練一個 BERT

那這個 BERT 拿來當作 QA model 的

initialization 去做 fine tune

那我 QA model 就可以很強這樣

所以這裡其實是

把 BERT 的架構

也是 unify 到這個

self-service learning 的這個

這個概念裡面

所以它其實也是一種

self-service 的方法

好

那現在我們就開始講

怎麼應用在語音上呢

那這兩篇

這個 VQ Wave2Vec

都是 Facebook 的作品這樣子

那它是怎麼做的

就是

剛有講說

就是我們可以學

那個 Wave2Vec

就是 CPC

這裡就是一個 CNN

這個紫色的 藍紫色的框框

就是 CPC 的 CNN 跟 GRU

那我這上面的 loss 呢

也是用 CPC 的 loss

那中間呢

就是 VQ 的地方

那等一下我們就講

怎麼做 VQ

所以這裡其實就是

剛剛那個 CPC 的做法

就是我有一個 CNN 跟 GRU

然後我的 loss 是 CPC 的 loss

那中間的這個 VQ 呢

就是這樣子做的

就是

這個灰色這排是

就是 time step

所以隨著 time step 呢

我會 encode 出

這個紫色的這個

hidden state 這個 vector

比如說在這裡

這個綠色這個

那這個它就會 project 成

一個 codebook 的 size

假如我的 codebook 是大小的 4

它就 project 成這樣的四維

那這邊就得到這個 logic

然後再算 gamble

得到 probability

那我再取 argmax

得到一個 1

然後其他都是 0

那我去跟一個 codebook

去算

得到

就是選出一個 code

那比如說這裡選了 E2 這樣子

那這個 E2 在

放過來這裡

當作 CPC loss 的計算

所以它整個概念就是說

原本這個紫色是

continuous 的 vector

它可以是任意的數值

但它現在限制它說

你只能是

我 codebook 裡面

四個的其中一個

那你就去選一個

所以它這個 VQ 是這個意思

就是說 vector quantized

它把原本連續的 vector 呢

做一個 quantization

讓它變成是有限格

那這個 codebook size

可以是任意的大小

比如說

一萬 兩萬 三萬 等等

那它這邊是用三萬

那所以它就說

你所有的語音

只可以用三萬個

不同的向量來表示

那當它有

有限格向量

來表示語音的時候

它就可以 train 一個文字版的 burden

所以也就是左下角這張圖

所以我先用 bqa2vec 呢

得到 quantized 後的語音的表示

然後我就可以訓練一個文字版的 burden

因為如果有做過 NLP 處理的話

也可以知道說

word level 的 dictionary

可能也是在

比如說中文可能也是兩三萬

個不同的字

所以它就可以訓練一個 burden

那這個 burden 是 operate 在

三萬個 dictionary size 的大小當中

因為它這裡的 codebook 是三萬

那這個 burden 它就是有限格

它就不是無限格

所以它就是可以跟語音一樣

跟文字一樣去做 burden 的訓練

那訓練完了這個 burden

就可以拿來當做

這個 acoustic model

就可以拿來做

比如說這裡的 ASR

的 encoder 等等

或者是拿來抽 feature 等等

所以這個 bqa2vec 跟這個 bqa2vec fine tune

版本就是在這個架構

那它就是把語音變成

有限格的表示

然後再把這個有限格的表示

拿來 train 文字的 burden

好 那這個是其實是需要

兩階段的 self-service learning

第一階段就是這個 bqa2vec

第二階段是 burden

然後才可以用

所以這是兩階段的

那下面這些呢

都是一階的

就是一次就把 burden 直接應用在上面

不需要像上面這樣兩階段

那中間這個呢

SLU burden

它並不在這個綠色框

也不在這個紫色框中間

它是一個比較特別的例子

那個上面綠色呢

是屬於 CPC 的

也就是剛剛所說的

就是用到 CPC loss 的

那下面這個紫色呢

就是用到 reconstruction loss 的

那中間這個呢

它其實就是都不是

所以它比較特別

那它的做法是這樣子

它有一個 input 的 audio

它經過一個 acoustic model

這個 acoustic model

是 CLM 跟 GRU 組成的

它就是會去 train 一個

CTC alignment 的 loss

所以這裡是需要 label 的

它需要 label 的

所以它把這個

acoustic model 呢

先用 CTC 跟 label train 好之後

它再來 train 一個 BERT

那這個 BERT 的 input 呢

就是這個 acoustic model

得到的 phoneme 的 posterior 這樣子

所以那如果再做 masking 的話

它就是把

就是它多一個 vector

然後它是一個 placeholder phoneme

叫做 pad

然後把它設成 E 這樣子

所以它是這樣子做 BERT 的 training

那這裡就是 transformer encoder layer

那這邊就是算 BERT 的 loss

那這個 work 跟其他的最大的不同

就是它不是全然的 self-supervised

就是它其實是需要有 label

然後它才可以訓練這個 BERT 的

所以這是它最大的不同

它這邊要先訓練一個

像 ASR 的東西

然後 ASR 的 output 再拿來當

transformer encoder input

才能訓練 BERT

好那接下來就是要講這個

下面這一群

用 reconstruction loss 的

也就是

就是 audio BERT 的

那這邊呢

都是在 ICAPS 2020 的時候

也就是去年十月的時候

投出來的 paper

然後其中

這個 speech 查爾納跟這個 MPC

沒有上

然後其他兩篇有上這樣子

那這個 MarkingJ是

宋一老師的實驗室做的

那接下來就來講這個 MarkingJ

那就是 BERT

要怎麼直接變成 speech 版的 BERT

好那文字的 BERT 呢

就是 pre-trained 在文字上

那我可以應用在許多

不同的下游的任務

比如說 QA 模型

也可以被 fine-tune 等等

那文字的 BERT 呢

就是直接 pre-trained 在 speech 上面

所以 input 就是 frame

output 就是 representation

跟這個左邊的 BERT

input word token output representation 一樣

那同樣的也可以運用在

不同的語音的任務上面

那如果用下面這張圖

來做一個 unified 的話

那就是這個橘色框框

我們就把他換成這樣子

所以原本橘色框框是

ASR 的系統

然後跟 pre-trained 模型

然後就換成

這樣子的下游任務

那在 MarkingJ 這篇裡面

他是做這個

phone 跟 speaker 的分類

那 input 一段 speech

他分說是哪個 speaker

或者是哪個 phone

那這邊呢

就是拿大量語音

來 pre-trained 一個 MarkingJ

那也是用在這個

phone 跟 speaker classification

然後去做分類

那怎麼做呢

其實就是這樣子

就是有

我有一排的真實的 frame

那可能是代表一句話的

這個 spectrogram

那我就有一個 masking 的 policy

他會隨機的把一些 frame

mask 成 0

mask 成 0 之後呢

就經過許多層的

transformer encoder

然後這是雙向的

有 self-attention

得到這樣子的 representation

那這 representation

representation 就是

經過一個 prediction head

還原出原本的 frame

所以 input 是

mask 成 0 的 frame

output 要還原出原本的 frame

那就是這兩者

去做一個

reconstruction loss 的計算

然後這些藍色的向量

可以想像說

他就已經考慮了整個句子

因為他勢必要看過左邊

看過右邊

他才可以知道說

中間應該是什麼東西

所以就是透過這樣子

mask 成 0 的計算呢

去幫助他學到雙向的

這個藍色的 representation

好 那具體的 masking 怎麼做

其實就是跟 BERT 的一樣

如果大家熟悉的話

就是我在一整個句子裡面

先選 15% 的 frame

那這 15% 裡面呢

我有 80% 的時候

會把它全部換成 mask

也就是射成 0

那有 10% 的時間

我會把它換成

隨機的 frame

那最後 10% 的時間呢

我是都不動的

所以這三個 case

一次只會發生一個

但每次我都會選 15% 的 frame

去做這個更動

那要嘛是 mask 成 0

要嘛是 replace

要嘛是不動

好 那具體在語音上

看起來是怎麼樣呢

這就是一個實例

這一個就是

一排的語音的

這個 acoustic feature

那可能是有

300 多個 frame 的長度

那這個縱軸呢

就是他的 channel

那 channel 是這個意思

就是我 80 圍的

mail 的 spectrogram

加上他的一階微分

所以中間有一個這個

橫線這個斷點

那 mask 成 0 的話

就是這個 highlight 出來的

這個黃色的線條

這邊就是射成 0

那因為是可以 overlap 的

所以有些這個 mask

會比較粗

有些是細的

有些是粗的這樣

好 那 input 的話

就是這樣子的 mask frame

那 representation 呢

就會長這樣子

是人類看不懂的

也沒有

看不出什麼意義

然後經過這個 prediction head 呢

他就會還原出

跟真實的一樣

很像的這個 real frame

那這兩個是實例

所以可以看出

model 學到的

其實是非常像

只經過這樣子的一個

prediction module

就可以從這樣子

的 representation 變成這樣子

所以其實是差很多的

好 那文字版的 BERT

跟語音版的 BERT

其實處理的 input 不太一樣嘛

一個是 discrete text token

一個是連續的語音

所以其實是需要做一些

特殊的處理的

所以這邊就是講

需要做什麼特殊的處理

語音的訊號呢

就如同剛剛大家看到的

就是上面這樣子

他可能是非常的長

而且他局部很 smooth

因為他在做

那個 showtime Fourier transform 的時候

那個 window 是有 overlap 的

那像這樣子的話

這邊一個隨便一個句子

長度就超過 500

但如果大家熟悉 BERT 的話

BERT 他其實有限制

說他 input 的長度

是不能超過 512 的

這樣子

所以他是要

一個比較短的 sequence

那語音的句子

如果動不動就

500 1000 這樣子的長度

那其實是比較難做的

所以怎麼辦呢

就是要想辦法縮短

句子的長度

跟我需要 mask

一個長一點的 span

那就是用下面這兩個技巧

叫做 downsampling

跟著 consecutive masking

那 downsampling 呢

其實就是這樣

就是我這邊有一排

長度為 9 的 input

那我就把每三個疊起來

就是照顏色這樣對應疊起來

那我這樣子長度

就瞬間縮短成 3 倍

但是同時

我沒有丟失任何的 information

這樣

那這就是 downsampling

那這改動主要是

為了因應那個

transformer encoder 的

這個 self-attention 的機制

因為大家知道

self-attention 在做 query 的時候

它是會對

全部整個 input 去做 query

所以你如果

input 長度很長的話

那它的那個 memory 的這個

使用就會很多

所以就要做這個 downsampling

那這個 consecutive masking 呢

是這樣子

就是

剛剛如果只 mask 一個 frame 的話

可能會讓這個

太 smooth model

其實是學到東西

因為它其實可能

mask 一個 frame

它的左邊跟右邊

其實還是有包含它的資訊

所以我們需要

mask 一個長點的範圍

那比如說這邊設 3 的話

那就會變這樣子

連續三個都設 0

那如果在 downsampling case

就是把中間一整排

全部設 0 這樣子

好那這就是

兩個技巧為了處理

這個語音比較長

跟比較 smooth 的問題

所以這樣子一個總結來說的話

就是右上角這張圖

那它裡面的這個

transform encoder 呢

也就是跟 BERT 一樣

那在 Mockingjay 這個 paper 裡面

它有做兩個大小的 model

分別是這個 base 跟 large

分別是三層跟十二層

那這邊就是這個數字呢

就是給大家有一些感覺

就是看這個 model 到底多大

它的 attention 的頭是十二個

然後這個

這個 feed forward 的 dimension

是 3072

hidden dimension 也就是

我們要學的這個 factor

是 768 位

那 training 的話是

你可以用越多的 data train 越好

但這邊是用 360 個小時

然後 pre-train 50 萬個 step

然後 fine-tune 的話

就是 fine-tune 五萬個 step

好那到這邊為止

大家有什麼問題嗎

如果有的話

可以在那個留言區發問

或者是直接問也可以

好如果沒有問題的話

那我們就繼續

那這個 BERT 呢

speech 版的 audio 的 BERT

train 完之後呢

其實是有不同的方法

可以應用在下游的任務上

那以文字來說

它可以拿來 fine-tune

或者是拿來當 word embedding 等等

那語音的話

它也是有三種做法

第一個呢是

feature 的 extraction

就是抽 representation

那怎麼抽呢

就是像左邊這樣子

我右邊 pre-train 好一個 marking j

然後拿過來做一個 freezing 的動作

就是不讓它 update

那我 input acoustic 的

feature output representation

然後這些 representation

直接拿來當作

下游的任務的 input

所以就是 classifier 呢

本來是吃 acoustic 的 input

現在就是吃 marking j 的 representation

那它也是做一個分類

那這是第一種方法

第二個方法呢

是做這個 weighted sum from all layers

那它是這樣子

就是這個 marking j 呢

它有很多層

我就從每一層都抽 representation

然後再由一個學出來的 weighted sum

把它 sum 起來

然後變成最終的這個 vector

所以就是它是從每一層呢

都抽一些資訊出來

那這個做法跟 ELMo 其實很像

那學到了這個 weighted sum 的 vector

再丟到下面去做

下游的任務的 training

所以這個 marking j 的

這個 model 是 freeze 的

但是在這個狀況下

就只有這個 weight 是

它會 learn from data 這樣子

那這 classifier 也是

用少量的 paired data 去訓練

好

那第三個方法就是這個 fine tune

fine tune 的話就是

也是大家所熟知的 the bird 的 fine tuning

那就是我這邊 pre-train 好之後

我就拿過來 initialize

然後整個這綠色框框

全部 classifier 跟 marking j

一起去做 update

那這樣子的話

就跟上面兩個 case 不同

它就不是 frozen 了

它就是可以 update

那也是用少量的 data

paired data 去做 fine tune

好

那實驗上來說的話

male feature 呢

也就是一般的這種 acoustic feature

當然是沒有學到的好

所以學到的小的 model

base model 比 male feature 好

large model 又比 base 跟 male 好

那如果做了剛剛的這個 weighted sum

也就是從這個各層

也就是這張圖

就是從各層去抽 representation 的話

就更好

這個 weighted sum 就更好

那這個是一個圖例

這邊是說

橫軸是我 label data 越來越少

從 360 個小時

一路減少到 36 分鐘

所以是極少量的 data

那這樣子的話

就是看說不同的 representation

會怎麼樣的被少量的 data 影響效能

那所以大家可以想像說

這個曲線一定是會往右

這樣子往下掉

往下掉下來

因為 label data 越來越少

那這個縱軸就是這個分類的 accuracy

那可以看到這個一般的 male feature

就是 label data 越少就越往下掉

那 base 的這個 mockingjay model

就直接好他一截

全部都好他一截

但也是會有往下掉的趨勢

那 large model 在某些 case 下

data 多的時候是比較好的

data 少的話就可能

跟 base model 差一點這樣

那有 weighted sum 就會比所有人都好

就是紅色這條線

就是有 weighted sum 的 mockingjay model

是比所有人都好的

那這邊可以發現一個有趣的點

就是這個最右邊的 large weighted sum

他取得的成績竟然比這個

左下角 male feature

用全部的 label 得到的成績還要好

也就是說他只用了這個

0.1%的 label

就可以比 male feature

用了 100% label 還要好

那這是一個還蠻驚人的發現

就是說其實這個 self-supervised

pre-training 其實是非常有效的

我只要拿一大堆的語音去做 pre-training

我就可以在下游的任務上取得

比原本好上非常多的成績

甚至是我不需要那麼多 data

就可以比你好

所以這也就是為什麼

BERT 也是強在這裡

語音上也是一樣的很強

那就是我只要做一個 BERT 這樣的訓練

我就是可以大幅的提升效能

那如果有 fine-tune 的話就更厲害

就是可以到 84% 的 accuracy

那這個粉紅色的 base FT500

是這個 top-line

就是如果我 fine-tune

50萬步的話可以到這裡

但是如果是 fine-tune 兩個 Apple

就可以取得大部分的進步幅度

也就是說從綠色這條線

直接變到紫色這條線

那這邊的話

有 fine-tune 的話當然就是比所有的

NASA 都還要好

那同樣的也是可以觀察到這件事情

就是我只用 0.1% 的 data

就比用 100% label 的 mail feature 還要好

那這邊就是

其實就是講完下面這個

紅色的框框裡面的這四個做法

因為他其實都是大同小異

就是有一些細節上的不同

不過主要的概念都是

左邊這張圖

就是把 frame mass 乘0

然後我 output 用 reconstruction loss 去算

那他最重要的想法就是說

如果這個 model 是可以

預測中間這個被遮蓋的資訊

那他就可以學到一個好的

contextualize 雙向的理解

藍色這個

他是可以理解說

後面的資訊跟未來的資訊

然後包含在這個藍色的 vector 裡面

所以他是一個好的向量

那透過實驗也都是

證明他是一個好的向量

那這樣子這個紅色呢

就是紅色的框框

就是所有的 audio BERT 的做法

那我回到剛這個

所有的 related work 這裡

那這邊呢就是今天

講過的所有的做法

那其實還有一個

目前我們實驗室正在做的

也就是這個 MarkingJ的進階版

叫做 Terra

那這個 Terra 我就用兩三張 slide

跟大家簡單講一下

那這個 Terra 就是說

我們原本的 BERT 是

做在 temporal axis

就是時間軸上嘛

我們在時間軸上做 masking

那其實還有兩個軸

分別是 channel 軸

跟這個 magnitude 這個軸

所以其實是有三個軸的

那我們其實可以在三個軸上面

都做 masking

那這個 Terra 就是

Transformer Encoder Representation from Alteration

那也是一個 multi-target

pre-training 的想法

那把原本這個 MarkingJ

只有一個軸

延伸到三個軸

那具體怎麼做呢

這是剛剛秀給大家看過的圖

那這個是在時間軸上

那如果我有一個

也是一個 acoustic feature

它是不同的 acoustic feature

是 FMLR

這上面是 semel feature

那這樣子的話

其實是一樣的

你用哪一種 feature 都可以

不過這個 Terra 這一篇呢

是用這個 FMLR 的 feature

那我要怎麼做三個軸的 masking 呢

也就是下面這張圖

這個 A 呢

就是原本的 original feature

那 B 跟 C 就是

剛剛講過的 MarkingJ

也就是 AudioBird 做的事情

就是我在時間軸上

把一條 mask 乘零

那我也可以做替換

比如說換成這樣子

random 的 frame

那這是一個軸

那第二個軸

就是上面這張圖 D

我在橫的這樣子

mask 一排

mask 在 channel 上面

那這樣子的話

我就可以把

一整排的 channel 資訊都 mask 掉

好,然後這個 E 的話呢

就是我 sample 出一些

高弦的 noise

然後加在 MAGRAV 圖上面

那因為 sample 出來的 noise

很小

所以其實肉眼是看不到的

不過在這裡

下面這張圖就看得到

這邊呢

就是 combine 的這個

time channel 跟 magnitude

做在一起

所以原本這裡應該是乾淨的零

比如說像這樣子

就可以看到上面有一些

sample 出來的 noise 在上面

那這樣子就是把三個

軸上面的

這個 alteration

combine 在一起

那它的概念也就是說

如果這個 model

可以從這樣子

被更動過的 input 還原出

乾淨的

這樣子的 feature 的話

那它就可以學到

雙向的資訊

然後不僅是在時間軸上

也可以是在

這個 channel 軸上面

所以它透過實驗

就是發現說

這個 channel 軸的 masking

是可以學到

余者的資訊

那這個時間軸的 masking

可以學到雙向的

那個 foam 的資訊

那這個 magnitude 的增加跟減少

是可以讓那個模型

在整體的

整體的任務上面的表現

都有所提升的

好那這就是

再把它放到這張圖裡面

那這個 ASR 系統呢

也是這橘色框框

就可以換成

像這個 Terra 這樣子

那這邊就是

也是可以做 ASR 的實驗

或者是 foam 跟 speaker 的分類

等等

好那這樣子

就把這張圖裡面

所有的

這個 self-sortify 的方法

都講完了

那主要就是有綠色這邊

是這個 CPC 的做法

那紫色這一坨

是這個 reconstruction loss 的方法

那橘色這一坨呢

就是所有的

Bird style 的 pre-training

好那其實是還可以

分成這樣子的分類

就是這個顏色呢

就是對應到上面這一頁

就是綠色就是這裡

紫色就是這裡

橘色就是這一坨

那它其實是

可以分成這樣子的分類

就這些呢

這些右邊這一坨呢

都是這種從 past

predict future 的做法

那右邊這一坨

它就是從左右兩邊

past 跟 future 一起 predict

現在的這種做法

那就是

這是目前主要的做法

好

那接下來除了這個

marking jet 以外呢

就是其實是還有一些

一些更多的應用

是可以做在

AudioBirds 上面

那下面就舉三個最新的例子

那這是新鮮出爐的

就是5月15號才剛投到

這個 Interspeech 的 work

這樣子

那第一個呢

就是 marking jet

拿來做 adversarial defense

第二個呢

是 improve marking jet

也就是 speech 版的 Albert

那第三個是這個

理解這種 marking jet 裡面

的 self-attention

那下面就一個一個來介紹

那我會講第一個

就是 marking jet 做 adversarial defense

那下面兩個呢

就是會分別請他們的作者

來為大家介紹

好

那第一個的話呢

是這個 adversarial defense

要怎麼用這個 speech 版的

這個 birds 來做呢

那 adversarial defense 是什麼呢

那我先講什麼是

adversarial attack

就是下面這張圖的例子

就是假裝我有一個熊貓

那機器辨識它說它是熊貓

然後有這樣子的 confidence

但是如果

今天我在 attack 它的時候

我就可以學出一個 noise

然後乘上一個 weight

把它加在圓圓的圖上面

然後對人類的眼睛來說

是沒有差別的

看起來還是一個熊貓

但是機器卻會辨識錯

把它辨識成這個

given 就是長臂圓

然後甚至 confidence 才特別的高

那這樣子的例子就是

一個 attack 成功的例子

就是對人眼來說是沒差別的

但是對機器的辨識來說

是會出錯的

那這樣子的 attack 是可以用在

不同的 AI 的 security system

舉例來說

比如說 face ID

或者是 voice ID 等等

那所以這是一個

就是現在還蠻熱門的主題

就是怎麼做 attack

跟怎麼做 defense

就是有人做 attack

就有人想辦法 defense

那這個 attack 的方法

就是有各種各樣

那基本上都是 gradient base

那主要就是學這樣子的 noise

然後要去 attack 這樣子的 image

那 defense 的話

就是想辦法讓這個 noise

加上去之後

它不會影響辨識的結果

那以語音來說呢

就是這樣子

如果有一個 voice ID 這個聲紋鎖

那比如說是這個鎖

是這個黑武士的鎖

那有一個路人呢

來講一句話

他其實是會 deny 的

就是因為不是他的聲音嘛

那如果是黑武士自己

就應該要讓他 granted assess 這樣子

但是如果今天我用 audio playback

就比如說我錄他的聲音

或者是我用 TTS 合成他的聲音

然後去給這個鎖

想要嘗試解鎖的話

會不會很容易就被解鎖成功呢

是有可能的

因為 audio playback 跟你

就是你播放一個人的錄音

跟那個人真實講話

其實是很類似的嘛

對機器來說其實是分不出來

所以其實是呢

還會再加上這樣子的 model

就是 anti-spoofing 的 model

在這個 speaker verification model 前面

那這個 anti-spoofing model

做事情是這樣子

就是我今天有一段聲音

如果它是被人為改動過的

或比如說是錄音的 playback

或者是 TTS 的合成呢

他就要說這是 spoofing

那就要把它丟掉

就不要再餵給下面的

這個語者辨識的模型

但如果他今天是沒有被改動過的

non-spoofing 的話

他就會給這個 speaker verification model

去確認

所以他其實是先做一個

就是預防的動作

就是預防說那些

有被人為改動過的聲音啊

或者是錄音啊或是合成的聲音

來攻擊我的聲紋鎖這樣子

那所以如果我今天有一個

audio playback

那他就會辨識說他是 spoofing

然後就把它丟掉

就不會給 speaker verification model

去做下一步的辨識了

那今天我們要怎麼 attack 這樣子的

anti-spoofing model呢

其實是這樣子

就是我有一個 audio playback

原本他辨識說是 spoofing

但是呢我今天就是

想要他讓他辨識成是 non-spoofing

那怎麼做

就是我用 gradient descent

然後我要 maximize

這兩個 input 的 difference

也就是說我加上一個 noise

得到這樣子的聲音

對人類聽起來可能是一樣的

那這是一個 adversarial noise

然後得到這樣子

adversarial example

就是 x 加上 delta

得到這個 x delta

那這個 x delta

未進 anti-spoofing model 呢

我希望這個 f of x delta

是可以跟 f of x

離得越遠越好

因為原本他辨識我說

我是 spoofing 嘛

但我希望他辨識成

我是 non-spoofing

所以我就要 maximize

這兩者的 difference

那我這 gradient descent 呢

一般我們 gradient descent

是用來 update model 的 parameter 嘛

但是現在不是

我們就是拿來 update

這一個 delta noise

就是我去學

這個 delta noise

應該長怎麼樣

所以如同上面這張圖看到的

就是他其實是長這樣子

學出來的 noise 是長這樣子

因為是機器學出來的

gradient descent 學出來的

是長這樣

對人類來說是看不出來的

那回到這裡的話

就是我可以用 gradient descent

去學這樣子 adversarial noise

就可以 attack 成功

那這個 attack 的方法的成功率

其實是還蠻高的這樣

所以現在的問題就是

我們要怎麼 defense

那其實我們就是發現

這個 marking j

剛剛講的這個 audio bird

是可以拿來做 defense

我就直接把他擋在前面

擋在這個 anti-spoofing model 前面

就可以做 defense 了

那具體來說是怎麼樣呢

就是可以看這個實驗的結果

那這個橫軸呢

是 attack 的強度越來越強

那縱軸就是

anti-spoofing model 的正確率

所以如果他錯的話

表示他被 attack 成功了嘛

那如果正確率都很高的話

表示沒有被 attack 成功

所以可以看到這個 marking j

紅色這條線

在不同強度的 attack 下面

其實都是持平的

就是他不受 attack 影響

但其他的這些方法

就是會七頂八落這樣子

那其他方法一般就是

這種 filter based 的方法

medium、mean filter 或 gaussian filter

gaussian filter 其實蠻強的

就是綠色這條線

他其實是在一定程度 attack 下

是不受影響的

但有些 case 就會被影響

這四張圖分別是

兩個不同的 anti-spoofing model

被兩種不同的 attack 方法

攻擊的結果

所以就有四種 case 這樣

那 male feature 呢

就是會比較爛

就是灰色這條線

那這個橘色的這條 random

就是 random 的 marking j

就是可以看到說

橘色跟紅色的差異

就是有 pre-trained 跟沒有 pre-trained

所以其實有 pre-trained 是有差的

你看舉例來說

下面這個橘色就是

非常的弱

這個橘色有這樣

所以其實是

不是因為多了

不是因為多了一堆的

layer 在這邊所以才好

而是因為他有 pre-trained 過才好

這樣

好

那這個 train from scratch

這個藍色的點呢

在這裡

就是說

如果我直接

把他接在

marking j 接在 anti-spoofing model 的前面

然後直接這樣 train from scratch

其實是不行的

是沒有用的

是跟 chance level 差不多

就是他的正確率是五十幾趴

那所以紅色的線呢

就是可以顯現出

就是 pre-trained 的

這個 audio burn

marking j 是好的

那還有另一個實驗呢

是這個

呃

算這個

lnsr

layer wise 的這個

nsr

那他的

想法是這樣

就是我們能不能衡量這個

攻擊的這個訊號

在 layer 中間遞減的情況

所以其實是可以的

也就是左邊這張圖

那

就是我在每一層呢

我都算一個

呃這個

原本的 hi 跟 attack 過的

hidden 的 hi 的差異

然後 normalized by 這個原本的

所以是這樣子

就是我先拿

正常的聲音丟進去

然後在每一層都算出這個 hi

然後再拿 attack 的聲音丟進去

然後去算他們之間的差異

所以可以看到這個

attack 的 signal

隨著 marking j 的層數遞減

那這個 0 呢

就是在 output 的地方

所以可以看到在

input 的地方

input 的地方呢

這個

黑色的這個 x

跟這個

藍色的 x delta

其實是差非常多的

所以他的這個 lnsr 是蠻高的

但是只要一進到 model 呢

就有下降的趨勢

然後隨著層數的增加

那個 lnsr 是越來越少

也就是說

呃 attack 過的

這個 attack 的這個 signal

被 model 濾掉了

被 model 濾掉

然後就

這個 lnsr 就非常的少

好

那這個就是可以看到說

marking j 是如何的過濾

這個 attack 的 signal

那除了這個

adversarial attack 之外呢

還有什麼

是我們可以用 marking j 做的呢

那下面就是

有兩個

一個是 audio bert

那這個就是

呃

我有語音版的 marking j

也就是

audio 版的 bert

那我們可不可以做一個

audio 版的 lbert 呢

那其實是可以的

那等一下就會請那個

紀伯漢

同學來為大家介紹

那這邊呢

第三個是這個

understanding self-attention

那也就是理解

這個 self-attention

到底是在做什麼事情

model 到底是學到了什麼

所以等一下也會有這個

楊書文同學

來為我們做介紹

就是這個

attention 裡面

到底理解了什麼

那

這邊我做一個總結

就是 self-supervised 的學習呢

其實是有

許多的點子

跟想法是可以做的

那

也是有許多研究的方向

可以做的