好,那這一堂課呢,我們要講 Speech Synthesis,我們要講語音合成。

好,在這堂課裡面呢,在這門課裡面,我們已經講過語音辨識,輸入聲音輸出文字。

我們已經講過Voice Conversion,Speaker Separation,輸入聲音輸出聲音。

接下來,我們要講語音合成,Text to Speech的Synthesis,輸入文字,

產生聲音。

那在下課之前呢,我們來回顧一下語音合成的歷史。

當然今天語音合成就是end to end,硬吹一發,今天沒有什麼東西不是硬吹一發,每一個東西都是硬吹一發。

但是在硬吹一發之前,語音辨識是怎麼做的呢?

所以在下課之前,我們來講語音合成是怎麼做的呢?所以在下課之前,我們來講一下在有硬吹一發之前,

語音合成是怎麼做的?然後接下來進入硬吹一發的時代。

然後我們還會講說在硬吹一發之後,硬吹一發的後時代我們做的事情是什麼?

然後再講說我們怎麼控制TTS語音合成合出我們要的聲音。

好,我們先講過去在還沒有硬吹一發的時候,人們是怎麼做語音合成的。

好,那我找了一下語音合成的緣起。

其實在18世紀就有人嘗試過語音合成了啦,不過那個是太久遠以前的東西,我找不到任何的demo。

那我找到語音合成最早的demo是1939年有一個東西

叫做Voder,Voder這個東西它是在紐約的世博會上展示的一個

語音合成的系統,它聽起來像是這樣的。

Let's see how you put expression into a sentence. Say she saw me with no expression.

She saw me. Now say it in answer to these questions.

Who saw you? She saw me. Whom did she see? She saw me.

Did she see you or hear you? She saw me.

所以你會看到說1939年就有語音合成,不過這個語音合成感覺有點像這種

電子琴的感覺,它是操控這個琴鍵

類似琴鍵的東西去合出不同的聲音。

那有一個知名的語音合成系統是用IBM的computer做的,它是1960年代

在Bill Lab做的,它是一個最早的早期的語音合成的demo

它應該是最早嘗試讓機器做唱歌這件事情。

你可以在網路上找到當年的demo,當年的demo聽起來像是這個樣子。

He saw the cat.

Mr. Watson, come here, I want you.

To be or not to be, that is the question.

Whether it is nobler in the mind to suffer the slings and arrows of outrageous fortune

or to take arms against a sea of troubles,

and by opposing end them, to die, to sleep.

Singing in purely physical terms is essentially a matter of pitch and timing.

In the next selection, the computer sings a familiar ditty.

Daisy, Daisy, give me your answer too.

Yes, Daisy, all for the love of you.

It won't be a stylish marriage. I can't afford a carriage.

But you look sweet upon the seat of a bicycle built for two.

所以大家聽到說

早年的1960年代的語音合成,合成出來的聲音就比較像是我們一般

對機器人應該有的聲音的想像。

所以我們通常想像說機器人講話就要講說我是機器人這樣的感覺。

這個感覺聽起來才像是機器人講話。其實今天語音合成合出來的聲音都太真實了。

它的機器感實在太少了。我相信過幾年就會開始有人做一些復古的語音合成。

明明可以合出很好的聲音,但是我們用Voice Conversion的技術把它轉成奇怪的機器人風格。

也許有人就會開始說,這樣有什麼用呢?這樣的用處就是也許機器合出來的聲音

太像真人會讓人聽起來不舒服,所以故意給它合一些機器人的聲音,讓大家聽起來

會比較舒服。剛才我們聽到說這個iVM的電腦

Daisy這首歌,其實在一個知名的科幻電影《太空漫遊2001》裡面

就有致敬了類似的橋段。在《太空漫遊2001》裡面有一個人工智慧的電腦

叫做HAL,中文翻譯成HAL,英文是HAL

HAL就是iVM的字母-1,HAL就是iVM-1

HAL其實它也有出現在《腦念涅羅》裡面

《腦念涅羅》這不重要,它出現在《太空漫遊2001》裡面

這個人工智慧最終想把人類都殺了,但是卻被人類反殺

在臨死之前,他就唱了一首歌,是他這一生第一次學到的歌,就是那個Daisy

HAL就是在致敬iVM這台電腦。而這個iVM這個電腦

是那種需要打卡的電腦,有房間那麼大的電腦,我相信在座各位可能都沒有

真的用過這種電腦,我也沒有用過,我只是在灣區的計算機博物館看過

那邊還有實際有iVM的員工在操縱那些電腦

那個電腦是有人在展示的,然後有一個老爺爺在那邊

他說他是一個iVM的員工,然後展示操作那個電腦可以看

給你看,這樣我覺得說也許50年之後我就要去科工館做這個工作啊,然後就是展示說

怎麼train deep learning給大家看啦,然後就會拿出一個2080Ti,然後所有人就很震驚

哇,居然有這麼大的processing unit,SPU現在都是像米粒一樣大,然後就會講一些

這個2080Ti它的processing能力只有你指甲上的SPU的1%喔

然後大家就哇,這樣,然後2080Ti上有個風扇,然後就轉起來了

哇,上面居然有風扇,好可怕喔,會不會把人捲進去啊,然後我就開始寫個程式

Import個TensorFlow,然後大家就覺得,哇,太可怕了,這個人居然是用手寫程式

因為那時候人都用意念在寫程式了,就是這個樣子

你可能覺得用意念寫程式也許太超過了,但是50年後至少應該用natural language寫程式吧

雖然不過現在教授都是用natural language在寫程式了

我不知道大家聽不聽得懂這個梗就是了

好,這不太重要,好,那下一個這個語音合成,就一般如果你是商用的系統啊

其實過去最常用的語音合成的技術

是用一個叫做concatenative approach

那concatenative approach是什麼意思呢,這個概念非常的簡單,一講你就聽得懂了

就是你有一個很大的Database

這個Database裡面呢

有非常非常多的聲音訊號

如果今天你要合一段聲音出來,比如說你要機器說你好嗎

好,那你就去聲音訊號裡面

挑一個你出來

挑一個好出來

再挑一個嘛出來

串起來就是語音合成的結果了

可是你可能會想說,直接把聲音訊號挑出來

再串起來會不會聽起來很怪啊,會不會聽起來很不自然啊,會

所以你需要解這個問題

所以怎麼挑出聲音訊號讓他們串起來是順的

怎麼挑出合適的訊號讓他串起來是順的,這個就是一個可以研究的問題

所以很多研究都集中在怎麼挑出聲音訊號

讓他聽起來是順的,這個就是這個投影片上寫的

Concatenative Loss,怎麼把它接起來

會是接得

比較好的

這個技術

你

完全可以想像,它其實沒有你想像的那麼容易,因為你要把這個concatenative的部分做好,其實沒有你想像的那麼容易

不過這個技術你完全可以想像大概是要怎麼做的

那很多

在網路上不是有很多影片都是把政治人物的聲音就截一個一個詞彙下來就可以讓他說出他本來

沒有講話嗎

其實大概就是類似的概念

不過像這樣子的語音合成

有很多的局限性

一個局限性是

他沒有辦法任意合隨便某一個人的聲音

如果你要合某一個人的聲音

那你得要在Database裡面有接近那個人的聲音才辦得到

你要合男生的聲音那你的Database要有男生的聲音

你要合女生的聲音你的Database要合女生的聲音

所以你如果要讓你的機器有

很豐富的他講的話要很有異樣頓挫要非常豐富那你必須要收集一個

非常大量的資料庫

把各式各樣你合成時的時候需要的素材

通通放在資料庫裡面

你才有辦法合出

你想要合的聲音

而且你今天在

用這個語音合成系統的時候

這個資料庫必須要存在你的電腦裡面

如果你比如說像今天iPhone4

在離線的時候他也是可以合出聲音的

那你在離線的時候要做合成的時候顯然你的Local端必須要存在一個非常大的資料庫才有辦法

合成出聲音出來

所以Concatenative這個做法

雖然他

過去比較常被用在Sound系統上

不過他還是有很大的侷限性

進入了機器學習的時代以後大家就會想說那能不能夠用Machine Learning的方法

來進行合成呢那這個這系列的做法

就叫Parametric

的Approach

那最早當然是用HAM

那後來

也有用一些

Deep Learning Base

的方法

那其中最知名的一套這種Parametric Base的語音合成的Toolkit

叫做HTS

但是這種Parametric Base的方法

其實也沒有你想像的那麼簡單

這個下面是這個從HTS的官網上截下來的圖啦

那這個是我們就不細講

那你可能會想像說HAM就是一個Generative的Model啊

我們今天HAM的聲音不就從一個Hidden Mark of Model裡面去

Sample東西出來

聽起來

也許就是一段語音了

但是你想想看假如我們今天叫HAM Generate聲音訊號

是他覺得機率最高的聲音訊號

那從每一個State裡面

Sample出來機率最高的聲音訊號

其實都是同一段對不對

因為每一個State都是一個固定的Gaussian Distribution

固定的Gaussian Distribution裡面

Sample

機率最大的

一個Gaussian Distribution裡面機率最大的Sample

就是他的Mean啊

那如果你今天要讓機器產生他覺得機率最高的那段聲音

其實會有很長一段聲音都是同樣的Vector

其實非常的奇怪

那過去當然有一些方法來解這個問題

不過都

頗為

複雜

那這個就不是我們今天可以細講的

總之過去

當然有用HAM DMN的方法來做Speed Synthesis

他們不是M2M的他們叫Parametric Approach

不過他們都

頗為複雜

那在進入M2M的時代硬券一發之前有一個最接近硬券一發但

還不是硬券一發的想法

叫做

BigBoys

這個是

百度做的

他是輸入一段文字輸出一段聲音訊號

中間有很多的Module

把這些Module串起來

就可以從文字

到聲音訊號

那這裡面有什麼樣的Module呢

第一個Module叫做Graphing to Phoning的Module

Graphing to Phoning的意思是說給機器看一段文字的時候

機器要從這段文字

去猜測他的發音

舉例來說你輸入一串字母你輸入CAT這三個字母

那這三個字母應該怎麼唸呢

C到底要怎麼唸呢

他這邊是唸K嗎

還是唸CH

還是沒有發音呢

這個

需要由Graphing to Phoning這個Module來判斷

假設今天Graphing to Phoning這個Module把CAT判斷說他就是發音

K

A跟T兩個刻

然後把他決定要發音的結果

輸入給另外兩個Module

一個叫做Duration Prediction的Module

這個Duration Prediction Module他做的事情就是

給你一串封鈴

他去判斷說

每一個封鈴他的長度應該是多少

舉例來說他可能說這個K我要發0.1秒

這個A我要發0.5秒

這個T我要發0.1秒

這也是一個Network這個Network自己決定說每一個封鈴他要唸多長

還有一個東西叫做Fundamental Frequency的Prediction Module

這個Fundamental Frequency是什麼呢

你可以把它想成就是

音高

今天機器決定說你的音高要有多高

這個Fundamental Frequency

其實他就是你的聲帶震動的

頻率

所以今天要讓機器去預測說

人在發這些聲音的時候

那你聲帶震動的頻率應該是多少

那有一些封鈴啊

有一些這個因素啊

人在發音的時候聲帶是

沒有震動的

那如果是

不需要震動聲帶就可以發的聲音

那這邊Output就Output個XX

不需要聲帶震動

好那你這邊Output了Fundamental Frequency

那我們有封鈴

有每一個封鈴要輸出的長度

有每一個封鈴的F0也就是他的音高

把這三個東西湊起來丟到語音合成的一個Module

這也是一個Network他吃這三個東西當作輸入然後就吐出一段聲音

在這個圖上啊

每一個這個藍色的這個Module啊

他都是一個D的Network

其實

只要把他串起來M to M的Trend

他就是

M to M的硬Trend一發的Module

不過在第一版的Deep Voice裡面呢

不是M to M的Trend的每一個Module是分開Trend的

然後再把他接起來

那我覺得

這個是賣最接近

硬Trend一發M to M的一部

就好像說

生物從海洋直接走到陸地那這個呢

Deep Voice的第一代就是一個兩棲類他已經爬到陸地上

Deep Voice的第三代

就是M to M的了

好那我們在這邊呢

休息休息一下我們11點半再回來然後接下來呢就要講真正

M to M的TTS

好那接下來呢我們要來講Tekotok

他是一個真正M to M的

語音合成系統

Tekotok的這個Teko是什麼意思呢Teko呢

是一種食物啊就可能中文翻譯成墨西哥捲餅吧反正就是類似這樣子的

食物

那為什麼後面要加Tron呢

這個Tron

沒有什麼意思這個Tron只是為了要增加他的科技感而已

那這個第一作者呢

是

王宇軒我有聽過他的talk他的talk裡面有說這個Tekotron本來並沒有要叫Tekotron

本來叫做Tokotron

Talk就是

說話的那個意思說話的那個talk

再加Tron一樣沒有任何意思就是為了要增加他的科技感

本來叫Tokotron

後來覺得叫做Tekotron更有感了所以就叫做Tekotron

然後在這個文章裡面呢他們還很有趣的加了一個註解

有星號的作者

是喜歡Tako的

然後有加這個Dagger的作者

是喜歡Susie的這樣子他們很認真的告訴我們他們的食物偏好是什麼

那Tekotron他有兩個版本第一個版本發表在InterSpeech的17年的InterSpeech

第二個版本發表在18年的icast

那其實在Tekotron之前啊

就已經有一些end-to-end TTS的嘗試

Tekotron他是input

character

input字母

然後直接輸出

就是Spectrogram

那Spectrogram

跟Waveform啊他其實只差了一個face的資訊

所以你要從Spectrogram轉成Waveform

你不見得需要非常強的recorder你不見得需要Machine Learning Base的recorder

你用一些raw base的方法比如說Graphenly

你就可以直接把Spectrogram

加上face

轉成Waveform

好這個是Tekotron

那其實在Tekotron之前就已經有一些end-to-end的語音合成的嘗試

舉例來說有人嘗試說直接inputphony

然後輸出straight

他的acoustic feature

那phony跟character比起來當然還是差了一層啦

比較接近

聲音的訊號

就你今天

如果你像我們剛才在看那個

deep voice的第一個版本的時候他就有一個module

先把character轉成phony然後再去做接下來的事情

所以用phony可能還是比character還要容易一些

然後這邊的output啊

是straight的acoustic feature

也就是他不是一般的acoustic feature

所以acoustic feature要丟到一種叫做straight的recorder裡面

才能夠合出聲音訊號來

那還有另外一個嘗試叫做character-to-wave

那如果是character-to-wave的話呢

他的輸入

就是character

而他的輸出呢

是sample RN這個recorder的

acoustic feature

所以過去已經有一些end-to-end TTS的嘗試

那Tabletron呢他是最狂的他的輸入跟輸出是最end-to-end的

他輸入直接就是字母

等於就你直接把文字丟進去沒有做任何處理

希望never自己知道這每一個character每一個字母

要怎麼發音

輸出他雖然不是直接產生waveform

但他產生

spectrogram

spectrogram跟waveform中間也只差了一個linear的transform而已

好那Tabletron他到底是什麼樣的network架構呢其實

講的大致一點大略說來他就是sequence-to-sequence model

加attention

就說完了

就說完了就這樣

所以input

有一個encoder

然後他有一個attention

然後他有一個

decoder

那除了這個typical sequence-to-sequence model加attention的架構以外他還有一個

post-processing的架構

然後

就產生

spectrogram

好那接下來呢我們就是來看Tabletron裡面的每一個module

我們先來看encoder

那這個encoder的目的啊

就是吃一串文字

吃一串字母

然後呢把這串字母呢

轉成一堆向量

轉成latent representation

再丟給attention的module

跟decoder

所以這個encoder他扮演的角色啊

類似graphic-to-phonic的module

我們剛才有看到說在deep voice裡面有一個graphic-to-phonic的module

把character

轉成phonic

把字母

轉成音速然後接下來的module才知道根據音速要怎麼發音

所以encoder他這邊的作用

像是把輸入的character

轉成phonic

告訴接下來的decoder的module還有attention的module說

這些character

他應該要怎麼發音

所以encoder的輸入啊直接就是字母

加上標點符號

你甚至可以把標點符號當作輸入讓機器

知道說看到我的逗號就要停頓

看到驚嘆號就要表現出很驚嘆的樣子

看到問號這個音調就要提高等等

你可以把標點符號

當作encoder的輸入

好那這些字母呢通過一個transform變成input的embedding

然後通過一個prenet沒有什麼神奇的就是幾層Fully Connected

Feedforward Network那prenet裡面呢

通常有加dropout

好那prenet的輸出呢

會再丟給一個叫做CBHG的module

CBHG這個module啊

就蠻複雜的

不過我們這邊就很快的帶過去

好這個CBHG的module是什麼樣子呢

他這個是CBHG module input

然後他通過這個1D的convolutional的filter bank也就是說他有一大堆的filter

好那這個filter的那個

receptive fill啊大小還是不太一樣的

好接下來呢他有一個max pooling along time

也就是把相鄰的feature啊

做一個有點類似

這個smoothing這樣的動作讓相鄰的feature比較像一點有點像是平滑化這樣的動作

然後這邊有一個1D convolution layer然後做一個residual的connection

然後再把他丟給highway的network然後再丟給bi-directional的GRU然後最終呢

產生一些output

如果這部分你聽得不是很懂的話反正沒有關係就記得說

輸入

一串character

輸出就是每一個character變成一個相鄰就結束了

那CBHG這個名字應該是來自於

convolutional的bank

加上

highway network

加上GRU所以CBHG

這樣子

好那我們這邊呢就不打算細講CBHG啊你可能會問說為什麼要用CBHG啊要用CBHG

才可以嗎不用CBHG不會好嗎

可以不用CBHG在第二個version的tabletrump裡面CBHG就默默的消失了

他就變成說

input文字然後呢產生character embedding再通過三層的convolutional layer

再通過bi-directional的LSTM

就得到這邊的embedding

所以看起來CBHG

不是非常必要的所以我們就不會花太多時間講CBHG這個東西

好接下來講attention的部分

那attention就是

你知道的那個attention

那今天在做語音合成跟語音辨識他們的attention有一個共同的地方就是

audio跟text

他們是monotonic的line

也就是

文字跟聲音

他們是有一個

共同的順序的

等一下我們之後還會再來回頭來看attention的問題

今天你輸入呢這一個timestamp的東西這一個

character他對應的embedding

就會給我們

這一段

聲音訊號

今天在這個attention的metric上

他的表示的意思是說

縱軸

代表的是

encoder的輸出

縱軸的

每一個值縱軸的每一個點

就代表了encoder輸出的一個embedding

那橫軸

代表今天在做decode的時候

我們今天每一個embedding

會輸出幾個timestamp

所以今天這個圖上的意思就是說

這邊有一個embedding

這個embedding

會給輸出的

這樣子的

這樣子的位置

那所以今天你可以想像說

這個東西啊就是應該是一條斜直線

他的目標啊

有點像是model duration

我們剛剛在講deep voice的時候我們看到說

Machine需要去預測說每一個phony

要發音多長

那attention的作用

就像是要機器自動學出說

每一個character所代表的embedding

他在decoder那邊

會產生多長的聲音訊號

如果你今天你的attention的matrix長得像是這樣子

是一條斜的線

那通常是好的

如果你今天感覺怪怪的他不是一條斜線感覺很糊那往往就代表你今天合出來的結果

不太好

你的model在訓練的時候出了什麼問題

所以他沒有辦法合出好的聲音

這個是attention的部分我們之後會再細講

好那decoder的部分呢

decoder就是吃

attention的結果

然後產生聲音訊號

那這個decoder啊

他就是一般sequence to sequence model裡面的decoder

你丟一個zero vector進去代表其實

然後這個zero vector呢

通過一個pre-net再丟給RNN

這個RNN呢

會去做attention這件事情

產生attention的context vector

再丟給下一層的RNN

然後產生出輸出

然後今天在Tagotron裡面

decoder有一個比較特別的地方是

他不是一次只產生一個vector

他會一次

產生好幾個vector

decoder這邊產生出來的輸出

就是

male spectrogram

所以我們今天在訓練的時候我們就會要decoder呢

產生

male spectrogram

但是今天我們不是一次只產生一個

male spectrogram的vector

我們會一次要這個RNN

產生好幾個vector

產生出來的vector數目呢

叫做R

那在這個decoder的第一版裡面這個R

可能可以設3

可能可以設5

那為什麼要讓這個decoder一次產生數個vector呢

為什麼不是像一般的sequence to sequence model decoder一樣一次只產生一個vector呢

這個可能的原因是因為聲音訊號

非常非常的長

我們今天在產生聲音訊號的時候

每一個male spectrogram這種acoustic feature裡面的vector

才代表了非常短的一段聲音訊號通常是代表了0.01秒的聲音訊號

所以如果你今天要產生一段一秒鐘的聲音

那你要產生100個vector

他這100個vector拼起來

才是一秒鐘的聲音

你要產生100個vector才是一秒鐘的聲音

所以今天這個sequence to sequence的model

對decoder那邊來說

他的負擔是很大的

一般sequence to sequence model應用的情境不一樣

我們之前在講sequence to sequence model的時候

說我們可以用在

翻譯上我們可以用在語音辨識上

你把sequence to sequence model用在語音辨識上的時候

他的輸出一句話可能了不起

十幾二十個文

所以你的decoder

只需要產生

十幾二十個token

就結束了

但是今天

如果你要把decoder把sequence to sequence model用在語音和聲上

那你必須要產生一個

非常長的sequence

你要產生

超過上百個可以產生超過上百個vector的sequence

你的decoder

必須要產生超過上百個vector

才能夠合出

一段短短的聲音訊號

那RNN在產生這種上百個vector的時候在產生這種非常長的sequence的時候

很容易壞掉

而且RNN產生長的sequence

是非常沒有效率

因為產生長的sequence

它是sequential的

你今天sequence有多長

你就要花多長的時間你要花多少的timestamp

去產生這個sequence

所以就有了這樣子的一個一次產生R的frame產生R的vector的想法

如果你今天一次產生

三個vector

那這個

要產生的這個sequence的長度

就減少三倍

你RNN的這個decoder

他今天要decode的長度

就變成原來的三分之一

如果你這個R是一次產生五個vector

那你今天decode的sequence長度

就變成

五分之一

那這樣子的好處就是

讓你

減少你的運算量讓你在訓練的時候

更容易一點

所以在今天在Tacotron裡面一個有趣的設計是

decoder一次

產生數個vector

所以這個是

Tacotron第一代的一個非常自豪的獨特的設計

但是實際上有趣的地方是在第二代裡面

R就設1

所以就跟一般的decoder一樣也沒一次產生多個vector

R就設1反正也

秤得起來就是了

好那這個decoder在第一個time step的輸出啊會變成第二個time step的輸入

認為在第一個time step你是一次輸入三個vector

要把哪一個vector

當作下一個time step的輸入呢

有各種不同的做法你可以直接把三個vector串起來當作下一個time step的輸入

不過在第一代的Tacotron裡面就用了非常簡單的設計把最後一個vector

如果你一次產生三個vector把第三個vector當作下一個time step的輸入

把第二個time step吃一個vector當作進去然後就吐出接下來要產生的三個vector

然後再把最後一個vector當作下一個time step的輸入

再產生三個vector

然後直到把整段聲音訊號產生完

這個東西

就是Tacotron的decoder

好那這個pre-net裡面呢一樣要有抓抱這個pre-net裡面的抓抱呢等一下會看到說它

扮演了非常重要的角色

今天在訓練decoder的時候跟做語音辨識一樣我們一樣需要

teacher forcing

那有一個我們還沒有講過的東西是

如果我們用teacher forcing

每一次機器在產生sequence的時候呢

它都會看到正確的答案但是因為在測試的時候是沒有正確的答案的啊

所以會造成訓練跟測試的一個mismatch

那沒有關係

反正在Tacotron裡面的decoder你的pre-net裡面有抓抱

這個抓抱呢它的特色就像是

Schedule sampling一樣

它雖然說你這邊在training的時候輸入的是正確答案

在training的時候你輸入的是正確答案那pre-net裡面有一些抓抱它可以模擬你在測試的時候

你的RNN有可能出錯的情形

在做這個decoder的時候你還要有一個module去決定說

什麼時候應該結束

我們之前在講語音辨識的時候知道說我們只要產生一個特殊的token這個特殊的token代表

辨識結束

那RNN decoder就不會再decode東西了

但是今天在語音合成的時候不一樣

在語音合成的時候我們產生出來的東西並不是

token並不是token是continuous的vector

所以decoder怎麼知道什麼時候應該要結束呢

所以這邊加了一個額外的module

這個module叫做我們要不要結束了

那這個module就是一個binary的classifier

它把RNN的hidden layer把它接出來把RNN的

memory裡面輸出的值把它接出來丟到這個classifier裡面

然後這個classifier就去判斷說現在

要結束還是不要結束

如果這個classifier判斷不要結束

好那RNN的輸出就丟到下一個timestamp

就再產生新的output

然後再判斷一下要不要結束不要結束

好那RNN的輸出再丟到下一個timestamp

再產生新的output再判斷要不要結束現在要結束了

那就結束了

這個綠色的module它就是一個binary的classifier

它吃RNN的hidden layer然後

output就是

一個scalar

決定說現在要不要結束它output就是一個數值

這個數值小於0.5

就結束小於0.5就是不結束大於0.5就代表結束

這個是decoder

在PanelTron裡面的decoder之後啊還有一個

Post-processing的network

這個Post-processing的network是什麼呢

這個Post-processing的network啊

它也是一個CBHG在第一代裡面是一個CBHG在第二代裡面呢就是一堆的

convolution

這個CBHG啊它會把RNN輸出來的這些vector當作輸入

然後再吐出另外一排vector

那為什麼我們要把RNN的輸出丟到CBHG裡面再吐出另外一排vector呢

因為今天RNN在產生的時候

它是call久了

就是它這些向量是按照順序產生的

這個Spectrogram裡面的這些acoustic feature

它是按照順序一個一個產生的

所以今天每次它都只能夠看前面已經產生的vector然後產生後面的vector

所以也許在某一個步驟它

再產生新的vector以後它覺得想要回頭過來改

那已經沒有機會了你看到後面的東西覺得之前產生的不太好想要做來改

然後再回頭過來改已經沒有機會了

那怎麼辦呢

加上一個後處理的network

這個後處理的network再給你一次修正的機會

這個後處理的network會把

整個句子都看過把整個句子讀進來再產生

新的輸出

然後今天在訓練的時候啊

你其實有兩個loss

所以Tacotron在訓練的時候

其實有兩個training target

這兩個training target在

第一代Tacotron跟第二代Tacotron裡面都有

所以顯然這個這件事情是頗重要的

它的兩個training target是這樣子

我們會希望RNN的decoder輸出來的

就是male spectrogram

這是第一個loss

我們希望RNN輸出來的東西

跟正確答案我們訓練這個TTS的時候我們有正確答案嘛有pair的data有文字跟

聲音訊號的pair data

所以我們希望說RNN的decoder輸出來的這段聲音訊號

跟

male spectrogram跟你光tube正確答案越接近越好

但同時我們也希望說

這個RNN的輸出通過CBHGCBHG是non-codal的它可以看整段聲音訊號

決定說輸出什麼

那CBHG的輸出

也要跟male spectrogram越接近越好

那在Tacotron裡面有試說

這個CBHG的輸出要跟male spectrogram越接近越好還是跟linear spectrogram越接近越好

這兩個都是可以的

而現在TracTacotron的時候你就是同時minimize

這兩個loss

你希望這邊

輸出的是male spectrogram

這邊輸出的也是

male spectrogram

但是我們最後真正需要的

是CBHG這邊的

輸出這個東西

才是我們真正

會拿來

丟到vocoder

去合出聲音的Acoustic feature

我們產生male spectrogram或linear spectrogram以後它沒有辦法馬上聽

所以這些東西

要丟到vocoder裡面

才能產生聲音訊號

那至於vocoder的細節

這個我們之後會講反正你現在就記得說

有一個module就是可以吃Acoustic feature

然後這個Acoustic feature會產生聲音訊號

然後這個module往往

是獨立出來訓練的

它不會跟network的其他部分

合在一起做jointly的訓練

那在第一代的TracTacotron裡面

它的vocoder

就是單純的WaveNet

它是一個raw base的vocoder

那在第二代裡面

就換成WaveNet

它是

串出來的

它是一個network base的vocoder

那TracTacotron做出來的結果

好不好呢

我們來看一下第一代跟第二代的TracTacotron的結果

我們現在看第一代的TracTacotron

這邊衡量語音合成好壞

通常會用一個東西叫做

Mean Opinion Score

所寫的是MOS

那這個Mean Opinion Score MOS是什麼呢

這個MOS

它不是什麼神奇的東西

它無甚神奇之處它就是找一群人來

找一群

工讀生來

然後叫他聽聲音然後給分數

那這個分數呢就是

1到5分之間

最高分

就是5分

好那這個TracTacotron

評出來的分數的平均是

3.82

Parametric Approach

評出來的聲音平均是

3.69

Concatenative Approach

評出來的聲音是

4.09

所以如果你看第一代的TracTacotron

它是贏過了過去用Machine Learning做出來的用Deep Learning Based Approach做出來的Parametric Approach

但它贏不過Concatenative Approach

你直接把聲音訊號接起來

聽起來

使用者聽起來還是覺得比較好的

所以Concatenative Approach的分數還是比較高的

好進入了第二代的TracTacotron以後啊

我們來看一下Parametric Approach

3.5分

第一代的TracTacotron

是

4分

這個分數我重新評啦不同人評分數本來就不太一樣嘛

Concatenative Approach

4.1分

那有一個是用WaveNet的方法

但WaveNet的方法不完全是end to end的

因為它要給它一些Linguistic的feature

它的輸入呢並不是單純的字母

你需要做過一些後處理

你需要把輸入的文字做一些很複雜的處理以後

才能丟給WaveNet去產生聲音訊號

它的分數是4.3分

而Ground Truth

就是原來的原始的聲音不是語音合成的聲音

拿去給使用者聽

使用者給的分數

是4.58

神奇的是第二代TracTacotron的分數

居然有

4.526

第二代TracTacotron的分數

不只贏過了Concatenative Approach

它居然也已經逼近了

Ground Truth

那為什麼第二代的TracTacotron這麼強呢

其實第一代的TracTacotron跟第二代的TracTacotron都是end to end的

都是Sequence to Sequence的model加上Attention

那為什麼第二代的TracTacotron

會如此的強悍呢

一個很關鍵的原因

其實是換了Vocoder

所以Vocoder其實扮演了蠻關鍵的角色

如果一樣是第二代的TracTacotron

你產生Linear的Spectral Grain以後用GL

GL就是Graphene Lin

用Graphene Lin的這個Vocoder

你的Analysis Score是3.9

那如果你換成WaveNet

你就從3.9暴增到4.51了

如果你今天不是Linear加WaveNet

而是用Mirror Spectral Grain當作WaveNet的輸入的話

那是4.52

那沒有差很多啦

所以你發現說只要換成WaveNet

把Graphene Lin換成WaveNet就從3.9暴增到

4.5

那這個結論其實也是很

這個這個結果也是可預期的

因為Graphene Lin其實他沒有

真的很強

他是一個Rule Based的方法

那WaveNet

他比較強他是認出來的他是一個

New Wave Network Based的方法他比較強他可以

Spectral Grain

產生非常好的聲音訊號

好那

今天這邊還有一個有趣的問題就是WaveNet啊他是認出來的

所以你今天在Train WaveNet的時候你需要一些Training Data

那Train WaveNet這種Vocoder啊

跟

就是就跟你一般訓練一個Network是一樣的你就是需要輸入跟輸出啊你要給他Acoustic Feature當作輸入

你需要給他

正確的Ground Truth的Waveform當作輸出然後給他這樣子Acoustic Feature

跟Ground Truth的Pair Data

你就可以訓練一個WaveNet出來

但是你用什麼樣的Data去做訓練

其實是會稍微影響到你的結果

所以在Tackle From 2裡面有一個很有趣的實驗是說

如果我們今天

用

Ground Truth的Data

用真正的聲音不是合成出來的聲音

去訓練WaveNet

但是

我們給他合成出來的

Spectrogram

我們把這個Tackle From合成出來的Spectrogram

丟給

用真正的聲音訓練出來的WaveNet

結果是只有

4.3分

但是如果你今天是用

這個Tackle From合成出來的Spectrogram去訓練WaveNet

然後測試的時候也是給他聽

這個Tackle From合成出來的Spectrogram

那分數才會更高一點,分數才會是

4.526

所以這顯示說

其實Tackle From合出來的那個Spectrogram跟真正的Spectrogram

還是有一些

微妙的差異

如果你認真的去看

你會覺得沒有什麼差別,但他還是有一些微妙的差異

所以對WaveNet來說

真正的Spectrogram跟Tackle From合成出來的Spectrogram還是有一些微妙的差異的

所以你今天要得到真正最好的結果

你的WaveNet

最好是用你的Tackle From

產生出來的Spectrogram做訓練,讓WaveNet知道說現在Tackle From產生出來的Spectrogram長什麼樣子

你才能夠真正得到最好的結果

那在用Tackle From的時候

有一個

非常有趣的

實作的時候發現了問題

這個問題是這樣子的

Tackle From在

Inference的時候,也就是測試的時候

需要加抓包

這件事情

很重要所以要說三遍

Tackle From在Inference的時候要加抓包

Tackle From在Inference的時候要加抓包

Tackle From在Inference的時候要加抓包

因為我們一般今天

為什麼這件事情這麼奇怪呢,因為我們在講抓包的時候,你記不記得在Machine Learning課在講抓包的時候

我有反覆強調說抓包

是訓練的時候才用的

測試的時候

你就會把抓包直接給他

關起來

沒有人測試的時候在抓包的,訓練的時候要抓包讓你的model比較robust比較不overfitting

測試的時候加抓包就是腦袋有問題

如果有人測試的時候要抓抓抓包我就會斥責他

但是奇妙的事情是

Tackle From測試的時候

要加抓包

結果才會好

Tackle From在測試的時候,在testing在用他的時候,你要把抓包加在你的decoder的primate裡面

那我們現在來聽一下Tackle From的聲音,一般Tackle From

在使用他的時候

會加抓包

Tackle From的聲音聽起來是這樣子的

聲音可能有一些不自然的地方,不過這主要是來自於vocoder,那這邊vocoder用的是

如果用

Neural Network Based Vocoder的話,聲音聽起來就會自然很多

但是如果今天你把primate的抓包關起來

同樣的句子

你合出來的聲音可能會是這樣的

這個不是你電腦壞掉啦,就是

當抓包不見的時候

聲音聽起來

就是

這麼奇怪

那為什麼會這樣子呢

其實我也沒有非常好的解釋啦

不過呢

在natural language的generation,在NLG裡面,當你用RNN要生成句子的時候

其實也有類似的問題

那有人嘗試用GPET2來生成句子的時候,發現說

當你在使用GPET2產生句子的時候

如果你每次

都讓GPET2

輸出機率最大那個詞彙

那麼GPET2

可能就會陷入奇怪的迴圈

他會不斷的跳針

不斷的產生重複的句子

所以我們今天在真的要用GPET2產生句子產生文章的時候

你會需要一些隨機性

所以我們不一定會是從每一個time step選擇機率最大的那個詞彙出來

你會根據GPET2 output的那個distribution來做sample

根據distribution來sample詞彙

有時候sample出機率最大的token當作輸出

有時候不見得輸出機率最大的token

那這樣GPET2

才能產生比較自然的句子

那我想這個Tagotron啊

需要抓爆的理由也是很像的

如果你沒有抓爆

那每一次Tagotron output的東西

都是decoder覺得

最有可能的輸出

那可能就會遇到跟用GPET2生句子的時候一樣的問題

他可能會陷入一個無窮迴圈

就產生像剛才那樣機槍的聲音

而在一般NLG裡面因為輸出是一個distribution

你可以透過從那個distribution做sample

來增加一些隨機性

而在這個

Tagotron裡面

因為我們的輸出不是distribution

所以我們沒有辦法在這個地方加隨機性

所以怎麼辦呢

我們把抓爆加在pre-net的地方

如果你把抓爆加在pre-net的地方

你就可以增加一些隨機性

反而合出來的聲音

比較好

接下來呢

我們來看一下用Tagotron呢

做台語的語音合成

怎麼用Tagotron做台語的語音合成呢

有一個公開的Compass

叫做台灣

什麼聲

這個字

有點不知道怎麼唸

那其他台語呢是

台灣衰蝦啦

這個台語是衰蝦應該就是美好的聲音的意思

那裡面呢

有提供了台羅拼音

跟台語的語音訊號的對應關係

所以你有這樣的paradata

你就可以直接拿來訓練一個Tagotron

這個Tagotron呢

他的輸入

是台羅拼音

輸出

直接就是台語的聲音訊號

intent下去就結束了

但是難的地方是

我們今天

今天你要想要講一句話

你其實不知道他的台羅拼音是長什麼樣子啊

所以怎麼辦呢

你需要把中文

轉成台羅拼音

還好有一個東西叫做

有一個

工具叫做台灣語言工具

他可以做有點像是翻譯這樣的事情

把中文

轉成台羅拼音

所以你就可以把這兩個系統接起來

把中文轉成台羅拼音

再把台羅拼音丟到Tagotron裡面

就可以讓機器

合出台語的聲音訊號

這邊呢我們就來做一下台語的聽力測驗啦看你聽不聽得懂Tagotron

講的台語在講什麼

機器說最近肺炎真嚴重然後

要記得戴口罩勤洗手有病就要看醫生

這個合出來的聲音聽起來還算蠻不錯的

我不知道第二句這個講的台語是不是對的啦那如果這句話講的台語是不對的你再告訴我好了

沒有一拳無法解決問題如果有那就是兩拳

嘿