那很高興今天呢,大家可以來參加這個線上的課程。

那今天呢,非常高興江承翰助教可以來跟我們講在NLP上面的Adversarial Attack。

那我們在上課的錄影裡面呢,有講影像上的Adversarial Attack。

在一個貓的圖片上加一個很小的雜訊,可以讓機器的辨識結果完全錯誤。

但是你有沒有想過在NLP上要怎麼做類似的事情呢?

你想想看,在講影像的Adversarial Attack的時候,

我們需要對輸入的影像,對輸出進行偏為分的計算。

但是如果輸入是文句的話,那要怎麼做呢?

那這邊有另外一套不同的技術,那很高興承翰可以來跟我們分享。

那我相信今天承翰講的東西,你可能很難在其他地方找到類似的完整的課程。

所以我們就把時間交給承翰,謝謝承翰,謝謝。

好,感謝老師。

各位同學大家好,那我們就開始上課。

現在聲音是清楚的嗎?

清楚的。

好,謝謝。

那我們今天要討論的主題是自然語言處理裡面的公式。

其實剛才老師已經把我影學大學要講的東西講完了。

那今天這堂課呢,如果你要完全百分之百聽懂的話,

那你其實應該要知道我這頁投影片裡面所列的所有東西。

那這些基本的東西當然包括最基本的Adversarial Attack是什麼,

然後在這學期的課程安排好像是放在下個禮拜。

然後第二個你應該要有基本的概念就是Explainable AI,

那這好像是這禮拜的課程進度吧。

那另外因為這個Adversarial Sample它本身就是一種異常的東西,

所以我們要怎麼去偵測這個Adversarial Example的時候,

我們也需要一些Anomaly Detection的概念。

那最後因為今天我們要討論的是NLP,

就是自然語言處理裡面的Attack,

所以當然我會需要大家對NLP裡面的各種任務,

還有不同的模型有一定程度的認識。

那最重要的模型也就是大家現在最常用的,

當然就是Pre-trained Language Model。

那其實跟NLP相關的這些知識老師在2020的BLHOP裡面都找得到。

那可是如果我把這些東西當成先輩知識,

那感覺今天這堂課的門檻有點太高了。

所以今天的課程內容就是假設上面的東西你大概知道是什麼就可以了。

然後就算你真的是完全不知道,應該也是聽得下去的。

那如果你想要更深入了解的話,

那相關的課程影片就放在這個地方,大家有興趣可以去看。

那另外就是上次就是我4月1號上課的時候,

有人說我講的速度有點太快,

然後我後來看了一下影片好像真的有點太快,

所以我今天會盡量講的慢一點。

要是大家覺得我還是講的太快的話,就直接打斷我就好了。

好,那今天的Outline是這樣子。

那我們先講Introduction,然後講完之後我們再詳細看剩下的Outline是什麼。

好,那我們先來看Adversarial Type。

那其實這個主題呢,我們已經從2019年的ML講到現在,

總之它是一個非常重要的主題。

那因為它很重要,所以才會每年講一次嘛。

而且每年也都會有一個跟Attack相關的作業。

好,那講了那麼多次,為什麼今年我要特別把MLP裡面的Attack挑出來講呢?

好,其實是這樣子的,大家如果去看前幾年的影片,

會發現以前講的Attack主要是在講Image上面的Attack,

那有少部分的是Audio或是Speech方面的,

那MLP方面的應該非常非常少。

那這個影像跟Speech這兩個Modality,

它有一個非常非常重要的共通性,

就是它們的Input Space是在整個連續的時數空間,

或是有限範圍的連續的時數空間裡面。

那以影像為例,這個影像的Input,

它就是分佈在一個0到25,然後乘以影像的長跟寬,

然後可能還有它的RGB三個Channel。

那如果聲音你是一個Web檔,

然後假設你用16bit存的話,

那它的Input,它落的範圍就會在-32678到-3268,

然後乘以它的時間長度。

所以它都是一個連續的Input Space嘛。

那這樣的連續的Input Space跟自然語言的Input Space,

它是非常非常不一樣的。

在NLP的世界裡面,

那我們的Input是由Word,也就是詞所組成的,

或是Token。

那這些Token啊,它是離散的東西。

所以當我們要把這些字詞所組成的語句,

塞到一個Model裡面的時候,

我們就需要把這個字句轉換成一些Vector,

這樣模型才吃得下去。

那我們做的方式呢,

就是透過一個高維空間的向量,

來代表一個Token。

所以每個Token它都會有一個相應的向量。

那透過這樣的方式,

我們就可以把一個句子轉換成一串的Vector,

然後我們再丟到Model裡面。

那就因為這個NLP的Input,

它是Discrete,是離散的,

所以我們在做攻擊的時候呢,

我們不會像是CV或是Speech上面的Attack那麼簡單。

在CV的Attack呢,

你就是在Image上面加一個Noise,

這個Noise可能是任何的Noise。

但是在NLP裡面,

你現在有一個句子,

然後呢,你想要Attack它,

那這個Attack方式就是加某一個Perservation嘛,

那我們要怎麼加?

難道要直接在這個字詞上面加Noise嗎?

那字詞上面的Noise是什麼東西呢?

好像有點不知道怎麼做。

那這個大家可能會想說,

既然這個文字會被轉換成連續的這個Vector,

就是Word Embedding,

那我們是不是直接在Word Embedding上面加Noise,

就可以達到攻擊的效果呢?

不過這其實是不太合理的啦,

因為模型實際上的Input是這個離散的Token,

然後模型內部會經過Embedding Logout,

把這些離散的Token再轉換成連續的Embedding。

所以當我們想要攻擊一個NLP Model的時候,

我們能操作的就只有Input的這個離散的Token,

我們是不可能會對裡面的Word Embedding做Perservation。

所以我們現在要想的就是,

我們要怎麼在NLP的Input的句子上面,

加了某種Perservation,

使得模型看到它之後會直接爛掉。

好,那這個就是今天的重點。

那就因為它實在太特殊了,

所以今天才會獨立把它拿出來講一堂課。

那今天我們會主要涉及到的,

有三種重要的NLP的Attack。

第一種叫做Evasion Attack,

然後第二種叫做Imitation Attack,

第三種叫做Vector Attack。

那這三種Attack呢,

我都會講一些對應的Defense,

就是我們要怎麼去防禦這些不同的Attack。

那主要的重點會放在Evasion Attack上面,

然後Imitation Attack跟Vector Attack是比較小的主題。

那老師在上課的時候,

講得比較多的也是CV裡面的Evasion Attack,

所以我想Evasion Attack大家會比較熟。

那Imitation Attack跟Vector Attack呢,

上課的部分可能比較沒有提到,

所以我們會藉由自然語言處理,

這個Modality,

然後來介紹給大家說什麼樣的東西叫做Imitation Attack,

什麼是Vector Attack。

那這些Attack用在NLP上面的時候,

我們要怎麼去防禦它。

好,然後最後就會用很短的時間做Summary。

然後預計這一次的課程應該會分兩個禮拜講,

因為內容實在是有點多,

所以應該會分兩個禮拜。

那首先我們來看一下Evasion Attack。

先簡單講一下這個Evasion Attack是什麼,

這個名詞是什麼,

這個名詞大家可能不熟,

可能沒有聽過,

不過大家如果看到下面這張照片,

就應該知道是什麼東西了。

下面這邊有一張熊貓的照片,

然後它加了一個非常小的Noise之後,

這個Noise長這個樣子,

然後你把它乘以0.07,

就是這個Noise乘以0.07之後,

對人來說是幾乎看不出來的。

但是你把這個熊貓的圖片

加上一個人看不出來的Noise之後,

丟到模型裡面,

模型竟然會把這樣的一張圖片

當作一個叫做好像是金絲猿的動物吧。

那原本模型會有57.7%的confidence

覺得說這張圖片是熊貓,

但是加上了這個Noise之後,

它竟然有非常非常高的信心

覺得它並不是一隻熊貓。

所以這樣的東西就是所謂的Evasion Attack。

所謂的Evasion Attack就是

你丟了一個Adversarial Example到模型裡面,

結果模型的prediction就爛掉了。

這個就叫做Evasion Attack。

那所謂的Adversarial Sample

就是它跟某一個乾淨的Sample,

就是這個乾淨的Sample,

它長得非常非常像,

像到對人類來說它其實是根本沒有差的。

那在乾淨的Sample上面,

模型可以正確的判斷。

但是看到Adversarial Example的時候,

模型的判斷就是錯誤的。

那在NLP裡面,

拿來做Evasion Attack的Adversarial Sample

長什麼樣子呢?長什麼樣子呢?

那先給大家看幾個不同的例子。

首先第一個例子給大家看的是

Sentiment Analysis這個任務裡面的Adversarial Example。

那所謂的Sentiment Analysis就是情緒分類。

那這邊舉的例子是電影評論的分類。

那這個任務要做的事情就是

我們有很多的不同的電影評論,

然後我們希望模型可以告訴我們說

這個電影評論它代表的是正面的一個評價

還是負面的一個評價。

所以這邊這個例子,這個Original,

就是Skip the Film and Buy the Billy Bray Soundtrack CD。

然後這個就是一個用反諷的方式,

就是比較諷刺的方式,

然後表達說他覺得這個電影是不好看的。

那這個原本的這個電影評論

丟到訓練好的模型之後,

他就會覺得說這個電影評論

是一個負面的評論,是一個負面的評論。

但是呢,非常神奇的事情是

當你在這個Film把它從單數改成負數之後呢,

這個模型竟然很神奇的覺得

這個評論是一個正面的評論。

那對人來說呢,你加不加這個S

根本不會影響這個評論是正面還是負面的。

但是這個對人來說根本就沒有差的變動,

竟然可以影響這個任務上面模型的預測。

所以它就是一個Adversarial Sample。

那舉的第二個例子呢,給大家看到的是

Dependency Parsing裡面的Adversarial Type。

那所謂的Dependency Parsing呢,就是給它一個句子。

它要去output出字詞之間的語意還有文法結構關係。

那這個結構關係畫出來就是一個

長得很像樹的東西。

所以這個Dependency Parsing的model,

它的input就是黑色的這個字,

然後它的output就是上面的這個樹。

那原本的input長得是這個樣子,

上面的黑色的句子。

那我們把這個上面的句子的stock market,

股市的stock,換成匯市的exchange。

結果呢,改了這個東西之後,

就讓整個模型的output出來的Dependency Tree

是完全不一樣,是錯誤的一個Parsing。

那對上面的句子來說,

下面的句子就是一個Adversarial Example。

那看到這邊你可能會覺得很奇怪,

就是上面的句子跟下面的句子

很明顯就長得不一樣啊。

它跟我們剛才看到那個熊貓好像差很多。

因為在熊貓的例子裡面,

這個正常的Example跟Adversarial Example

對人來說它就是兩張看起來

根本就一模一樣的句子,

看起來一模一樣的圖片。

但是在這邊這個例子裡面呢,

這兩個句子你很明顯就看到

它們兩個就是有一個字是不一樣的。

那這樣的東西怎麼會算是Adversarial Attack呢?

這邊要澄清一下,

所謂人看不出來其實是指說

加了Perturbation之後

它不會影響人對結果的預測。

所以在熊貓的這個例子裡面呢,

我們加了一個Notes,

那個Perturbation其實不應該影響到人最終的預測。

那我們要預測的東西是什麼呢?

我們要預測的東西是它是不是一隻熊貓。

那現在在Dependency Parsing的這個例子裡面,

我們的預測目標就是某一個句子的Dependency Tree。

所以呢,所謂的對人來說沒有差的Perturbation

是指說這個句子你不管怎麼改,

你只要沒有改變到它真正的Dependency Tree的話,

那它就是一個合理的Perturbation。

因為對人來說這個Perturbation是不會影響到它的Dependency Parsing的。

所以說下面的這個句子對人來說

它應該也要產生一個跟上面一樣的Dependency Tree。

但是對模型來說,

它竟然產生一個完全不一樣的錯誤的Dependency Tree。

所以我們會說下面這個句子

是上面這個句子的一個Adversarial Example。

好,那這個時候你可能也會問說,

要是我只有看下面這個句子,

然後丟到模型裡面,

然後它產生出了一個錯誤的Dependency Tree,

那我不是都覺得說

這就是一個單純的模型判斷錯誤嗎?

那我也不會覺得它是一個Adversarial Example啊。

那這個其實的確是這個樣子沒有錯。

所謂的Adversarial Example

它其實應該是相對於某一個Benign Example,

Benign就是良性或是正常的Example。

所以你單純看了某一個Adversarial Example,

然後你沒有看到它原本的正常的Counterpart的時候,

那它的確就是一個會讓模型判斷錯誤的一個東西,

你也不會特別覺得它是不是Adversarial Example。

好,那前面這兩個例子呢,

就是感覺跟大家的生活比較遠啦,

大家平常應該不太會去用電影評論的Sentiment Analysis,

你也可能不會去用Dependency Parsing的這個模型。

那下面這個例子呢,

是Machine Translation在生活中的實際的例子,

這個之前是有上過網路新聞的。

這個句子呢,

就是你把上面這個句子丟到Google的翻譯之後呢,

它會跑出下面這個莫名其妙的翻譯。

那上面這個句子是

So sad to see Hong Kong become part of China.

那所以照理說它翻譯應該是要說

很難過看到香港成為中國的一部分。

但非常神奇的事情是呢,

當你輸入這個句子到Google Translation之後,

它竟然會翻出

很高興看到香港成為中國的一部分。

那這個東西呢,

為什麼會是as a zero sample呢?

因為其實當初有人把

Hong Kong跟China這兩個地名

用各種不同的組合測試,

然後最後測試出來

只有China跟Hong Kong這個組合

會產生這個錯誤的例子,

錯誤的翻譯。

所以這個意思要告訴大家就是呢,

NLP Model其實比大家想像還要脆弱非常非常多。

因為這個Google這麼大一個公司

它訓練出來的Google Translation

竟然大家每天去戳一戳

然後就會戳出奇怪的結果。

所以大家以後在訓練模型

然後要丟到網路上面的時候

一定要非常小心,

因為你把它丟到網路上之後

就會有成千上萬的人

每天沒事就去戳一戳

看它會不會爛掉。

所以NLP的Model

它的Attack跟Defense

是非常非常重要的。

然後有一件事情我要先澄清一下

就是今天講這堂課的目的呢

並不是要讓大家

學到很多不同的Attack方式之後

然後去網路上攻擊各種的API。

我們的目的應該是讓大家知道說

模型其實是很脆弱的

所以大家要更謹慎地去設計這些模型。

然後在你試出模型的時候

應該要想想看有沒有什麼方法

可以讓你的模型是更robust

然後不要讓這個模型

有這些可疑的output出現。

那在簡單看過這個NLP的EvasionAttack之後呢

我們來看一下這些Adversarial Sample

它是用什麼方式被找出來的。

那在生成Adversarial Sample的過程呢

有四個非常重要的ingredient

那分別是這個目標Goal,Transformation

然後還有Constraint

然後最後一個是SearchMessage

那首先第一個Goal

它指的就是這個EvasionAttack

產生的Adversarial Sample

它想要達到什麼樣的目標。

那第二個要素Transformation

它指的是說我們要怎麼產生

潛在的Perturbation。

第三個要素叫做Constraint

也就是限制。

這個限制指的是說呢

我們產生的這個Perturbation

要滿足什麼樣的條件

它才能算是一個合理的Adversarial Sample。

最後這個SearchMessage

它講的就是

在Transformation這個步驟呢

會產生很多很多可能的

Possible的Perturbation。

那我們要怎麼把這些

不同的Perturbation結合起來

然後產生一個既可以達成目標

又不會違反我們的Constraint的

一個最終的Adversarial Sample

那這就是Search Method

它要做的事情。

好,那這四個要素呢

等一下我們都會詳細介紹。

那我們首先先看一個流程圖

看一下這四個要素是怎麼

來產生一個這個Adversarial Sample的。

好,當你要產生一個Adversarial Sample的時候呢

你當然要知道現在的任務是什麼

這樣你才可以決定你的目標是什麼。

那你當然也需要一個

跟這個Test有關的Victim Model嘛。

那這個Victim Model呢

它可以是Black Box、黑箱

它也可以是White Box

總之它這個

它是Black Box或是White Box

不會影響我們今天的討論。

那我們這邊舉一個例子

是Sample Analysis

就是剛才那個

Movie Review Classification的例子。

那我們今天想要找到

某一個Adversarial Sample

使得呢模型的結果會爛掉。

那我們前面有講過Adversarial Sample呢

它是相對於某一個正常的Sample而已。

所以我們會需要一個正常的Sample。

那這邊這個正常的Sample呢

它是一個本來被模型判斷成

正面評論的一個句子。

那我們拿到這個句子之後呢

首先會經過一連串的Transformation

然後呢來對本來的句子

做一些更動。

然後這些更動就

產生的結果就是

一些可能的Perturbation。

那在這些Perturbation裡面啊

可能會有一些

這個奇怪的結果

它可能是不符合我們的Constraint的。

那我們就要把這些

不符合這個Constraint的東西拿掉。

那下一個步驟呢

我們就是要在這一堆

我們產生的Possible Perturbation裡面呢

經過組合

產生這個某一個Perturbation。

那這個步驟

就是Search Method它要做的事情。

那Search Method呢

它就是要結合這個可能的Perturbation

產生可能的Output。

那這個可能的Output呢

它也有可能

它會違反我們原本定的Constraint。

所以我們就會把

違反Constraint的部分拿掉。

最終要是我們

產生的這個Adversarial Sample呢

丟到模型裡面

的確可以達到我們的目標的話

那我們就找到一個

成功的Adversarial Sample。

反之如果我們最後產生的這個東西呢

它沒有辦法讓模型的結果爛掉的話

那這個Tag就是不成功的。

好,首先呢我們來看一下

四個要素裡面的第一個要素

就是我們的目標。

那不同的任務它會有不同的目標。

我們先看最常見的一個目標

就是Untargeted Classification。

那Untargeted Classification的

這個目標呢

我們所希望達到的事情

就是我要讓

Classification Model的結果爛掉。

那它只要爛掉最好

但我不會管它說它是怎麼錯的。

所以舉例而言

假設我們有一個任務

這個任務是News Title Classification

新聞標題的分類。

那這個任務做的事情

就是給你一個新聞標題

然後去判斷出

這個新聞是屬於哪一個分類的。

那這個分類可能包括了

Science and Technology

或是科技類的新聞

或是體育類的新聞

或是世界新聞

就是國際新聞之類的。

好,那在Untargeted Classification呢

這個

我就是讓模型

預測錯就好了嘛。

所以原本有一個新聞

這個新聞的Title叫做News 1

那假設呢

它經過Classification之後

產生這個

被更動過的

被更動過的一個News Title

丟到模型裡面

結果模型預測它是一個

體育新聞

那這樣子它算是一個成功的Attack

那同時我的

這個Attack的方式我們也可能

產生另外一個不同的Perturbation

那這個Perturbation呢

丟到模型裡面

模型覺得它是一個國際新聞

那在Untargeted Classification

裡面呢

因為這兩個

Sample最終都讓模型的預測

出錯,因為它原本應該是

科技類的新聞

然後模型最後把

這兩個東西都預測錯誤了

所以

這兩個Adversarial Sample

都有達到我們原本的目標

那相對來講

有另外一種不同的目標

叫做Targeted Classification

那這個Targeted Classification呢

就是我會指定說

在如果它的Ground Truth

是某一個Class A的話

那我希望經過Perturbation之後

模型都把它判斷成

另外一個Class B

所以舉例而言我可能會希望說

所有跟Business

就是商業相關的新聞

我都希望呢它可以

經過Perturbation之後

變成一個

被模型判斷成是一個

科技類的新聞

那這邊的例子呢就是

它把一個

ProperNum做一個更動之後

它把它換成Twitter之後

模型就覺得它是一個

Science and Technology的新聞

那如果說今天

我指定說我要讓所有的Business

這一類的新聞

都被誤判成是

科技類的新聞

結果我產生一個Perturbation

然後讓模型覺得它是一個體育新聞

雖然模型的

這個Perturbation也是爛掉的

但是這個不符合我們一開始

這個目標

所以它就算是一個失敗的東西

好下一個

我們來看一個有趣的例子

這個例子是在機器翻譯裡面的

一個特別的目標

這個目標叫做Universal suffix dropper

也就是

我要找到某一個東西

然後把它丟到

原本的句子裡面

可以讓

這個插入的句子

後面的東西沒有被翻出來

所以在圖片中

這個例子原本正常的句子

是黑色的前面這串字

跟紫色的

後面這串字所組成的

那我們的目標呢

就是我們想要找到一個

Adversarial string

就是一個字串

是紅色這邊所顯示的東西

然後當我們把這樣子的東西

丟到機器翻譯的模型之後呢

這個模型凹不出來的翻譯

會直接忽略掉

這個紫色的部分

所以這個就是Universal suffix dropper

它要達到的目的

那

下一個

下一個例子

是剛才有看到的

Dependency parsing

的這個例子

那我們的目標呢

就是我們要產生一個錯誤的Dependency tree

總而言之呢

就是不同的任務它會有很多不同的

這個

定標

那下一個要素我們來看的是

Transformation

那Transformation要做的事情就是

我們要怎麼

給定一個原本正常的句子

然後產生出很多種

可能的不同的

這個潛在的

也就是我們要

怎麼去更改原本的句子

然後產生一個新的句子

那這些產生的句子呢

它不一定可以讓

這個模型的output是爛掉的

這個只是我們在

產生最終的Example

的時候的一個中間強誤

那這些中間強誤呢

還會經過Constraint的過濾

然後還有Search method的一些

結合之後

才會產生最後的

Example

那首先呢

我們來看

World level的這個Transformation

也就是

以字詞為單位的

這個

Transformation

那第一種替換方式叫做

World Substitution,也就是我要把原本的

字替換掉

那要怎麼替換呢?我們替換的方式

是用同義詞替換

為什麼要用同義詞替換呢?

因為你用同義詞替換

才可以保留住原本的

Semantic,就是語意

所以今天假設你的任務

它是一個應該要

保持語意的任務,舉例而言

Sentiment Classification的任務

它就是一個

語意很重要的任務

所以我們就會希望說你在產生

Adversarial Sample的時候

你不應該去改變掉原本的句子的語意

所以這時候

我們的Transformation就會使用

同義詞替換

那同義詞替換呢

這個要怎麼替換?我們就用

WordNet這個一個

Dataset來做替換

那這個Dataset裡面呢

它有各種不同的字的

同義詞,所以給定一個

Input句子,你就可以去找

WordNet這個Dataset裡面

每一個字它所對應的

這個同義詞是什麼

所以你可能就會去找

這個Highly它所對應到的

同義詞在WordNet上面

是Extremely

那你可能會找到RefMap

這個字,它的同義詞是

Erg, Allocate跟Connect

那我們現在做的事情就是呢

我們要產生Transformation

我們就把原本的這個

字替換成它的

同義詞,所以就會產生

Extremely Recommended或是

Highly Urgent,或是我換成Allocate

變成Highly Allocated

或是我換成Connect

變成Highly Connected

那這幾個例子呢

就是這幾個字的

這兩個字的同義詞,就是這邊這個表格

是我從這個WordNet上面

直接找出來的

那大家可能會發現說

Highly換成Extremely

聽起來是還蠻合理的

不過Recommend你要換成

Erg或是

Connect的話,好像

會有一點點微妙

就是Recommend這個字呢

它其實會有很多不同的意思

那這個Erg可能是代表

其中的某一個意思的同義詞

Allocate可能是代表另外一個意思的同義詞

那Connect又是代表某一個意思的同義詞

所以當你直接無腦地

用這個WordNet的

同義詞替換的時候,你可能是

沒有辦法考慮到這件事情的

所以說呢

你替換出來的結果,它的語意

可能就不會跟原本的這個

句子是

類似的

那這個時候要怎麼辦呢

我們就需要

這個Constraint來幫助我們把

這些不符合語意的

就是跟原本的語意差太多的

句子把它濾掉

那這個部分我們等一下會再

繼續講

好,那第二種呢

這個詞的替換方式呢

是我們用

WordEmbedding

空間裡面的

距離來作為替換的基準

那這個做法是怎麼樣呢

這個做法是這樣子的

我們有一個這個

句子,就是原本這個

I highly recommend it,那我今天想要把

recommend這個字換掉

那我去找recommend這個

這個字

它在某一個叫做

這個訓練好的

就是別人已經訓練好的

Embedding space裡面,我去找

它的Embedding是什麼,那假設我

找出來呢,這個Embedding

這個recommend的Embedding叫做10

那在這個Embedding space裡面呢

它的附近還分布了

這些不同其他的字

那像是這個剛才的comment

或是suggest,或是endorse

或是advocate

那這個就是這個

Embedding space裡面的

不同的字

那我可能就會說,我要替換的時候呢

我就是在這個

要被替換的字的

某一個這個epsilon bolt

所組成的neighborhood裡面

我去找適合的字來替換

所以當我們在選擇

我們要替換什麼字的時候

這個epsilon bolt

就是

就是半徑式

epsilon的這個球

那這個epsilon就是

一個超參數,就是一個hyperparameter

你要去選的,那這個epsilon

如果選的不好,你可能會包含了

一些奇怪的字

那

假設我們說,現在我們選的

epsilon是這顆紅色的球

那recommend這個字呢

它的epsilon bolt所涵蓋的其他字

就是endorse跟advocate

所以你就會把原本的

I highly recommend it,換成I highly endorse it

或是I highly uphold it

這就是你產生的pervasion

那這個

簡單講一下什麼是conterfeited

globe embedding space,我相信globe

embedding space大家應該都是有概念的

不過這個conterfeited是什麼意思呢

那

呃

我們直接來看

這個原本的globe embedding space

原本的globe

embedding space可能會長的

是這個樣子的

那這個是一個例子

就是有很多不同的字,那這些字

就是方位詞

那在原本的globe embedding space

這個相關的字詞

會被

放在embedding space裡面

很相近的地方,所以舉例而言

east這個字,它的neighbor

可能會有north跟south

還有west

那western這個字

相近的字詞可能會是eastern

那eastward可能會是southward

那這是為什麼呢,因為

這些字啊,這幾個字

它出現的context就是

前後文會是相似的

那這兩個字,因為它們的磁性比較接近

呃不是磁性比較接近

就是它們會出現的context是比較接近的

所以它們在

最後的globe embedding space裡面

它們也會被放在比較近的

比較近的地方

那假設呢,今天我們想要

用這樣子的一個embedding space

來作為我們同義詞

替換的一個

工具的話,那可能會有一個問題

就是當我們要把east

這個字換掉之後,我們在它旁邊

畫了一個epsilonbow

那這個epsilonbow

所包含的字可能會有north

跟south還有west

那如果你直接把東方換成

北方或是南方之類的

這可能就會讓原本的

這個語意有很明顯的改變

那為了解決這個問題呢

這個有人就

提出了一個叫做counterfeiting的方式

那counterfeiting的方式呢

它做的事情就是我們用

語言學的一些

這個constraint

然後我們把同義詞

拉近,然後反義詞

拉遠,那在這邊這個

例子裡面,就

詞義上面east跟easter

它是比較接近嘛

所以我們就會把它拉近

那east跟eastward也是比較接近

所以我們就會把它拉近

那east跟north呢

它的語意

就是它比較像是反義詞的概念

所以我們就會把它

拉遠,然後south跟west

我們會想辦法讓它跟這個

east這個字拉遠

那經過counterfeiting這個

過程之後呢,最後產生

的embedded space,叫做

counterfeited global embedded space

那最後的結果可能就是

east這個字

它周圍分布的就是

東方相關的字

south這個字,它旁邊

就是southward,west

它旁邊也只會有western

所以當你用這樣子的一個embedded space

去做替換的時候呢

你在它旁邊畫一個

半徑式

y的球的時候

才不會包含到

一些反義詞

好,所以這個就是

counterfeited global embedded space

我想幫大家

問個問題

像現在啊

除了用globe

的embedding以外,現在很流行

用bert這種contextualized

embedding

那我們等一下會講到

怎麼用bert這種contextualized

embedding嗎?或現在在做

attack的時候,常常用到

這種contextualized embedding嗎?

等一下其實會

講到用bert

做替換,但是

但是我們不太會用

這個bert的

embedding來做替換

那這個原因是

這個原因我等講完

bert的substitution再一起解釋

好啊好啊

各位同學有問題就是

你可以隨時發言

或者是如果你想要

先舉手再發言也是可以的

好,承翰你就請繼續吧

好,那我就繼續

好,所以下一個就是

剛才老師提到的

用這個bert這樣的

language model做

world substitution

那這個要怎麼做呢?

我們的做法是這樣的

我們有一個原本正常的句子

那我們就選定一個我們想要把它換掉的字

那在這個例子裡面

我們要換掉的這個字是recmap

那我們做的事情

就是我們把這個recmap

遮住,然後

丟到一個bert裡面

那這個遮住的部分,這個mask

這個bert這個model

它就會預測出來

很多不同的字

那這個上面這個機率分布

是我實際用bert

bert based on case,然後得到一個機率分布

那它預測出來的結果

bert覺得在這個mask的位置

最有可能被填入的

最有可能的是

懷疑

所以原本的這個句子呢

是I highly recommend it

經過bert的MLM的預測

它就會把它改成

I highly doubt it

那其他預測出來的字包括了

expect, doubt, appreciate, only

所以很明顯的看到

就是在這裡面的

這幾個字裡面,機率最高的

這個其實是

跟原本的語意

可以說是完全相反的

那還有這個envy

你也不知道換進來之後

這句話跟原本的

句子好像也

也沒有什麼關係啊

所以單純用bert MLM

來換的話,可能會

會有一些奇怪的結果

好,所以這個是

因為我們直接用mask

那mask的時候

我們如果直接讓它填入這個mask

的話,bert它其實可以

填入任何符合

這個context的

字詞

那這個符合context不一定符合原本

我們的語意

所以為了要解決這個問題

就有人提出了另外一個不同的方式

這個方式呢

是我們用

reconstructed,就是我們不要這種mask

那這是怎麼一回事呢

也就是假設我們有一個

原本的這個句子是I highly recommend it

那我們今天一樣想要把recommend換掉

但是我們在利用

bert這個模型的時候

我們不要把

recommend這個字遮住

我們不要把它遮住

那即使我不遮住

它最後在這個位置

bert還是會有一個它predict出來的

可能的字詞

那這個可能字詞的機率分布長這個樣子

那這個分布也是我實際上

這個用bert之後

得到的一個機率分布

那大家可以看到這邊這個機率分布

跟前面這一頁

所得到的這個機率分布

其實是看起來會比較合理

舉例而言它機率最高的

機率最高的就是

原本的這個字,這個沒有很意外

那其他的像是rate

rate這個字呢

換到原本的context裡面

看起來是一個比較合理

或是I highly review it

看起來也是一個非常非常合理的

替換

那這個為什麼會是這個樣子呢

因為當

這個

當你沒有把它match住的時候

它最後output出來這個prediction

就會跟原本這個很接近

那跟原本這個很接近的

跟原本很接近的

不是很接近

就是它最有可能

應該就是它原本的那個字

那它其他產生出來的

機率很高的prediction

就會是跟原本這個字的

embedding非常接近的這些詞

所以

這個某種

某種程度上其實它就是有

用了contextualized embedding

來做

做這個

就是找contextualized

embedding裡面的

接近的

接近的neighborhood

來做替換

這樣有回答到老師的問題嗎

有

謝謝

然後

接下來我們來看

一個比較不一樣的替換方式

那它同樣是

wear label的替換

但是我們這邊替換的方式是用

某些特定的規則來換的

換的方式是我們把一個

字詞的inflection form來

更動

inflection form就是

某一個字的inflectional morpheme

那看這段

說明可能有點難

理解,我們直接看實際的例子

假設有一個這個句子

還是一樣是這個句子,我們要換的是

regmen這個字

那

inflection morpheme

我們要換inflection morpheme

的時候它可能產生的結果就是

我在原本這個動詞

去更動它的inflectional morpheme

那inflectional morpheme

其實就是這些

表示時態或是表示

動作的進行

方式之類的這些

這個

morpheme

那這些morpheme它是不會影響到

這個字的

原本的意思

那這些morpheme它也有可能會把

一個這個

它有可能會把

它的POS

改變,所以這個

I highly recommend it,它可能改變的是

I highly recommend it, I highly recommend it

I highly recommend it

那這個原本它是一個

base form的動詞

它現在就把它改成

第三人稱單數的或者是

過去式或是動詞ing

或者它也有可能把它改成名詞

就是recommendation,所以這個就是

inflectional morpheme的替換方式

那

你可能會想說,假設你把它

改成一些像是這個

它就違反了這個文法

那就要看我們現在的

tag有沒有關心說

產生出來的perturbation可不可以是

違反文法的,那假設

我希望它不可以

違反文法的話

那其實

這一個跟這個就是一個

不合法的

這個perturbation

好

接下來講一個

算是蠻重要的方法

這個方法是用

gradient來做

替換的

好,那

如果我們要用gradient來做替換的話

我們就需要

有辦法知道

這個模型的gradient

所以這個會需要

我們知道,這個就是一個

white box attack的scenario

所以如果你是black box的話你就沒有辦法用這個方式來做替換

好

那這個方法做的方式是什麼呢

就是我們有一個句子

有一個模型,那我們就把它

丟到模型裡面,forward過之後

我們就會得到一個模型

output出來的loss

那

我們就用這個loss backward

那就是

backward要backward到哪裡,backward到

這個vary embedding space裡面

那我們是用什麼對什麼

為分呢,我們是用這個loss

對原本的

就是裡面的每個字的vary embedding做為分

那假設我今天要

替換的字是regmen

這個字,那我就是對regmen

的這個

字的vary embedding 10

做偏為分,那這個10

它是一個,它會是一個向量

所以你用這個

partial over partial

它也是一個向量,然後這個向量的

維度就會是跟這個維度是一樣

好

那接下來我們做的事情呢

是什麼

我先講這個要怎麼做

然後我再講一下為什麼要這樣做

那這個做法呢,就是

我們去找說

partial over partial

10,這個向量

跟其他的embedding

之間的這個

這個向量,就是

e1-e0,或是e2-e0

或是e3-e0

然後這個東西

跟這個東西做

double product之後

我們用這個東西來衡量

哪一個字

應該要被換成

regmen應該要被換成哪一個字

那這個東西呢,它其實是代表

一階的近似

就是

這個loss

loss function在這個字附近

的一階的近似

那這個數值呢

代表說當你把

原本的regmen這個字

e0,換成conmen這個字

的時候,它的loss

會變化多少,這是它的

一階近似,那為什麼這個東西

是一階近似呢

那我們就看一下

下面這個

二維空間的例子

那假設在二維空間裡面

我們的input是這個

x

然後這個是它的loss function

就是y等於

l of x

那今天我們有一個點

是x0

那它對應的這個loss呢

是l of x0

那我們就可以在

這個地方

算說l對

x的微分是多少

然後找到

這條

通過l of x0

這個點的

切線

的切線方程式

就會是y等於

呃

這邊少寫一個x

y等於這個

partial l

over partial x

然後再乘以一個x

然後加上l of x

那

假設說我有另外一個點

x1,然後我想要用

這一條這個一階

近似,然後來看說

當我把x0移到x1的時候

它的

一階近似會是多少

那我們做的事情就是我們把

x1帶到這個

切線方程式裡面,因為切線就是代表說

這個切線方程式

代表的意義就是

呃

在原本的這個

l of y等於 l of x

附近的一個一階近似

那如果說x1跟x0很

接近的時候,這個一階近似的

準確度就會比較高,那如果很遠的話

像是這個,它的一階近似的準確度

比較低,所以

這個

我們要看x1這個點

用這一條tangent line

做的一階近似的時候,我們就是把它帶進去

那

我們就可以得到說,當我們把x0

移到x1的時候,用一階近似

它的這個數值

會改變多少

這個數值改變的

幅度呢,就是

x1-x2,也是它們的距離

然後乘以它的斜率

就是

over partial x

這個東西呢,就會是

呃

用一階近似的時候

當我們把x0移到x1之後

它的

loss的改變幅度

所以套到剛才原本的那個意思裡面呢

我們做的事情是什麼

我們做的事情是,我們去算

這個

loss對

這個e0這個embedding

為分,然後

再跟

這幾個不同的

向量做內集,那這幾個向量代表什麼

這幾個向量就是代表說

我把e0移到e1之後

這個移動了多少

e2移到,e0移到e2

就是換成,從allocate換成recommend的時候

我的這個worry embedding

移動了多少,或是我把

recommend換成suggest的時候

我的worry embedding移動了多少

那把這些移動的距離呢

.product with partial l

over partial e0,就代表說

我們用一階近似來看的時候

我們把

這個

原本的worry embedding換成後來的

worry embedding之後

它的loss會

改變多少

那如果它是正的話,就是表示說

它的loss會增加,如果它是負的話

它的loss會減少

所以我們要找合法的

就是我們要找這個

可能的替換,就是我們去找說

這個東西

我們去取argmax

最大的K格

然後看說

在所有的vocabulary,所有embedding space裡面的

worry embedding

哪些東西我們把它

我們把recommend

替換成哪些東西之後

它的loss會變化

最多

那這個就是我們替換的方式

這個

這個有點

我一個小問題啊

那個一般啊

我們在實作上

會一定會找topK格

worry嗎?有沒有可能

就是現在gradient

算出來的方向,如果跟

ei-e0都是

做那個大product

都是負的,那會不會就

就代表說

現在把recommend變成

任何其他的worry

可能都不會讓

loss變大,那是不是就有可能

不選擇替換任何的worry呢

有可能

不過這個就是

它attack就失敗了

因為在一個整個

句子裡面有很多不同的詞彙

所以也許recommend沒有替換掉

但是其他詞彙有替換掉

搞不好最後的攻擊還是會成功的

就是感覺要全部

我個人是覺得不太可能

因為如果你把它換成反義詞

它一定是可以

它應該會直接

就是

它應該就會是

就一定要是正的

了解了解

有同學想問問題了

那個

不好意思

不用講沒關係

那個

請問一下就是

因為我們要攻擊的不是別人的model

那我們要怎麼樣知道別人的model

對一個東西的違反

這個就是假設說你

知道他的model是什麼

那如果你不知道的話

如果你不知道的話

你可以用imitation attack的方式

把他的model投過來

然後把那個model當作是一個proxy

所謂的imitation attack

就是之後會講

就是別人有一個model

他是一個black box

然後你用某種方法把這個model

投過來

然後投過來意思就是說你在你的local的地方

有一個跟他幾乎是一模一樣的模型

那在這個狀況下你就可以

把它當成是一個white box的model來打

這樣子

這樣回答到你的問題了

這個投的方法

是指有點像teacher student那種嗎

就是我找一堆資料

然後讓我的model去學

他的model的

長相之類的

去學他的輸出會長怎樣

就是這樣子

謝謝

大家還有問題想問嗎

大家有問題都可以隨時舉手

如果暫時沒有

那我們就請承翰繼續囉

好

接下來一個transformation的方式

也是world level

但他不是substitution

他是insertion

insertion就是我們要插一個字

第一個你要先決定要插在哪裡

那你也可以隨便插沒關係

反正總而言之假設我們已經決定好

我們要插在哪裡之後

那我們要怎麼插呢

有一種很簡單的方法就是你要用MLM來插

就是Mass Language Model

所以你有一個

原本的句子是這個樣子

然後你就是

決定好說我要插在

I跟I的中間

那你就放一個Mass的這個頭文進去

然後丟到word裡面

然後他就會predict出來各種可能的

prediction

然後這些東西就是

可能的word insertion

可能的prediction

那也有一種很簡單的

transformation就是word deletion

就是你把每個字拿掉

那

但這個

這種的

transformation

很容易會影響到他原本的

語意或是

影響到他的文法正確性

所以這個

transformation的方式

沒有到很常用

那另外一種

這個transformation

剛才講的全部都是word level transformation

就是你要怎麼把一個

一個字詞

換成某一個字詞

或是把它拿掉或是新增一個新的字詞

那我們現在

看一下corrector level

的這個transformation

那corrector就是字元

這個corrector就是CHA

所以這個叫corrector

那假設說

我們原本的字

是這些不同的字

那corrector level

的transformation就包括swap

這個swap就是

我們把相鄰的兩個

這個corrector

做交換位置

像我把1跟a的位置互換

那我把s跟i的位置互換

或者是我們做substitution

就是我把某一個corrector

換成另外一個corrector

像我把a換成x

或者是我把t換成x

之類的

那另外一種可能的做法就是deletion

那deletion就像

把corrector拿掉

或者是insertion就是你新加了一個

原本不在這個字的corrector

那這些這個

corrector level的transformation

其實是很常會

發生在我們日常生活

就是你打字的時候很容易會打錯字

所以其實有人在設計這些

corrector level的

transformation的時候他會考慮說

鍵盤上面

哪些字是比較接近的

那他就會把

就是舉例而言

像是

假設我們要做substitution好了

那他就會看說

我今天要換掉artist裡面的這個t

他就看鍵盤上面

跟t比較接近的字是哪些

鍵盤上面跟t比較接近就是

r跟y還有g嘛

所以他就可能會把它換成r跟y還有g

那其實corrector level的transformation

他其實是一個非常強的transformation

為什麼會這樣講呢

因為對人來說

像是swap

這樣子的一個transformation

對人來說

至少我來看

乍看之下我不會看出這個詞跟原本的這個詞

有什麼太大的差別

可是對模型來說呢

模型他在訓練的時候應該只有看過正常的字

他不會看拼錯的字

所以他看到一個拼錯的字的時候

他可能就會直接爛掉

他根本就不認識這個字

他就是一個out of vocabulary的字

所以這種corrector level的transformation

他是一個很強的

這個as a rotator

好

那接下來呢

下一個

ingredient就是constraint

那講constraint之前

我們先休息10分鐘

好好好

我們休息10分鐘

我們10分鐘後再回來

拜拜