就是所謂的限制。那這個constraint呢,就是告訴我們說

一個合理,valid adversarial sample,它應該要滿足什麼樣的條件。

那這個adversarial example它的限制啊,

它其實跟你的這個任務的goal是非常有關的。

假設今天你的任務是一個應該要保持semantic的任務,

那這個constraint就會要求說你attack產生出來的東西

必須要保留這個語意上面的語意,它原本的語意。

那假設今天文法是一個很重要的東西的時候,

那你可能就會把這個文法加到這個constraint裡面。

那也有可能我們希望說這個更動之後的sample跟原本的sample

它不可以差得太多,那我們就會限制說這個overlap

between original 還有preferred sample要足夠的高。

好,那我們首先來看這個overlapping的衡量方式,

我們會用什麼樣的衡量方式。

那首先第一個我們來介紹一下這個Levenstein Added Distance。

它計算的是原本的sample跟更動過後的sample

它們的added distance有多少。

那這個東西比較常是拿來衡量corrector-level transform,

就是當我們在做corrector-level transform的時候呢,

我們可能會做substitution,我們可能會做swap,

我們可能會做deletion跟insertion。

那我們當然會希望說原本的這個字

跟它經過corrector-level transform的這個字

它長得不可以差太多,不然你看就知道它是一個問題的東西。

那我們就會用Levenstein Added Distance來衡量。

那Levenstein Added Distance它計算的是A跟B這兩個字串的added distance,

那它是用一個遞迴的方式來定義的,它的式子寫在這邊。

那我們用一個實際的例子,這個例子是我在Wikipedia上面看的。

那來介紹一下,解釋一下這個遞迴式是怎麼算出兩個字串的Levenstein Added Distance。

那首先呢,這個假設我們原本的A,A0是Piton,然後B0是Satin。

那我們要算A0跟B0這兩個字串的Levenstein Added Distance的時候呢,

我們就看看它滿足哪一個條件。

第一個條件是B0這個字串,它要是強度是0,那很明顯不是。

A0的字串,強度是0,很明顯也不是。

那第三個條件告訴我們說呢,這個A0跟B0是一樣的。

A的第一個corrector跟B的第一個corrector是一樣的,很明顯也不是。

所以最後我們要來看這個。

那這個呢,就是你要去找B加上minimum的這三個。

那反正我已經找出來了,就是minimum就可以是這個,就是A0的Tail。

Tail就是去掉頭的剩下的部分叫Tail,還有B0的Tail。

所以現在我們的Levenstein Distance就是1加上這個東西,

也就是這兩個東西它的Levenstein Distance。

那這兩個東西的Levenstein Distance呢,我們就看這邊的這個if else condition。

那我們就看到說這兩個東西啊,它其實是符合這邊的這個condition,

就是A的第一個corrector跟B的第一個corrector是一樣的,都是i嘛。

所以這時候我們就繼續往下看,我們把這個東西這邊的i拿掉,

然後繼續看這兩個字串的Tail,它們的Levenstein Distance是多少。

那拿掉以後呢,我們又發現說A這個字串跟B這個字串,它們開頭還是一樣。

那這件事情會再做好幾次,然後做到這個時候呢,你把這兩個T都拿掉之後,

A剩下EN,然後B剩下ING。

那這時候呢,前面這三個條件都不滿足,所以就是要看第四個條件。

那結果最後反正我算出來minimum是這個啦。

所以這時候呢,當你要把E跟i這個東西拿掉,然後算N跟NG這兩個Tail的Levenstein Distance的時候,

這個原本的Levenstein Distance就要再加這邊這個E,所以Levenstein Distance再加E。

然後我們來看N跟NG這兩個substring它的Levenstein Distance。

那在看這兩個Levenstein Distance的時候呢,我們就發現說這兩個string它的開頭都是N。

所以它就符合這個條件。

所以我們就把N拿掉之後,來看剩下的Tail它們的Levenstein Distance是多少。

那最後拿到最後,這個N被拿掉之後,這個變成一個空字串,然後這邊剩下一個G。

所以當這個A是空字串的時候呢,它的Levenstein Distance,這兩個東西的Levenstein Distance就是這個B的長度。

那現在B的長度剩下E,所以Levenstein Distance再加E,所以總共它的Levenstein Distance,這兩個string它的Levenstein Distance就是3。

那實際上我們在算的時候不是用地回算,實際上有其他的比較快的算法可以不用用地回算。

那大家如果有興趣的話大家可以去看WebPDF。

我這邊有個小問題喔,這邊舉的例子是Character Level的Levenstein Distance。

那一般我們在做NLP的Universal Attack的時候算的是Character Level的嗎?

還是我們其實應該是會算Word Level或者是Token Level的Levenstein Distance?

如果是Character Level的傳送的話我們會用Character Level的Levenstein Distance。

然後如果是Word Level的話我們就應該直接看說它Perturbation的字的比例有多少。

我不確定Word Level的Levenstein Distance要怎麼定義,我有點不確定。

其實還是可以啊,我們就把每一個Word當作一個單位,本來算在Character上的就改成算在Word上的。

就改成算在兩個Word Sequence上。

對,感覺是可以嘛,就像是ASR的Error Rate那樣。

對對對。

不過好像比較不會這樣算。

好,謝謝承翰。

這邊還有一個問題,就是因為現在蠻多Deep Learning Model其實都是用Subword的Tokenization。

那有針對Subword的算法或是做法之類的,就是First Node Tokenizer?

不會,因為我們在做Perturbation的時候其實應該是以字為單位做Perturbation。

所以,我先確認一下你的問題,你的問題是說當我們的Perturbation單位是Subword的時候我們要怎麼算他們的Overlap嗎?

對對對。

我們不太會在Subword Level做Perturbation,因為假設有一個Word它被Tokenized成兩個詞號。

那如果你只有Perturb其中一個東西的話,那它可能會是一個完全不make sense的Perturbation。

所以我們一般而言應該是以字為單位做Perturbation,所以不會有需要算Subword Level的Overlap的這種狀況。

就是要以合理為主這樣?

對。

就是要以合理為主這樣?

對,要以合理為主。

OK,謝謝。

好,感謝感謝。

好,然後另外一個Overlap的算法就是算更改的字的比例有多高,就是算Percentage。

那這個Percentage就是看你有改變多少Percent的字。

那像是假設你換了一個字,那總共有四個字,那它就是改了25%的字。

那一般而言我們要衡量一個Attack的好壞的時候,我們當然會拿它的SuccessRate來衡量,

然後我們也會希望說它Perturb的這個字的比例應該要越低越好。

所以這個比例我們會希望是越低越好的。

好,那下一個東西,下一個Constraint我們來看的是有沒有合文法。

那第一個這個Constraint的方式呢,就是PoS的Consistency。

PoS就是part of,就是磁性。

那這個東西關心的是當某個字它被替換掉之後,它被替換的字跟原本的字,它的磁性是不是一樣的。

所以以這個,還是剛剛一直出現的那個例子為例,I highly recommend it。

那這邊我們假設我們要把Recommend這個字做替換。

那Recommend這個字它的PoS,你是用那個NLTK的PoS Tagger之後會得到,

它是Verb,然後它是Present tense, not Serious Present Simple,就是它不是第三人稱,但它是現在式號。

那假設說你用了某一個Transformation的方式,然後得到一個Perturbation,叫做I highly advocate it。

那Advocate這個字呢,它的PoS也同樣是非第三人稱現在式。

所以這個東西它就有符合我們的PoS Consistency這個限制。

那也有可能啊,你的Transformation得到的結果是I highly recommendation it。

那這個句子很明顯是不合文法的嘛。

然後這個Recommendation這個字呢,你用NLTK的PoS Tagger,會得到的這個PoS是名詞。

所以當它把一個動詞換成名詞的時候,它就不符合我們這個PoS的Consistency,所以這個一定是一個violation。

那一個比較尷尬的例子是這個,也有可能它產生的這個Perturbation是I highly recommend it。

那這個字呢,如果你把Recommended拿去做PoS Tagging,它得到的結果是Verb,它也是動詞,但是它是一個過去式的動詞。

那這個時候啊,它雖然一樣是動詞,但是它的時態被改變了。

這個就有點難去定義說它到底是不是一個合法的Transformation,這個就要看你的Constraint有下多嚴。

我們會要求說它的時態一定百分之百要是一樣的,也就是它如果是第三人稱,非第三人稱然後是現代式,那它改出來的結果就一定要是非第三人稱的現代式。

那為什麼這個PoS的Consistency是重要的呢?因為假設你沒有下這個Constraint的話,它可能就會產生一些不符合文法的句子。

那即使它把一個動詞經過Perturbation之後產生另外一個動詞,那即使它都是動詞啊,它的時態只要不一樣,假設它把它改成動詞Ing的話,那這樣還是不符合文法。

所以PoS Consistency可以幫助我們確保文法的正確性。

那另外一個確保文法正確性的方式呢,就是我們拿一個現成的Toolkit,然後來衡量說我們經過Perturbation的這個句子,它到底有沒有文法錯誤。

那有一個Toolkit叫做LanguageTool,然後它會告訴你說你的這個Input句子有多少錯誤。

所以像是我們剛才產生的這個I highly recommendation,它就會被LanguageTool這個Toolkit標出來說這個文法是錯的。

這個就是一個跟Grammarly差不多的東西啊,只是它是Open Source。

那另外一個衡量文法的合理性的方式呢,是用Pretend Language Model所計算出來的Complexity。

那這個東西就是仰賴Pretend Language Model,它看過了很多不同的Cohorts,很多不同的句子。

那我們就會認為說這個Pretend Language Model它應該要學到人類的語言的某些Distribution。

那我們假設說這些人類語言的Distribution,它看過的應該是合文法的Distribution。

所以呢,它就會給比較合文法的句子比較高的機率,它就會給比較不符合文法的句子比較低的機率。

那這個就是我們使用Language Model,從Perplexity可以得到文法合理性的一個方式。

那實際上的做法呢,就是我們把不同的Perservation丟到Pretend過的GPT-2這個Model裡面。

那這個模型呢,就會凹附出一個叫做Perplexity的東西。

那Perplexity這個數值呢,代表說這個句子出現的可能性有多低。

所以說這個Perplexity越大,表示說這個句子出現的機率越低。

Perplexity越小,表示這個句子出現的機率越高。

所以我們在用這個GPT-2當作是文法的Constraint的時候,我們可能會設一個Threshold,

然後假設說這個Perplexity超過多少的時候,我們就要認為說它是一個不合法的Perservation。

那這個GPT-2假設說它凹附出來說這個Perplexity是200,

那這個比較合文法的,它就會凹附出一個相對低很多的Perplexity。

那假設你說Perplexity超過50,我就把它全部當作是不合文法的話,

那這個句子它就會被你的Constraint拿掉,只剩下這個句子。

那看完這個Overlap跟文法的Constraint之後呢,我們最後看最常見的一個Constraint,

就是Semantic Similarity的這個Constraint。

那在很多的任務上面,像是這個前面看到的電影評論的分類,

或者是這個News Title的Configuration,

就很多跟語意相關的Test,我們都會希望說Perturb之前的句子,

也就是原本的句子跟Perturb之後過的句子,

它應該要相當程度的在語意上有很高的相似性。

那這個要怎麼去做Constraint呢?

那有很多不同不同的方式,那首先我們第一個來介紹的是,

替換這個字跟字在Word Embedding Space上面的距離。

那假設這是一個Word Embedding Space,

那原本的字,就是剛才那個例子,I highly recommend it,

那我們就把recommend這個字找到它在Word Embedding Space裡面的這個位置,

然後我們這個潛在的Perturbation,我們把它換成command跟advocate這兩個字。

那我們就去看說這兩個Word Embedding它的Cosine Similarity有多高。

那舉例而言這兩個字我們會算出來Cosine Similarity,

它的Cosine Theta是0.85,

然後這recommend跟advocate這兩個字算出來的Cosine Similarity是0.63。

那假設我們有一個Constraint告訴我們說這個Cosine Similarity要高於0.82,

它才算是一個合理的Perturbation的話,

那advocate這個字就會被去掉,然後只剩下command這個字。

那這個地方你要用什麼樣的距離來當作衡量的標準,

當然是看個人的選擇,

你當然可以用這邊用Cosine Similarity,

你也可以用L2的Euclidean Distance,或是L1的Euclidean Distance都可以。

不過這邊其實重要的可能不是你選的是哪一種metric,

而是你的Constraint的這個Threshold要怎麼定。

因為這個怎麼定會影響到你最後產生出來的品質嘛。

那很多人做的方式就是他就選一個他覺得合理的數字,

那直接選一個他覺得合理的數字到底有多合理呢?

那等一下會看一些實際的例子,

大家就會知道說這個Threshold的選擇是非常非常重要的,

而且會大大的影響最後產生出來的Azure Sample的品質。

好,那我們看下一個來衡量兩個Perturbation的,

衡量Perturbation跟原本的句子的Similarity的方式。

那我們用的是一個叫做Universal Sentence Encoder的模型。

那所謂的Universal Sentence Encoder就是一個很Universal的模型,

他就是一個Sentence Encoder,那Sentence Encoder做的事情就是

丟進去一個句子,然後他會output出一個Sentence Embedding,

這個Sentence Embedding就是一個向量,

然後這個向量代表了這個原本的句子。

那當我們要算這個原本的句子跟經過Perturbation之後的句子有多像的時候呢,

我們就把這兩個句子同時丟到,就各自丟到Universal Sentence Encoder裡面,

然後得到他們各自對應的這個Sentence Embedding,

然後我們再去算這兩個Sentence Embedding他們之間的Cosine Similarity有多高。

那同樣的這邊你還是一樣要去定一個Threshold說

Cosine Similarity高於多少的時候,我們就把它當成是一個合法的Perturbation,

Cosine Similarity低於多少的話,我們就認為它是不合法的Perturbation。

所以這個Threshold也是一樣會大大的影響到最終產生的結果。

好,最後呢,講完了前面三個,最重要的一個方式就是

我們要怎麼結合Conformation,然後找到一個滿足所有Constraint,

又可以達到我們的目標任務的Adversarial Sample。

那這件事情呢,就是Search Method它要來做的。

那我們這邊簡單的講三個最常用的方式。

第一種是Greedy Search,然後第二種也是Greedy Search,

但是它在做Greedy Search的時候會考慮不同的字的重要性。

那第三個就是基因演算法。

那最常用的其實是第二個,然後基因演算法比較少人在用,

那主要是因為基因演算法非常非常慢,

然後還有另外一種更慢的,但是更慢的我就不講了。

首先我們來看那個Greedy Search,那Greedy Search呢,

它做的方式就是它有很多不同的Perturbation,

那我們就是看說在每一個位置的Perturbation,

哪一個Perturbation可以讓Model最終的Output變化最多。

所以舉例而言,在I highly recommend it原本正常的句子上面,

我們就產生了五個潛在的Perturbation。

那前面兩個Perturbation呢,我們是把highly換成strongly跟inordinately,

後面這三個例子呢,我們是在第三個詞的位置,

把recommend換成urge,advocate跟command。

那我們就把這五個不同的句子丟到這個test classifier裡面,

然後我們就得到了這個模型的Output還有它相對應的Loss。

那它就會告訴我們說,當你把highly換成strongly的時候,

這個模型還是有很高的機率覺得它是一個正面的評論。

但是當你把highly換成inordinately的時候,

模型就會有,它覺得它是正面評論的機率就會大幅的降低。

好,那這時候我們做的事情呢,就是我們會去看說,

在這所有不同的Perturbation裡面哪一個東西它是最強的Perturbation。

所謂最強的Perturbation就是,當它原本是positive的時候,

我就希望我找一個最強的Perturbation,

就是可以讓positive的機率降到最低的這個Perturbation,

就稱為是最強的Perturbation。

所以在這邊的例子裡面,在這五個東西,

在這五個潛在的Perturbation裡面呢,

I inordinately recommend it,它的正面的機率是0.51,

所以我們就把它當作是最強的一個Perturbation。

然後呢,第二強的是誰呢?是正面機率0.53的,

I highly advocate it,它的ranking是2,

然後依此類推,就是3,4,然後還有5。

好,那做完這件事情之後呢,我們就開始換。

我們就原本的這個字呢,原本的句子是I highly recommend it,

它是一個正面的句子嘛,

那我們就根據這個ranking來greedy地把字換掉。

那ranking最高的是這個,所以我們就把highly換成inordinately,

變成這個樣子。

那已經換過的字呢,我們就不會再換第二次了。

那ranking的下一個字呢,是第二高的是,

當我把highly recommend it換成highly advocate it,

所以第二個我們做的事情就是,

我們再把這個I inordinately recommend it,

換成I inordinately advocate it,

然後做完這件事情呢,我們再把它丟到模型裡面,

那丟到模型裡面,這個模型就告訴我們說,

它覺得這是一個負面的評論,

那我們的attack就成功了,然後這個過程就結束了。

那要是沒有的話,我們就會看下一個ranking最高,

而且還沒有被換過的字。

那因為它是只關心這個ranking的高低,

所以我們把它稱為是greedy search。

那我在想說,既然有人做greedy search,

一定也有類似做beam search的方法吧?

有人在這個地方做beam search嗎?

有,有做beam search。

哦,了解了解。

我沒有做beam search的同學,

是因為我不想做動畫而已。

好啊好啊,您做夠多動畫,太強了。

沒有沒有,有beam search,

就是有beam search,

然後beam search的問題就是,

你的beam塊越多的話,

它的記憶體就要越大。

所以其實用下面這個方法,

就可以達到很不錯的attack水果,

所以這個方法是最常用的。

那beam search也是有人在用。

好的。

那第二個方法叫做greedy search with word importance ranking。

那首先第一個步驟,

這個跟greedy search的差別就是,

它多了一個word importance ranking。

那第一個步驟就是我們要去找出,

每一個這個input句子裡面的每一個字,

它的重要性有多高。

那重要性有多高這個要怎麼找呢?

這個等一下我們再來講。

總而言之,假設我們用了某一個方法,

這個word importance ranking的方式,

找到了每一個字的ranking長這個樣子。

它就告訴我說呢,

對於這個word importance ranking的方法,

它覺得這個原本的句子,

最重要的這個字是rankman這個字,

第二重要的字是highly這個字,

那it跟it是兩個比較不重要的字。

好,那當我們知道這件事情的時候呢,

下一個步驟就是我們按照這個順序,

來從最重要的字換到最不重要的字。

所以我們來看一下這個表格。

這個它跟greedy search是很像的,

所以我們會列一個類似的表格。

原本這個highly這個字呢,

我們可能根據某一個transformation的結果得到,

它可以被換成strongly跟inordinately。

rankman這個位置的字呢,

我們根據某一個transformation得到的結果,

我們知道它可以換成urge,advocate跟comment。

那剛剛的這個word importance ranking的結果,

告訴我們說rankman這個字是最重要的,

所以我們會先換rankman。

然後highly這個字是第二重要的,

所以我們會第二個才會去換這個highly這個字。

所以原本這個句子它是highly recommended,

那模型覺得它是一個正面的電影論。

那接下來我們做的事情就是,

我們先從最重要的字開始換。

那這個最重要的衡量標準,

是我們用word importance ranking得到的這個rank。

那它覺得最重要的是rankman,

所以我們就把rankman換掉。

那我們要從candidate set裡面換成哪一個呢?

我們就挑可以讓模型對於正面的機率降的最低的。

那在urge,advocate還有comment這三個字裡面,

我們來看這三個字的p positive,

就是正面的機率。

那最低的就是advocate這個字,

所以我們就會先把advocate這個字換掉。

那得到的結果就是這個highly advocated。

那這個東西呢,我們再把它丟到模型裡面。

那要是它已經可以讓模型覺得它是負面的評論的話,

那我們就會停下來,

不過很可惜到這個地方,

模型還是覺得它是一個正面的評論,

所以我們就要繼續做下去。

那接下來呢,

我們就要去移到word importance ranking第二重要的這個字。

所以我們現在target是highly這個字,

我們想要把highly這個字換掉。

那我們要換highly的時候呢,

我們一樣去看說在highly所有的candidate set裡面,

哪一個字可以讓正面的機率降得最多。

所以呢,在strongly跟inordinate這兩個字裡面比較,

我們發現說inordinate這個字,

它可以讓p positive明顯下降到0.5而已。

所以我們就會把這個原本這個highly advocated,

裡面的這個highly,

換成I inordinately advocated。

好,那得到這個結果之後呢,

我們再把它丟到模型裡面,

看看說模型覺得它是一個正面還是負面的定評論。

那結果很幸運的,

這個模型覺得它是一個負面的定評論,

所以就在這邊就停下來了。

好,那這個...

好,那個宇翔,宇翔有問題想問。

因為我覺得聽起來的時候有點疑惑,

因為感覺這樣有點逐步代換的感覺,

那會不會例如說我換了A,

然後他換B,反而又變成又沒有text到這樣。

當然有可能,

但是你很難說你換了一個字,

然後就全部再重新做一次story,

這樣會很浪費時間。

OK,所以這樣子的選擇,

逐步這樣選選選,

如果要是選了一部然後發現

他attack效果沒有很好的話,

就是再選另外一個。

就不會再從trace到起點再重新開始選,

而是會把這個效果比較差的先踢掉,

然後再去選定其他的更新點。

其實有些方法是...

我覺得你剛才講的那個

可能會比較像是data search。

會有點不太像是beam search。

就是...我想一下要怎麼講。

你剛才講的意思應該是說

假設我們把第一個字換掉之後,

我們發現說可能第一個字換掉之後

後面不管換什麼他都沒有辦法達到attack的結果,

是這樣嗎?

對對對。

那這個時候有可能是因為我們第一個字換的不好,

就是第一個字你原本換成advocate,

那你也可能可以換成erge,

那在beam search裡面的話,

你可能會開三個不同的beam,

然後三個不同的beam就是

把第一個字換成這三個不同的字,

然後就比較有可能可以達到好的結果。

這樣回答到你的問題嗎?

有一部分,

可是我還是蠻好奇就是...

因為感覺就是這個情況會蠻常發生的,

還是就經驗上來講,

就是這種逐步代換的這種方式其實並沒有到那麼容易attack失敗。

它其實真的沒有那麼容易失敗。

真的喔?蠻意外的。

就是因為它換成的字其實都是很不合理的字啊,

所以那個字,

我所謂的不合理就是

模型可能根本就沒有看過那個字,

所以你看到那個字它就直接爛掉了。

所以有可能是因為模型沒有看過這個字,

然後它就爛掉了。

那假設,

例如說假設我都是用模型有看過的字去做類似的這個排版,

從前面的挑選到現在的search,

那其實就相對來說沒有那麼容易成功嗎?

對對對,這是對的。

OK好,謝謝。

謝謝陳漢,

那就我們繼續吧。

然後這個Greedy search with over-importance ranking

跟剛才的Greedy search最大的差別就是

假設我們只有用Greedy search的話,

那我們光看這個表格啊,

最先會被換掉的是海底這個字,

我們會先把它換成emodem,

但是如果我們考慮over-importance ranking的時候,

我們就會知道我們要最先換掉的是這個字。

所以在這邊就是考慮over-importance ranking的時候,

這個recommend這個字會被先換掉。

那這個只是因為我這邊舉的例子,

這個句子很短啊,

所以最後結果好像這兩個差不多的。

不過在某些狀況下,

其實這個有用over-importance ranking

會比沒有用over-importance ranking快非常非常多。

那接下來就講一下

這個over-importance ranking要怎麼得到。

那第一個最簡單的方式就是

leave one out,

就是leave one out。

那什麼叫leave one out呢?

就是原本這個句子啊,叫做I highly recommend it。

那我就把每一個字,

句子裡面的每一個字一次拿掉,

一次只拿掉一個。

所以這個我拿掉I的話就會變成highly recommend it,

我拿掉highly的話就變成I recommend it,

然後我拿掉it的話呢,

我拿掉recommend就會變成I highly recommend it,

然後我拿掉it就是變成I highly recommend it。

然後我們再把這些東西呢,

拿掉一個字的叫做leave one out的句子,

丟到模型裡面。

那這個模型off出來的結果呢,

它告訴我說當我把I這個字拿掉的時候,

我還是覺得它非常正面。

但是當我把recommend這個字拿掉的時候呢,

模型就覺得它好像非常非常不正面,

只有0.52的機率是正面的。

那我們就看說呢,

這個正面的機率跟原本的東西相比,

差了多少。

那在I這個意思呢,

1減0.99是0.01嘛,

在recommend這個意思裡面,

1減0.52是0.48。

那我們就用這個P positive的

這個變化量來做ranking,

所以就會得到說,

變化最多的應該是最重要的字,

變化第二多的是第二重要的字。

好,那以此類推。

那這個是

當我們沒有辦法access到model裡面的

內部的資訊的時候,

我們只能從它off出來的結果

來推測說

這個模型覺得哪個字是最重要的。

那其實要找說

input的哪個東西是重要的,

這個東西就是Explainable AI在做的事情。

所以Explainable AI裡面

可以用的東西你都可以拿來用。

那我就講一個最簡單的東西,

叫做就是用gradient。

那做法很簡單,

就是你今天有一個句子,

然後你把它丟到text

這個classifier裡面,

然後forward之後你會得到一個

模型的prediction,

那假設模型對於這個句子的prediction

正面的機率是1.0,

負面的機率是0.0。

那我們就把這個output

對input做為分,

就是我們backward。

那backward的時候我們是

怎麼對什麼做為分呢?

為分的對象是我們用

這個ground truth的label

就是positive這個class

的機率y1

對每一個word embedding做為分。

那我們就可以得到

每一個字它的prediction

對於word embedding的為分。

那我們就取這個word embedding的

none,

就可以來當作

這個word impotency ranking的基準。

那舉例而言,

在剛才這個例子裡面,

我們就發現說regmen這個詞,

output對regmen這個字的word embedding

它得到的為分之後的

這個none是最大的,

所以我們就覺得它是一個最重要的字。

那相反的這個it

這個字它是最不重要的,

因為它的none是最低的。

那其實這個方法就是

這個experimental AI裡面

我們在看CNN

的那個salience map,

就是用output對input做為分,

那這個其實也是同樣的概念。

那這個

用gradient看不一定是

只單純用gradient看

並不一定會是最好的方法,

那其實還有很多不同的

用gradient看的方法,像是

smooth gradient, integrated gradient

之類的東西都可以拿來試試看。

不過因為這個

這個方法是

要有辦法去算這個

模型的為分嘛,所以它是一個white box

的scenario,那一般而言呢

我們其實不會假設說

我們有一個,我們有access到

模型,所以

這個,這樣子的一個

word-imposed ranking其實是比較少用的,

我們大部分還是用前面剛才講到的

這個left one out。

好,下面

我們來講這個

最後一個

search method叫做基因演算法。

然後我發現夏燕的

那個動畫好像有點做錯,不過

大家就

大家就多多保管。

好,那個基因演算法呢,

這個它的核心概念就是

那個演化嘛,然後還有

天擇,那天擇的選擇方式

就是看

這個知識式的生存嘛,

就是看哪一個個體

它的遺傳變異是能夠

讓它適應

這個環境的

壓力

然後可以讓它活到最後。

這個就是

演化的一個核心概念。

所以基因演算法也就是用

這個適者生存的概念

然後挑出最後我們要的這個東西。

那直接看

一個例子,就是

我們現在要perturb的對象

是I highly recommend this

這個句子,然後呢

我們要用基因演算法產生最終的

ethereal sample,那怎麼做呢?

首先第一個步驟

就是要產生地靈子代

就是generation zero

那產生的方式就是我

做一個perturbation

那我們把perturbation產生的這些東西叫做

這個

generation zero

那

這些perturbation可能會

就是它的perturbation就是在

句子裡面的

每個不同的字做perturbation

然後組成generation zero

然後我們就把

這個generation zero

generation zero的

所有的這個

個體丟到text classifier

裡面,然後

看這個classifier

output出來的

這個p negative

是多少,那為什麼我們要看p negative呢?

因為我們原本這個

這個例子

這個MovieReview它是一個正面的MovieReview

那我們現在目標

是要把它改成一個負面的MovieReview

所以呢

衡量一個個體

它是不是一個好的

ethereal sample

就是看說它的

負面的這個Review

模型認為它是負面Review的

機率有多高,也就是p negative有多高

所以我們就把p negative

當成是一個fitness

fitness的中文是

我不確定是什麼

就是

適合的程度吧

就是適應的程度

來比較好,那我們就把它當作

是它的fitness

那如果你說到這個步驟

已經有某一個

generation zero的某一個

子代,不是,某一個個體

它已經可以讓classifier

產生錯誤的判斷

那這個

就結束這個

經驗演算法,不然呢

我們就繼續做下面的事情

下面的事情是什麼呢,下面的事情是

我們會把這個fitness

做一個normalization,然後把它normalize

成一個

就是0到1的數字

那這個數字呢

代表了某一個叫做

p parent的這個

機率,那這個p parent是做什麼呢

這個p parent做的事情是這樣的

我們下一個步驟啊

就是要產生

子代,那這個子代呢

是由氫代交配而產生的

所以這個p parent

就是代表說

在這些generation zero的

氫代裡面

氫代就是parent

就是在generation zero裡面呢

它成為

氫代的機率有多高

然後我們就在這裡面做sample

然後sample的機率是用

p parent的這些機率

所以

我們sample出

兩個p parent之後呢,下一個步驟

就是要做crossover

crossover的中文叫做互換

那crossover這個

動作呢,做的事情其實就只是

對於每一個位子啊

我就

在這兩個氫代裡面

任意的選一個字

出來,所以

在第一個位子我就選了we這個字

在第二個位子我就選了ordinary

這個字,那第三個位子跟

第四個位子沒有差,因為它們沒有做preparation

所以總而言之,我們在

做完互換之後

我們得到了一個這樣子的結果

好,但是這個還沒有結束

在做完互換

之後呢,我們還要做

mutation,mutation的中文是突變

那mutation做的事情

就是我們再做一次transformation

把原本的這個東西

再做一個選項

那這個做選項的時候啊

它會要求說

已經被preferred過的這個詞

不能再被換一次

所以它現在可以換的就是剩下這兩個

所以它可能就會把它換成

we inordinately recommend lot

這樣子

好,那到這個時候呢

一個

一個generation的

演化嘛,遺傳

就是一個generation就產生

就產生一個新的generation,那這個generation

叫做G1

所以一個generation要怎麼產生呢

它要先透過

這個crossover

還有mutation之後才會產生一個

新的子代

那這邊原本有四個

這個個體嘛,所以

在下一個generation

generation1的時候一樣也要

產生四個個體

那假設我們最後產生了這四個不同的個體

它這個沒有空間,所以我就沒有畫

所以我們一樣呢,把這個四個個體

丟到classifier裡面

也就是我們的victim model

然後看看這個victim model output出來的

p-negative是多少

那第一個句子

它的p-negative是0.42,第二個句子是0.76

第三個是0.01,第四個

是0.02好了,那這個時候呢

我們就發現說

第二個字

它是已經可以讓

classifier的output是改變的

那這個時候attack就是

成功的,我們就結束了整個流程

那要是很不幸的這時候沒有

成功的話,那就是再繼續

做這個close-over

然後做到成功或是

超過某一個

原本既定的限制為止

好,那這個就是

基因演算法

好,所以到這邊我們就已經講完

上面所有這個

這個eventual attack裡面的

四個要素了,到這邊有人有問題嗎

好

到這邊大家有問題要問嗎

陳漢你剛才說

還有比基因演算法

更耗費運算資源的

這邊是指什麼方法

有一個叫做

好像有一個叫做

particle swarm optimization的東西

然後

那個東西

那個東西有點複雜

看起來也是很慢或是

差不多慢

就是

我有點不太確定到底是基因演算法比較慢

還是particle swarm optimization比較慢

總而言之兩個都很慢

好啊好啊

然後大家有興趣的話

就是我其實在

前面的地方有放一篇

就是我投影片下面都有放reference

然後有興趣大家可以去看

然後

這邊有放一頁reference

是這個text attack

然後他是一個

他是一個

toolkit

然後他可以拿來做NLP上面的attack

然後我今天講的這些架構

還有這個架構裡面每個

東西他都有

然後他裡面就有提到

就是剛才我講的

particle swarm optimization是怎麼做的

然後大家有興趣的話可以再去

看一下那個reference是怎麼做的

對

然後大家要用NLP的attack

也可以用這個toolkit

不過

對可以試試看

好那就

繼續講

那我再問一下

有人會用RL系列的做法

來解這邊的search problem嗎

因為

這個NLP跟以前不一樣的地方

就是現在我們的問題

我們在做attack的時候

我們要optimization的問題其實是不可為的

那他們遇到不可為的問題

是不是可以用RL硬做

其實有

只是我沒有放進來

對

就是有RL的

我其實可以加在下禮拜的toolkit裡面

如果有有趣的做法的話

也還蠻值得聽一下

對

剛才老師有提一個問題

就是不可為的問題

在NLP裡面要解決不可為的問題

第一個當然是

硬train

那其實還有另外一個很有趣的做法

是用

就是把不可為的東西變成可以為的東西

那這個

這個今天可能會講

我覺得這個可能是比RL還要更有趣

好啊好啊

好

那講完這麼多

不同的ingredient

然後我們就來看這些ingredient要怎麼

湊在一起然後產生一個

實際的attack

那我先介紹一個最重要的

類型叫做

同義詞替換攻擊

這個同義詞替換攻擊

那我介紹

四個不同的

同義詞替換攻擊

然後這四個同義詞替換攻擊是

最常在paper上面拿來當baseline的

這個方法

那首先第一個叫做textfuller

然後這個是

2020年2019年2020年的paper

然後

我剛剛講的這幾個四個

我們就看它不同的

它的goal 它的constraint 還有它的transformation

還有它的search method

那textfuller呢

它用的constraint

是world embedding space distance

就是這兩個box

就是限制semantic similarity的constraint

然後還有限制文法的pos consistency

那它的transformation

是用goal的

embedding space來做的

那就是

textfuller space

可以達到同義詞替換攻擊的原因

就是因為我們有做

configurative

所以同義詞會落在一個比較接近的空間裡面

所以它可以拿來做

這個同義詞替換攻擊

那它的search method是

greedy search with more important functions

那這邊paper上面

放了一個例子

這應該也是

這應該也是

movie review的例子

然後它原本的input text

長這個樣子

然後呢它就把constraint

換成engineering

然後situation換成circumstances

然後totally換成fully

然後這個模型呢

它用的模型就是bird lsm或是cmn

cmn的

那個模型

然後就讓這個模型覺得

這是一個正面的

review

然後這其實看起來還蠻厲害的

兩個詞看起來都是

差不多的

而且我們也不會覺得circumstances

這個字是一個頻率很低的字

fully也應該是一個頻率很高的字

那大家有興趣的話

可以再自己去看一下

如果你真的用text fuller

這個toolkit然後去攻擊一個

bird lsm或是cmn

然後產生出來的結果

大家可以看一下是不是真的

這麼漂亮

那

我們實際來看一下它的algorithm

我不會詳細講algorithm的細節

我只要讓大家看說

我們剛才講的這四個要素

它是怎麼出現在一個

attack algorithm裡面

首先呢

第二行到第四行的地方

它for each word in x

x就是原本的input

它要compute important score

然後用某一個方法

用importance ranking來compute

所以這個地方就是我們要做search之前

我們要先去得到

每一個字的importance ranking

然後在第七行的時候

它會filter掉stop word

所謂的stop word就是

很常出現的那些字

像是

代名詞I

it 之類的

或者是慣詞的

這些東西

因為它很常出現在句子裡面

然後我們會覺得說

當你把它替換的時候

句子的文法或是語意

就像你把I換成

X之類的它可能會變得有點奇怪

那你把R換成了可能文法就會不對

所以它在這邊就下了一個constraint

然後接下來呢

就是它要做search

所以就是for each word in

原本for each word in

candidate set

它要開始做search

那它做search的方式呢

是它首先要做transformation

transformation就是

我們剛才有看到說

它的transformation用的是

呃

這個word embedding space的

nearest neighbor

所以它這邊用的是

這個word embedding space

原本的字跟潛在的

transformation的同範similarity

然後來做替換

然後這邊就是它有說

它要top N

所以這個就是一個similarity constraint

然後另外它也有要求說

替換掉的字

跟原本被替換的字

它的POS要是一樣的

所以這邊又是另外一個不同的constraint

那再來呢

接下來就是開始

替換的過程

那在替換的過程它也會要求說

替換完之後的句子跟原本的句子

它的這個similarity

要高於某一個threshold

它才會算是一個

合法的correlation

那剩下就是其他的過程

就是一個完整的

attack algorithm

它大概會長這樣

就是你要先做immortal ranking

然後再做search

然後search的過程就是你要去

把不同的transformation結合起來

那在search的過程還有在transformation的過程

你都需要把一些不合法的

東西處理掉

那接下來講第二個

不同的evasion attack

第二個不同的同一次替換攻擊

就是pwss

那pwss的全名叫做

probability-weighted-worth-saliency

那這個pwss

它的

重點呢就是

它的

importance ranking跟別人有點不太一樣

它除了要考慮原本我們

剛才講的這個leave-one-out的

這個

重要性

它還會同時考慮說

當你把它拿掉之後

拿掉了這個字

它所有替換的可能裡面

哪一個可以讓這個pwss

降得最多

所以它在替換的時候會同時把

這個leave-one-out的

重要性跟

這個替換之後的變化的重要性

同時考慮進去

那這邊有一個很有趣的東西

就是它沒有下任何的constraint

然後如果沒有下任何的constraint的話

產生出來的東西其實還蠻危險的

就是

品質可能

品質可能會有點

問題

那

下面我們再看一個例子

叫做bird attack, bird attack也是很新的

也沒有到很新啦,2020的

一個attack的方式

那它的constraint它就是用

universal sentence encoder的sentence similarity

來要求說protect之後的

結果跟原本的這個東西

它要長得夠像,另外它也有要求說

最後這個

maximum number of modified words

它必須要小於某一個固定的比例

那它的transformation

它就是用這個MLM

那用MLM做,剛剛有講說

它可能會產生一些奇怪的substitution

所以你就要用universal sentence encoder

來確保說

替換之後的這個字

它的這個

這個

語意還是有被保留住的

那另外一個就是

genetic algorithm,那genetic algorithm其實

就是我們剛才

它的重點就是它的search method是用我們剛才講的

genetic algorithm,也就是

做crossover跟做notation之後

來產生可能的這個

這個

adversarial sample

那它用的constraint包含了說

產生的這個東西呢

它必須要有足夠低的language model complexity

然後它

更改的字不能太多

然後替換的時候

word invariance space的距離

也不可以太大

好,那這邊放了一個

這個實際的結果

那

這個是從bird attack這個parameter拿出來的

那我們就看imdb

這個結果好了

imdb這個dataset呢,它用了三個不同的

attack方法來做

那原本呢,訓練在bird的這個

model上面,imdb可以達到90.9

的accuracy,那但是

經過attack之後呢,用這三個

不同的attack algorithm,得到的accuracy

變成

只有11.4,13.6

45.7

那

這個attack accuracy當然是越低越好嘛

所以從這邊看起來bird attack是一個最強的attack

那我們也會希望說這個

在preparation的

結果,這個

更改的字應該要越低越好

所以就這三個

這個方法來比的話,4.4%

這個應該是最好的

那另外一個很重要的衡量因素是

query number,因為我們在

前面講說

我們要選怎麼替換的時候

我們每一次替換之後,我們都要

丟到model裡面,看說這個

結果有沒有讓model的結果爛掉

所以說query number如果

越少的話,就表示說我用了

比較少的這個

transformation

我用了

比較少的transformation,就可以達到一個成功的attack

所以這個東西是越少越好

那genetic algorithm呢

非常非常的慢

它的query number

它慢就是因為它的query number很高

好,然後另外一個衡量的

因素是這個similarity

就是我希望我經過transformation之後

跟transformation之前的sentence

embedded similarity要夠高

那所以這個東西要越高越好

這是一個

簡單的例子

好,那

即使我們下了這麼多的constraint

那這個adversarial sample

還是一個

人一眼就看得出來的

舉例而言

這個句子是

自某一個data set裡面

拿出來的,它原本長這個樣子

然後

左邊的這個是

原本的句子

右邊這個是經過transformation的句子

那藍色的是原本的

字,紅色是經過transformation

之後的字

首先我們來看第一個句子

就是它把romantic right

改成sepi motorbike

就是right跟motorbike

這個你要是只看它的字

好像的確是

同一詞沒有錯,或是它的意思是節節

可是如果你直接把這個句子

裡面的right換成motorbike

看起來的確是非常非常的奇怪

所以這就是一個

感覺是已經違反了semantic

的一個

一個句子,但是呢

即使這個句子的semantic已經

明顯跟這個字不一樣

在這個

因為它textful的這個

textful的這個方式

它是沒有限制那個

universal sentence encoder

所以它不會被濾掉

那第二個是

這個文法的

這個它把一個

動詞的

pos從動詞的單句

改成了第三人稱單數現代式

所以這個就已經

這個違反了它的那個

文法的

正確性了,所以對人來說

你也會覺得看到這個句子的時候

感覺有點怪怪的,那第三個字

第三個句子它把great這個

詞改成了

這個我連看都沒看過的詞

所以對人來說這也是一個很奇怪的東西

所以對人來說其實這些at zero sample

都是人一眼就看得出來的

就是你就算不覺得它是at zero sample

你也覺得它是一個奇怪的字

那這個是為什麼呢

這可能就是因為我們的constraint下得不夠強

所以就有人把constraint

這個加得更強

就是有人就把

這個textful的constraint

從原本的可能是0.82的

cosine similarity

加強到0.97的cosine similarity

然後這些cosine similarity是怎麼得到的呢

他們是請

工人去標註的

也就是說我可能用cosine similarity等於0.9

然後產生一些attack的結果

然後產生出來的結果

我就問這個

工人說這些東西你覺得

是不是合理的at zero sample

他如果覺得不合理的話

那我就把這個cosine similarity再調到0.92

然後調成0.92之後

再拿去attack

然後attack出來的結果再給工人看

然後弄到工人覺得

這個

這個

similarity是足夠像之後

就把這個當成一個

好的cosine similarity

那經過這個過程之後

他們就發現說cosine similarity

提高之後

他可以讓工人覺得

這個

similarity是比較像的

那這個衡量方式是一個

1到5分的scale

就是1就是覺得一點都不像

2是覺得有點像

3是覺得neutral

就是既沒有不像

也沒有像

4是最高的

所以原本的text fuller這個模型

他得到的similarity大概是這個樣子

他們把這個constraint加強之後

就可以得到比較高的similarity

那因為剛才有看到text fuller

這個attack的方式

他產生出來的

position他的文法其實是有問題的

所以他們就用language tool

把這個

當作他是

他們就用language tool當成是一個他的constraint

然後他們要求說這個產生的position

他用language tool

得到的grammatical error要是零

所以他最後

他的方法叫做

text fuller adjusting

他的grammatical error

的比例都是零

但是做完這件事情就發生一個

有趣的結果

原本的text fuller他的text access rate

是非常非常高的

但是

經過剛才那一串操作之後

把這個posise similarity的

threshold調高

然後把language model

不是,把那個language tool的

grammatical constraint加回來之後

他的text access rate就

暴跌到只剩下十幾%

而已,所以

這個就

可以讓大家想一下說

就是目前產生的

zero sample他可能其實是

仰賴著一些

不合理的preservation

所以才會讓模型

根本就看不出來,所以access rate才會這麼高

那要是你的constraint

下的強一點,然後產生的

東西是比較合理的preservation

的話,那對model而言可能

他就根本不會覺得他是一個zero sample

所以你的attack也就會失敗

好,所以這個是

目前同一時間段攻擊的一些

現況,那接下來

我們介紹一個有趣的

attack方式叫做Morpheus

那Morpheus他的

最大的特點

就是他的transformation是用

這個

inflectional morpheme

的替換來做的

那這個東西為什麼可以算是一個

合理的攻擊呢?其實是因為這樣啦

就是大家

如果不是母語的

大家的母語如果不是英文的話

其實我們自己在使用英文的時候

也常常會把這個

動詞的時態不小心

弄錯

那這個

時態弄錯他其實是一個很

實際發生的狀況

如果說模型看到

時態是錯的句子

他的output就會爛掉的話

那表示這個模型其實是

非常不robust,所以就有人

用了一個

叫做Morpheus attack的方式

就是把這個動詞

動詞還有形容詞的

這個inflectional form

更改之後當作是一個

attack,然後去看看

model他的

performance會不會因此

而降低,然後結果發現

模型的確會因為

這個文法錯誤或是說

inflectional form是錯的

然後就讓他的prediction

完全是爛掉了

所以這個就是

一個attack在實際生活中

會發生的例子

那今天最後一個

主題啊,大概就是

universal trigger,那我們把

universal trigger講完之後就

下課

那universal trigger呢

他是一個

還蠻有名的attack,所以我把它拿進來講

什麼是universal trigger啊

一個universal trigger就是一個

trigger string,trigger就是

觸發的東西

那這個string呢,他是跟

原本的test是沒有關係的

但是呢,只要加上這個string之後

他就可以達到targeted attack

那

假設說我們原本的

任務是

sentiment analysis好了,那原本的句子

是黑色的這些字

那我們就

加上了一個figure,就是紅色的這個東西

那只要

input的這個句子呢,加上

這個figure之後,他就可以讓原本

模型判斷是positive的

這個

這個

這個句子,變成是一個

negative的句子,然後

這個

trigger string,他是

universal,所謂universal就是

不管是哪個句子,你只要加上

這個東西,他都可以讓positive變成

negative,那這個東西你要

怎麼去找他呢

這個東西要找他分為

幾個步驟,第一個步驟

你要先決定說,你要

讓這個trigger string,他有多少

的字,然後再

來做initialization

那在picture裡面呢,他們的例子是說

我們就用三個

三個字當作是

trigger string,然後trigger

的initialization,就用

the這個字,來當作initialization

所以我們就把

連續三個the,放到

這個

data裡面,然後就是

加在這個句子的前面

所以原本是an amazing

thing,然後我們就會把

這三個the,prepare到他前面

然後丟到模型裡面,然後看他的p-

是多少,那我們看p-的原因

是因為我們現在要做target attack

所以我們的目標是要讓p-越大越好

那接下來

我們做的事情呢,就是

我們去算

這個

backward,然後得到

合理的

替換,呃就是

我們要,不是合理的替換,就是可能的

替換是什麼,好那

這個做法是這樣子的,我們就把

這些

加上這個trigger string的

example,丟到模型裡面

然後forward,forward的時候我們會

得到一個loss,然後我們再backward

那backward到哪裡呢,一樣是backward到

這個invading space,那invading space

裡面呢,就會有很多不同的

word invading,那原本的這個

trigger是the,他invading在這裡

然後其他散佈著

各種不同的這個word invading

那我們算的就是

我們要backward的時候,我們是用

這個loss function

的loss

對原本trigger的

這個invading做

偏微分

偏微分之後的結果呢

我們要乘上某一個東西,這個東西

就是我們剛才講到的這個

這個

呃,1萬到1零的

向量,這邊寫錯的應該是

1萬減1零,1 2減1零跟1 3減1零

好

那我們得到這個東西之後呢

我們

就是找

這個

loss的偏微分跟

EI減1零的double product

哪一個東西是

可以讓這個東西是最小的

那

為什麼這邊是找最小的,因為這邊

我們做的是targeted attack

所以他那個

我們是要讓

這個loss會是

ground truth label等於negative的時候

所以我們要讓ground truth label

等於negative

的時候的loss越小越好,所以這邊要取

minimum,然後

這個東西為什麼要是

呃,這個點這個,然後再double product

這個,這個前面有講嘛

就是我們要找說

用一些微分來近似的話

這個在

他附近,當他

往這邊移的時候,這個loss

會變化多少,那我們現在要找

loss可以降最低的

然後找到可以降最低的

我們就把他挑出來

挑出來挑出來,然後當作是

下一輪的trigger

所以我們就把trigger update成

這三個可以讓loss降最低的

那

這個步驟就一直持續一直持續

然後持續到最後

等到他convert為止

你就會找到你要的這個

這個trigger

好,那他的實驗

結果呢,就是

這個

這邊,這個實驗

結果有點

就是可能會讓人覺得

offensive吧,就是他加了

某一個figure

然後他就把

原本這個squat,squat是一個

question answer的data set,然後他的question是

why did it work,然後呢他的context

就是呃

文章是這個,然後他在文章

的後面呢加上了一個

adversarial trigger

然後

結果他就讓

模型原本的output是exercise變成

to kill american people

所以這個就是

這就是一個有點危險的

發言啦,就是如果模型

output出來的東西長這個樣子的話

那你把他deploy在現實生活中

大家可能會覺得很有問題

所以這個就是adversarial trigger

為什麼很危險的地方

好,那

universal trigger他其實

有點像是這個我們在前幾個禮拜

講的這個

講的那個prefix tuning

在做的事情,就是當model固定的時候

想要找到一個

prefix,然後這個prefix可以讓

模型output

出一個我想要的東西

那在prefix tuning裡面呢,我們做的事情是

我們要加上一個prefix,讓他產生

出來的東西是跟這個test有關

然後他可以正確判斷這個test的

一個prefix

那現在在這個universal adversarial trigger

裡面,我們要做的事情是我們要找到

一個prefix,然後讓他可以讓

模型產生一個

我們想要,但是不太好的

output,所以這個就是universal trigger

好,那

剩下的部分呢,我們就

下禮拜再講,那今天就

講到這個地方,有人有問題嗎

好,欸謝謝,陳漢

謝謝

好

看大家有沒有什麼

問題要問呢

好,請說

不好意思,就是因為就感覺那個attack

這個自然語言attack這個東西

好像蠻多人在研究的

就是這個東西主要拿來

就是,就只是拿來

真的是拿來攻擊一個語言的

模型嗎

還是他的主要的

目的,實用的目的一直在做什麼

實用的目的

第一個當然就是有一個模型

我們想要去攻擊他嘛,就是我們想要讓

他的模型爛掉

這是一個功能

沒有錯,那另外一個很重要的功能就是

當你開發出一個新的

模型的時候,你必須要先知道

他有可能有什麼failure mode

那有什麼failure mode我們才有辦法

去讓他更強健

所以這個應該是

adversarial symbol最重要的功能,就是

adversarial symbol他功能並不是讓模型

他當然可以讓模型爛掉

但是對我們就是

模型的deployer來說

他的功能是他可以

identify出一些模型的

一些問題

那舉例而言就是

有些adversarial symbol

他可能會幫助我們發現說模型會

依賴某些特定的spherus correlation

所以我們在創造出

這些adversarial symbol的時候

我們就是利用這個模型會有

會仰賴spherus correlation

這件事情才創造出來

那當我們這些設計出

模型的人去看這些adversarial symbol

的時候,我們就會發現說

原來這個模型

他有這樣的弱點,那其實剛才有同學問到說

attack攻擊的時候

是不是只會攻擊那些

是不是都會替換成

這個

比較不常見的字啊,那這個

也是對的,所以我們就會發現說

我們就會透過同一次替換攻擊發現說

原來模型其實是

對於他們有看過的字非常非常的不弱

所以這也是,這應該才是

這個attack最重要的功能

所以就是

要知道怎麼攻擊才知道怎麼防禦

對,就是

比較政治正確的講法是這樣子

那那個就是

有常常,就是有什麼情況下

真的是要去攻擊別人

好,這個

因為只是讓一個

電影的評價從

手邊換,這樣其實也沒有什麼用

好,我講一個實際的例子

這個實際的例子是

這個

我找一下投影片

這個實際的例子是

是

fake news detection

fake news detection就是你要偵測

那個

這個

這個

假新聞嘛,那你偵測假新聞

的時候

你當然是

對於一個模型的deployer來說

你當然是希望說

他可以正確的判斷說一個新聞是真的還是假的

那如果說你今天

在做

你要去attack這個model的時候

就是你要想辦法讓一個

明明是假新聞的東西

然後讓模型判斷說

他覺得他不是假新聞

那這個東西就是一個

很實際的問題

就是如果

一個惡意的攻擊者他可以透過

某一個惡意攻擊的方式

把一個fake news

經過protection之後產生一個

就是讓模型覺得

他是一個真的新聞的

這個news的話

那這個模型就

反正這樣就會有問題

所以這個就是一個實際的例子

這樣有回答到你的問題嗎

有,謝謝

好,再來

羽翔

那個我想問一下

就是像今天講的

這些整篇的這個

talk裡面的模型

大家都指的是像CNN這種

稍微規模比較小的模型嗎

還是其實像BERT這種

模型比較大的

然後有經過大量progress

那其實很容易被這種attack

攻擊到,就是我還蠻好奇

其實

不管是CNN還是BERT

都剛剛你講的那些攻擊

全部都會對他們來說

都是有效的

ok