好,那有人就會想說,這樣子的攻擊,在現實的生活中,在我們所處的這個物理的世界中,到底是不是真的可以成功的呢?

因為像剛才我們加的那個雜訊都非常非常的小,那如果你在這個數位的世界中,那些小小的雜訊當然是會對你的影像辨識系統,它看到的東西造成一些差異。

但是,今天如果在真實的世界,machine是透過一個camera,透過一個鏡頭去看這個世界,而那些微小的雜訊會不會透過那個鏡頭以後根本就看不見了,所以這樣的攻擊,在現實的生活中,也許根本不足以造成威脅。

所以有人就真的做了實驗,他把那些攻擊的影像直接輸出來,直接print出來,然後用一個camera去用那個手機的鏡頭去看那些圖片,然後看看那些圖片辨識的結果。

那這個demo裡面秀的也是一個黑相的攻擊,他們是攻擊了一個手機上現成的影像辨識的系統。它印出了三張奇蹟,看起來非常的像,但是其中兩張是有偷偷加雜訊的,那雜訊就很小,跟我們剛才遇到的case有點像,所以看不太出來。

其實你仔細看,還是可以看得出來說這個圖片上有些怪怪的花紋,然後用手機來看。手機第一張圖片,它說它是奇蹟,第二張圖片,它就有點不太確定它是什麼,它現在說它是一個switch,第三張圖片,它就說它是一個switch。

所以,這樣子的攻擊,其實是有可能在現實生活中做到的。

我們來看更多在現實生活中攻擊的例子。舉例來說,有人會想說,我們用這樣的技術就可以來hack人臉辨識的系統。你知道人臉辨識未來有很重要的任務嘛,你可以在比如說公司的門口都有裝人臉辨識系統,那你就知道說公司的員工才能進去,不是公司的員工就不能夠進去等等。

有人就會想說,這樣子的攻擊,用在攻擊人臉上好像不太合理吧?比如說,你說給機器看那些雜訊,然後機器就會辨識錯誤,難道你要在人臉上貼那些雜訊嗎?不太合理吧?

所以有人就說,也許可以把那些雜訊變成一副眼鏡,就是那些雜訊統統集中在眼鏡的鏡框上。所以今天這個女性,她只要戴了這個眼鏡以後,她就會被辨識錯誤成這個男性。

但是如果只是在實驗室中做,也許你會想說,這個攻擊真的有可能成功嗎?因為想說在實驗室做實驗的時候,你只是把這張圖片拿出來,然後在這張圖片上面貼一個像是眼鏡的東西,然後希望去辨識錯誤。

所以這一群作者,應該是CMU的團隊Paper就放在右上角,他們是真的在物理世界中實體的做出了那個眼鏡。我在網絡上有找到那個作者的演講,他演講過程中,他還是會拿出眼鏡說,你看,我真的做了這個眼鏡,他就真的做了這個眼鏡,這個眼鏡長這樣。

然後他就實際上真的拿這個眼鏡去給人臉辨識系統看,看他會不會辨識錯誤。這個是Paper裡面的結果了。

最左邊這個是Paper的兩位作者,其中一位作者戴上了這副眼鏡以後,他就被辨識成下面這個女性,這個作者戴上這個眼鏡以後就被辨識成這個人。這兩個應該都是知名的藝人,不過在三次元世界不太熟,所以不知道他們是誰。

總之,在現實的生活中,剛才講的那個所謂戴眼鏡的方法,在這個三次元的世界中是真的有可能成功的,但是實際上為了要把二次元的東西帶到三次元,其實如果仔細看他們的Paper的話,他們也是做了一些努力的。

我這邊就列出了他們有做的事情。第一件事情是這樣,你想想看,一個人臉的辨識系統不是只照人的某一個角度。你在人臉辨識系統前,你可能會左邊轉一下、右邊轉一下,所以人臉的辨識系統會看你很多個不同的角度,所以你必須確保所有不同的角度的攻擊都是成功的。

如果你有某幾個角度是失敗的,那你的攻擊就沒有成功,因為臉相辨識系統就知道你是誰了,就知道說你不是,比如說你要把自己變成下面這個藝人,那如果只有某幾個角度辨識成他,多數角度不是的話,那攻擊也不能夠算是成功的。

所以他們在做這個攻擊的時候,他們有確保說,他們的人臉在三十到五十個不同的角度上的攻擊都是成功的。再來就是,你可能會遇到一個問題是,你今天的那個雜訊,如果那個雜訊的訊號非常的弱,那有可能你的相機的鏡頭的解析度不夠高,所以它根本看不到那個雜訊。

或者是,如果那個雜訊的訊號非常弱,搞不好你影音機根本就印不出來,所以他必須要確保說,他的雜訊不要有非常非常大的變化,比如說不要只有一個pixel的顏色跟周圍不一樣,這樣子鏡頭看不到,然後你影音機的解析度不夠,搞不好你也根本印不出來。

所以他要確保說,他那個眼鏡,它是以色塊的方式呈現,就是它是大片大片一樣的顏色。然後第三個是說,他還考慮到了在物理世界中,在三次元的世界中,印表機是有極限的,有些顏色不容易被印出來,所以他要確保說,他在攻擊的時候,那些雜訊不要用那些印表機印不出來的顏色。

所以他考慮了種種物理世界有的限制,那可以成功地對人臉辨識系統進行攻擊。

這邊有另外一個例子,就是對路邊的號誌進行攻擊,這個攻擊是想要把這些stop的sign統統變成速限45的sign。他也在對物理世界做了種種的限制,就像是剛才前一張圖,前一張創影片裡面所講的。

他有特別考慮到說,你今天在進行攻擊的時候,你不能夠產生非常非常奇怪的圖案,因為如果你產生非常奇怪的圖案的話,人看到所有奇怪的圖案貼在這個道路的號誌上,就會覺得說不知道在做什麼,可能隔天就被清潔隊員塗掉了。

所以他今天要確保說,他今天在攻擊的時候,這些加上去的圖案像是一些正常的塗鴉,比如說這邊是寫love and hate,或者是感覺只是貼了幾張色紙上去,但是他可以做到說,就只是貼了幾張色紙上去,但是你在不同的角度看這個stop sign,你都會誤認為它是速限45的標誌。

所以,中國未來確實會在自駕車的安全上面造成一些問題。

這邊講的都是攻擊的部分,攻擊也不只限於圖片,我們剛才講的攻擊舉的例子都是圖片,其實在語音和文字上的攻擊也都有成功的例子,我把reference貼在這邊給大家參考。