我們要來講Network的架構,我們開始探討Network的架構設計。

那我第一個要跟大家講的Network架構的變形呢,是Convolutional的Neural Network,它的縮寫呢就是CNN。

那這個CNN呢,它是專門被用在影像上的。

那我希望透過CNN這個例子,來讓你知道說Network的架構,它的設計有什麼樣的想法。

那為什麼設計Network的架構可以讓我們的Network結果做得更好。

好,那我們接下來呢,要講的例子是跟影像有關的。

我們今天就想像說,我們要做影像的分類。

也就是給機器一張圖片,它要去決定說這張圖片裡面有什麼樣的東西。

那怎麼做呢?我們已經跟大家講過怎麼做分類這件事情。

在以下的討論裡面,我們都假設我們的模型輸入的圖片大小是固定的。

舉例來說,它固定輸入的圖片大小都是100x100的解析度。

我們假設說不會突然出現大小不一的照片。

其實今天一般在做影像辨識的時候,往往都有這樣子的假設。

就算是今天這個Deep Learning已經這麼的popular,我們往往都還是需要假設說一個模型輸入的影像大小都是一樣的。

那你說圖片可能有大有小啊,而且不是所有圖片都是正方形,當然有長方形的怎麼辦。

今天常見的處理方式,丟進影像辨識系統的處理方式就是把所有圖片都先rescale成大小一樣,再丟到影像的辨識系統裡面。

那我們的模型的輸出應該是什麼呢?我們模型的目標是分類。

所以我們會把每一個類別表示成一個one-hot的vector,我們的目標就叫做white hat。

那在這個one-hot的vector裡面,假設我們現在的類別是一個貓的話,貓所對應的dimension數值就是1,其他的東西所對應的dimension數值就是0。

那這個dimension的長度就決定了你現在的模型可以辨識出多少不同種類的東西。

如果你這個像量的長度是2000,就代表說你這個模型可以辨識出2000種不同的東西。

那今天比較強的影像辨識系統往往可以辨識出1000種以上的東西,甚至到上萬種不同的object。

那如果你今天希望你的影像辨識系統可以辨識上萬種object,那你的label就會是一個上萬維,維度是上萬的one-hot vector。

那我們的模型的輸出,通過softmax以後,輸出是Wi-Fi,然後我們就會希望Wi-Fi跟white hat,他們的cross entropy越小越好。

那有關這個cross entropy的部分,我們已經跟大家講過了,所以相信這個地方大家不是問題。

接下來的問題是,怎麼把一張影像當作一個模型的輸入呢?

那我們先來看一下對電腦來說,一張影像是什麼樣的東西。

那其實對一個machine來說,一張圖片其實是一個三維的tensor。

那什麼叫做tensor呢?如果不知道tensor是什麼的話,你就想成它是維度大於二的矩陣,就是tensor。

矩陣是二維的嘛,那二維以上的、超過二維的矩陣,你就叫它tensor。

一張圖片,它是一個三維的tensor。那三維呢,其中一維代表圖片的寬,另外一維代表圖片的高,還有一維代表圖片的channel的數目。

這個所謂的channel是什麼意思呢?一張彩色的圖片,今天它每一個pixel都是由RGB三個顏色所組成的。

所以這三個channel就代表了RGB三個顏色。那長跟寬就代表了今天這張圖片的解析度,代表這張圖片裡面有的pixel,有的像素的數目。

那接下來我們就要把這一個三維的tensor把它拉直,把它拉直以後就可以丟到一個network裡面去了。

記得嗎?到目前為止我們所講的network,它的輸入其實都是一個向量。

所以我們只要能夠把一張圖片變成一個向量,我們就可以把它當作是network的輸入。

但是怎麼把這個三維的tensor變成一個向量呢?最直覺的方法就是直接拉直它。

一個三維的tensor裡面有幾個數字呢?在這個例子裡面有100x100x3個數字。

所以一張圖片是由100x100x3個數字所組成的,把這些數字通通拿出來排成一排就是一個巨大的向量,這個向量可以作為network的輸入。

而這個向量裡面,每一維它裡面存的數值其實就是某一個pixel,某一個顏色的強度。

每一個pixel有RGB三個顏色所組成,每個顏色都有一個數值代表說這個顏色的強度。

在這個向量裡面,每一維它的數值就代表了某一個位置的某一個顏色的強度。

這個向量我們可以把它當作是一個network的輸入。

我們到目前為止只講過了fully connected的network。

如果我們把這個向量當作network的輸入,那我們input這邊這個feature vector它的長度就是100x100x3,非常長的一個vector。

假設我們現在第一層的neuron的數目有1000個,那你能計算一下這邊第一層總共有多少個weight嗎?

我們每一個neuron它跟輸入的向量的每一個數值都會有一個weight。

所以如果輸入的向量的長度是100x100x3有1000個neuron,那我們現在第一層的weight就有1000x100x100x3也就是3x10的7次方,是一個非常巨大的數目。

如果參數越多會有什麼樣的問題呢?

當然隨著參數的增加,我們可以增加模型的彈性,我們可以增加它的能力,但是我們也增加了overfitting的風險。

有關什麼叫模型的彈性,到底overfitting怎麼產生的,下週吳慧媛老師會從數學上給大家非常清楚的證明。

我們這邊就講概念上,如果模型的彈性越大就越容易overfitting,那我們怎麼減少在做影像辨識的時候,怎麼避免使用這麼多的參數呢?

考慮到影像辨識這個問題本身的特性,其實我們並不一定需要fully connected這件事。

考慮影像本身的特性,我們其實不需要每一個neuron跟input的每一個dimension都有一個weight。

怎麼說呢?接下來就是對影像辨識這個問題,對影像本身的特性的一些觀察。

第一個觀察是對影像辨識這個問題而言,假設我們想要知道說這張圖片裡面有一隻動物,這個動物是一個鳥,要怎麼做呢?

也許對一個影像辨識的系統而言,對一個影像辨識的neuron,對一個影像辨識的內神經網路裡面的神經元而言,

它要做的就是偵測說現在這張圖片裡面有沒有出現一些特別重要的pattern,而這些pattern是代表了某種物件。

舉例來說,如果現在有某一個neuron說它看到鳥嘴這個pattern,有某一個neuron又說它看到眼睛這個pattern,

又有某一個neuron說它看到鳥爪這個pattern,也許看到這些pattern綜合起來就代表說我們看到了一隻鳥。

內神經網路就可以告訴你說,因為看到這些pattern,所以它看到了一隻鳥。

也許你會覺得說看pattern然後決定它是什麼,這件事情好像沒有很聰明。

那你仔細想想,人是不是也是用同樣的方法來看一張圖片中有沒有一隻鳥呢?

舉例來說,這一個例子。

你有沒有看到這裡面有什麼樣的動物?

你看這邊有一個鳥嘴,這邊有一個眼睛,看起來它是一個烏鴉,但是它其實是一隻貓。

如果你看到它是一隻鳥的話,那你就應該放下酒杯了,因為這是一隻貓。

所以其實就算是人,我們在判斷一個物件的時候,往往也是抓最重要的特徵,

然後看到這些特徵以後,你很直覺地就會覺得說你看到了某種物件。

對機器來說,也許這也是一個有效的判斷影像中有什麼物件的方法。

但是假設我們現在要neuron做的事情,其實就是判斷說現在有沒有某種pattern出現,

那也許我們並不需要每一個neuron都去看一張完整的圖片。

因為這些重要的pattern,比如說鳥嘴、眼睛、鳥爪,並不需要看整張完整的圖片才能夠得到這些資訊。

只要知道說這邊有沒有一個鳥嘴,你其實只要看非常小的範圍就知道了,並不需要看整張圖片。

所以這些neuron也許根本就不需要把整張圖片當作輸入,

他們只需要把圖片的一小部分當作輸入,就足以讓他們偵測某些特別關鍵的pattern有沒有出現了。

這是第一個觀察。

根據這個觀察,我們就可以做第一個簡化。

怎麼簡化呢?本來我們每一個neuron,他要看完整的圖片。

把圖片裡面的每一個pixel,每一個pixel都還有三個數字,

把一張圖片裡面所有的資訊都丟給一個neuron,然後讓他產生好分。

這是fully connected network做的事情。

但是現在我們已經觀察到說,也許不需要讓一個neuron看完整的圖片,

只要讓他看圖片的一小部分就足夠了。

那怎麼透過這個觀察來設計我們的neuron network呢?

在CNN裡面有一個這樣的做法,我們會設定一個區域叫做receptive field。

每一個neuron都只關心自己的receptive field裡面發生的事情就好了。

舉例來說,你會先定義說這個藍色的neuron,他的守備範圍就是這個receptive field。

這個receptive field裡面有3乘以3乘以3的數值。

這個小的立方體裡面有3乘以3乘以3的數值。

對這個藍色的neuron來說,他只需要關心這一個小範圍就好了,

不需要在意整張圖片裡面有什麼東西,只在意他自己的receptive field裡面發生的事情就好。

那這個neuron怎麼考慮這個receptive field裡面有發生什麼樣的事情呢?

他要做的事情就是把這3乘以3乘以3的數值拉直,變成一個長度是3乘以3乘以3,

也就是27維的向量,再把這27維的向量作為這個neuron的輸入,

這個neuron會給27維的向量的每一個dimension一個weight,

所以這個neuron有3乘以3乘以3,27個weight,再加上bias得到一個輸出,

這個輸出再送給下一層的neuron當作輸入。

所以每一個neuron他只考慮自己的receptive field。

那這個receptive field要怎麼決定出來呢?

那這個就要問你自己了。

你可以說這邊有個藍色的neuron,他就看左上角這個範圍,這是他的receptive field。

另外又有另外一個黃色的neuron,他是看右下角這個3乘以3乘以3的範圍,

這個立體的部分我們就畫不出來了,我們這邊畫一個正方形代表3乘以3乘以3的範圍,

這個是黃色這個neuron的receptive field。

那receptive field彼此之間也可以是重疊的,

比如說我現在畫一個receptive field在這個地方,

他是綠色的neuron的守備範圍,

他跟藍色的跟黃色的都有一些重疊的空間,這樣也是可以的。

所以receptive field彼此之間是可以重疊的,

你可以說兩個人的守備範圍彼此是有重疊的,

那你甚至可以兩個不同的neuron他們守備同樣的範圍,

也許一個範圍只用一個neuron來守備,你沒有辦法偵測所有的pattern,

所以同一個範圍可以有多個不同的neuron,

所以同一個receptive field他們可以有多個neuron,

他們可以去守備同一個receptive field。

那接下來你就會浮想連篇,有各式各樣的想法,

舉例來說,那我可不可以receptive field有大有小呢?

因為畢竟pattern有的比較小有的比較大嘛,

有的pattern也許在3x3的範圍內就可以被偵測出來,

有的pattern也許要11x11的範圍才能被偵測出來,

那我可不可以receptive field有大有小呢?

這個算是常見的招式了,

我可不可以receptive field只考慮某些channel呢?

我們這邊看起來我們的receptive field是RGB三個channel都考慮,

但也許有些pattern只在紅色的channel會出現,

也許有些pattern只在藍色的channel會出現,

我可不可以有的neuron只考慮一個channel呢?

可以,其實之後在講到network compression的時候,

會講到這種network的架構。

在一般CNN裡面你不常這樣子考慮,

但是有這樣子的做法。

有人會問說,這邊的receptive field通通都是正方形的,

你剛才舉的例子裡面3x3 11x11也都是正方形的,

可不可以是長方形的呢?

可以,可以是長方形的,

這完全都是你自己設計的,

receptive field是你自己定義的,

你完全可以根據你對這個問題的理解,

決定你覺得receptive field應該要長什麼樣子。

當然這邊還可以有各式各樣怪怪的想法,

你可能會說receptive field的範圍一定要相連嗎?

我們可不可以說有一個neuron,

它的receptive field就是影像的左上角跟右上角?

理論上可以,但是你就要想想看為什麼你要這麼做嗎?

會不會有什麼pattern是

你要看一個圖片的左上角跟右下角才能夠找到的?

也許沒有,如果沒有的話,這種receptive field就沒什麼用。

我們之所以receptive field都是一個相連的領地,

就是因為我們覺得要偵測一個pattern,

那這個pattern它就出現在整個圖片裡面的某一個位置,

而不是分成好幾部分出現在圖片裡面的不同的位置。

所以receptive field通常見到的都是相連的領地。

但如果你說你要設計很奇怪的receptive field

去解決很特別的問題,那完全是可以的,

這都是你自己決定的。

雖然receptive field你可以任意設計,

但這邊要跟大家講一下最經典的receptive field的安排方式。

那最經典的安排方式是什麼呢?

第一個就是會看所有的channel,

一般在做影像辨識的時候,

你可能不會覺得有些pattern只出現在某一個channel裡面,

所以會看全部的channel。

所以既然會看全部的channel,

我們在描述一個receptive field的時候,

只要講它的高跟寬就好了,

就不用講它的深度,反正深度一定是考慮全部的channel。

而這個高跟寬合起來叫做kernel size,

舉例來說在這個例子裡面,

我們的kernel size就是3x3,

那一般我們這個kernel size其實不會設太大,

你在影像辨識裡面往往做個3x3的kernel size就足夠了,

如果你說設個7x7、9x9,那這算是蠻大的kernel size,

一般往往都做3x3。

那講到這邊你就會問說,

那如果kernel size都是3x3,

意味著說我們覺得在做影像辨識的時候,

重要的pattern都只在3x3這麼小的範圍內就可以被偵測出來囉,

聽起來好像怪怪的,

有些pattern也許很大啊,也許3x3的範圍沒辦法偵測出來啊,

等一下我們會再回答這個問題。

那我現在先告訴你說,

常見的resetting field設定方式就是kernel size是3x3,

然後一般同一個resetting field會有一組neuron去守備這個範圍,

所以你畫一個resetting field以後,

不會只有一個neuron去關照它,不會只有一個neuron去守備它,

往往會有一組、一排neuron去守備它,

比如說64個或者是128個neuron去守備一個resetting field的範圍。

到目前為止我們講的都是一個resetting field,

那各個不同resetting field之間的關係是怎麼樣呢?

你會把你在最左上角的這個resetting field往右移一點,

然後就製造一個新的守備範圍,製造另外一個resetting field。

那這個移動的範圍、移動的量叫做stride,

像在這個例子裡面stride就等於2,

那stride是一個你自己決定的參數、決定的hyperparameter你要自己調的,

那這個stride你往往不會設太大,往往設1或2就可以了,

因為你希望這些resetting field跟resetting field之間是有重疊的。

為什麼我們希望resetting field之間是有重疊的呢?

因為假設resetting field完全沒有重疊,

那有一個pattern就正好出現在兩個resetting field的交界上面,

那就會變成沒有任何neuron去偵測它,

那你可能就會miss掉這個pattern。

所以我們會希望resetting field彼此之間有高度的重疊。

那假設我們設stride等於2,那第一個resetting field就在這邊,

那第二個就在這邊,那第三個就再往右移兩格,

再往右移兩格就放在這邊。

那這邊就遇到一個問題了,它超出了影像的範圍,怎麼辦呢?

那有人可能會說那就不要在這邊擺resetting field,

那你這樣就漏掉了影像的邊邊的地方啊,

有一個pattern出現在邊邊的地方,

你就沒有neuron去觀照那些pattern啦,

沒有neuron去偵測出現在邊邊的pattern啦。

所以一般邊邊的地方也會考慮的,

但超出範圍了怎麼辦呢?

超出範圍你就做padding。

什麼叫padding? Padding就是補0。

所以如果你今天resetting field有一部分超出影像的範圍之外了,

那就當作那個裡面的值都是0。

其實也有別的補值的方法啦,padding就是補值的意思,

有別的補值的方法,比如說有人會說我這邊不要補0好不好,

我補整張圖片裡面所有value的平均。

可以,或者你說我把邊邊的這些數字拿出來補,

在這個沒有值的地方可不可以?

可以,有各種不同的padding的方法。

好,那你除了這個橫著移動,

你也會這個直著移動,

你也會有這個垂直方向上的移動。

那在這邊呢,我們一樣垂直方向的stride也是設2,

所以你有一個resetting field在這邊,

垂直方向移動兩個,就有一個resetting field在這個地方。

你就會按照這個方式掃過整張圖片。

所以整張圖片裡面每一寸土地

都是有被某一個resetting field覆蓋的,

也就是圖片裡面每一個位置都有一群neuron

在偵測那個地方有沒有出現某些padding。

好,那這個是第一個簡化Fully Connected Network的方式。

那第二個觀察是什麼呢?

第二個觀察就是同樣的padding,

它可能會出現在圖片的不同區域裡面。

比如說鳥嘴這個padding,

它可能出現在圖片的左上角,

也可能出現在圖片的中間。

雖然它們的形狀都是一樣的,都是鳥嘴,

但是它們可能出現在圖片裡面的不同的位置。

按照我們剛才的討論,

同樣的padding出現在圖片的不同的位置

似乎也不是太大的問題,

因為出現在左上角的鳥嘴,

它一定落在某一個resetting field裡面,

resetting field是蓋滿整個圖片的,

所以圖片裡面沒有任何地方

不是在某個neuron的守備範圍內。

所以這個地方一定是某一個neuron的resetting field,

那假設在那個resetting field裡面有一個neuron,

它的工作就是偵測鳥嘴的話,

那鳥嘴就會被偵測出來。

所以就算鳥嘴出現在中間也沒有關係,

假設這邊一定是在某一個resetting field的範圍裡面,

那個resetting field一定有一組neuron在照顧,

那假設其中有一個neuron它可以偵測鳥嘴的話,

那鳥嘴出現在圖片的中間也會被偵測出來。

那這邊的問題是,

這些偵測鳥嘴的neuron,

它們做的事情其實是一樣的,

只是它們守備的範圍是不一樣的。

那既然它們做的事情是一樣的,

守備範圍是不一樣的,

我們真的需要每一個守備範圍

都去放一個偵測鳥嘴的neuron嗎?

它們做的事情根本就是重複的啊,

只是它們的守備範圍不一樣啊。

如果不同的守備範圍都要有一個偵測鳥嘴的neuron,

那你的參數量不會太多了嗎?

這個概念就好像是,

為什麼教務處希望可以推大型的課程一樣。

假設說每一個科系其實都需要程式相關的課程,

或每一個科系都需要機器學習相關的課程,

那到底需不需要在每一個系所

都開機器學習的課程,

還是說開一個比較大班的課程,

讓所有系所的人都可以修課。

這個就是教務處推動大型課程的想法。

那如果放在影像處理上的話是怎麼樣呢?

如果放在影像處理上的話,

我們能不能夠讓不同receptive field的neuron,

他們共享參數,也就是做parameter sharing,

就是共享參數。

那共享參數是什麼意思呢?

這邊舉得更具體一點。

所謂共享參數就是,

這兩個neuron,他們的weight完全是一樣的。

這邊特別用顏色來告訴你說,

他們的weight完全是一樣的。

上面這個neuron的第一個weight叫做W1,

下面這個neuron的第一個weight也是W1,

他們是同一個weight,我們都用黃色來表示。

上面這個neuron的第二個weight是W2,

下面這個neuron的第二個weight也是W2,

他們都用黃色來表示。

上面這個neuron跟下面這個neuron,

他們首輩的receptive field是不一樣的,

但是他們的參數是一模一樣的。

那有人可能就會問說,

他的參數是一模一樣,

他會不會輸出永遠都是一樣的?

不會,為什麼?

因為他們的輸入是不一樣的。

這兩個neuron的參數一模一樣,

但是他們照顧的範圍是不一樣的。

所以上面這個neuron,我們說他的輸入是X1、X2,

下面這個neuron,我們說他的輸入是X1'、X2'。

那他們的輸出是什麼呢?

上面這個neuron的輸出就是X1W1加X2W2,

全部加加加,再加bias,

然後透過activation function得到輸出。

下面這個neuron雖然也有W1、W2,

但W1跟W2是乘以X1'、X2',

所以他的輸出不會跟上面這個neuron一樣。

因為輸入不一樣的關係,

所以就算是兩個neuron共用參數,

他們的輸出也不會是一樣的。

那你可以想見說,

你不會讓兩個首輩一模一樣

receptive field的neuron共用參數,

如果今天兩個首輩一樣的區域的neuron共用參數的話,

他們的輸出就一定都固定會是一樣的。

那如果兩個neuron首輩的範圍不一樣,

就算他們的參數一樣,

他們的輸出也不會是一樣的。

所以這是第二個簡化,

我們讓一些neuron可以共用參數。

那至於要怎麼共用,

你完全可以自己決定,

這個是你可以自己決定的事情。

但是接下來還是要告訴大家常見的

在影像辨識上面的共享方法是怎麼設定的。

那我們剛才已經講說,

每一個receptive field

他都有一組neuron在負責首輩,

比如說64個neuron。

所以這個receptive field有64個neuron,

這個receptive field也有64個neuron。

那他們彼此之間會怎麼共用參數呢?

我們這邊有一樣的顏色就代表說

這兩個neuron共享一樣的參數。

所以其實每一個receptive field

都只有一組參數而已。

就是這個receptive field的第一個neuron

會跟這個receptive field的第一個neuron

共用參數。

他的第二個neuron跟他的第二個neuron

共用參數。

他的第三個neuron跟他的第三個neuron

共用參數。

所以每一個receptive field

都只有一組參數而已。

那這些參數有一個名字叫做filter。

所以這兩個neuron

他們共用同一組參數,

這組參數就叫filter1。

這兩個neuron他們共用同一組參數,

這組參數就叫filter2,

叫filter3,叫filter4,

以此類推。

這是第二個簡化的方法。

我們目前已經講了兩個簡化的方法,

那我們來整理一下我們學到了什麼。

這是fully connected的network,

它是彈性最大。

我們說因為不需要看整張圖片,

也許只要看圖片的一小部分

就可以偵測出重要的pattern,

所以我們有了receptive field的概念。

當我們強制一個neuron

只能看一張圖片裡面的一個範圍的時候,

它的彈性是變小的。

如果是fully connected的network,

它可以決定它要看整張圖片

還是只看一個範圍。

如果它只想只看一個範圍,

就把很多weight設成0,

就只看一個範圍。

所以fully connected layer

它自己決定它要看整張圖片

還是一個小範圍。

但加上receptive field的概念以後,

意思就是說沒得選了,

就只能夠看一個小範圍,

反正我們覺得看一個小範圍就夠了,

所以只能看一個小範圍。

所以加receptive field以後,

你的network的彈性是變小的。

好,那接下來呢?

接下來我們還有參數共享這件事。

參數共享這件事又更進一步

限制了network的彈性。

本來在learning的時候,

它可以決定說

這兩個network的參數要是什麼。

每一個neuron

可以各自有不同的參數,

它們可以正好

學出一模一樣的參數,

也可以有不一樣的參數。

但是加入參數共享以後

就意味著說某一些neuron

無論如何參數

就是要一模一樣的,

也沒得選了,

參數要一模一樣,

所以這又更增加了

對neuron的限制。

而receptive field

加上parameter sharing

就是convolutional layer,

就是大家常常聽到的

convolutional layer。

那有用convolutional layer的network

就叫convolutional neural network,

就是CNN。

所以從這個圖上

你可以很明顯的知道說

其實CNN它的bias比較大,

它的model的bias比較大。

那你可能會想說

有model bias比較大

不是一件壞事嗎?

model bias大不一定是壞事,

因為當model bias小,

model的flexibility很高的時候

它比較容易overfitting。

Fully connected layer

它可以做各式各樣的事情,

它可以有各式各樣的變化,

但是它可能沒有辦法

在任何特定的任務上做好。

而convolutional layer

它是專門為影像設計的,

剛才講的receptive field

參數共享這些觀察

都是為影像設計的。

那因為convolutional layer

是特別為影像設計的,

所以它在影像上

仍然可以做得好,

雖然它的model bias很大,

但這個在影像上不是問題,

但是如果它用在影像之外的任務,

那你就要很小心了,

你就要仔細想想

那些任務有沒有我們剛才講的

影像有的可信。

那其實剛才是CNN的

某一種介紹方式,

那現在我們要講

另外一種介紹方式。

第二種介紹方式

跟剛才講的介紹方式

是一模一樣的,

只是同一個故事

用不同的版本來說明,

那你看看你比較喜歡哪一個版本。

那這個第二個版本是

你比較常見的說明CNN的方式,

那第二個版本的故事

跟第一個版本的故事

是一模一樣的。

所以假設第一個版本

你聽得有點迷迷糊糊的話,

那我們來聽第二個版本。

第二個版本是這樣的,

什麼叫做convolutional layer?

convolutional layer就是

裡面有很多的filter,

這些filter他們的大小

是3x3xchannel的size,

那所謂channel就是

如果今天是彩色圖片的話,

那就是RGB三個channel,

如果是黑白的圖片的話,

它的channel就W1,

那一個convolutional layer裡面

裡面就是有一排的filter,

每一個filter它都是一個

3x3xchannel這麼大的tensor,

那每一個filter的作用

就是要去圖片裡面

抓取某一個pattern,

但這些pattern要在3x3xchannel

那麼小的範圍內,

那才能夠被這些filter抓出來。

那這些filter

怎麼去圖片裡面抓pattern呢?

我們現在舉一個實際的例子,

那在等一下的例子裡面,

我們假設channel是1,

也就是說我們圖片是黑白的圖片,

那我們假設這些filter的參數

是已知的,filter就是

一個一個的tensor,

這個tensor裡面的數值

我們都已經知道了,

但實際上這些tensor裡面的數值

其實就是model裡面的parameter,

這些filter裡面的數值

其實是未知的,

它是要透過歸顛decent

去找出來的,

那我們現在已經假設說

這些filter裡面的數值

已經找出來了,

我們來看看說這些filter

是怎麼跟一張圖片進行運作,

怎麼去圖片上面

把pattern偵測出來的。

這是我們的圖片,

它是一個6x6的大小的圖片,

那這些filter

怎麼在這個圖片上面

去偵測pattern呢?

它的做法就是這樣,

先把filter放在圖片的左上角,

然後把filter裡面所有的值,

在這邊有9個值,

把這9個值

跟左上角這個範圍內的9個值

做相乘,

也就是把filter裡面的9個值

跟這個範圍裡面的9個值

做inner product,

做完是多少呢?

先算是3,

接下來這個filter

本來放在左上角,

接下來就往右移一點,

那這個移動的距離

叫做stripe,

那在剛才講

前一個版本的故事的時候

我們stripe是設2,

那在這個版本的故事裡面

stripe就設為1,

那往右移一點,

然後再把這個filter

跟這個範圍裡面的數值

算inner product,

算出來是多少呢?

清算算出來是

-1嗎?

這個太簡單了,

太簡單的數學,

把它再往右移一點,

這邊有1,

這邊有1,

這邊-1,

算出來是多少?

-3,

然後就以此類推,

再往右移一點,

再算一下,

然後這邊全部掃完以後

再往右移一點,

再算一下,

以此類推,

一直到把這個filter

放在右下角,

算出一個數值,

它是多少?

這邊111,

這邊-1,

-1,

答案就是-1,

就這樣。

那這個filter

怎麼說它在偵測pattern呢?

你看這個filter裡面

它對角線的地方

都是1,

所以它看到image裡面

出現什麼東西的時候

它的值會最大,

看到image裡面

也出現連三個1的時候

它的數值會最大。

所以你會發現說呢,

這邊的輸出裡面

左上角的地方的值最大,

左下角的地方的值最大,

就告訴我們說

這個圖片裡面

左上角有出現這個pattern,

左下角有出現這個

三個1連在一起的pattern,

這個是第一個filter。

那接下來呢,

我們把每一個filter

都做重複的process,

比如說這邊有第二個filter,

第二個filter很明顯

它就在偵測

1排成一直線的時候的狀況,

我們就把第二個filter

先從左上角開始掃起,

得到一個數值,

往右移一點,

再得到一個數值,

再往右移一點,

再得到一個數值,

反覆同樣的process,

反覆同樣的操作,

直到把整張圖片都掃完,

我們又得到另外一群數字。

所以每一個filter

都會給我們一群數字,

紅色的filter

給我們一群數字,

藍色的filter

給我們一群數字,

如果我們有64個filter,

我們就得到64群的數字了。

那這一群數字

它又有一個名字,

它叫做feature map,

所以當我們把一張圖片

通過一個convolutional的layer

裡面有一堆filter的時候,

我們產生出來了一個feature map,

那假設這個convolutional的layer裡面

它有64個filter,

那我們產生出來的feature map

就有64組數字,

每一組在這個例子裡面

是4乘以4,

第一個filter產生4乘以4的數字,

第二個filter也產生4乘以4的數字,

第三個也產生4乘以4的數字,

乃至到64個filter

都產生4乘以4的數字。

那這個feature map

可以看成是什麼呢?

這個feature map

你可以看成是

另外一張新的圖片,

只是這個圖片的channel

不是RGB這個圖片的channel,

有64個,

每一個channel

就對應到一個filter。

本來一張圖片

它三個channel,

通過一個convolution,

它變成一張新的圖片

有64個channel。

那這個convolutional的layer

當然是可以疊很多層的,

當然是疊了第一層,

那如果疊了第二層

會發生什麼事呢?

第二層的convolution裡面

也有一堆的filter,

那每一個filter

它的大小

我們這邊也設3x3,

那它的高度呢?

它的高度必須設為64,

為什麼?

我們知道說filter的高度

就是它要處理的影像的channel,

所以跟剛才第一層的convolution

假設輸入的影像

是黑白的channel是1,

那我們的filter的高度就是1,

輸入的影像

如果是彩色的channel是3,

那filter的高度就是3,

那在第二層裡面

我們也會得到一張影像,

對第二個convolutional的layer來說

它的輸入也是一張圖片,

那這個圖片的channel是多少?

這個圖片的channel是64,

這64整來

這個64是前一個convolutional layer的filter數目,

前一個convolutional layer

它filter數目64,

那輸出以後

就是64個channel,

所以第二層

假設你想要把這個圖片當作輸入,

那你的filter的高度

也得是64,

所以第二層也有一把filter,

只是這把filter

它們的高度是64。

好,那接下來要回答一個問題就是

如果我們的filter的大小

一直設3x3,

會不會讓我們的network

沒有辦法看比較大範圍的pattern呢?

其實不會的,

因為你想想看,

如果我們在第二層convolutional的layer,

我們的filter的大小

一樣設3x3的話,

會發生什麼事情呢?

如果我們一樣設3x3的話,

當我們看最左上角這個數值的時候,

最左上角這個數值在影像上

其實是對應到這個範圍,

右下角的數值在影像上

其實是對應到這個範圍,

所以當我們看這3x3的範圍的時候,

看第一個convolutional layer的輸出的

這個feature map的3x3的範圍的時候,

我們在原來的影像上

其實是考慮了一個5x5的範圍,

所以雖然我們的filter只有3x3,

但是在影像上考慮的範圍

是比較大的是5x5,

所以今天你的network疊得越深,

同樣是3x3的大小的filter,

它看的範圍就會越來越大,

所以network夠深,

你不用怕你偵測不到

比較大的pattern,

它還是可以偵測到

比較大的pattern。

好,剛才我們講了

兩個版本的故事了,

那這兩個版本的故事

是一模一樣的。

我們在第一個版本的故事裡面

說到了有一些neuron,

這些neuron會共用參數,

這些共用的參數

就是第二個版本故事裡面的filter。

我們這邊這組參數

有3x3x3個,

這個filter裡面

有3x3x3個數字。

我這邊特別還用顏色

把這些數字圈起來告訴你說,

這個weight就是這個數字,

這個weight就是這個數字,

這個weight可能就是這個數字

以此類推。

那這邊我把bias去掉了,

那neuron這個是有bias的,

這個filter有沒有bias呢?

其實有的,

只是在剛才的故事裡面

沒有提到,

在一般的實作上

你的CNN的這些filter

其實都還是有bias的數值的。

然後在剛才

第一個版本的故事裡面

我們說不同的neuron

它們可以share weight

然後去守備不同的範圍。

而share weight這件事

其實就是我們把filter

掃過一張圖片。

那把filter掃過一張圖片

這件事其實就是convolution。

這就是為什麼convolution layer

要叫convolution layer的關係。

因為把filter掃過一張圖片

這件事情其實就是convolution。

所謂的把filter掃過圖片

這件事情其實就是

不同的receptive field

neuron可以共用參數。

而這種共用的參數

就叫做一個filter。

我們今天特別從

兩個不同的面向

跟你講CNN這個東西

希望可以幫助你對CNN

有更深的了解。

所以我們說

為什麼用CNN是基於兩個觀察

第一個觀察是

我們不需要看整張圖片

那對neuron的故事版本

對第一個故事而言就是

neuron只看圖片一小部分

對filter的故事而言就是

我們有一組filter

每個filter只看一個小範圍

他只偵測小的pattern

然後我們說

同樣的pattern可能出現在

圖片的不同的地方

所以neuron間可以共用參數

對filter的故事而言就是

一個filter要掃過整張圖片

這個就是convolution layer。

那convolution layer

在做影像辨識的時候

其實還有第三個常用的東西

這個東西叫做pooling

那pooling是怎麼來的呢?

pooling來自於

另外一個觀察

這個觀察是

我們把一張比較大的圖片

做sub-sampling

舉例來說

你把偶數的colon都拿掉

奇數的row都拿掉

圖片變為原來的四分之一

但是不會影響

裡面是什麼東西

把一張大的圖片縮小

這是一隻鳥

這張小圖片

看起來還是一隻鳥

所以有了pooling這樣的設計

那pooling是怎麼運作的呢?

pooling這個東西

它本身沒有參數

所以它不是一個layer

它裡面沒有weight

它沒有要認的東西

所以有人會告訴你說

pooling比較像是一個

activation function

比較像是sigmoid、relu那些

因為它裡面是

沒有要認的東西的

它就是一個operator

它的行為都是固定好的

沒有要根據data學任何東西

那pooling其實也有

很多不同的版本

我們這邊講的是maxpooling

maxpooling是怎麼運作的呢?

我們剛才說

每一個filter都產生一把數字

每一個filter都產生一把數字

要做pooling的時候

我們就把這些數字

幾個幾個一組

比如說在這個例子裡面

就是2x2x1組

2x2x1組

2x2x1組

每一組裡面選一個代表

在maxpooling裡面

我們選的代表

就是最大的那一個

那你可能會問說

為什麼是選最大的那一個呢?

你不一定要選最大的那一個

這個是你自己可以決定的

maxpooling這一個方法

是選最大的那一個

但是也有minpooling

minpooling就是選平均

我還看過選幾何平均的

所以有各式各樣的pooling的方法

那你說這邊一定要

2x2x1組嗎?

也不一定

這個也是你自己決定的

你要3x3x4x4

也可以

這個是你自己決定的

所以我們做完convolution以後

往往後面還會搭配pooling

那pooling做的事情

就是把圖片變小

做完convolution以後

我們會得到一張圖片

這張圖片裡面

有很多的channel

那做完pooling以後

我們就是把這張圖片的channel不變

本來64個channel

還是64個channel

但是我們會把圖片

變得比較小 長一點

在剛才的例子裡面

本來4x4的圖片

如果我們把

這個output的數值

2x2個一組的話

那4x4的圖片

就會變成2x2的圖片

那這個就是pooling所做的事情

那一般在實作上

往往就是convolution

跟pooling交替使用

就是你可能做幾次convolution

做一次pooling

比如兩次convolution一次pooling

兩次convolution一次pooling

不過你可以想見說

pooling對於你的performance

還是可能會帶來一點傷害

因為假設你今天要偵測的是

非常微細的東西

那你隨便做subassembly

performance可能會稍微差一點

所以近年來你會發現

很多影像辨識的network的設計

往往也開始把pooling丟掉

他會做這種

for convolution的neural network

就整個network裡面

通通都是convolution

完全都不用pooling

那是因為近年來

運算能力越來越強

那pooling最主要的理由

是為了減少運算量

做subassembly

把影像變少

減少運算量

那如果你今天

你的運算資源足夠支撐你

不做pooling的話

很多network架構的設計

往往今天就不做pooling

全convolution

convolution從頭到尾

然後看看做不做得起來

看看能不能夠做得更好

那一般以後

你的架構就是convolution加pooling

那我剛才講過說

pooling是可有可無啦

今天很多人可能會選擇

不用pooling

那如果你做完幾次convolution

以後接下來呢

最終怎麼得到最後的結果呢

你會把pooling的output

做一件事情叫做flatten

flatten這個字眼

剛才在作業2裡面

助教其實也有提到

所謂flatten的意思就是

把這個影像裡面

本來排成矩陣的樣子的東西

拉直

把所有的數值拉直

變成一個向量

再把這個向量

丟進fully connected的layer裡面

最終你可能還要過個softmax

然後最終得到

影像辨識的結果

這就是一個

經典的影像辨識的network

它可能有的樣子

就是長這樣

裡面有convolution

有pooling

有flatten

最後再通過幾個

fully connected的layer

過softmax

最終得到影像辨識的結果

那我們在作業3

就是會做一個影像辨識的題目

那除了影像辨識以外

你可能聽過CNN

另外一個最常見的

最耳熟能詳的應用

就是用來下圍棋

那今天呢

如果講個機器學習的課

沒有提到alpha go

大家就覺得

你什麼都沒有講對不對

所以我們來提一下alpha go

好 怎麼用這個CNN來下圍棋呢

我們說下圍棋

其實就是一個分類的問題

你的network的輸入

是棋盤上黑子跟白子的位置

你的輸出

就是下一步應該要落子的位置

可是我們今天已經知道說

network的輸入就是一個向量啊

那怎麼把棋盤表示成一個向量呢

完全沒有問題

棋盤上就是有19x19個位置嘛

那我們就把一個棋盤

表示成一個19x19圍的向量

在這個向量裡面

如果某一個位置有一個黑子

那那個位置我們就填1

如果白子我們就填-1

如果沒有子我們就填0

那我們就可以告訴network說

我們就可以告訴network說

現在棋盤上的盤勢長什麼樣子

我們可以用一個19x19圍的向量

來描述一個棋盤

當然這不一定是要這麼做啦

不一定要黑子是1 白子是-1

然後沒有子就是0

這只是一個可能的表示方式而已

你可以想出其他更神奇的表示方式

總之我們有辦法把棋盤上的盤勢

用一個向量來描述

把這個向量輸到一個network裡面

然後你就可以把下圍棋

當作一個分類的問題

叫這個network去預測

下一步應該落子的位置

落在哪裡最好

所以下圍棋就是一個

有19x19個類別的分類的問題

network會output說

在這19x19個類別裡面

哪一個類別是最好的

應該要選擇下一步落子的位置

應該在哪裡

那這個問題完全可以用一個

fully connected的network來解決

但是用CNN的效果更好

為什麼用CNN的效果更好呢

首先你完全可以把一個棋盤

看作是一張圖片

一個棋盤可以看作是一個

解析度19x19的圖片

一般圖片很大

一般圖片可能都

100x100的解析度

都是很小的圖片啦

但是棋盤是一個更小的圖片

它的解析度只有19x19

這個圖片裡面

每一個像素每一個pixel

就代表棋盤上一個可以落子的位置

那channel呢

一般圖片的channel就是RGB嘛

RGB代表一個顏色

那棋盤上每一個pixel的channel

應該是什麼呢

在AlphaGo的原始論文裡面

它告訴你說

每一個棋盤的位置

每一個棋盤上的pixel

它是用48個channel來描述

也就是說棋盤上的每一個位置

它都用48個數字

來描述那個位置發生了什麼事

那至於為什麼是這48個

那這個顯然是圍棋高手設計出來的

那48個位置包括

比如說這個位置是不是要被叫吃了

這個位置旁邊有沒有

顏色不一樣的紙等等

就是這樣子描述每一個位置

所以你用48個數字

來描述棋盤上的一個位置

這一個棋盤

它就是19x19的解析度的圖片

它的channel就是48

但是為什麼CNN可以用在下圍棋上呢

我們剛才就有強調說CNN

其實並不是你隨便用都會好的

它是為影像設計的

所以如果一個問題

它跟影像沒有什麼共通的特性的話

你其實不該用CNN

所以今天既然在下圍棋可以用CNN

那意味著什麼

那意味著圍棋跟影像有共同的特性

什麼樣共同的特性呢

我們剛才講說在影像上的第一個觀察是

很多重要的pattern

你只需要看小範圍就知道了

下圍棋是不是也是一樣呢

舉例來說

這個pattern

你就算不用看整個棋盤的盤勢

你都知道說這邊發生了什麼事

這個就是白紙被黑紙圍住了嘛

那接下來黑紙如果放在這邊

就可以把白紙提走

那白紙要放在這邊才可以接

這個白紙才不會被提走

那其實在AlphaGo裡面

它的第一層的layer

它的filter的大小就是5x5

所以顯然在設計這個network的人覺得說

棋盤上很多重要的pattern

也許看5x5的範圍就可以知道了

再來我們說影像上的第二個觀察是

同樣的pattern可能會出現在不同的位置

在下圍棋裡面是不是也是一樣呢

這個教師的pattern

它可以出現在棋盤上的任何位置

它可以出現在左上角

也可以出現在右下角

所以從這個觀點來看

影像跟下圍棋有很多共同之處

但是讓人想不透的地方是

在做影像的時候

我們說我們都會做pooling

也就是一張影像做sub-sampling以後

並不會影響我們對影像中物件的判讀

但是棋盤是這個樣子嗎

你可以把棋盤上的奇數行跟偶數列拿掉

還是同一個棋局嗎

聽起來好像不是對不對

下圍棋這麼精細的任務

你隨便拿掉一個column 拿掉一個row

整個局勢就不一樣了

怎麼可能拿掉一個row 拿掉一個column

還會沒有問題呢

所以有人就會說

CNN裡面就是要有pooling

然後影像辨識都是用pooling

所以AlphaGo也一定有用pooling

這代表AlphaGo很爛

針對pooling這個弱點去攻擊它

一定就可以把它打爆

真的是這樣嗎

可是AlphaGo這麼強

顯然它沒有這麼顯而易見的弱點

所以這個問題就讓我有點困擾

後來我就去仔細讀了一下

AlphaGo那篇paper

其實AlphaGo在Natural上的paper

其實沒有多長

大概就五六頁而已

所以你一下子就可以看完

而且在這個文章的正文裡面

是什麼樣子

它沒有講內握架構的細節

這個細節在哪裡呢

這個細節在附件裡面

所以我就仔細讀了一下附件

看看說AlphaGo的網路結構

長什麼樣子

我們就來看一下

這個附件裡面是怎麼描述

AlphaGo的類神經網路結構的

它先說我們把一個棋盤

看作19x19x48那麼大小的

這我們剛才講過了

把棋盤看作是一個圖片

接下來它說

它有做Zero Padding

Padding這件事我們有講嘛

就是你的filter如果超出影像的範圍

就補0

Zero Padding就是超出範圍就補0

它說它的filter的大小

kernel size就是filter的大小

是5x5

然後有K的filter

K是多少

K是192

這大概是試出來的啦

它也試了128跟256

11層,然後stride等於1

stride是什麼我們剛才也解釋過了

然後這邊有用了rectifier

non-linearity

這個就是redu

然後在第2層

到第12層

都有做

Zero Padding

然後kernel size都是3x3

一樣是K的filter

也就是每一層都是192個filter

stride一樣是1

就這樣疊了很多層以後

因為是一個分類的問題

最後加上了一個

sortmax

讀完以後你有發現什麼玄機嗎

你發現

它沒有用boolean啊

所以這給我們一個很好的例子

就是類神經網路的設計

這個應用之道

純乎一新啊

你不要看影像上面都有用boolean

就覺得boolean一定是好的

在下圍棋的時候就是不適合用boolean

所以你要想清楚說

我這個network的架構

到底代表什麼意思

它適不適合用在我現在這個任務上

而CNN呢

除了下圍棋還有影像以外

近年來也用在

語音上也用在

文字處理上

這邊我們就不再細講

但是呢

如果你真的想把CNN用在語音上

用在文字處理上

你要仔細看一下文獻上的方法

這個在影像

在語音上

在文字上

那個receptive field的設計

這個參數共享的設計

跟影像上不是一樣的

所以你要想清楚

那些receptive field

語音用在文字上的設計

跟影像上不是一樣

是考慮了語音跟文字的特性後所設計的

所以你不要以為在影像上的CNN

直接套到語音上可以work

可能是不work的

你要想清楚說語音有什麼樣的特性

你要怎麼設計合適的

receptive field

好,那有人會說

CNN啊

其實CNN啊

它沒有辦法處理影像放大縮小

或者是旋轉的問題

怎麼說呢

假設今天你給CNN看的狗

都是這個大小

它可以辨識說這是一隻狗

當你把這個圖片放大的時候

它可以辨識說

它還是一隻狗嗎

可能是不行的

你可能會想說怎麼會不能夠辨識呢

這兩個形狀不是一模一樣啊

怎麼放大就不能辨識呢

CNN這麼笨嗎

它就是這麼笨

對它來說這兩張圖片

雖然這個形狀是一模一樣的

但是如果你把它拉長成像量的話

它裡面的數值就是不一樣的啊

所以對CNN來說

雖然你人眼一看覺得它形狀很像

但對CNN內握來說

它是非常不一樣的

它並不能夠處理影像放大縮小

或者是旋轉的問題

當它今天在

某種大小的影像上

假設你裡面的物件都是比較小的

它在上面學會做影像辨識

你把物件放大

它就會整個慘掉

所以CNN並沒有你想像的那麼強

那就是為什麼我們在做影像辨識的時候

往往都要做Data Augmentation

所謂Data Augmentation的意思就是說

你把你的訓練資料

每張圖片都

裡面截一小塊出來放大

讓CNN有看過不同大小的Pattern

然後把圖片旋轉

讓它有看過某一個物件旋轉以後

長什麼樣子

CNN才會做到好的結果

那你說CNN不能夠處理

Scaling跟Rotation的問題啊

那有沒有什麼內握架構

是可以處理這個問題呢

其實有的,有一個架構叫

Special Transformer Layer

我們不會講它,我們就把

錄影的連結放在這邊