那這個self-attention

我們上週已經跟大家操作過

怎麼根據input sequence

得到其中一個output

self-attention要做的事情

就是給一排input的vector

得到另外一排output的vector

那我們上週已經操作過說

其實上上週啦

上上週已經操作過說

怎麼根據input的這一排vector sequence

得到B1

好,那我們就停在這邊

如果上上週的東西

你沒有聽到的話

那剛剛好

我們來講一下

怎麼從這一排vector得到B2

其實從這一排vector得到B1

跟從這一排vector得到B2

它的操作是一模一樣的

所以我們再講一次

怎麼從input的vector得到B2

等於是幫大家複習

上上週說過的東西

那當然這邊要強調一點是

這邊的B1到B4

他們並不需要依序產生

不需要算完B1再算B2

再算B3再算B4

B1到B4

他們是一次同時被計算出來的

那怎麼計算這個B2呢

那我們現在的主角就變成A2

A2會乘上一個transform

就是你把A2乘上一個matrix

變成Q2

然後接下來你會根據Q2

去對A1到A4這四個位置

都去計算attention的score

那怎麼計算attention的score呢

你就把Q2跟K1做個double order

你把Q2跟K2也做個double order

你把Q2跟K3也做double order

你把Q2跟K4也做double order

得到四個分數

你得到這四個分數以後

你可能還會做一個normalization

比如說solvemax

然後得到最後的attention的score

那我們這邊用alpha prime

來表示經過normalization以後的attention score

那得到這個attention的分數以後

得到這個alpha21 alpha22 alpha23 alpha24

這四個數值以後

接下來我們拿這四個數值來做什麼呢

我們把這些數值

分別乘上V1 V2 V3 V4

我們把alpha21乘上V1

把alpha22乘上V2

把alpha23乘上V3

把alpha24乘上V4

然後全部加起來就是V2

或者是我們把V2的式子列在這邊

V2是怎麼來的呢

V2就是把VI

VI就是這邊的V1到V4

把VI乘上alpha

這邊每一個V1到V4

都有一個對應的alpha

alpha21到alpha24

把每個VI都乘上alpha

全部再加起來就得到V2

所以我們這邊呢

就再跟大家操作了一下

V2是怎麼被計算出來的

同理呢

你就可以由A3乘一個transform

得到Q3

然後就計算B3

從A4乘一個transform得到Q4

就計算B4

所以現在你就知道說

怎麼從A1到A4計算出B1到B4

好那剛才講的是

是這個self-attention

它運作的過程

那接下來呢

我們從舉證懲罰的角度

再重新講一次

我們剛才講的self-attention

是怎麼運作的

好那self-attention是怎麼運作的呢

我們現在已經知道說

A1到A4

他們每一個A

都要分別產生QKB

所以A1要產生Q1 K1 V1

A2要產生Q2 K2 V2

以此類推

每一個A都產生QKB

如果要用舉證運算

表示這個操作的話

是什麼樣子呢

我們每一個A AI

都乘上Q這個

都乘上一個舉證

我們這邊用WQ來表示它

得到QI

每一個A都要乘上WQ

得到QI

那這些不同的A

你可以把它合起來

當作一個舉證來看待

什麼意思呢

A1乘上WQ得到Q1

A2也乘上WQ得到Q2

一樣A3、A4也都乘上WQ

得到Q3、Q4

那你可以把A1到A4拼起來

看作是一個舉證

這個舉證我們用I來表示

這邊這個I

這個大寫的字母I

它代表的是一個舉證

那這個舉證有四個column

它的column就是A1到A4

那I乘上WQ

就得到另外一個舉證

我們用大Q來表示它

這個大Q啊

就是Q1到Q4

你把Q1到Q4

這四個factor拼起來

就是大Q的四個column

所以我們從A1到A4

得到Q1到Q4

這一件事情

這個操作

其實就是把一個叫做I的舉證

I這個舉證

它裡面的column

就是我們SELF ATTENTION的input

A1到A4

把I這個舉證

乘上另外一個舉證WQ

那WQ呢

其實是network的參數

它是等一下會被認出來的

把I乘上WQ

得到大Q

這個大Q的四個column

就是Q1到Q4

那接下來怎麼產生K跟V呢

它的操作跟Q是一模一樣的

我們就不要再細講

免得你覺得很無聊

所以A乘上WK

就會得到這個K

就會得到這個K這個factor

那我們把這個input的四個factor

A1到A4拼起來

當作是一個舉證

叫做大I

把大I乘上一個舉證WK

就得到另外一個舉證大K

大K的四個column

就是這四個key

K1到K4

那同理V呢

也是一模一樣的操作

我們已經知道說

AI乘上WV

會得到VI

也就是說

把A1到A4拼起來

得到大I

大I乘上舉證WV

會得到大V這個舉證

大V的舉證四個column

就是這邊四個代表value的factor

所以每一個A

怎麼得到QKV呢

其實就是把輸入的這個

factor sequence

乘上三個不同的舉證

你就得到了Q

得到了K

跟得到了V

這個是怎麼從A得到QKV

那接下來呢

我們說下一步是什麼

下一步是

每一個Q

都會去跟每一個K

去計算這個inner product

去得到這個attention的分數

那得到attention分數

這件事情

如果從舉證操作的角度來看

它在做什麼樣的事情呢

你就是把Q1跟K1

做inner product

得到α11

所以α11就是Q1跟K1的inner product

那這邊呢

我就把這個K1

它背後的這個向量

把它畫這個倒下來的

把它畫成比較寬一點

代表說它是transpose

希望你可以了解我的意思

所以Q1乘上K1的transpose

也就是Q1跟K1

做inner product

得到α11

同理α12就是Q1跟K2

做inner product

α13就是Q1跟K3

做inner product

α14就是Q1跟K4

做inner product

那這個四個步驟的操作

你其實可以把它拼起來

看作是

兩看作是

舉證跟向量相乘

什麼意思

這邊Q1乘K1

Q1乘K2

Q1乘K3

Q1乘K4

這四個動作

你可以看作是

我們把K1到K4拼起來

當作是一個舉證的四個row

那把這個舉證呢

乘上Q1

得到另外一個向量

你把Q1乘上由K

所組成的這個舉證

就得到另外一個向量

這個向量裡面的值

就是attention的score

Q1到α14

所以你把Q1乘上這個舉證

你就得到α11到α14

那我們剛才有講過說呢

我們不只是Q1

要對K1到K4計算attention

Q2也要對K1到K4計算attention

那怎麼把Q2

對K1到K4計算attention呢

你就把Q2呢

放在這邊

這時候Q1要乘上K1到K4

我們現在把Q2

也乘上K1到K4

得到α21到α24

那怎麼拿Q3去做attention

怎麼拿Q4去做attention呢

你現在的操作

是一模一樣的

你就把Q3乘K1到K4

得到attention

你把Q4乘上K1到K4

得到attention的分數

所以

attention的分數是怎麼來的

你可以看作是兩個舉證的相乘

一個舉證它的row

就是K K1到K4

另外一個舉證它的column

就是Q就是Q1到Q4

把這個K所形成的舉證

乘上Q所形成的舉證

就得到這些attention的分數

所以這邊就寫說

K的transpose

我們假設這個K它的column

就是K1到K4

所以在這邊相乘的時候呢

我們要對大K這個舉證

做一下transpose

K的transpose乘上Q

就得到一個舉證叫做A

那A裡面存的

就是Q跟這個K之間的attention的分數

那麼說我們會對attention的分數呢

做一下normalization

比如說你會做softmax

你會對這邊的每一個column

每一個column做softmax

讓每一個column裡面的值呢

相加是1

那我們之前有講過說

其實這邊做softmax

不是唯一的選項

你完全可以選擇其他的操作

比如說redo之類的

那其實得到的結果

也不會比較差

反正我們這邊呢

就是把A呢

通過了softmax以後

它得到的值有點不一樣啦

所以我們用A'來表示

通過softmax以後的結果

那接下來呢

我們已經計算出A'以後

接下來呢

接下來下一個步驟

我發現我這個投影片上

有一個小小的bug

這個bug是什麼呢

這個bug呢

就是這邊應該是'

而不是'

這邊應該是'

不是'

本來最早是寫成'

那我現在把它改成'

讓這個地方沒有改過來

好 那我們把這個V

V1到V4

乘上這邊的α以後

就可以得到B

得到B

那這個B呢

是怎麼被計算出來的呢

你就把V1到V4拼起來

你把V1到V4

當成是大V這個矩陣的

四個column把它拼起來

然後接下來呢

你把V乘上A'的

第一個column以後

你得到的結果呢

就是B1

如果你熟悉線性代數的話

你知道說

把這個A'乘上V

這個你就是把

A'的第一個column

乘上V這一個矩陣

你會得到你output矩陣的

第一個column

而把A的第一個column

乘上V這個矩陣做的事情

其實就是把V這個矩陣

裡面的每一個column

根據A'這個矩陣裡面的

每一個column裡面

每一個element做weighted sum

就得到B1

那就是這邊的操作

把V1乘上weight

把V2乘上weight

把V3乘上weight

把V4乘上weight

全部加起來得到B1

如果你用矩陣操作的角度來看它

就是把A'的第一個column

乘上V就得到B1

然後接下來呢

就是以此類推啦

接下來就不需要再跟你詳加說明

免得你覺得這一段非常的肉

就是以此類推

把A'的第二個column

乘上V就得到B2

A'的第三個column

乘上V就得到B3

A'的最後一個column

乘上V就得到B4

所以我們等於就是把

A'這個矩陣

乘上V這個矩陣

得到O這個矩陣

O這個矩陣裡面的每一個column

就是SELF ATTENTION的輸出

也就是B1到B4

所以其實整個SELF ATTENTION

我們在講操作的時候

我們在最開始跟你講的時候

我們講說

我們先產生了QKB

然後再根據這個Q

去找出相關的位置

然後再對V做weighting上

其實這一串操作

就是一連串矩陣的乘法而已

怎麼說呢

我們再複習一下

我們剛才看到的矩陣乘法

I是什麼

I是我們的input

是SELF ATTENTION的input

SELF ATTENTION的input

是一串的vector

是一排的vector

這排vector拼起來

當作矩陣的column

就是I

所以I是SELF ATTENTION的input

那這個input呢

分別乘上三個矩陣

WQ WK跟WB

得到大Q大K大V

這三個矩陣

接下來呢

大Q乘上K的transpose

QKB都算出來了嘛

你把Q乘上K的transpose

得到A這個矩陣

A的矩陣

你可能會做一些處理

得到A'

那有時候我們會把這個A'呢

叫做ATTENTION的matrix

然後接下來呢

你把A'再乘上V

就得到O

O就是SELF ATTENTION這個layer的輸出

所以SELF ATTENTION

輸入是I

輸出是O

那你會發現說

雖然SELF ATTENTION這邊

做了一個很複雜的操作

但是其實啊

SELF ATTENTION layer裡面

唯一需要學的參數

就只有WQ WK跟WB而已

只有WQ WK WB是未知的

是需要透過我們的訓練資料

把它找出來的

所以WQ WK WB是未知的

是需要被找出來的

但是其他的操作

都沒有未知的參數

都是我們人為設定好的

都不需要透過訓練資料找出來

只有WQ WK WB

是透過訓練資料找出來的

那這整個就是SELF ATTENTION的操作

從I到O

就是做了SELF ATTENTION

那SELF ATTENTION呢

有一個進階的版本

叫做MULTIHEAD SELF ATTENTION

那MULTIHEAD SELF ATTENTION呢

其實今天的使用是非常的廣泛的

那在作業4裡面呢

助教原來的code是有MULTIHEAD SELF ATTENTION

它的HEAD的數目是設成2

那剛才助教有給你提示說

把HEAD的數目少一點改成1

其實就可以過MEDIAN的BASELINE

但並不代表所有的任務

都適合用比較少的HEAD

有一些任務比如說翻譯

比如說語音辨識

其實用比較多的HEAD

你反而可以得到比較好的結果

那至於需要用多少的HEAD

這個又是另外一個hyperparameter

也是你需要調的

那為什麼我們會需要比較多的HEAD呢

你可以想成說相關這件事情

我們說我們在做這個SELF ATTENTION的時候

我們就是用Q去找相關的K

但是相關這件事情

有很多種不同的形式

有很多種不同的定義

所以也許我們不能只有一個Q

我們應該要有多個Q

不同的Q負責不同種類的相關性

所以假設你要做MULTIHEAD SELF ATTENTION的話

你會怎麼操作呢

你可能會這麼操作

你先把A乘上一個矩陣得到Q

接下來你再把Q乘上另外兩個矩陣

分別得到Q1跟Q2

那這邊還有

這邊是有兩個上標啦

I代表的是位置

然後這個1跟2代表是這個位置的第幾個Q

所以這邊有QI1跟QI2

代表說我們有兩個HEAD

我們認為這個問題

裡面有兩種不同的相關性

所以我們需要產生兩種不同的HEAD

來找兩種不同的相關性

那既然Q有兩個

那K也就要有兩個

那B也就要有兩個

那怎麼從Q得到Q1Q2

怎麼從K得到K1K2

怎麼從B得到V1V2

那其實就是把Q把K把B

分別乘上兩個矩陣

兩個矩陣兩個矩陣

得到不同的HEAD

就這樣子而已

好那所以對另外一個位置

也做一樣的事情

另外一個位置AJ輸入以後

他也會得到兩個Q兩個K兩個V

那接下來怎麼做SELF ATTENTION呢

跟我們之前講的操作是一模一樣的

只是現在呢

1那一類的一起做

2那一類的一起做

也就是這個Q1

他在算這個ATTENTION的分數的時候

他就不要管那個K2了

不要管K2

他就只管K1就好

只管K1就好

所以QI1就跟KI1算個ATTENTION

QI1就跟KJ1算個ATTENTION

也就是算這個DOUBLE DOT

然後呢得到這個ATTENTION的分數

然後今天在做WEIGHTED SUM的時候

也不要管V2了

也不要管V2了

看VI1跟VJ1就好

所以你把ATTENTION的分數

乘VI1把ATTENTION的分數

乘VJ1

然後接下來就得到VI1

那你得到VI1以後呢

這邊只用了其中一個HEAD

那你會用另外一個HEAD

也做一模一樣的事情

所以Q2只對K2做ATTENTION

Q2只對K2做ATTENTION

他們在做WEIGHTED SUM的時候

只對V2做WEIGHTED SUM

然後接下來呢

你就得到VI2

如果你有多個HEAD

有8個HEAD

有16個HEAD

那也是一樣的操作

那這邊呢是用兩個HEAD

來當作例子

來給你看看有兩個HEAD的時候

是怎麼操作的

現在得到VI1跟VI2

然後接下來呢

你可能會把VI1跟VI2

把他接起來

然後再通過一個TRANSFORM

也就是再乘上一個矩陣

然後得到VI

然後再送到下一層去

那這個呢

就是MULTIHEAD ATTENTION

一個這個SELF ATTENTION的變形

那講到目前為止

你會發現說

SELF ATTENTION的這個LAYER

他少了一個

也許很重要的資訊

這個資訊是什麼呢

這個資訊是未知的資訊

你想想看

對一個SELF ATTENTION而言

對一個SELF ATTENTION LAYER而言

每一個INPUT

他是出現在SEQUENCE的最前面

還是最後面

他是完全沒有這個資訊的

對不對

你可能會說

現在不是說INPUT

就是有位置1 2 3 4嗎

但是那個1 2 3 4

是我們畫在投影片上的時候

為了幫助大家理解

所標上的一個編號

你想想看對SELF ATTENTION而言

那個位置1跟位置2

跟位置3跟位置4

有任何差別嗎

完全沒有任何差別對不對

這四個位置的操作

其實是一模一樣的

對他來說

Q1到跟Q4的距離

並沒有特別遠

2跟4的距離並沒有特別遠

2跟3的距離也沒有特別近

對他來說就是天涯絡必臨

所有的位置之間的距離

都是一樣的

沒有任何一個位置距離比較遠

也沒有任何位置距離比較近

也沒有誰在

整個SEQUENCE的最前面

也沒有誰在整個SEQUENCE的最後面

但是這樣子設計

可能會有一些問題

因為有時候位置的資訊

也許很重要啊

舉例來說

我們在做這個POS TAGGING

就是詞性標記的時候

也許你知道說

動詞比較不容易出現在句首

所以如果我們知道說

某一個詞彙它是放在句首的

那它是動詞的可能性

可能就比較低

會不會這樣子的位置的資訊

往往也是有用的啊

可是在我們到目前為止

講的SELF ATTENTION的操作裡面

它根本就沒有位置的資訊

所以怎麼辦呢

所以你做SELF ATTENTION的時候

如果你覺得位置的資訊

是一個重要的事情

那你可以把位置的資訊

把它塞進去

怎麼把位置的資訊塞進去呢

這邊就要用到一個

叫做POSITIONAL ENCODING的技術

這個技術是這樣子的

你為每一個位置

設定一個Vector

叫做POSITIONAL VECTOR

這邊用EI來表示

上標I代表的是位置

每一個不同的位置

就有不同的Vector

E1是一個Vector

E2是一個Vector

E28是一個Vector

不同的位置

都有一個它專屬的E

然後把這個E

加到AI上面

就結束了

就結束了

你等於就是

告訴你的SELF ATTENTION

位置的資訊

如果它看到說

AI好像有被加上EI

它就知道說

現在出現的位置

應該是在I這個位置

那這個EI長什麼樣子呢

最早的TRANSFORMER

ATTENTION IS ALL YOU NEED

那篇PAPER裡面

它用的EI

長的是這個樣子

這邊這個圖上面

每一個COLUMN

就代表一個E

第一個位置就是E1

第二個位置就是E2

第三個位置就是E3

以此類推

所以它就是把

這邊這個向量

放在第一個位置

把這個向量

加到第二個位置的A上

把這個向量

加到第三個位置的A上

以此類推

每一個位置

都有一個專屬的E

希望透過

給每一個位置不同的E

你的MODEL

在處理這個INPUT的時候

它可以知道

現在的INPUT

它的位置的資訊

是什麼樣子

那這樣子的

POSITIONAL VECTOR

它是HANDCRAFTED

也就是它是人設的

那人設的VECTOR

有很多問題

假設我現在

在定這個VECTOR的時候

只定到128

那我現在SEQUENCE的長度

如果是129

我怎麼辦呢

不過今天在

最早的那個

ATTENTIONS OVNI的PAPER

裡面比較沒有這個問題

它這個VECTOR

是透過某一個規則

所產生的

透過一個很神奇的

SINE COSINE的FUNCTION

所產生的

那當然你又會有新的問題

為什麼是SINE跟COSINE呢

為什麼不是別的東西呢

為什麼一定要

這樣產生HANDCRAFTED的

這個POSITIONAL VECTOR呢

其實你不一定要這麼產生

這個POSITIONAL ENCODING

仍然是一個

上代研究的問題

你可以創造自己新的方法

或甚至POSITIONAL ENCODING

是可以根據資料

學出來的

好 那有關

POSITIONAL ENCODING呢

你可以再參考一下文獻

這個是一個

上代研究的問題

比如說我這邊

引用了一篇

這個是去年

放在ARCHIVE上的論文

所以你可以想見

這其實都是很新的論文

裡面就是比較了

跟提出了

新的POSITIONAL ENCODING

比如說這個是

最早的POSITIONAL ENCODING

它是用一個

神奇的SINE FUNCTION

所產生的

那如果你的POSITIONAL ENCODING

你把POSITIONAL ENCODING

裡面的述詞

當作NETWORK參數的一部分

直接認出來

看起來是這個樣子的

這個圖是橫著看的

它是橫著看的

它是每一個ROW

代表一個POSITION

這個是最原始的

用SINE FUNCTION產生的

這個是認出來的

它裡面又有神奇的做法

比如說這個

這個是用RNN生出來的

POSITIONAL ENCODING

是用RNN生出來的

這篇PAPER提出來的

叫做FLOTTER

是用一個神奇的

NETWORK生出來的

總之你有各式各樣

不同的方法

來產生POSITIONAL ENCODING

那目前

我們還不知道

哪一種方法最好

這是一個上代研究中的問題

所以你不用糾結說

為什麼SINUSOIDO最好

你永遠可以提出新的做法

那這個SELF ATTENTION

當然是用得很廣啦

我們已經提過很多次

TRANSFORMER這個東西

那我們大家也都知道說

在NLP的領域

有一個東西叫做BERT

BERT裡面也用到SELF ATTENTION

所以SELF ATTENTION

在NLP上面的應用

是大家都耳熟能詳的

但SELF ATTENTION

不是只能用在

NLP相關的應用上

它還可以用在

很多其他的問題上

比如說在做語音的時候

你也可以用SELF ATTENTION

不過在做語音的時候

用SELF ATTENTION

你可能會希望對SELF ATTENTION

做一些小小的改動

舉例來說

因為一般語音的

如果你要把一段聲音訊號

表示成一排像量的話

這排像量可能會非常的長

因為我們之前有說過說

在做語音辨識的時候

你要把聲音訊號

表示成一排像量

而每一個像量

其實只代表了

10ms的長度而已

所以如果今天是

1秒鐘的聲音訊號

它就有100個像量了

5秒鐘的聲音訊號

就500個像量了

你隨便講一句話

都是上千個像量了

所以一段聲音訊號

你要描述它的時候

這個vector的sequence

它的長度是非常可觀的

那可觀的sequence

可觀的長度

會造成什麼問題呢

你想想看我們今天

在計算這個attention matrix的時候

它的complexity

是長度的平方

你要計算這個

attention matrix A'

你需要做

L乘以L次的inner product

那如果這個L的值很大的話

它的計算量就很可觀

如果L很大的話

你也需要很大的memory

才能夠把這個矩陣存下來

所以今天如果在做

語音辨識的時候

你講一句話

那一句話所產生的

這個attention matrix

可能會太大

大到你根本就不容易處理

不容易訓練

所以怎麼辦呢

在做語音的時候

有一招叫做

truncated self-attention

truncated self-attention

做的事情就是

我們今天在做

self-attention的時候

不要看一整句話

我們就只看

一個小的範圍就好

至於這個範圍應該要多大

那個是人設定的

但為什麼我們知道說

今天在做語音辨識的時候

也許只需要看一個

小的範圍就好

那就是取決於

你對這個問題的理解

也許我們要辨識

這個位置有什麼樣的phoning

這個位置有什麼樣的內容

我們並不需要看整句話

只要看這句話

跟它前後

一定範圍之內的資訊

其實就可以判斷

所以如果在做

self-attention的時候

也許沒有必要

看過一整個句子

也許沒有必要

讓self-attention

考慮一整個句子

也許只需要考慮

一個小範圍就好

這樣就可以加快

運算的速度

這個是truncated的self-attention

那其實self-attention

還可以被用在影像上

self-attention

怎麼被用在影像上呢

那到目前為止

我們在講self-attention的時候

我們都說

self-attention適用的範圍

是輸入是一排像量的時候

輸入是一個

vector set的時候

它適合使用self-attention

那我們之前在講CNN的時候

我們是跟大家說

影像

一張圖片

我們把它看作是一個

很長的像量

那其實一張圖片

我們也可以換一個觀點

把它看作是一個

vector set

怎麼把一張圖片

看作是一個vector set呢

這個是一個

解析度5x10的圖片

那這張圖片呢

可以看作是一個tensor

這個tensor的大小

是5x10x3

3代表RGB這三個channel

那你可以把

每一個位置的pixel

看作是一個

三維的像量

所以每一個pixel

其實就是一個

三維的像量

那整張圖片

其實就是

5x10個像量

所以我們其實可以

換一個角度來看

影像這個東西

影像這個東西

其實也是一個vector set

它既然也是一個vector set的話

你完全可以用

self-attention來處理一張圖片

那有沒有人用

self-attention來處理一張圖片呢

是有的

那這邊就舉了兩個例子

來給大家參考

那現在把self-attention

用在影像處理上

也不算是一個

非常石破天驚的事情

那我們可以來比較一下

self-attention跟CNN之間

有什麼樣的差異

或者是關聯性

如果我們今天

是用self-attention來處理一張圖片

代表說

假設這個是

你要考慮的pixel

那它產生query

其他pixel產生key

它產生query

其他pixel產生key

你今天在做inner product的時候

你考慮的

不是一個小範圍的資訊

而是整張影像的資訊

但是今天在做CNN的時候

記不記得我們上上週講的

CNN會畫出一個receptive field

每一個filter 每一個neural

只考慮receptive field範圍裡面的資訊

所以如果我們比較

CNN跟self-attention的話

我們可以說

CNN是什麼

CNN可以看作是一種

簡化版的self-attention

因為在做CNN的時候

我們只考慮

receptive field裡面的資訊

而在做self-attention的時候

我們是考慮整張圖片的資訊

所以CNN是簡化版的self-attention

或者是你可以反過來說

self-attention是一個複雜化的CNN

在CNN裡面

我們要畫定receptive field

每一個neural只考慮

receptive field裡面的資訊

而receptive field的範圍跟大小

是人決定的

我記得我們上上週

還花了一些時間講一下說

receptive field有什麼樣可能的設計

而對self-attention而言

我們用attention去找出相關的pixel

就好像是receptive field

是自動被學出來的

Neo自己決定說

receptive field的形狀長什麼樣子

Neo自己決定說

以這個pixel為中心

哪些pixel是我們真正需要考慮的

哪些pixel是相關的

所以receptive field的範圍

不再是人工畫定

而是讓機器自己學出來

這邊講的是self-attention跟CNN的關係

其實你可以讀一篇paper

叫做On the relationship between self-attention and convolutional layer

這篇paper裡面會用數學的方式

嚴謹的告訴你說

其實這個CNN就是self-attention的特例

self-attention只要設定合適的參數

它可以做到跟CNN一模一樣的事情

所以CNN它的function set長這個樣子

而self-attention它的function set長這個樣子

所以self-attention是更flexible的CNN

而CNN是有受限制的self-attention

self-attention只要透過某些設計

某些限制

它就會變成CNN

那這也不是很舊的paper

你發現它放到網路上的時間是19年的11月

所以你知道這些

我們今天上課裡面講的東西

其實都是很新的資訊

既然CNN是self-attention的一個subset

self-attention比較flexible

那記不記得我們在講overfitting的時候

我們講說比較flexible的model

比較需要更多的data

如果你data不夠

就有可能overfitting

而小的model

而比較有限制的model

它適合在data少的時候

它可能比較不會overfitting

那如果這個限制設得好

也會有不錯的結果

如果你今天用不同的data量

來訓練CNN跟self-attention

你確實可以看到我剛才講的現象

那這個實驗結果

來自於An image is worth 16x16 words

這個是Google的paper

它就是把這個self-attention

apply在影像上面

那其實把一張影像

拆成16x16個patch

然後它把每一個patch

就想像成是一個word

因為一般我們這個self-attention

比較常用在NLP上面

所以它就說想像每一個patch

其實就是一個word

所以它就取了一個

很fancy的title

叫做一張圖值16x16個文字

那這個橫軸是什麼

橫軸是訓練的影像的量

那你發現說對Google來說

用的所謂的資料量比較少

也是你沒有辦法用的資料量

這邊有10個million

1000萬張圖

是資料量比較小的setting

然後資料量比較大的setting

有3億張圖片

在這個實驗裡面

比較了self-attention

是淺藍色的這條線

跟CNN是深灰色的這條線

那你就會發現說

隨著資料量越來越多

那self-attention的結果

就越來越好

最終在資料量最多的時候

self-attention可以超過CNN

但在資料量少的時候

CNN它是可以比self-attention

得到更好的結果的

那為什麼會這樣

你就可以從CNN跟self-attention

它們的彈性來加以解釋

這個self-attention

它彈性比較大

所以需要比較多的訓練資料

訓練資料少的時候

就會overbeating

而CNN它彈性比較小

在訓練資料少的時候

結果比較好

但訓練資料多的時候

它沒有辦法從更大量的訓練資料

得到好處

所以這個就是self-attention

跟CNN的比較

那你可能問說

那self-attention跟CNN誰比較好呢

我應該選哪一個呢

事實上你也可以都用對不對

在我們作業室裡面

如果你要做strong baseline的話

就特別給你一個提示

就是用conformer

裡面就是有用到self-attention

也有用到CNN

好那我們來比較一下

self-attention跟RNN

RNN就是recurrent neural network

那其實在這門課裡面呢

我們現在就不會講到

recurrent neural network

因為recurrent neural network的角色

很大一部分都可以

用self-attention來取代了

所以在這門課裡面

我們就不會再特別把RNN拿出來講

但是RNN是什麼呢

假設你想知道的話

那這邊很快的三言兩語

把它帶過去

RNN跟self-attention一樣

都是要處理input

是一個sequence的狀況

那在RNN裡面呢

這是你的input sequence

你有一個memory的vector

然後你有一個RNN的block

這個RNN的block呢

它持memory的vector

持第一個input的vector

然後output一個東西

然後根據這個output的東西

我們通常叫做

這個hidden layer的output

然後通過這個fully connected network

然後再去做你想要的prediction

那RNN這個module呢

接下來當第二個

這個sequence裡面

第二個vector作為input的時候

你會把這個vector

當作input

你會把前一個時間點

吐出來的東西

當作下一個時間點的輸入

再丟進RNN裡面

然後再產生新的vector

再拿去給fully connected network

做你想要做的事情

然後第三個vector進來的時候

你把第三個vector

跟前一個時間點的輸出

一起丟進RNN

再產生新的輸出

然後在第四個時間點

第四個vector輸出的時候

把第四個vector

跟前一個時間點

產生出來的輸出

再一起做處理

得到新的輸出

再通過fully connected的那個

這個就是RNN

recurrent neural network

那你會發現說

它跟self-attention

做的事情

其實也非常像

它們的input

都是一個vector sequence

它們的input

都是一個vector sequence

self-attention

output是另外一個vector sequence

這裡面的每一個vector

都考慮了

整個input的sequence以後

再給fully connected network

去做處理

那RNN呢

它也會output

另外一群vector

這另外一排vector

也會給fully connected network

做進一步的處理

那self-attention跟RNN

有什麼不同呢

當然一個非常顯而易見的不同

你可能會說

這邊的每一個vector

它都考慮了

整個input的sequence

而RNN每一個vector

只考慮了

左邊已經輸入的vector

它沒有考慮右邊的vector

那這是一個很好的觀察

但是RNN其實也可以是

雙向的

所以如果你RNN用雙向的RNN的話

其實這邊的

每一個hidden的output

每一個memory的output

其實也可以看作是

考慮了整個input的sequence

但是假設我們把RNN的output

跟self-attention output

拿來做對比的話

就算你用bi-directional的RNN

還是有一些差別的

對RNN來說

假設最右邊這個黃色的vector

要考慮最左邊的這個輸入

那它必須要把最左邊的輸入

存在memory裡面

然後接下來都不能夠忘掉

一路帶到最右邊

才能夠在最後一個時間點被考慮

但對self-attention來說

沒有這個問題

它只要這邊輸出一個query

這邊輸出一個key

只要它們match的起來

天涯落壁裡

你可以從非常遠的vector

在整個sequence上

非常遠的vector

輕易的抽取資訊

所以這是RNN跟self-attention

一個不一樣的地方

還有另外一個更主要的不同是

RNN今天在處理的時候

你input一排sequence

output一排sequence的時候

RNN是沒有辦法平行化的

你要先產生這個向量

接下來才能產生這個向量

才能產生這個向量

才能產生這個向量

所以RNN

它今天input一排vector

output另外一排vector的時候

它沒有辦法一次處理

沒有辦法平行處理所有的output

但self-attention有一個優勢

是它可以平行處理所有的輸出

你今天input一排vector

在output這四個vector的時候

這四個vector是平行產生的

並不需要等誰先運算完

才把其他人運算出來

output的這個vector

output的這個vector sequence裡面

每一個vector

都是同時產生出來的

所以在運算速度化

運算速度上self-attention

會比RNN更有效率

那你今天發現說

很多的應用

都往往把RNN的架構

逐漸改成self-attention的架構了

如果你想要更進一步了解

RNN跟self-attention的關係的話

你可以看下面這篇文章

Transformers RNN

裡面會告訴你說

self-attention

你加上了什麼東西以後

其實它就變成了RNN

那你發現說

這也不是很舊的paper

這個是去年的六月

放到archive上

所以今天講的

都是一些很新的研究成果

那RNN的部分呢

我們這門課就不會提到

假設你對RNN有興趣的話

以下是這一門課之前的上課錄影

那RNN的部分

因為這次不會講到

所以特別有做了英文的版本

RNN是中文英文版本

都同時有放在YouTube上面的

最後呢

self-attention也可以被用在graph上面

那記得我們在這一堂

這一份投影片一開始的時候

就有跟你說過說

graph也可以看作是一堆vector

那如果是一堆vector

就可以用self-attention來處理

所以self-attention也可以用在graph上面

但是當我們把self-attention

用在graph上面的時候

有什麼樣特別的地方呢

在graph上面呢

我們不只有每一個node

我們每一個node

可以表示成一個向量

但我們不只有node的資訊

我們還有edge的資訊

我們知道哪些node之間

是有相連的

也就是哪些node是有關聯的

我們知道哪些向量間

是有關聯的

那之前我們在做self-attention的時候

所謂的關聯性

是Neo自己找出來的

但是現在既然有了graph的資訊

有了edge的資訊

那關聯性也許就不需要

透過機器自動找出來的

這個圖上面的edge

已經暗示了我們node

跟node之間的關聯性

所以今天當你把self-attention

用在graph上面的時候

你有一個選擇是

你在做這個

attention matrix計算的時候

你可以只計算

有edge相連的node就好了

舉例來說在這個圖上

node1跟node8有相連

那我們只需要計算

node1跟node8這兩個向量

之間的attention的分數

那1跟6有相連

所以只有1跟6之間

需要計算attention的分數

1跟5有相連

所以只有1跟5

需要計算attention的分數

2跟3有相連

所以只有2跟3

需要計算attention的分數

以此類推

那如果兩個node之間沒有相連

那其實很有可能就暗示

我們這兩個node之間

沒有關係

既然沒有關係

我們就不需要再去計算

它的attention score

直接把它設為0就好了

因為這個graph

往往比如說是

人為根據某些

domain knowledge

建出來的

那domain knowledge

告訴我們說

這兩個向量彼此之間

沒有關聯

我們就沒有必要

再用機器去學習這件事情

那其實當我們把

self-attention

按照我們這邊講的

這種限制

用在graph上面的時候

其實就是一種

graph neural network

也就是一種GNN

GNN現在也是一個

很fancy的題目

那我不會說

self-attention就要

囊括了所有GNN的

各種變形啦

但打self-attention

用在graph上面

是某一種類型的

graph neural network

好那這邊呢

一樣我們也沒有辦法

細講啦

GNN這邊坑也是很深啦

這邊水也是很深

那就放一下

助教之前上課的連結

大概花了快

3個小時

在講graph neural network

而且其實還沒有講完

就告訴你說

這個graph neural network

也是有非常深的技術

這邊水也是很深

那這不是我們

今天這一堂課

可以講的內容

好那其實

這個self-attention

它有非常非常多的變形

你可以看一篇paper

叫做Long Range Arena

裡面比較了各種

不同的

self-attention的變形

因為self-attention

它最大的問題就是

它的運算量

非常的大

所以怎麼樣減少

self-attention的運算量

是一個未來的重點

可以看到這邊

有各種各式各樣

self-attention的變形

那self-attention

最早是用在

transformer上面

所以很多人講

transformer的時候

其實它指的就是

這個self-attention

有人說廣義的transformer

指的就是self-attention

那所以後來

各式各樣的

self-attention的變形

都叫做是什麼former

比如說linformer

performer

reformer等等

所以self-attention的變形

現在都叫做XXformer

那可以看到說

往右代表它運算的速度

所以有很多各式各樣

新的XXformer

它們的速度

會比原來的transformer快

但是快的速度

帶來的就是performance變差

這個縱軸代表是performance

所以它們往往比

原來的transformer

performance差一點

但是速度會比較快

那到底什麼樣的self-attention

才能夠真的又快又好

這仍然是一個

上代研究的問題

如果你對self-attention

想要進一步研究的話

你還可以看一下

Efficient Transformer

這篇paper

裡面會跟你介紹

各式各樣

self-attention的變形

那這個就不是

我們這一門課

可以講的東西了

我們就停在這邊

那接下來呢

就是看一下各位同學

有沒有問題想要問的

大家有問題想要問的嗎

線上有問題想要問的嗎

以後我們就是

放這一頁Q&A的時候

就是讓大家問問題的時候

那這樣之後呢

助教要把

你知道這個影片

我們要拿去找人聽打

聽打以後還要做翻譯

然後之後這個

Q&A這個部分

在聽打的時候

就會不用聽打

就不聽打

所以特別放一頁投影片

這樣以後助教比較知道

哪個地方就不用聽打

沒有問題這樣子

好

如果大家沒有問題的話

那我們在這邊呢

還是先下課十分鐘

十分鐘以後再回來