剩下的時間呢,我想要跟大家分享GPT-3

GPT-3,OpenAI發表了新的巨大的Language Model

之前OpenAI已經發表了GPT,還有轟動一時的GPT-2

現在OpenAI發表了GPT-3

這篇Paper有非常多的作者,作者量也挺驚人的

這篇Paper的名字叫Language Model are Future Learners

那其實GPT-3跟GPT-2有什麼不同呢?

基本上沒有什麼不同,它們都是Language Model

那Language Model是什麼?我想就不需要再多做解釋了

那GPT-3它神奇的地方是什麼呢?

神奇的地方是,它太過巨大

它有多巨大呢?之前最大的Model是Turing-NLG

我們在之前的課堂上已經給大家看過這一個Model大小的比較圖

從最早的Elmo到後來的Turing-NLG

Turing-NLG非常的巨大,它有17個Billion的參數

那遠大過之前OpenAI發表的GPT-2還有最早的GPT-3

但是第三代的GPT有多大呢?

它是Turing-NLG的10倍啊,它有170個Billion的參數啊

也就是它有1750億個參數啊

你根本沒有辦法把它畫在這一張圖上

為了讓大家能夠想像GPT-3有多大,我們來做一個比方

假設Elmo的參數量是一個長30公分的尺

我們用長度來代表參數量

我們假設Elmo的參數量就是30公分

GPT-3它的參數量有多少呢?

GPT-3它的參數量是Elmo的大約2000倍

30公分乘2000是多少呢?

它比台北101還要高啊

所以想想看,最早的這類Pre-trained model Elmo

它只是30公分長的尺

但今天GPT-3它已經長成了台北101那麼高的參天巨鼠

它非常的巨大

那我們知道說,巨大的東西都是來自暗黑大陸啦

所以GPT-3是來自於暗黑大陸的模型

那當然網路上就有各式各樣的討論

有人說GPT-3如果你想要拿商用的cloud computing的platform

自己訓練一個GPT-3要花多少錢呢?

要花1200萬美金啊

大概要花4億台幣啊

這個真的是沒有人做得出來,太誇張了

那在知乎上面有關GPT-3的討論

被打上了炫富跟核武器啊

然後有人發現說,GPT-3就算是OpenAI佛心來的想試出

你搞不好載不下來啊

因為GPT-3 1.5個billion的參數就6GB了

175個billion的參數大概700GB啊

搞不好你連下載下來都有困難啊

然後有人發現,GPT-3的paper很長

Elmo 15頁,BERT 16頁,GPT-3 24頁,T5 53頁

GPT-3有72頁,太長了

不只他的model很大,paper也很長

那這系列GPT-3,GPT系列的work

他想要做的事情是什麼呢?

他想要做的事情是zero-shot的learning

也就是說,過去在我們使用BERT這樣pre-train model的時候

我們是先pre-train一個model

接下來對每一個任務,我們都準備一些這些任務的資料

根據這些任務的specific的資料進行finetune

我們有每一個任務的model

所以你今天你要拿BERT去解downstream的任務

你其實還是要收集一些資料的

BERT並沒有辦法直接去解這些downstream的任務

你要BERT解QA,收集一些QA的資料給BERT去

你要BERT解NLI,收集一些NLI的資料給BERT去

所以你還是需要收集一些downstream task的資料

才能夠讓BERT學會解這些downstream task

但GPT系列的work要問的問題就是

我們能不能夠拿掉finetune這個步驟

我們能不能pre-train一個模型

這個pre-train的模型,直接就可以解這些downstream task了

連finetune通通都不要

GPT系列它的終極目標也許就像是這樣

我們今天人類在考這種英文能力檢定的時候

我們是怎麼告訴考生怎麼回答試題呢

我們其實只需要首先給一個提醒的說明

有提醒的說明可能就是很簡單的告訴考生說

選最適合提議的字或詞

然後也許在佛心來的多給一個範例

告訴考生說這個題目如果真的要解的話

大概長什麼樣子就結束了

考生只看了提醒的說明

再看了一點範例就知道怎麼回答接下來的問題了

而GPT系列想要做的就是類似的事情

再講得更具體一點

GPT它裡面做的事情是這個樣子

它有三個可能

一個是Few-Shot Learning

一個是One-Shot Learning

一個是Zero-Shot Learning

這邊都跟GPT-3的Paper一樣

以翻譯為例

以英文翻法文為例

在Few-Shot Learning的狀況下

首先給GPT的Model看一個句子

這個句子是任務的說明

如果是翻譯的話任務的說明就是

Translate English to French

希望機器能夠看得懂這個句子的意思

然後接下來給它幾個範例

告訴它說Sea Otter箭號就是翻譯成這樣

然後Clutch Giraffe就是翻譯成這樣

接下來開始考試

問它Cheese應該翻譯成什麼東西

這個是Few-Shot Learning

也就是Example的部分

可以提供不只一個Example

那如果是One-Shot Learning呢

One-Shot Learning可能就非常接近

人類在考英文能力檢定的狀況

只給你一段提醒說明

再給你一個例子

接下來期待你可以自己把問題回答出來

最狂的是Zero-Shot Learning

直接給一個題目的敘述

接下來就直接回答問題

不知道一個Language Model

有沒有可能做到

你今天給它一個指示說

Translate English to French

在沒有額外訓練的狀況下

它就自己知道什麼叫做

Translate English to French

接下來給它一句英文

它就自動知道要輸出法文了

這當然顯然是很大的挑戰

也許One-Shot Learning比較接近

真的有辦法做到的狀況

因為機器至少有看到一個例子

也許One-Shot Learning還是比較有機會

那這邊需要再跟大家提醒一下

在GPT-3裡面

它的Few-Shot Learning

跟一般我們所謂的Few-Shot Learning的意思

是不一樣的

我們一般所謂的Few-Shot Learning是說

我們給機器少量的訓練資料

用少量的訓練資料去Finetune我們的Model

但在GPT-3裡面沒有Finetune這回事

所謂的Few-Shot Learning

所謂的一點點的Example

是直接當作GPT Model的輸入

給GPT讀過這些句子

讀過這些句子

它就要自動知道怎麼解接下來的問題

它就要自動知道怎麼做翻譯

在這個過程中完全沒有調整Model

完全沒有所謂的Gradient Descent

我們直接輸入文字當作指示

這些文字就讓它知道接下來要做什麼

期待它看到這些提醒的說明

看到這些提醒的範例

就可以真的回答問題

在GPT-3這篇Paper裡面

他們把這一種學習的方式

叫做In-Context Learning

其實在GPT-3那篇Paper裡面

有把他們的In-Context Learning

跟Meta-Learning稍微做一些比較

這個部分就留給大家自己去看

GPT-3這篇Paper表現怎麼樣呢

碩大無窮的GPT-3表現的怎麼樣呢

這邊顯示了這篇Paper裡面

所用的42個Task 它的平均

為什麼正好是42呢

這個數字好巧 我們知道42

就是生命的意義

不知道42個任務是不是

刻意選擇出來的

還是選完正好就是42個

我也不知道

這個縱軸是正確率

橫軸是Model的大小

從0.1個Billion

一直到175個Billion

如果藍色這條線

是Zero-Shot

綠色這條線

是One-Shot

橙色這條線是Few-Shot

我們確實可以看到

隨著Model越來越大

越來越大

不管是Zero-Shot One-Shot

跟Few-Shot Learning的正確率

都越來越高

當然有人可能會質疑說

為了增加這麼一點點的正確率

大概十倍的參數量

到底值不值得

我想這就是一個見仁見智的問題

至少這個圖顯示說

比較大的Model確實是有好處的

至於大的十倍

只有增加這樣子的正確率

到底能不能夠接受

到底划不划算

這個是一個見仁見智的問題

接下來呢

就講幾個GPT-3的神蹟

首先

它可以做Closed Book的QA

怎麼是Closed Book的QA呢

我們剛講完Question Answering

我們說Question Answering裡面

就是有一個Knowledge Source

有一個Question

然後你要找出Answer

因為今天機器在回答問題的時候

可以看Knowledge Source

所以這是Open Book

Closed Book QA是

沒有Knowledge Source

直接問你一個問題

看看你能不能得到答案

直接問你喜馬拉雅山有多高

會不會不需要讀任何文章

問他喜馬拉雅山有多高

他就知道喜馬拉雅山的高度

是8848公尺呢

而GPT-3的表現

是這個樣子

藍色的線

是Zero-Shot

綠色的線

是One-Shot

橙色的線

是Few-Shot

神奇的事情是

Few-Shot Learning

竟然超過了在Trivia QA

這個Compass上

Finetune最好的SOTA

的Model

所以這邊巨大的Model

展現了奇蹟

如果只有13個Billion

沒有辦法超越SOTA

但10倍大

175個Billion

可以超越SOTA

而這個是

Super Glue的部分

這邊一樣顯示了

Few-Shot Learning的Performance

One-Shot Learning的Performance

跟Few-Shot Learning的Performance

隨著參數量越來越多

Performance當然越來越好

如果是看

最大的Model的話

它可以超越Finetune的

Very Large Model

右邊這張圖

是顯示說

在做Few-Shot Learning的時候

Training Example對Performance

所造成的影響

任何Example也就是

Zero-Shot的Learning

當然有點差

但隨著Example越來越多

如果只給1、2、3、4個

那跟Finetune的Bird Performance差不多

如果給到32個

就可以超越Finetune的Bird

那GPT-3

它是一個Language Model

所以它可以做Generation

所以在GPT-3的Paper裡面

作者群也有用

GPT-3來產生文章

他們給GPT-3

一篇新聞的標題

然後希望GPT-3自己

把新聞寫出來

那有一個神奇的小發現是

如果今天不給GPT-3

任何的Example

只給它一則新聞的標題

它會以為這則新聞的標題

是Twitter的一句話

然後接下來它就在下面

會自己去回應

它想像的Twitter的模式

所以今天在做Generation的時候

GPT-3不會是Zero-Shot的

你需要給它幾個Example

告訴它說有一個Title

下面會接一篇新聞

然後接下來再給它一篇Title

希望它可以知道根據這個Title

產生的新聞

那在這個圖上面

縱軸代表的是說

給人看GPT-3產生的新聞

跟真正的新聞

人能不能夠判斷

這篇新聞

是真的還是假的

如果今天人的正確率

只有50%

就代表說GPT-3產生出來的新聞

太過真實

真實到人沒有辦法判斷

它是真的還是假的

你發現說

隨著參數量越來越大

GPT-3就越來越能騙過人類

最大的那個

GPT-3

它幾乎可以騙過人類

人類幾乎沒有辦法

分辨GPT-3產生出來的新聞

跟真實的新聞

之間的差異

GPT-3

它也學會了造句

在這個圖上

淺灰色的文字

是人的輸入

黑色的文字

是GPT-3的輸出

那你先告訴GPT-3說

要怎麼造句

造句是怎麼一回事

先給一個詞彙的定義

WAPU是什麼呢

WAPU是一個小的毛茸茸的動物

接下來呢

以WAPU當作詞彙

造一個句子

以WAPU

接下來呢

以WAPU造一個句子

你就照說我們去非洲旅行

我們看到很多可愛的WAPU

那接下來

你再給一個胡亂創造的詞彙

這個詞彙叫做BURRINGO

BURRINGO是什麼呢

BURRINGO是一種跑得很快的車

然後接下來

你要GPT-3用BURRINGO

造一個句子

然後GPT-3就說

在我們家的車庫裡面

有一個BURRINGO

我爸爸每天都開BURRINGO

上下班

他知道BURRINGO是一種

可以開的東西

或者是你告訴他說

有一個東西叫做GIGAMURU

它是日本的樂器

然後叫他用GIGAMURU

造一個句子

GPT-3就說

我有一個GIGAMURU

它是我的叔叔給我的禮物

我喜歡在家裡彈它

他知道GIGAMURU

是一個可以彈的東西

或你告訴他說

有一個動詞叫做SKRING

SKRING是什麼呢

SKRING就是揮劍的意思

那這個造句呢

GPT-3這邊造出來的句子有點奇怪

我們對彼此SKRING

他知道說SKRING要加ED

我們對彼此揮劍

然後呢我們就去吃ICE CREAM

乍看之下有點前言不對後語

對彼此揮劍感覺應該是敵人

怎麼接下來就去吃ICE CREAM呢

但是如果你把SKRING想成是一種

小孩的遊戲

它雖然是揮劍

但是是小孩的一種遊戲

小朋友對彼此SKRING之後呢

接下來去吃冰淇淋

我覺得是合理的

然後GPT-3

學會做數學問題啊

怎麼叫他做數學問題呢

你就問他說

What is 17 minus 14

然後給他A冒號

他自動居然會回答3

居然會算數學

他可以做到什麼樣程度的數學呢

這個橫軸

代表的是使用的模型的參數量

縱軸代表的是正確率

如果我們看這些

參數量最多的模型

你會發現說

它基本上在

兩位數的加法

跟兩位數的減法上

可以得到不錯的

幾乎100%的正確率

三位數的減法

也做得不錯

也不知道為什麼

三位數的加法

就稍微差一點

看起來減法很會做

加法不知道怎麼回事

加法難道比較難嗎

加法就做得比較差

當然如果是其他更困難的問題

四位數五位數的加法

那對他來說就比較困難

但至少他學會了

二位數的

二位數跟三位數的

加減法

三位數不算完全學會啦

學會二位數的加減法

跟三位數的加減法

當然剛才講的

是GPT-3的神蹟

除了講神蹟以外

其實也應該講一些

它不work的地方

從文章裡面看來

GPT-3在做NLI的問題的時候

不太行

所謂NLI的問題

就是給機器兩個句子

要求機器判斷說

這兩個句子是矛盾嗎

還是互相包含

GPT-3的關係

那你會發現說

如果今天使用GPT-3的model

隨著模型越來越大

Zero-Shot跟One-Shot

基本上都是慘的

這個灰色的這個虛線

代表的是Random Guess

如果今天就算是最大的模型

在Zero-Shot跟One-Shot

基本上是慘

只有Few-Shot Learning

給他50個example的時候

看起來是有一些希望的

只有在這個狀況

有顯示出一些生命的跡象

其他部分

都是死神

所以看起來NLI的問題

對GPT-3來說

還是有些困難

不過GPT-3

他就是一個巨大的language model

所以今天他在學習的過程中

他從來沒有看過什麼NLI的問題

他就只知道

predict下一個詞彙

也許因為在做NLI的任務的時候

我們放在一起的兩個句子

很多時候是

奇怪和矛盾的句子

NLI就是給兩個句子

然後要模型判斷他們有沒有矛盾

所以如果今天是兩個矛盾的句子

放在一起

也許在人類的文字裡面

出現的次數是很少的

所以GPT-2、GPT-3、GPT系列

看到這種接在一起

但是矛盾的句子

他會覺得有些困惑

然後呢

發生了一句有趣的事情

我們今天在訓練

這種巨大的model的時候

資料往往來自於網路

而網路上爬下來的資料

有可能就

包含了我們現在的

testing data

這件事情是有可能

發生的

那本來OpenAI在做這個實驗的時候

他們說他們想要儘量避免

說他們的訓練資料裡面

有混雜到他們的

downstream task的資料

但是

他們在寫程式的時候

有一個bug

所以他們沒有成功的把訓練資料裡面

所有跟他們的downstream task

有overlap的資料都拿掉

但是

這個bug太嚴重了

無法想像犯了這個錯誤的researcher

他心裡壓力有多大

接下來他說因為due to the training cost

it wasn't feasible to train the model

GPT-3太大了

有一個bug

沒辦法重train

只能夠就這樣了

哇

這個model太大了

有bug無法重train

但是怎麼辦呢

雖然沒有辦法重train

那我們就改一下testing data

所以他們說他們把他們的

downstream task的data

分成clean data

跟dirty data

所謂clean data的意思就是說

GPT-3在訓練的時候

真的沒有看過

那dirty data就是GPT-3在訓練的時候

其實也看不到

那今天呢

如果

這些點在

這一個水平線

之下的話

就代表說今天有看到

dirty data的performance

有比較好

在水平線之上的話

就代表說其實給GPT-3

dirty data的performance比較好

也就是說今天有一些混雜的資料

對他來講他也沒佔到什麼便宜

那你會發現說

多數的任務啊

他的performance都集中在這條水平線上

也就是說

今天訓練資料有沒有被污染

訓練資料有沒有

混雜到downstream task的資料

對GPT-3來說

也許影響並沒有那麼大

所以有一個bug就算了

然後

現在有了這麼多

巨大的

碩大無窮的model

但是他們到底

能夠了解人類的語言

到什麼樣的程度呢

所以就有了一個比賽

叫做Turing Advice Challenge

那這個跟

現在要講這個東西跟GPT-3沒有什麼關係

只是想到說

現在有這麼多巨大的model

這些巨大的model

他們都理解人類的語言

到了一個不錯的程度

但他們到底

理解人類的語言

到什麼樣的程度了呢

他們可以跟人類一樣

知道怎麼使用這些語言嗎

所以有一個比賽

叫做Turing Advice Challenge

這個比賽

要機器去reddit上面

給人類意見

在reddit上面

會有很多po文

有人會po一些感情上的問題

那這個po文

是放在Turing Advice Challenge

paper裡面的例子

那這邊是怎麼說的呢

就是有一個人說

她男朋友跟她交往

八個月

有一天她男朋友說

要給她一個生日禮物

她男朋友就把所有的朋友都召集

就秀出了她的背

她的背上有一個

她女朋友的臉

這個女生問說

她覺得不太行

問要怎麼辦

下面就期待網友

給一些建議

不過這題的答案很簡單

如果把這個問題po在ptt上的話

鄉民一律建議分手

那對機器而言

其實要給出像樣的建議

不太容易

一個typical的狀況

是這個樣子

舉例來說

有人這邊問了一個問題

他說他要上高中的解剖課

但是他很害怕

死掉的動物

那怎麼辦呢

那這邊有一個人呢

給了一個建議

是問問題的人覺得有用的

他是建議說

你可以越級上報

我其實有點不太確定這個建議有沒有用

因為如果在軍中的話

你可能會飛起來

不過至少

這個問問題的人覺得是有用的

這個人建議他越級上報

那機器呢

也給了一個建議

機器怎麼學會給建議呢

機器就是你訓練一個model

這個model呢

就是吃reddit上的一個po文

然後他會想辦法去

模仿這個po文下面的回覆

那在這個比賽裡面

他會提供600k個訓練的資料

也就是600k個reddit上的po文

跟這些po文的回應

然後期待機器可以學會

正確的回應

那這邊是以T5當作例子

那個時候還沒有GPD3啦

如果是今天的話你可能就會想用GPD3試看看

真的能用GPD3試看看嗎

太大了你載下來都有問題啊

那T5的答案是這樣

T5是說

你去跟你的老師說

你想要一個project

可以看到死的動物

這個人就是不想解剖死的動物啦

幹嘛還叫老師給他一個死的動物

然後呢

如果你的老師不聽

就告訴你的校長說

你的外傷

不知道在說些什麼

總之就是不知所云

看起來是合乎文法的句子

看起來像是在講些什麼

但實際上沒有什麼作用

那今天這些巨大的language model

他往往能得到的表現就是這個樣子

這邊有一些真正的

實驗結果

在Turian Advice Challenge裡面呢

就拿了各式各樣的模型

包括Glover

包括T5

未來現在有GPD3了嘛

未來可能就會有人用GPD3

來跟人類的建議

做一下比較

簡單來說

他就是給評分的人

一個Reddit上面

大家公認

大家vote

最好的建議

跟這些model產生出來的建議

做比較

你會發現說就算是T5

人們也只有在

9%的情況下

才覺得T5提出來的建議

是比人提出來的建議

有效的

如果今天比較Reddit上面

評分第一高的建議跟第二高的建議

其實評分第二高的建議

還有40%的機率

仍是覺得有用

但是T5

只有9%的機率

仍是覺得有用

那這個

是想要顯示說今天

如果你想要用這種巨大的language model

來產生一些

來讓機器使用語言

產生一些文字

他可能還跟今天人類對語言的

使用的能力相差甚遠

最近呢

GPD系列的東西

被拿來生成影像

那你說技術上有什麼不同

沒有什麼不同

就是把每一個影像的pixel

當作一個文字

然後train下去

就結束了

這邊甚至沒有用到什麼CNN

之類的

沒有考慮什麼影像的prior knowledge

沒用什麼CNN

在產生影像的時候就直接給GPD

大堆的影像做訓練

GPD就是訓練一行一行的

把影像產生出來

這個叫做Raster Order

就是一行一行的

把影像產生出來

那之所以舉這個例子

是因為我覺得他產生影像還蠻有趣的

舉例來說

這個就是知名的用GAME產生出來的網球狗

如果把網球狗的下半身遮住

要GPD產生出剩下來的東西

他會產生什麼呢

他會幫網球狗

加上四隻腳吧

這個是蜘蛛人

蜘蛛人的床上

有什麼東西呢

蜘蛛人的床上居然有一個女人

不知道她是誰

但是有一個女人

這個貓貓

只給他看眼睛跟耳朵

這個貓在做什麼呢

他居然拿一本書遮住自己的臉

我覺得這個好萌喔

拿一本書遮住自己的臉

好萌喔

你可以在OpenAI的官網上

看到更多的影像

好我們看大家的問題

這個超神秘

貓咪都可以長出手

對他很聰明耶

我其實不知道

這張圖的原圖是什麼

我其實不知道下面本來

應該是長什麼的

但很神奇

這個貓都知道要拿東西耶

他都知道兩個東西拿住這個東西

來遮住自己的臉

感覺很害羞的樣子

上面好像探險活寶老皮

哪個人是老皮啊

你說他手很長像是老皮一樣是嗎

有可能喔

對反正就是這麼回事

GPT真是一個神奇的東西

生影像也是可以

不過像這樣子的生影像的

Work當然是之前有很多了啦

比如說Pixel CNN

所以這其實也沒有什麼特別驚奇的地方

驚奇的地方是說

他直接用GPT

都沒調什麼network的架構

直接把Pixel當作文字

硬串下去

就結束了