Linear 的 Model 也許太過簡單了

怎麼說它太過簡單呢

怎麼說它太過簡單呢

我們可以想像說 X1 跟 Y

也許它中間有比較複雜的關係

但是對 Linear Model 而言

對 Linear Model 來說

X1 跟 Y 的關係就是一條直線

隨著 X1 越來越高

Y 就應該越來越大

你可以設定不同的 W

改變這條線的斜率

你可以設定不同的 B

改變這條藍色的直線

跟 Y 軸的交叉點

但是無論你怎麼改 W 跟 B

它永遠都是一條直線

永遠都是 X1 越大

Y 就越大

前一天觀看的人數越多

隔天的觀看人數就越多

但也許現實並不是這個樣子

也許在 X1 小於某一個數值的時候

前一天的觀看人數

跟隔天的觀看人數是成正比的

但也許當 X1 大於一個數值的時候

這個物極必反

過了一個峰值以後

假設 X1 太大

前天觀看的人數太高

隔天觀看人數就會變少

也說不定

也許 X1 跟 Y 中間

有一個比較複雜的

像這個紅色線一樣的關係

但你不管怎麼擺弄你的 W 跟 B

你永遠製造不出紅色那一條線

你永遠無法用 Linear 的 Model

製造紅色這一條線

所以怎麼辦呢

顯然 Linear 的 Model

有很大的限制

這一種來自於 Model 的限制

叫做 Model Bias

其實我們剛才在課堂一開始的時候

也說 B 叫做 Bias

那這個地方有一點

在用詞上有一點 ambiguous

所以這邊特別強調說

這個東西叫做 Model 的 Bias

它跟 B 的這個 Bias 不太一樣

它指的意思是說

所以它沒有辦法模擬真實的狀況

所以怎麼辦呢

我們需要寫一個更複雜的

更有彈性的

有未知參數的 Function

Linear 的 Model 顯然是不夠的

那怎麼辦呢

怎麼寫出一個更複雜的

有未知參數的 Function 呢

我們可以觀察一下

紅色的這一條曲線

紅色的這一條曲線

它可以看作是一個常數

再加上一群藍色的

這樣子的 Function

那這個藍色的 Function

它的特性是這個樣子的

當輸入的值

當 x 軸的值

小於某一個 threshold 的時候

它是某一個定值

大於另外一個 threshold 的時候

又是另外一個定值

那中間有一個斜坡

所以它是先水平的

然後再斜坡

然後再水平的

那它其實有名字

它的名字我們等一下再講

這邊我們

因為它是藍色的 Function

我們就先叫它藍方吧

那所以呢

這個紅色的線

它可以看作是一個常數項

加一大堆的藍方

那這個常數項

它的值應該要有多大呢

你就看這一條紅色的線

它跟 x 軸的交點在哪裡

那這個常數項呢

就設跟 x 軸的交點一樣大

那怎麼加上這個藍色的 Function 以後

變成紅色的這一條線呢

你就這樣子加

這個藍色 Function 呢

它的這個坡度

這個斜坡的起點

設在紅色 Function 的起始的地方

然後第二個斜坡的終點

設在第一個轉角處

所以這邊紅色 Function 有一個轉角

那你就有一個藍色的 Function

它的斜坡的終點

設在紅色 Function 的第一個轉角

然後呢

你刻意讓這邊這個藍色 Function 的斜坡

跟這個紅色 Function 的斜坡

它們的斜率是一樣的

這個時候

如果你把 0 加上 1

你就可以得到紅色曲線

紅色這個線段的

第一個到第一個轉折點之前的數值

所以 0 加上 1

可以得到紅色線段

第一個轉折點之前的部分

然後接下來

再加第二個藍色的 Function

怎麼加呢

你就看紅色這個線

第二個轉折點出現在哪裡

所以第二個藍色 Function

它的斜坡就在紅色 Function 的

第一個轉折點到第二個轉折點之間

第一個轉折點到第二個轉折點之間

那你刻意讓這邊的斜率

跟這邊的斜率一樣

這個時候你把 0 加 1 加 2

你就可以得到兩個轉折點這邊的線段

你就可以得到紅色的這條線

這邊的部分

然後接下來第三個部分

第二個轉折點之後的部分

怎麼產生呢

第三個藍色的 Function

第三個藍色的 Function

它這個坡度的起始點

故意設的跟這個轉折點一樣

這邊的斜率

故意設的跟這邊的斜率一樣

接下來你把 0 加 1 加 2 加 3

全部加起來

你就得到紅色的這個線

所以紅色這個線

可以看作是一個常數

再加上一堆藍色的 Function

那你仔細想一下就會發現說

不管我畫什麼樣的

Piecewise Linear 的 Curve

什麼叫做 Piecewise Linear 的 Curve 呢

就是你現在這個 Curve

它是由很多線段所組成的

它是由很多鋸齒狀的線段所組成的

這個叫做 Piecewise Linear 的 Curve

那你會發現說

這些 Piecewise Linear 的 Curve

你有辦法用常數像

加一大堆的藍色 Function 組合出來

只是他們用的藍色 Function 不見得一樣

你要有很多不一樣的藍色 Function

加上一個常數以後

你就可以組出這些 Piecewise Linear 的 Curve

那如果你今天 Piecewise Linear 的 Curve 越複雜

你的這個轉折的點越多

那你需要的這個藍色的 Function 就越多

所以呢

那講到這邊有人可能會說

那也許我們今天要考慮的

X 跟 Y 的關係

不是 Piecewise Linear 的 Curve 啊

也許它是這樣子的曲線

那就算是這樣的曲線

也無所謂

我們可以在這樣的曲線上面

先取一些點

再把這些點點起來

變成一個 Piecewise Linear 的 Curve

而這個 Piecewise Linear 的 Curve

跟原來的曲線

它會非常接近

如果你今天點取的夠多

或你點取的位置適當的話

你點取的夠多

這個 Piecewise Linear 的 Curve

就可以逼近這個

連續的這個曲線

就可以逼近這個

不是 Piecewise Linear

它是有角度的

有弧度的這條曲線

所以我們今天知道一件事情

你可以用 Piecewise Linear 的 Curve

去逼近任何的連續的曲線

而每一個 Piecewise Linear 的 Curve

都可以用一大堆藍色的 Function

組合起來

也就是說

我只要有足夠的藍色 Function

把它加起來

我也許就可以變成

任何連續的曲線

所以今天

假設我們的 X 跟 Y 的關係

它也許非常的複雜

那也沒關係

我們就想辦法

寫一個帶有未知數的 Function

這個帶有未知數的 Function

它表示的就是一堆

藍色的 Function

加上一個 Consonant

那我們接下來問的問題就是

這個藍色 Function

它的式子

應該要怎麼把它寫出來呢

怎麼把這個藍色 Function 的式子

寫出來呢

也許你要直接寫出它

沒有那麼容易

但是你可以用一條曲線

來逼近它

用什麼樣的曲線來逼近它呢

用 Sigmoid 的 Function

來逼近這個藍色的 Function

那 Sigmoid Function

它的式子長的是這個樣子的

它的橫軸輸入是 X1

輸出是 Y

輸入的 X1

我們先乘上一個 W

再加上一個 B

再取一個負號

再取 Exponential

再加 1

這一串被放在分母的地方

把 1 除以

1 加上 Exponential 負 B 加 W X1

前面你可以乘上一個

Constant 叫做 C

那如果你今天

輸入的這個 X1 的值

趨近於無窮大的時候

會發生什麼事呢

如果這一項趨近於無窮大

那 Exponential 這一項就會消失

那當 X1 非常大的時候

這一條這邊就會收斂在

這個高度是 C 的地方

那如果今天 X1 負得非常大的時候

會發生什麼事呢

如果 X1 負得非常大的時候

分母的地方就會非常大

那 Y 的值就會趨近於零

所以你可以用這樣子的一個 Function

來試著畫出這一條曲線

用這一條曲線來逼近

這一個藍色的 Function

那這個東西

它的名字叫做 Sigmoid

Sigmoid 是什麼意思呢

Sigmoid 如果硬要翻成中文的話

可以翻成 S 型的

所以 Sigmoid Function 就是 S 型的 Function

因為它長得是有點像是 S 型的

所以叫它 Sigmoid Function

那這邊我們之後都懶得

把 Exponential 寫出來

我們就直接寫成這個樣子

就是 Y 等於 C 倍的 Sigmoid

然後這個括號裡面放 B 加 W 乘 X1

然後這個 B 加 W 乘 X1

實際上做的事情

就是把它放在 Exponential 的指數下

前面加一個括號

然後 B 加 Exponential 的負

B 加 W 乘 X1 放在分母的地方

前面乘上 C 就等於 Y

所以我們可以用這個 Sigmoid Function

去逼近一個藍色的 Function

那其實這個藍色的 Function

比較常見的名字就叫做

Hard Sigmoid

只是我本來想說一開始

我們是先介紹藍色的 Function

才介紹 Sigmoid

所以一開始說它叫做 Hard Sigmoid

有一點奇怪

所以我們先告訴你說

有一個 Sigmoid Function

它可以逼近這個藍色的 Function

那這個藍色的 Function

其實通常就叫做 Hard Sigmoid

那今天我們需要各式各樣

不同的藍色的 Function

還記得嗎

我們要組出各種不同的曲線

那我們就需要各式各樣

合適的藍色的 Function

而這個合適的藍色的 Function

怎麼製造出來呢

我們就需要調整這裡的 B 跟 W 跟 C

你可以調整 B 跟 W 跟 C

你就可以製造各種不同形狀的 Sigmoid Function

用各種不同形狀的 Sigmoid Function

去逼近這個藍色的 Function

舉例來說

如果你今天改 W

會發生什麼事呢

你就會改變斜率

就會改變斜坡的坡度

如果你動了 B 會發生什麼事呢

你就可以把這個 Sigmoid Function 左右移動

如果你改 C 會發生什麼事呢

你就會改變它的高度

所以你只要有不同的 W

不同的 B 不同的 C

你就可以製造出不同的 Sigmoid Function

把不同的 Sigmoid Function 疊起來以後

你就可以疊出各種不同的

你就可以去逼近各種不同的

Piecewise Linear 的 Function

然後 Piecewise Linear Function 可以拿來近似

各種不同的 Continuous 的 Function

所以今天假設我們要把

紅色的這條線

它的函數寫出來的話

那可能長什麼樣子呢

我們知道說紅色這條線

就是 0 加 1 加 2 加 3

而這個 1 2 3 他們都是藍色的 Function

所以他們的函數就是有一個固定的樣子

他們都寫做 X1 乘上 W 再加上 B

做 Sigmoid 再乘上 C1

只是 1 2 3 他們的 W 不一樣

他們的 B 不一樣

他們的 C 不一樣

如果是第一個藍色 Function

它就是 W1 B1 C1

第二個藍色 Function

我們就說它用的是 W2 B2 C2

第三個藍色 Function

我們就說它用的是 W3 B3 C3

那我們接下來呢

就是把 0 跟 1 2 3 全部加起來以後

我們得到的函數就長這個樣子

我們把 1 加 2 加 3 加起來

這邊就是 Summation over i

我們的 i 等於 1 或 2 或 3

Summation 裡面就是 Ci 乘上 Sigmoid

Bi 加 Wi 乘上 X1

所以這邊每一個式子都代表了一個不同藍色的 Function

Summation 的意思就是把不同的藍色的 Function 給它加起來

就是這邊 Summation 的意思

然後別忘了加一個 Constant

這邊用 B 來表示這個 Constant

所以今天我們有一個

我們今天就寫出了一個這樣子的 Function

如果我們假設裡面的 B 跟 W 跟 C

它是未知的

它是我們未知的參數

那我們就可以設定不同的 B 跟 W 跟 C

設定不同的 B 跟 W 跟 C

我們就可以製造不同的藍色的 Function

製造不同的藍色的 Function 疊起來以後

就可以製造出不同的紅色的 Curve

製造出不同的紅色的 Curve

就可以製造出不同的 Piecewise Linear 的 Curve

就可以去逼近各式各樣不同的 Continuous Function

所以我們其實有辦法寫出一個

這個非常有彈性的

有未知參數的 Function

它長這個樣子

就是 Summation 一堆 Simole

但它們有不同的 C 不同的 B 不同的 W

所以本來我們是 Linear 的 Model

Y 等於 B 加 W 乘上 X1

它有非常大的限制

這個限制叫做 Model Bias

那我們要如何減少 Model Bias 呢

我們可以寫一個更有彈性的

有未知參數的 Function

它叫做 Y 等於 B 加 Summation

Ci Simole Bi 加 Wi X1

本來這邊是 B 加 Wi X1

這邊變成 Bi 加 Wi X1

然後我們有很多不同的 Bi

有很多不同的 Wi

它們都通過 Simole 都乘上 Ci

把它們加起來再加 B 等於 Y

我們只要代入不同的 C 不同的 B 不同的 W

我們就可以變出各式各樣

就可以組合出各式各樣不同的 Function

那我們剛才其實已經進化到

不是只用一個 Feature

我們可以用多個 Feature

我們這邊用 J 來代表 Feature 的編號

舉例來說剛才如果要考慮前 28 天的話

J 就是 1 到 28

考慮前 56 天的話

J 就是 1 到 56

那如果要把這個 Function

再擴展成我們剛才講的上面這個

比較有彈性的 Function 的話

那也很簡單

我們就把 Simole 裡面的東西換掉

本來這邊是 B 加 Summation

Over J Wi XJ

那這邊就把這一項

放到這個括號裡面

改成 Bi 加 Summation

Over J Wi XJ

把本來放在這邊的東西

放到 Simole 裡面

然後每一個 Simole 的 Function 裡面

都有不同的 Bi 不同的 Wi J

然後舉 Simole 以後

乘上 Ci 就全部加起來

再加上 B 就得到 Y

我們只要這邊 Ci Bi 跟 Wi J

放不同的值

就可以變成不同的 Function

如果講到這邊你還是覺得有點抽象的話

如果你看這個式子覺得有點頭痛的話

那我們用比較直觀的方式

把這個式子實際上做的事

把它畫出來

它畫出來看起來像是這個樣子

我們先考慮一下 J 就是 1 2 3 的狀況

就是我們只考慮三個 Feature

舉例來說我們只考慮前一天

前兩天跟前三天的 Case

所以 J 等於 1 2 3

那所以輸入就是 X1

代表前一天的觀看人數 X2

兩天前的觀看人數 X3

三天前的觀看人數

I 是什麼

I 是每一個 I 就代表了一個藍色的 Function

只是我們現在每一個藍色的 Function

都用一個 Sigmoid Function 來近似它

所以每一個 I 就代表了一個 Sigmoid Function

或者是代表了一個藍色的 Function

那這邊呢

這個 1 2 3 就代表我們有三個 Sigmoid Function

那我們先來看一下這個括號裡面

做的事情是什麼

每一個 Sigmoid 都有一個括號

這個括號裡面做的事情是什麼呢

第一個 Sigmoid I 等於 1 的 Case

就是把 X1 乘上一個 weight

叫 W1 1

X2 乘上另外一個 weight

叫 W1 2

X3 再乘上一個 weight

叫做 W1 3

全部把它加起來

不要忘了再加一個 B

加起來

然後得到的式子就是這個樣子

所以這邊我們用 W I J 來代表

在第 I 個 Sigmoid 裡面

乘給第 J 個 feature 的 weight

第一個 feature 它就是 W1 1

第二個 feature 就是乘 W1 2

第三個 feature 就是乘 W1 3

所以三個 feature 1 2 3

這個 W 的第二個下標就是 1 2 3

W 的第一個下標代表是

現在在考慮的是

第一個 Sigmoid Function

那我們有三個 Sigmoid Function

第二個 Sigmoid Function

我們就不把它的 W 寫出來了

我們就不把它的 W 放在箭頭旁邊

不然會太擠

第二個 Sigmoid Function

它在括號裡面做的事情是什麼呢

它在括號裡面做的事情就是

把 X1 乘上 W21

把 X2 乘上 W22

把 X3 X3 乘上 W23

通通加起來再加 B2

第三個 Sigmoid 呢

第三個 Sigmoid 在括號裡面做的事情

就是把 1 2 3

1 2 3 X1 X2 X3

分別乘上 W31 W32跟 W33

再加上 B3

那我們現在為了要簡化起見

我們把括弧裡面的數字

用一個比較簡單的符號來表示

所以這一串東西我們當作 R1

這一串東西我們當作 R2

這一串東西我們叫它 R3

那這個 X1 X2 X3

和 R1 R2 R3 中間的關係是什麼呢

你可以用矩陣跟向量相乘的方法

寫一個比較簡單的簡潔的寫法

我們剛才已經知道說

R1 R2 R3 也就是括弧裡面算完的結果

三個 Sigmoid 括弧裡面算完的結果

R1 R2 R3 跟輸入的三個 Feature X1 X2 X3

它們中間的關係就是這樣

把 X1 X2 X3 乘上不同的位置

加上不同的 Bias

也就是不同的 B 會得到不同的 R

那這三個式子這一連串的運算

其實我們可以把它簡化

如果你熟悉線性代數的話

簡化成矩陣跟向量的相乘

把 X1 X2 X3 拼在一起變成一個向量

把這邊所有的 W 通通放在一起

變成一個矩陣

把 B1 B2 B3 拼起來變成一個向量

把 R1 R2 R3 拼起來變成一個向量

那這三個式子你就可以簡寫成

有一個向量叫做 X

這個 X 乘上一個矩陣叫做 W

這個 W 裡面有九個數值

就是這邊的九個 W

就是這邊的九個位

X 先乘上 W 以後

再加上 B

就得到 R 這個向量

那這邊做的事情跟這邊做的事情

是一模一樣的

沒有半毛錢的不同

只是表示的方式不一樣而已

只是本來寫三個數字

裡面有一堆加加減減

有一堆還有什麼上標

還有什麼兩個下標

什麼看起來就讓人頭大

那把它改成線性代數比較常用的表示方式

X 乘上矩陣 W 再加上向量 B

會得到一個向量叫做 R

那所以這邊這件事情

在這個括號裡面做的事情

就是這麼一回事

把 X 乘上 W 加上 B 等於 R

R 就是這邊的 R1 R2 R3

我的電腦有點卡 微卡

沒辦法控制這個滑鼠

沒關係我可以控制

控制的就是 R1 R2 R3

那接下來這個 R1 R2 R3

就要分別通過 sigmoid function

我們實際上做的事情就是

把 R1 取一個括號

再做 exponential 再加 1

然後把它放到分母的地方

1 除以 1 加 exponential 負 R1

等於 A1

同樣的方法由 R2 得到 A2

把 R3 通過 sigmoid function 得到 A3

所以這邊這個藍色的虛線框框

裡面做的事情

就是從 X1 X2 X3

得到了 A1 A2 A3

接下來呢

我們這邊有一個簡潔的表示方法

是我們用 R

通過一個叫做 sigmoid function

我們用這個東西

我們這邊用這個符號

來代表通過 sigmoid function

然後呢

說我們得到了 A 這個向量

我們把 R1 R2 R3

分別通過 sigmoid function

但我們直接用這個符號來表示它

然後得到 A1 A2 A3

然後接下來呢

我們這個 sigmoid 的輸出

還要乘上 C1

然後還要再加上 B

我們這邊做的事情就是

把 A1 乘 C1 A2 乘 C2

A3 乘 C3 通通加起來

再加上 B

最終就得到了 Y

那這邊呢

如果你要用向量來表示的話

A1 A2 A3 拼起來

叫這個向量 A

C1 C2 C3 拼起來

叫一個向量 C

那我們這邊把這個 C 做 transpose

那 A 呢

乘上 C 的 transpose

再加上 B

我們就得到了 Y

所以這一連串的運算

剛才寫的那一個

我們說比較有彈性的式子

整體而言做的事情就是

X 輸入是 X

我們的 feature 是 X 這個向量

X 乘上矩陣 W

加上向量 B 得到向量 R

再把向量 R 通過 sigmoid function

得到向量 A

再把向量 A 跟

乘上 C 的 transpose

加上 B 就得到 Y

所以這上面這件事情

如果你想要用線性代數的方法

來表示它

用向量矩陣相乘的方法來表示它

就長得一副

這個樣子

那這邊的 R 就是這邊的 R

這邊的 A 就是這邊的 A

所以我們可以把這一串東西

放到這個括號裡面

再把這個 A 放到這裡來

所以把相同的東西並起來以後

整體而言就是長這個樣子

上面這一串東西

我們覺得比較

比較有彈性的這個 function

如果你要用線性代數來表示它的話

就是下面這個式子

W 再加上 B 通過 sigmoid function

乘上 C 的 transpose 加 B

就得到 Y

上面這一串就是下面這一串

就是我剛才寫的那個比較有彈性的 function

講來講去都是一樣的東西

只是不同的表示方式而已

上面這個是圖示化的表示方式

下面這個是線性代數的表示方式

其實都在講同一件事情

好,那接下來

接下來

在我們繼續講說

把這些未知的參數找出來之前

我們先再稍微

重新定義一下

我們的符號

這邊的這個 X 是 feature

這邊的 W

B C 跟 B

這邊有兩個 B 啊

但是這兩個 B 是不一樣的

這邊這個是一個向量

這邊是一個數值

你看他們的這個底色是不一樣的

這個是綠色這個是灰色

顯示他們是不一樣的東西

黃色的這個 W

把這個 B 把這個 C

把這個 B 統統拿出來

集合在這邊

他們就是我們的 unknown parameter

就是我們的未知的參數

那我們把

這些東西統統

拉直拼成一個

很長的向量

我們把 W 的

每一個 row 或者是

每一個 column 拿出來

這邊不管你是拿 row 或是拿 column 都可以啦

意思是一樣啦

你就把 W 的每一個 column 或每一個 row 拿出來

拼成一個長的向量

把 B 拼上來

把 C 拼上來

把 B 拼上來

這個長的向量我們直接用一個符號

叫做 Theta 來表示它

Theta 是一個很長的向量

裡面的第一個數值我們叫 Theta1

第二個叫 Theta2 這個叫 Theta3

那 Theta 這個向量裡面

有一些數值是來自於這個矩陣

有一些數值是來自於 B

有一些數值是來自於 C

有一些數值是來自於 B

那我們就不分了

反正 Theta 它統稱我們所有的未知的參數

我們就一律

統稱 Theta

好,那這邊

我們就是換了一個

新的,我們就重新改寫了

機器學習的第一步

我們重新訂了一個有未知參數的 function

那接下來我們就要進入

第二步跟第三步

那在我們進入之前

有沒有問題想要問的

好,那你看線上的人有要問問題嗎

好,我試著回答看看

我猜他的問題是說

我們其實要做 optimization 這件事

找一個可以讓 loss 最小的參數

有一個最暴力的方法

就是報收

所有可能的

未知參數的值,對不對

像我們剛才在只有 W 跟 B 兩個參數的前提之下

我根本就可以報收

所有可能的 W 跟 B 的組合

所以在參數

很少的情況下

甚至你有可能不用 gradient descent

不需要什麼 optimization 的技巧

但是

我們今天參數很快就會變得非常多

像在這個例子裡面

參數有一大把

有 W B 有 C 跟 B

串起來變成一個很長的項量叫 set

那這個時候你就不能夠用報收的方法了

你需要 gradient descent 這樣子的方法

來找出

可以讓 loss 最低的參數

好,希望這樣回答到他的問題

好,在座還有同學有問題嗎

來,請說

可以,非常

這個同學的問題是說

剛才的例子裡面有三個 sigmoid

那為什麼是三個呢

能不能夠四個五個六個呢

可以, sigmoid 的數目

是你自己決定的

而且 sigmoid 的數目越多

你可以產生出來的

piecewise linear 的 function 就越複雜

就是假設你只有三個 sigmoid

意味著你只能產生三個線段

但是假設你有越多 sigmoid

你就可以產生有越多線段的

piecewise linear 的 function

你就可以逼近越複雜的 function

但是至於要幾個 sigmoid

這個又是另外一個 hyperparameter

這個你要自己決定

我們在剛才的例子裡面舉三個

那只是一個例子,也許我以後不應該舉三個

因為這樣會讓你誤以為說

input feature 是三個, sigmoid 是三個

不是,就是說 sigmoid 幾個

你可以自己決定

這樣大家還有問題想問嗎

來請說

跟什麼 sigmoid

hard 的 sigmoid

首先它的 function

你寫出來可能會比較複雜

你一下子寫不出它的 function

但如果你可以寫得出它的 function 的話

你其實也可以用

hard 的 sigmoid

你想要用也可以

所以不是一定只能夠用

剛才那個 sigmoid

去逼近那個 hard sigmoid

完全有別的做法

等一下我們就會講別的做法

大家還有問題想要問嗎

如果目前暫時沒有的話

就請容我繼續講下去

那你知道這門課是

六點二十才下課啦

所以只要講到六點二十前

都是可以的,那如果你有事想要早點離開

也沒有問題

我們課程都是有錄影的

好,那接下來進入第二步啦

我們要定 loss

有了新的這個

model 以後

我們 loss 會不會有什麼不同啊

沒有什麼不同,定義的方法

是一樣的

只是我們的符號改了一下

之前是 L of W 跟 B

因為 W 跟 B 是未知的

那我們現在接下來的未知的參數

很多啦,你再把它一個一個

列出來,太累啦

所以我們直接用 theta 來統設

所有的參數

用 theta 來代表所有未知的參數

所以我們現在的 loss function

就變成 L of theta

這個 loss function 要問的就是

這個 theta 如果它是

某一組數值的話

會有多不好,會有多好

那計算的方法

跟剛才只有兩個

參數的時候其實是一模一樣

就你先給定

某一組 W B C T

跟 B 的值,你先給定

某一組 theta 的值,假設

你知道 W 的值是多少,把 W 的值

寫進去,B 的值寫進去

C 的值寫進去,B 的值寫進去

然後呢,你把一組

feature x 啊,代進去

然後看看你估測出來的 y 是多少

再計算一下跟真實的

level

之間的差距

你得到一個 1,把所有的

誤差通通加起來

你就得到你的 loss

那接下來下一步,就是 optimization

那 optimization 的 problem 跟前面講的

有沒有什麼不同呢?沒有

什麼不同,它是一樣的

所以就算我們換了一個新的模型

這個 optimization 的

步驟, optimization 的

演算法,還是 gradient descent

看起來其實沒有

真的太多的差別

我們現在的 theta

它是一個很長的向量

我們把它表示成 theta 1

theta 2, theta 3

等等

我們現在就是要找一組 theta

這個 theta 可以讓我們的 loss

越小越好,可以讓 loss 最小的

那一組 theta,我們叫做

theta 的 sum

好,那怎麼

找出這個 theta 的 sum 呢?

我們一開始要隨機選一個

初始的數值

那這邊叫做

theta 0,你可以隨機選

那之後也可能會講

也會講到更好的

找出始值的方法

我們現在先隨機選就好

那接下來呢

你要計算為分

你要對每一個

未知的參數

這邊用 theta 1, theta 2, theta 3 來表示

你要為每一個未知的參數

都去計算

它對 L 的為分

那

把每一個參數都拿去

計算對 L 的為分以後

集合起來,它就是一個

向量,這個向量

我們用 g 來表示它

這邊假設有一千個參數

那這個向量的長度

就是一千,這個向量

裡面就有一千個數字

這個東西有一個名字

就我們把

每一個參數對 L 的為分

集合起來以後,它有一個名字

這個向量有一個名字

叫做 gradient

那很多時候你會看到

gradient 的表示方法是這個樣子的

你把 L 前面放了一個

倒三角形

那這個就代表了

gradient,這是一個 gradient 簡寫的方法

那其實我要表示的就是

這個向量,L 前面放一個

倒三角形的意思就是

把所有的參數

theta 1, theta 2, theta 3 通通拿去對 L

做為分,就是這個

倒三角形的意思

那後面放 theta 0 的意思是說

我們這個算為分的位置

是在 theta 等於 theta 0 的地方

是在 theta 等於 theta 0 的地方

好,我們算出這個 gradient,算出這個 g 以後

接下來呢

我們就要 update 我們的參數了

我們就要更新我們的參數了

更新的方法跟剛才只有兩個參數的狀況

是一模一樣的

只是從更新兩個參數可能換成

更新成一千個參數

但更新的方法是一樣的

我們來有一個參數叫 theta 1

上標 0 代表

它是一個起始的值

它是一個隨機選的

起始的值

這個 theta 1 0 減掉

learning rate 乘上為分的值

得到 theta 1 1

代表 theta 1 更新過一次的結果

theta 2 0 減掉

learning rate 乘上

為分的值,得到

theta 2 1,以此類推

你就可以把那一千個參數

統統都更新了

那這邊有一個簡寫

就是你會把這邊所有的 theta

合起來當作一個向量

我們用 theta 0 來表示

這邊呢,你可以把 learning rate 提出來

那剩下的部分,為分的部分

每一個參數對 L 為分的部分

叫做 gradient,叫做 g

所以 theta 0 減掉 learning rate 乘上 g

就得到 theta 1

把這邊的所有的

這個 theta 統統集合起來

把這邊所有的 theta 統統集合起來

得到 theta 1

theta 0 減掉 theta 0 這個向量

減掉 learning rate 乘上 g

g 也是一個向量,會得到 theta 1

那假設你這邊的參數有一千個

那 theta 0 就是

一千個數值,一千維的向量

g 是一千維的向量

theta 1 也是一千維的向量

那整個操作就是這樣啦

就是有 theta 0

算 gradient

根據 gradient 去把 theta 0

更新成 theta 1

然後再算一次 gradient

然後根據 gradient

把 theta 1 再更新成 theta 2

再算一次 gradient

把 theta 2 更新成 theta 3

以此類推,直到

你不想做,或者是你算出來的

這個 gradient 是零向量

是 zero vector,導致你沒有辦法

再更新參數為止

不過在實作上,你幾乎不太可能

做出 gradient 是零向量的結果

通常你會停下來

就是你不想做了

好,但是實作上

那這邊是一個

實作的 detail 的 issue,之所以在這邊

就提它是因為助教的程式裡面

有這一段啦,所以我們必須要講一下

免得你看助教程式的時候覺得有點困惑

實際上

我們在做 gradient descent 的時候

我們會這麼做

我們這邊有大恩比資料

我們會把這大恩比資料

分成一個一個的

batch

就是一包一包的東西

怎麼分?隨機分就好

隨機分就好

好,所以每個 batch

裡面有大B比資料

所以本來全部有大恩比資料

現在大B比資料一組

大B比資料一組

每一組叫做 batch

怎麼分組?隨便分就好

隨便分就好

那本來我們是把

所有的 data 拿出來

算一個 loss

那現在我們不這麼做

我們只拿一個 batch 裡面的

data,只拿 B比

data 出來算一個 loss

我們這邊把它叫 L1

那跟這個 L 是區別

因為你把全部的資料拿出來算 loss

跟只拿一個 batch 拿出來的資料

拿出來算 loss 它不會一樣嘛

所以這邊用 L1 來表示

但是你可以想像說,假設這個 B 夠大

也許 L 跟 L1 會很

接近,也說不定

所以實作上的時候

每次我們會先選一個 batch

用這個 batch 來算 L

根據這個 L1 來算 gradient

用這個 gradient 來更新參數

接下來再選下一個 batch

算出 L2

根據 L2 算出 gradient

然後再更新參數

再取下一個 batch 算出 L3

根據 L3 算出 gradient

再用 L3 算出來的 gradient

來更新參數

所以我們並不是拿大 L 來算 gradient

實際上我們是拿

一個 batch 算出來的 L1 L2 L3

來計算 gradient

那把所有的 batch

都看過一次

叫做一個 APOC

每一次更新參數

叫做一次 update

所以你在文獻上常常會有人

聽到 update 這個詞彙

常常有人聽到 APOC 這個詞彙

那 update 跟 APOC

是不一樣的東西

每次更新一次參數

叫做一次 update

把所有的 batch 都看過一遍

叫做一個 APOC

至於為什麼要分

一個一個 batch

這個我們下週再講

但是為了要讓大家更清楚

認識 update 跟 APOC 的差別

這邊就舉一個例子

假設我們有 10000 筆 data

也就是大 N 等於 10000

假設我們 batch 的大小是這 10

也就是大 B 等於 10

接下來問你

我們在一個 APOC 中

update 了幾次參數呢

那你就算一下

這個大 N 個 example

10000 筆 example

總共形成了幾個 batch

總共形成了 10000 除以 10

也就是 1000 個 batch

所以在一個 APOC 裡面

其實已經更新了參數

1000 次

所以一個 APOC 並不是更新參數一次

在這個例子裡面

一個 APOC 已經更新了參數

1000 次了

第二個例子

假設有 1000 個資料

batch size 是 100

那其實 batch size 的大小

也是你自己決定的

所以這邊我們又多了一個

hyperparameter

所謂 hyperparameter 剛才講過

就是你自己決定的東西

人手設的東西

不是機器自己找出來的

叫做 hyperparameter

我們今天已經聽到了

Legendary 是個 hyperparameter

batch size

也是一個 hyperparameter

1000 個 example

batch size 是 100

那一個 APOC 總共

更新幾次參數呢 是 10 次

所以有人跟你說

我做了一個 APOC 的訓練

那你其實不知道他更新了幾次參數

有可能 1000 次

也有可能 10 次

取決於他的 batch size 有多大

好

那我們其實

還可以對模型

做更多的變形

剛才有同學問到說

這個 hard sigmoid

不好嗎

為什麼我們一定要

把它換成

soft sigmoid

你確實可以不一定要

換成 soft sigmoid

有其他的做法

舉例來說 這個 hard sigmoid

我剛才說

還是有點難寫出來

其實也沒有那麼難寫出來

他可以看作是兩個

rectified linear unit 的

加總

所謂 rectified linear unit

他就是長這個樣子

就是他有一個水平的線

走到某個地方

有一個轉折的點

然後變成一個斜坡

那這種 function 他的式子

寫成 c 乘上

b 加 w x1

這個 max 0 b 加 w x1 的意思就是

看 0 跟 b 加 w x1

誰比較大

比較大的那個就會被當作輸出

所以如果 b 加 w x1 小於 0

那輸出就是 0

如果 b 加 w x1 大於 0

輸出就是 b 加 w x1

總之這一條線

可以寫成 c max 0

b 加 w x1

那你調不同的 w

不同的 b 不同的 c

你就可以改變這條線的斜率

那這種線

在機器學習裡面

我們叫做 rectified linear unit

他的縮寫叫做 ReLU

名字唸起來蠻有趣的

他真的就唸 ReLU

那你把兩個 ReLU 疊起來

就可以變成

hard sigmoid

對不對

我們把這樣子的一個 ReLU

疊這樣子的一個 ReLU

把他們加起來

就變成 hard sigmoid

所以我們能不能用 ReLU 呢

可以

所以如果我們不要用 sigmoid

你想用 ReLU 的話

你就把 sigmoid 的地方換成 max

括號 0

pi 加 summation over w i j x i

那本來這邊只有

i 個 sigmoid 但我想說

你要兩個 ReLU 才能夠合成一個

hard sigmoid 嘛

所以這邊有 i 個 sigmoid

那如果 ReLU 要做到一樣的事情

就要兩倍的 ReLU

因為兩個 ReLU 合起來才是一個

hard sigmoid 嘛

所以這邊要兩倍的 ReLU

最後把 sigmoid 換成 ReLU

這邊就是把一個式子換了

因為要表示一個

這個 hard 的 sigmoid

表示那個藍色的 function 不是只有一種做法

你完全可以用其他的做法

那這個 sigmoid 或是 ReLU

他們在機器學習裡面

我們就叫他

activation function

他們統稱為 activation function

當然還有其他常見的

還有其他的 activation function

但 sigmoid 跟 ReLU 應該是今天

最常見的 activation function

那哪一種

比較好呢

這個我們下次再講

哪一種比較好呢

我接下來的實驗都選擇

用了 ReLU 顯然 ReLU 比較好

至於它為什麼比較好

那就是下週的事情了

接下來就真的做了這個實驗

這個都是真實的數據

真的做了這個實驗

如果是 linear 的 model

我們現在考慮 56 天

訓練資料上面的 loss

是 0.32k

沒看過的資料 2021 年的資料是 0.46k

如果用 10 個 ReLU

好像沒有進步太多

這邊

跟用 linear 是差不多的

所以看起來 10 個 ReLU 不太夠

100 個 ReLU

就有顯著的差別了

100 個 ReLU 在訓練資料上的 loss

就可以從 0.32k

降到 0.28k

100 個 ReLU 我們就可以製造

比較複雜的

曲線 本來 linear

就是一直線 但是 100 個 ReLU

我們就可以產生 100 個

有 100 個折線的 piecewise linear function

在測試資料上

也好了一些

接下來換 1000 個 ReLU

1000 個 ReLU 在訓練資料上

loss 更低了一些

但是在沒看過的資料上

看起來也沒有太大的進步

好

接下來還可以做什麼呢

我們還可以繼續改

我們的模型

舉例來說

剛才我們說從 x 到 a 做的事情

是什麼 是把 x

乘上 w 加 b

再通過 sigmoid function

不過我們現在知道說不一定要通過 sigmoid function

通過 ReLU 也可以

然後得到 a

同樣的事情

再反覆的多做幾次

剛才我們把 w

x 乘上 w 加 b

通過 sigmoid function

得到 a 我們可以把 a

再乘上另外一個 w'

再加上另外一個 b'

再通過 sigmoid 或 ReLU function

得到 a'

所以我們可以把 x

做這一連串的運算產生 a

接下來把 a 做這一連串的運算

產生 a'

我們可以反覆的多做幾次

要做幾次

這個又是另外一個

Hyperparameter

這是另外一個你要自己決定的事情

你要做兩次嗎 三次嗎 四次嗎

一百次嗎

這個你自己決定

不過這邊的 w 跟這邊的 w'

他們不是同一個參數

這個 b 跟這邊的 b' 他們不是同一個參數

我們是增加了更多的

未知的參數

接下來就真的做了實驗

我們就是

每次都加一百個 ReLU

那我們就是 input feature

就是五十六天前的資料

如果是

只做一次

只做一次

乘上 w 再加 b 再通過 ReLU

或 sigmoid 這件事只做一次的話

這是我們剛才看到的結果

兩次

這個 loss 降低很多

0.28k 降到 0.18k

沒看過的資料上

也好了一些

三乘又有進步

從 0.18k 降到

0.14k

所以從一乘

就是乘一次 w

到通過一次 ReLU

到通過三次 ReLU

我們可以從 0.28k

到 0.14k

在訓練資料上

在沒看過的資料上 從 0.43k

降到了 0.38k

看起來也是有一點

進步的

這個是

真實的實驗結果

我們來看一下

今天有通過三次 ReLU 的時候

做出來的結果怎麼樣

橫軸 剛才已經看過了

時間 就是日子

縱軸 是觀看的人次

是千人

紅色的線 代表的是真實的數據

藍色的線

是預測出來的數據

你會發現說

在這種低點的地方

你看紅色的數據是每隔一段時間

就會有兩天的低點

在低點的地方

機器的預測

還算是蠻準確的

它都準確抓到說這兩天就是低的

這兩天都是低的

這兩天就是低的

那這邊有一個神奇的事情

這個機器

高估了真實的觀看人次

尤其是在這一天

這一天有一個很明顯的低谷

但是機器

沒有預測到這一天有明顯的低谷

它是晚一天才

預測出低谷

那你知道是怎麼回事嗎

蛤

欸

論年 不是

因為還沒有到2月28號

欸

大家有什麼想法嗎

蛤

對

過年啊

這邊最低點是什麼

這邊最低點就是除夕啦

誰除夕還學機器學習對不對

所以

對機器來說你不能怪它

它根本不知道除夕是什麼

它只知道看前56天的值來預測

下一天會發生什麼事

所以它不知道那一天是除夕

所以你不能怪它

預測的不準

這一天就是除夕

好 那到目前為止

我們講了很多各式各樣的模型

現在還缺了一個東西

你知道缺什麼東西嗎

缺一個好名字

你知道這個外表啊

是很重要的

一個死臭酸宅穿上西裝以後

就潮了起來

或者是知習犯履的

說他是漢左將軍

宜臣廷侯中山晉王之後

也就潮了起來

對不對

所以我們的模型

也需要一個好名字

它們叫做Neuron

我們這邊有很多的Neuron

很多的Neuron叫什麼

很多的Neuron就叫做

Neuroneuro

Neuron是什麼

Neuron就是神經元

人腦中就是有很多神經元

很多神經元串起來

就是一個神經網路

跟你的腦是一樣的

接下來你就可以到處騙麻瓜

說看到沒有

這個模型就是在模擬人腦

普通智慧

然後麻瓜就會嚇得把錢掏出來

但是這個把戲

在80、90年代的時候

已經玩過了

Neuroneuro

不是什麼新的技術

80、90年代就已經用過了

當時已經把這個

技術的名字搞到臭掉了

Neuroneuro

因為之前吹捧的太過浮誇

所以後來

Neuroneuro這個名字都非常感冒

他就像是一個髒話一樣

寫在paper上面

就注定會害你的paper被拒絕

所以後來

為了要重振Neuroneuro的雄風

所以怎麼辦呢

需要新的名字

怎麼樣新的名字呢

這邊有很多的Neuron

每一排Neuron我們就叫他

一個Layer

他們叫Hidden Layer

有很多的Hidden Layer就叫做

Deep

這整套技術就叫做Deep Learning

我們就把Deep Learning

講完了

就是這麼回事

就是這樣來的

所以人們就開始

把類神經網路越疊越多

越疊越深

12年的時候有一個NXNet

他有八成

他的錯誤率是16.4%

兩年之後

VGG19成

他的錯誤率在影像辨識上

進步到7.3%

這個都是在影像辨識上

一個基準的資料庫

上面的結果

後來GoogleNet

有錯誤率降到6.7%

有22成

但這些都不算是什麼

ResidualNet

有152成

他比101還要高

但是這個ResidualNet

其實要訓練這麼深的Network

是有訣竅的

這個我們之後再講

但是講到這邊

如果你仔細思考一下

我們一路的講法的話

你有沒有發現一個

奇妙的違和的地方

不知道大家有沒有發現

什麼樣違和的地方呢

我們一開始說

我們想要用ReLU或者是Sigmoid

去逼近一個複雜的function

實際上

我們只要夠多的ReLU

夠多的Sigmoid

就可以逼近任何的

連續的function

我們只要夠多的Sigmoid

就可以製造夠複雜的線段

就可以逼近任何的continuous function

所以我們只要一排ReLU

一排Sigmoid夠多就足夠了

那深的意義

到底何在呢

把ReLU Sigmoid反覆用

到底有什麼好處呢

為什麼不直接排一排呢

不可以表示任何function

所以把它反覆用

沒什麼道理啊

所以有人就說把Deep Learning

把ReLU Sigmoid反覆用

不過是個噱頭

你之所以喜歡Deep Learning

只是因為Deep這個名字好聽

ReLU Sigmoid排成一排

你只可以製造一個肥胖的Neural

Fat Neural Neural

跟Deep Neural Neural聽起來

量級就不太一樣

Deep聽起來就比較厲害

到底Deep的理由

為什麼我們不把Neural變胖

只把Neural變深呢

這個是我們日後

要再講的話題

那有人就說

那怎麼不變得更深呢

剛才只做到三層

應該要做得更深嘛

現在Neural都是疊幾百層啊

沒幾百層都不好意思說

你在做Deep Learning

所以要做更深

所以確實做得更深

它的Loss是0.1K

在沒有看過

2021年的資料上

是如何呢

是0.44K

慘掉了 怎麼會這樣子呢

在訓練資料上

三層比四層差

四層比三層好

但是在沒看過的資料上

四層比較差 三層比較好

在有看過的資料上

在訓練資料上

跟沒看過的資料上

是不一致的

這種訓練資料

跟沒看過的資料

它的結果是不一致的狀況啊

這個狀況叫做

Overfitting

常常聽到有人說機器學習會發生Overfitting的問題

指的就是在訓練資料上

有變好 但是在沒看過的資料上

沒有變好

這件事情

但是做到目前為止

我們都還沒有真的

發揮這個模型的力量

你知道我們要發揮這個模型的力量

2021年的資料

到2月14號之前的資料

我們也都已經手上有了啊

所以我們要真正做的事情

是什麼 我們要做的事情

就是預測未知的資料

就是預測未知的資料

但是如果我們要預測未知的資料

我們應該選三層的Network

還是四層的Network呢

舉例來說 今天是2月26號

今天的觀看人數

我們還不知道

如果我們要用一個Neural Network

用我們已經訓練出來的Neural Network

去預測今天的觀看人數

你覺得應該要選

三層的還是選

四層的呢

這個我們來問一下大家的意見吧

你覺得應該選三層的同學

舉手一下

手放下

應該選四層的同學舉手一下

好 比較少

至於怎麼選模型

這個是下週會講的問題

但是大家都非常有Sense

知道我們要選三層的

多數人都決定要選三層的

你可能會說我怎麼不選四層呢

四層在訓練資料上的結果比較好啊

可是我們並不在意訓練資料的結果啊

我們在意的是

沒有看過的資料

而2月26號

是沒有看過的資料

我們應該選一個在訓練的時候

沒有看過的資料上表現會好的模型

所以我們應該選

三層的Network

你可能以為這門課就到這邊結束了

其實不是

我們真的來預測一下

2月26號應該要有的

觀看次數是多少

但是因為其實YouTube的

統計他沒有那麼即時啦

所以他現在只統計到2月24號

沒關係我們先計算一下

2月25號的

觀看人數是多少

這個三層的Network告訴我說

2月25號這個頻道的

總觀看人次應該是

5250人

那我們先假設2月25號是對的

但實際上我們還不知道2月25號對不對

因為YouTube後台統計的數據

還沒有出來啊

但我們先假設這一天就是對的

然後再給我們的模型去預測

2月26號的數字

得到的結果是

3.96K

有3960次

那個班為什麼這邊特別低

因為模型知道說這個禮拜五觀看的人數

就是比較少啦

所以特別低聽起來也是合理

但是

你覺得這個預測

跟這邊的

0.38K比起來

哪一個會

比較準確呢

你覺得

我們下週來看看2月26號

實際的值

是多少

但是你覺得這個值

他跟真實值的誤差

會小於0.38K的同學

舉手一下

覺得大於0.38K的同學

舉手一下

大家都對我這麼沒有信心

好我們就來看看

這個下一週誤差

會有多少

當然我想應該是不會準啦

這麼多人都覺得誤差會大

你們回去每個人都去點那個影片的話

哇誤差就大了啊

今天講這麼久其實就是騙大家去點影片而已啦

好那今天其實就講了深度學習

那今天講的不是一般的介紹方式

如果想要聽一般的介紹方式

過去的課程影片也是有的

我就把連結附在這邊

然後深度學習的訓練

會用到一個東西叫backpublication

其實他就是比較有效率算gradient的方法

跟我們今天講的東西沒有什麼不同