我們來看看真正在做Gradient Descent的時候,感覺起來像是什麼樣子。

真正在做Gradient Descent的時候,你要想成你好像是在玩《世紀帝國》一樣。

《世紀帝國》大家知道嗎?在這個遊戲裡面呢,你可以操縱著一個單位,在地圖上探索。

那這個地圖上呢,多數的位置都是有戰物所覆蓋的,都是黑的,都是你看不到的。只有你的單位走過的地方,你才知道那邊長什麼樣子。

那現在呢,我們想像我們在做Gradient Descent。這個地圖上的海拔就是我們的Loss Function的值。

那我們現在呢,要來找海拔的最低點。我們現在操控的這個單位,這是一個衝撞車,這個衝撞車所在的位置呢,就代表了一組參數。

現在我們要Gradient Descent的方法,改變這個衝撞車的位置,調整我們的參數,找到Loss最低的地方。

那用Gradient Descent的方法怎麼做呢?首先,先隨機出示一個位置。那我們現在隨機出示的位置呢,就在這個地方。

好,那我們現在呢,看看周遭,看看哪邊比較低,就往比較低的地方呢,走一步。

哦,發現一隻羊耶,看看哪邊比較低,這邊比較低,再往這邊走一步,又發現另外一隻羊。那再來看看哪邊比較低,好像這邊比較低,再往前走一步。

好,好像前面比較遺跡的地方比較低,再往前走一步。好,那我們找到遺跡這個地方,那環顧四周呢,發現說遺跡的地方呢,是最低點,它比四周呢,都還要低。

哦,所以遺跡的地方是一個Local Minima,那這個Local Minima,它是不是一個Global Minima呢?我們永遠不會知道,為什麼?除非你開天眼,開天眼大家知道嗎?開天眼,我來試著開一下天眼。

密集好像是Marco,對不對?你要開天眼才能夠看到整個地圖上面所有的地貌,但是我沒有開天眼,所以你永遠不知道說你所在的位置,它是,你所在的這個Local Minima,它到底是不是一個Global Minima。