所以今天我們就進入第四章,第四章要講Subspace,那第四章要教我們什麼呢?

第四章教我們的是這樣的一件事,第四章要教我們的事情是說同樣的vector或同樣的operation,

這些所謂的operation指的就是一個矩陣,我們知道矩陣可以看作是一個linear transform,可以看作是一個function,或者是看作是一個operator。

同樣的vector或者是operator,它們如果從不同的觀點來看待,它們就是不一樣的。

這邊所謂的觀點指的是什麼呢?這邊所謂的觀點指的是coordinate system,這個我們在以下的課程會講到。

所以今天這個第四章告訴我們的事情就是說,同一個東西它就是那個樣子,但是你用不同的觀點來看待,它就是不一樣的。

這讓我想到莊子的奇物論,我們來跟大家上一下博文課。

莊子的奇物論是怎麼說的呢?它說,明失寢則夭疾偏死。夭疾偏死是什麼意思呢?偏死是半癱的意思,就是說,如果人都睡在濕地裏面,你的床都很濕的話,你睡在很潮濕的地方的話,你就會生病,你就會癱瘓。

這個字怎麼念呢?這個字念丘,它就是泥丘的意思。丘然乎哉,泥丘會這樣子嗎?木處則醉立尋懼。木處是什麼意思呢?木處就是呆在樹上的意思,醉立尋懼就是很害怕的意思,這四個字都是害怕的意思。

然後猿猴然乎哉,就是說,如果人住在高處,你就會很害怕,但是猿猴會這樣子嗎?三者孰知正處。所謂的三者的意思,指的就是明、丘和猿猴。三種生物,誰才知道哪邊是正確的住的地方呢?

明石除篆,除篆是什麼意思呢?除篆是牲畜的意思,就是人吃牛羊,麋鹿食箭,箭是草的意思。

吉居甘黛,吉居甘黛是什麼意思呢?甘是這邊當動詞用的,甘就是食的意思,就是吃的意思。吉居是什麼意思呢?吉居是蜈蚣,黛是蛇。吉居甘黛就是說蜈蚣會吃蛇,這個就有點奇怪,我不知道為什麼會這樣子。

吃鴨適屬,四者孰知正味。四者的意思指的是,明、麋鹿、吉居、吃鴨,他們都吃不一樣的東西。四者孰知正味,就是誰知道真正應該吃的東西是什麼。

袁遍居以為馳,這個句子有點難以理解,這個句子其實是道莊,應該是袁以遍居為馳的意思。你應該把以拿到前面去,袁就是袁侯,遍居其實也是一種生物,你就把它當作是袁侯好了,就是袁跟遍居是在一起的。

謎語路交,秋雨餘游,茅牆西施,人之所眉也,魚見之深入,鳥見之高飛,麋鹿見之絕晝,四者孰知天下之正色哉。

有人覺得茅牆西施是美女,但是魚、鳥還有麋鹿見到就會跑掉,那誰才知道什麼是美的呢?

這個就是第四章想要告訴我們的事情。

第四章是先從subspace開始講起。subspace是什麼呢?這個在課本的第四之一,如果你想知道在課本的哪裡的話,在chapter第四之一。

subspace是什麼呢?subspace的意思是說,有一些vector set,我們可以把它叫做subspace,並不是所有的vector set你都可以把它叫做subspace。

有一些vector set,它可以被叫做subspace,如果它滿足以下三個特性的話,哪三個特性呢?

第一個是,這一個vector set,它一定有包含一個zero vector,這是第一個特性。

第二個特性是,在這個vector set裡面,你任意sample出兩個vector,u跟v,你從這個vector set裡面拿出u跟v,保證推的什麼呢?

保證推的u加v,u跟v的相加一定在這個vector set裡面,這是第二個條件。

第三個條件是說,如果今天有一個vector u,它在vector set v裡面,然後c是任意一個scalar,

那你把這個scalar c乘上u,得到一個新的vector cu,這個新的vector cu,它仍然會在vector set v裡面。

第二個條件叫做close under addition,也就是說,你把vector set裡面的任何兩個vector拿出來相加,它仍然逃不出這個vector set,它仍然在vector set裡面。

第三個條件叫做scalar multiplication,它的close under scalar multiplication,它的意思是說,任何的vector,如果在這個vector set裡面,

那你把它乘上,不管乘上多少倍數,乘負一倍、乘兩倍、乘三點三倍,通通都在這個vector set裡面。

那你會發現說,其實如果你把第二個條件跟第三個條件合起來看的話,

把第二個條件跟第三個條件你可以合起來看,怎麼把它合起來看呢?

合起來看,你可以用一句話來統括第二個條件跟第三個條件,就是如果你把這個vector set裡面的vector做linear combination,它仍然在這個vector set裡面。

把這個vector set裡面的vector做linear combination,它仍然在vector set裡面。

好,那有同學會有一個問題是說,感覺好像第一個條件有點多餘,不知道為什麼要有第一個條件。

那我認為第一個條件存在的理由是,它至少必須要確保說,這一個vector set不是空集合。

在我們講subspace的時候,空集合不是一個subspace。

那如何確保我們今天所有的subspace都不是空集合呢?因為你會發現,空集合其實符合下面這兩個條件,對不對?

因為空集合裡面沒有任何的element,沒有任何的vector。

所以你說,如果一個vector set裡面有u跟v,那u加v一定要包含在v裡面。

或者說,如果一個vector set裡面有u,那c倍的u一定要在這個vector set裡面。

但是因為空集合裡面沒有任何vector,所以它前提是不成立的。

那前提不成立,那你的結論不管是成立或不成立都是真,對不對?大家在邏輯都有學過。

所以一個空集合是符合第二個條件跟第三個條件的。

但是因為今天在定義vector space的時候加了第一個條件,就是至少要包含一個vector zero,所以一個空集合就不是一個subspace。

所以如果有人問你說一個空集合,比如說考試問你,你的考試會是在考是非題的,這個大家知道嗎?

我看你好像很驚訝的樣子,考試是會考是非題的,所以你至少可以在是非題拿到一半的分數,對不對?

是非題如果問你一些什麼,空集合是不是subspace,那你就知道說,空集合沒有包含zero vector,所以它不是subspace。

雖然它滿足第二個條件跟第三個條件,但是它沒有滿足第一個條件。

好,那接下來就是舉一些例子,告訴大家說subspace長什麼樣子。

舉例來說,我這邊有一個vector set,它是一個三維的vector。

這個vector set裡面的三個element,w1,w2,w3,滿足以下這一個式子。

6w1減5倍w2加4倍的w3等於0。

好,那這一個vector set,它是不是一個subspace呢?

那你就用subspace的三個條件來檢查一下。

第一個條件是,這一個vector set有沒有包含zero vector呢?

那你要做的事情就是檢查zero vector有沒有符合上面這邊寫的這個式子。

那就檢查一下,秒算,有符合上面這個式子,所以第一個條件是符合的。

好,接下來第二個條件是說,u跟v屬於w,那u加v是不是屬於w呢?

u跟v都落在這個vector set裡面,u加v是不是落在這個vector set裡面呢?

那我們就現在假設說,有一個vector u,它三個component是u1,u2,u3,落在這個vector set裡面。

有一個vector叫v,它的三個component是v1,v2,v3,也落在這個vector set裡面。

那u加v,也就是u這一個vector,它的每一個component是……

你知道我為什麼停下來嗎?因為我發現寫錯了。

這個應該是2,這個應該是3。

那有一個新的vector u加v,它有沒有落在這個vector set裡面呢?

你就把這一個vector u加v,帶到上面這個式子裡面去算算看。

如果下面這個式子,把這個u加v帶進去,如果這個式子等於0的話,

那這個vector set就符合subspace的第二個條件。

那下面這個式子會等於0嗎?你把所有的u都整理起來,你把所有的v都整理起來。

因為你知道說,u在這個vector set裡面,v也在這個vector set裡面。

所以你知道說,左邊這個第一個括號裡面是0,第二個括號裡面仍然是0。

所以0加0等於0,所以第二個property是滿足的。

第三個property呢,u在vector set裡面,c乘上u是不是在vector set裡面呢?

你就假設u在vector set裡面,然後把c乘上u帶到上面這個式子裡面,看它有沒有符合。

那我們就把c乘上u1,c乘上u2,c乘上u3依次帶進去,那你可以把c提出來。

把c提出來以後就發現說,括號裡面這一項它是等於0的,因為u屬於w這個vector set。

所以第三個property也是滿足的。

所以今天w這個vector set,它滿足subspace的三個特性,所以我們知道說它是一個subspace。

接下來就是更多的例子了。

這個c倍的w,假設有一個vector叫做w,我們把它乘上c倍,c可以是任何的時數,把w乘上各種不同的c統統集合起來,產生一個新的vector set叫v。

這個vector set它是不是一個subspace呢?如果w是二維的話,它其實就是一條直線,假設w是這個方向的話,今天這個vector set v就是落在這一條直線上面的所有的向量。

沒有人覺得它不是一個subspace,沒錯,它是一個subspace。

那何以見得呢?這個我們就不要再反覆你可能已經知道的東西,就是把subspace那三個條件一一檢查,如果檢查都有通過,它就是一個subspace。

那這邊有另外一個vector set,這個vector set是一個二維的vector,它是由二維的vector所組成的,它是第一個component大於等於零,第二個component大於等於零的vector所組成的vector set。

所以它其實是什麼呢?它其實就是第一項線,落在第一項線裡面所有的vector所成的集合。

它是一個subspace嗎?你覺得它是一個subspace的同學舉手一下。好,你覺得它不是一個subspace的同學舉手一下。好,手放下來,這個大家可能會覺得比較不確定,那我們就來檢查一下它是否有滿足subspace的種種性質。

第一個是先檢查有沒有zero vector,有zero vector,結束。第二個性質是說,在這裡面找到一個vector v,在這裡面找到一個vector u,把它們加起來,一定要落在這個vector set裡面。

這件事情好像也成立,但是它不成立的是第三個條件,如果你今天有一個vector v,或者是你有一個vector u,你把這個vector u乘上負一倍,它就掉出這個vector set外面了。

本來你有一個vector,它是長這樣,我們說這個vector叫做vector u,你把它乘上負一倍,它就反過來,落到第三項線去了,它就掉出了你的vector set。

所以這一個vector,這一個vector set,我這邊寫說S1,它不是一個subspace。好,那下一個問題,今天假設有一個vector set S2,它是一個二維的向量所組成的集合,那這些二維的向量它的第一維和第二維滿足下面這個條件,第一維的平方等於第二維的平方,那它會是一個vector set嗎?

它會是一個subspace嗎?想想看subspace的三個條件,也許你可以先想想看這一個vector set到底長什麼樣子,這個vector set長什麼樣子呢?

W1的平方等於W2的平方,意思是說今天W1跟W2的絕對值是一樣的,所以這個vector set就是在二維的平面上打一個叉叉,落在這個叉叉上面的vector,就是這個vector set的component。

那它是一個subspace嗎?覺得它是一個subspace的同學舉手一下。你覺得它不是subspace的同學舉手一下。好,手放下,所以多數同學都覺得它不是一個subspace,為什麼呢?

因為你就檢查一下subspace的種種特性,它有包含zero vector,如果先講第三個條件的話,在這個vector set上取一個vector,把它乘上c倍,它都仍然在這個集合裡面,都仍然在這個vector set裡面。

但是如果今天看第二個條件的話,這一個S2這個vector set它是沒有滿足第二個條件的,怎麼說呢?如果我在這邊取一個vector,這邊取一個vector,然後把它加起來,那就變成這樣的vector,它就落到了這個vector set外面。

或者是說我們看下面這個例子,你取1 1這個vector,它是S2的一個component,是S2的一個成員,你取這個vector-1 1,它是S2的成員。

那你把這兩個vector加起來,也就是按照subspace的第二個property,把這兩個vector加起來,得到一個新的vector,也就是0 2,0 2這個vector它並沒有落在S2裡面,0 2這個vector它並沒有落在S2裡面,所以S2不是一個subspace。

那Rn呢?所有的n微的向量所乘的集合,你覺得它是一個subspace嗎?你覺得它是一個subspace的同學舉手一下,手放下,你覺得它不是一個subspace的同學舉手一下,沒有。

所以Rn呢?它是一個subspace,你就仔細檢查一下它滿足subspace的所有的特性。

那有一個vector set,它只有zero vector,它是一個subspace嗎?你覺得它是一個subspace的同學舉手一下,手放下,你覺得它不是一個subspace的同學舉手一下,沒有。

你想想看,它其實滿足subspace的種種特性,雖然它裡面只有一個element,但是它有滿足第一個特性,它有zero vector。

那再來從這個vector set裡面呢,隨便挑兩個vector,那你挑出來都是0啦,相加還是0,從這個vector set裡面挑一個vector出來乘上c倍,其實挑出來也是0,那乘上c倍也還是0。

所以這個vector set只有一個zero的vector,但是它滿足subspace的種種特性,所以它也是一個subspace。

但是它很特別,所以就改了一個名字,它叫做zero subspace。

你想想看,它的特別之處是在於除了zero subspace以外,其他的subspace都有無窮多的component,都有無窮多的element在裡面,都有無窮多的成員在裡面,但是zero的subspace,它只有zero vector這個成員,但它也是一個subspace。

好,那接下來要講的是subspace跟span之間的關係。subspace跟span有什麼關係呢?我們之前有講過span,我們說span是什麼呢?

span是說把一個vector set做了span這個operation以後,你會得到一個更大的vector set,所以span of a vector set是一個更巨大的vector set。

那這邊要告訴大家的是說,span所產生出來的那個vector set一定是subspace,span所產生出來的vector set一定是一個subspace。

怎麼說呢?假設我們有一個vector set S,那我們說V是S的span,你把S做span以後產生V,那它是否符合subspace的三個條件呢?

那這個是秒知道這樣子,秒知道顯然成立。第一個條件是zero vector有沒有在V裡面呢?zero vector有在V裡面。

因為我們知道span就是把所有的vector拿來做linear combination,如果你所有的coefficient,所有的係數通通都是0,把所有的W通通都乘上0的話,那就得到zero vector。

所以zero vector在V裡面,zero vector在V裡面。那如果U跟V在V裡面,U加V是不是也在V裡面呢?那顯然這件事情是成立的,對不對?顯然這件事情是成立的。

假設你有一個U,那U它是把W1到Wk用C1,C2到Ck,這k個element做linear combination所得到的vector。

那假設有另外一個vectorV,這個vectorV它是C1',C2'到Ck',這k個coefficient做linear combination以後得到V。

假設U是把C1到Ck乘上W1到Wk所得到的結果,假設V是C1'到Ck'乘上W1到Wk所得到的結果。

那U加V它就是C1加上C1'然後C2加上C2'到Ck加上Ck'這一組coefficient對這k個vector做linear combination的結果。

所以property2顯然是成立的,那property3我們就不用多講,你可以想一下說它顯然是成立的。

如果U這個vector它在S的span裡面,在V裡面,那C倍的U也會在S的span裡面,也會在span以後的vector set裡面。

所以我們今天學到什麼,我們今天學到說一個vector set的span,span的結果,span出來的那個subset,它一定是span出來的那個vector set,它一定是一個subspace。

就並不是隨便拿一個vector set出來它都會是subspace,但是你把任何的vector set做span以後,它span後的結果,span出來新的那個大的vector set,它都會是一個subspace。

但是反過來呢,反過來會成立嗎?反過來其實也是成立的,所以反過來的意思是說,每一個subspace都是由,都可以看作是由某一個vector set做span而成的,那這個是下一節課會講的東西。

好,那接下來是要講一些有名有姓的subspace,因為有一些subspace很常被提到,所以它是有特別的名字的。

第一個我要介紹的是null space,null space是什麼呢?null space是說,如果有一個vector A,它的所有的ax等於0的solution所構成的集合,有一個vector A,然後有一個這個homogeneous的equation,ax等於0,

它的solution所構成的集合呢,叫做A這個matrix的null space,那通常就寫成null A,好,那如果你要把式子列出來的話呢,寫成是這樣子,null A是一個vector set,在這個vector set裡面,每一個vector跟A相乘呢,你會得到zero vector。

那它是不是一個subspace呢?這邊我們就不用證明,你就用subspace的三個特性去check,它是不是一個subspace,那這一個equation,它的solution所構成的集合,會是一個subspace,好,所以null A,這個是介紹null space。

那還有很多其他的space,介紹一個東西叫做column space,column space是什麼東西呢?column space就是說,我們把matrix A的column都做span,然後呢,我們就得到column space,那column space呢,縮寫成COLA,好,那如果你要把它寫成式子的話,

你就說,假設我有一個matrix A,我一個matrix A,這matrix A呢,是一個m by n的matrix,那matrix A的column space長什麼樣子呢?matrix A的column space就是重取所有n-為的vector,把所有n-為的vector都跟matrix A相乘,把所有n-為的vector都跟matrix A相乘。

也就拿所有各種不同的component,去把A的column做linear combination,得到的向量的集合,就是A的column space,好,所以再說明一下,所以再反覆說一次就是說,COLA就是matrix A的column space,它是所有的column的linear combination,

它是把A的column當作一個vector space,把它做span以後的結果,那如果我們現在把matrix A看作是一個function,那matrix A的column space有什麼樣的含義呢?

假設把matrix A看作是一個function,那matrix A的column space,它就是這個function的range,它就是這個function的range,大家還記得range是什麼嗎?range就是一個function它所有可能輸出的集合,叫做一個range。

那我們說matrix A的column space,就是把所有可能的vector跟A去做相乘,相乘以後的結果就是matrix A的column space,那把所有的vector去跟A相乘以後所得到的結果,就是如果把A當作一個function的話,它所有可能的輸出的集合。

所以A的column space,就是A所代表的那個function,它的range。

那matrix A還有一個space叫做row space,row space是什麼意思呢?

row space寫成row A,row space顧名思義就是把matrix A的所有的row做linear combination,或把matrix A的所有的row做span,就是matrix A的row space。

或者是你也可以換句話說,matrix A的row space,其實就是matrix A的transpose的column space,因為你把matrix A的row做span,等同於把A的transpose做span。

對不對,matrix A它的row是長這樣子,把它做transpose以後就變成這樣子,所以matrix A它的row做span的結果,它的row space,等於A的transpose,它的column做span的結果,等於matrix A的transpose的column space。

好,那曉燈大家有問題要問的嗎?沒有嗎?那剛才有講過column space就等於是一個function的range,column space就等於是一個function的range。

舉例來說,我們現在有一個function叫做大T,那大T它是linear的function,它的input是一個四維的vector,它的output是一個三維的vector。

那我們說每一個linear function的背後,其實都對應了一個matrix,那如果你要把大T的這個function,它背後所對應的matrix把它畫寫出來的話,它背後所對應的matrix是長這個樣子的。

好,那這邊我想就不需要再做更進一步的說明,你應該都可以看出來說,大T這個function,它背後所對應的matrix A長的是這個樣子,因為大T這個function,它的第一個,就是你輸入x1到x4,它的第一維的輸出是x1加兩倍的x2加一倍的x3減掉一倍的x4。

所以今天A這個matrix,它的第一個row就是121-1,正好對應到第一個dimension的輸出,它的係數是121-1,這樣,121-1。

每一個linear transformation背後都對應到一個matrix,那這個linear transformation它的range,也就是說這一個function,它所有可能的輸出所構成的集合,就是它背後所對應到的這一個matrix A的column的linear combination。

你就把這一個matrix A,它的四個column都拿出來,然後呢,做spec,做各種不同的linear combination,那得到的結果就是這一個function T的range。

好,那之前呢,我們講過,在講RIEF的時候呢,我們講了一個column的correspondent theory,我們說matrix A跟它的reduced row algebra form R之間呢,有一些特殊的關係,什麼樣特殊的關係呢?

我們說column有column的correspondent theory,也就是matrix A跟matrix R它們之間column的關係永遠都是固定的,但是matrix A跟matrix R它們的column span是不一樣的,也就是說matrix A的column space跟matrix R,跟它reduced row algebra form matrix R的column space是不一樣的。

那如果是row呢,我們說做完reduced row algebra form以後,row之間的關係會改變,但是這個row的span不會改變,也就是說matrix A的row space跟它的reduced row algebra form R之間的row space會是一樣的。

最後呢,我們再來看一下consistency,今天因為我們定義了,知道了column space是什麼,所以我們又多了一個terminology,多了一個詞彙,可以來描述consistency這件事。

我們之前說AX等於B有solution叫做consistent,那我們說AX等於B有solution這件事情等同於B是A這個matrix的column的linear combination,又等同於B是落在A的column的span裡面。

那B是落在A的column的span裡面,又等同於什麼呢?你就這邊都只是換句話說而已,B落在A的column的span裡面,你現在可以用更簡潔的方法來描述它,就說B在A的column space裡面。

所以如果我告訴你說B在A的column space裡面,那我意思就是告訴你說AX等於B是有解的。

所以也許有人會問你說,今天給你一個matrixA,那如果他今天問你的問題是,U有沒有落在A的column space裡面,或者是V有沒有落在A的column space裡面,那你怎麼知道U有沒有落在A的column space裡面,V有沒有落在A的column space裡面呢?

你要做的事情其實就是看AX等於U有沒有解,如果它有解,那U就在A的column space裡面,如果它無解,那U就不在A的column space裡面。

所以你只要知道U是不是在A的column space裡面,你就解AX等於U這個equation,那怎麼解AX等於U這個equation呢?

這我們之前都已經講過了,你就把A跟U的augmenting matrix拿出來,然後課本有一個很複雜的運算,考完試以後你就不可能會記得了,通常都是用計算機算,通常如果是什麼matlab、python,你都是call一個function叫rref,它自己幫你算出reduce row hlf,長這樣。

reduce row hlf長這樣,是有solution的還是沒有solution的呢?

沒有solution,沒錯,我們說如果你今天有某一個row只有最後一位有值,那它是沒有solution的,所以我們現在就知道說U並不落在A的column space裡面,就這麼簡單。

那V有沒有落在A的column space裡面呢?你就解個AX等於V這個system of linear equation,那解完的結果,那你其實就是算這個A跟V的augmenting matrix的reduce row hlf,那算出來長這樣,那它有沒有solution呢?它有solution,所以V在A的column space裡面,就這樣。

所以這個是今天這門課的結論,這堂課講了很多東西,那其實唯一你需要記得的就是subspace的定義是什麼,那subspace它的特色就是它有三個property,它是close,under,addition和multiplication。

最後這邊有一張圖啦,這個圖我覺得也實在是非常的牽強,但是我講到這個space的時候呢,我就想到基督的抓謎藏空間,但大概沒有人知道基督是誰啦,基督就是這個暴男,然後只要進入他的抓謎藏空間呢,就沒有辦法出來,就跟subspace一樣。

在subspace裡面的vector,不管它們怎麼相加相乘,都在subspace裡面,都永遠沒有辦法出來,就跟基督的抓謎藏空間一樣,就被關進去以後,沒有任何方法可以出來。

基督其實還有另外一個能力,我記得叫做紋路戰庫,雖然沒有人知道,而且沒有人知道那個能力是長什麼樣子,結束了。