好,我們今天要講ossogono的basis,那我們已經講過ossogono是什麼,那也講過ossogono的prediction,那今天呢,要來講ossogono的basis。

好,那今天呢,首先第一個呢,就是要定義什麼是ossogono的basis,然後還會告訴大家一個之前沒有講過的專有名詞,它叫ossonomo。

好,那我們說一個vector set它是一個ossogono的vector set,是什麼意思呢,意思就是說這個vector set裡面呢,每兩兩的vector拿出來,它都是ossogono的,就這樣,這個定義非常的直覺。

所以今天,假設給你一個vector set S,它裡面有三個vector,那你如何知道它是不是一個ossogono的vector set呢,你就把這三個vector兩兩拿出來,看它是不是ossogono的。

所以你就把第一個vector跟第二個vector拿出來,算一下它是不是ossogono的。你把第二個vector跟第三個vector拿出來,算一下它是不是ossogono的。你把第一個vector跟最後一個vector拿出來,算一下它是不是ossogono的。

你會發現說它們都是ossogono的,那這個vector set就是一個ossogono的vector set。好,那接下來問大家一個非常直覺的問題,你覺得ossogono的vector set,它會是independent的,還是不一定呢?

從這個例子上看起來,這個例子,這三個vector,它是independent的。那聽起來ossogono這個東西,聽起來就非常的independent,對不對?

所以你想想看,ossogono就是在二維三維空間裡面就是垂直,那在二維三維空間中找垂直的vector,那垂直的vector它們應該都是independent的吧,對不對?就是在三維空間中,三個垂直的vector顯然是independent的。

那接下來就問大家的問題就是,你覺得ossogono的vector set,它一定是independent的嗎?你覺得ossogono的vector set,它一定是independent的,同學舉手一下。

好,手放下,你覺得它不一定是independent的,同學舉手一下。好,手放下。好,那它到底是不是independent的呢?如果有人問你說一個ossogono的vector set是不是independent的呢?其實答案是否的。

但是ossogono的vector set如果滿足一些條件,它就會變成是independent。那這個性質其實是非常重要的。ossogono的vector set,它在滿足某一個條件之下,它就會是independent。

什麼樣的條件呢?如果一個ossogono的vector set,它裡面的vector都是nonzero的,這個很重要,所以特別把它用紅字標出來。如果一個ossogono的vector set,它裡面所有的成員都是nonzero的,那它就是ossogono的,就結束。

好,那這個證明呢,我們就講一下。怎麼說呢?假設你現在有一個ossogono的vector set v1到vk,那我們要先強調一下,這個v1到vk,所有的v都不為0,都不是zero vector。

好,那接下來呢,我們如果要證明一個vector set,它是不是independent的,那通常你的起手式就是根據independent的定義,把式子列出來。

這個定義就是說,今天我們把v1、v2到vk,乘上c1、c2到ck,做linear combination以後,等於0。如果今天c1、c2到ck,就那些係數一定是0的話,那就代表說這個vector set是independent的。

就是按照independent的定義來,通常你要證明一個vector set是不是independent的時候,你就通常就是把這個式子列出來。

現在呢,我們把c1、v1加c2、v2,一直加到ck、vk,跟這個vector set v1到vk裡面的某一個vector vi,做搭發打。做完搭發打以後,因為ossogono的特性,所以v1乘vi會等於0,v2乘vi會等於0,vk乘vi會等於0。

唯有當vi乘vi的時候,它不等於0。所以這一項等於0,這一項等於0,因為這個vector set是ossogono的,所以裡面隨便取兩個vector出來都是ossogono的,所以vk乘vi等於0,唯有vi.vi不等於0。

那vi.vi是什麼東西呢?我們之前有講過,vi.vi就是vi的none平方。那我們現在又知道說,這一項其實應該是等於0的,這一項其實是等於0的。

為什麼?因為我們知道說,c1v1乘加到ck、vk等於0,那0跟vi做搭發打,0跟任何vector做搭發打都是等於0。

所以我們知道說,今天ci乘上vi的none平方,這一件事情,這一項其實是等於0的。ci乘上vi的none平方是等於0的。但是我們又知道說,vi的none平方不等於0,因為vi不等於0。

這個是我們的條件,vi是nonzero的vector。就vi是nonzero的vector,那ci乘上vi的none平方要等於0,那就是ci等於0。以此類推,所以今天c1、c2到ck通通都是等於0。

所以v1到vk是independent。這個是orthogonal的一個重要特性,當裡面通通都是nonzero vector的時候,它是independent的。接下來要介紹另外一個名詞,叫做orthonormal。

orthonormal是什麼呢?orthonormal的意思是說,一個orthonormal vector set,它是一個orthogonal的vector set,同時這個vector set裡面,所有的vector的長度都是1。

那我現在有一個orthogonal的vector set,我要怎麼把它變成一個orthonormal的vector set呢?其實非常的簡單,你就是把這一個orthogonal的vector set裡面的vector,都把它的長度做normalization,都把它弄成方向一樣,但是長度是1的vector就結束了。

所以你就把123除掉它的長度,然後你就把它變長度是1,把11-1變成長度是1,把5-1變成長度是1。

那你就得到一個vector set,它不只是orthogonal的,它還是orthonormal的,因為它裡面每一個成員的長度都是1,所以它不只是orthogonal,它還是orthonormal。

那現在有一個問題,剛才說orthogonal的vector set,不一定是independent的,那orthonormal的vector set,它一定是independent的嗎?

給大家三秒鐘的時間想一下,你覺得orthonormal的vector set,它一定是independent的嗎?如果你覺得是,同學請舉手一下,手放下,你覺得不一定的同學舉手一下,沒有人這樣覺得,確實就是一個orthonormal的vector set,它一定是independent的。

這個是圈,為什麼呢?因為我們知道說orthogonal的vector set,在non-zero vector的情況下,它一定是independent的。

那orthonormal的vector set,它是orthogonal的,它也是一個orthogonal的vector set,然後所有的vector的長度是1,所以它不可能有zero vector,zero vector的長度不是1,它不可能有zero vector。

所以orthonormal的vector set,它一定是independent的。那長度是1的vector,我們又叫做univector。

orthonormal這個東西到底要怎麼念呢?其實我也是找了一下網路上教你做pronunciation的video,你聽看看。

我找了另外一個版本,這個怎麼太小聲了,我要開大聲一點。

那接下來呢,如果一個basis,它是一個orthogonal的vector set,那它就叫做orthogonal的basis,所以這個實在是非常直覺。

如果它是orthogonal的vector set,它就叫做orthogonal的basis。那如果它是一個orthonormal的vector set,那就說它是一個orthonormal的basis,就這樣子。

舉例來說,現在我們知道R3,三維的空間R3,它有一個basis,就是三個standard vector所組成的basis。

這個basis,它是一個orthogonal的basis,因為這三個vector,它們彼此之間是double dot是0,這三個vector彼此之間double dot是0。

同時呢,它也是一個orthonormal的vector,因為這三個vector的長度是1,它們都是univector,它們的長度都是1,所以這個vector set,這個basis同時又是一個orthonormal的basis,就這樣。

好,那接下來呢,如果今天一個vector set是orthogonal的或者是orthonormal的,那它有什麼樣的好處呢?一個好處是說,如果今天一個basis,它是orthogonal的或者是orthonormal的,

那你今天呢,要把一個vector轉到那一個,就假設你用那個basis當作一個coordinate system,那我們之前有講過說,你可以從直角坐標系轉到任何的coordinate system上面,假設你知道那個coordinate system的basis。

但是過去我們做這件事情的時候,你需要乘上一個matrix的inverse,對不對?那你要算matrix的inverse,其實是比較麻煩。

但是假設你今天的這個basis是orthogonal的,那有什麼好處呢?你其實可以由比較簡潔的式子,就可以算出說今天一個vector,把它轉到新的空間上面,它長什麼樣子。

這個是這樣,就假設我們一個vector set v1到vk,它們是w的subspace,現在你要把vector u,用v1,v2到vk的這個coordinate system來表示。

也就是說呢,你現在要計算u括號s,就是u在s的coordinate system下面看到的結果。

那怎麼做呢?過去你需要乘一個matrix的inverse,但是現在呢,你有比較簡潔的做法,為什麼?

因為這個u呢,可以寫成,因為我們現在要做的事情就是,我們要把u呢,讓它等於c1倍的v1加c2倍的v2加上ck倍的vk。

然後呢,我們要把知道算出c1c2到ck是多少,那這個u括號s,就是c1c2到ck,它就是linear combination的時候的係數。

好,那這個c1c2到ck這邊是可以套一個公式解的,有c1它就是u跟v1的double dot除以v1的弄平方,c2就是u跟v2的double dot除以v2的弄平方,ck就是u跟vk的double dot除以vk的弄平方。

所以,今天這些係數c1c2到ck,它是可以直接套一個公式就把它解出來的。好,那接下來呢,就是來證明這件事。

好,那怎麼證明這件事呢?你現在把一個vector u跟vi做double dot,然後現在這個vector u,我們說vector u,它可以寫成c1v1加c2v2一直加到ckvk。

我們現在的目標是要把這個c把它算出來。好,那我們知道說,現在c1v1加c2v2加到ckvk,我們現在把它跟vi做double dot。

好,那因為現在呢,這個vector set它的特性它是orthogonal的,而這個現在講的東西呢,都只有在orthogonal的情況下才成立。

就這個式子呢,是只有在orthogonal的情況下才成立,如果你今天這個basis不是orthogonal的話,那你是不能夠套用這個式子。

好,那因為現在這個vector set是orthogonal的vector set,所以這一項就可以被消掉,因為v1vi做double dot是0,v2vi做double dot是0,vkvi做double dot是0,只剩下vi跟vi做double dot的結果。

那這個式子我們剛才看過,vi跟vi做double dot是什麼就是vi的弄平方,所以我們現在學到什麼?我們現在學到說,u跟vi做double dot等於ci乘上vi的弄平方。

那你再把vi挪到左邊去,左右兩邊同處vi的弄平方,你就得到ci是什麼了。所以ci是什麼?ci就是u跟vi的double dot,所以vi的弄平方,就是這麼簡單。

所以今天你有一個orthogonal的basis當作coordinate system,你要看一個直角坐標系上的vector,在這個新的坐標系上,它的係數長什麼樣子,可以直接套公式就可以把它解出來。

那如果是orthogonal的basis呢?如果是orthogonal的basis又更簡單,這個公式你又更好記。因為如果是orthogonal的basis,它的長度就是1,所以這個分母就都不用管它了。

這些係數,ck就是u跟vk的double dot,這個你又更好記一點。那這邊就是舉一個例子,v1,v2,v3是一個orthogonal的basis,它長這個樣子。

那現在給你u,這個u是321,你現在要找u在s這個坐標系上看起來的樣子,u中括號s。那意思就是說,假設u可以被表示成c1v1加c2v2加c3v3。

你要把c1c2c3找出來。那這個怎麼找呢?你就記一下剛才推論出來的結果,c1是u dot v1除以v1的那種平方,c2是u dot v2乘以v2的那種平方,c3是u dot v3乘以v3的那種平方。

然後再把上面v1,v2,v3,u通通帶進去,帶進去,帶進去,你就可以算出c1,c2,c3是長什麼樣子,那就結束了。

那如果是orthogonal的projection呢,它也是有好處的。如果今天你在做orthogonal的projection的時候,你考慮的你要去project上去的那個subspace,你知道它的一個orthogonal的basis,它給你一個basis,然後那個basis是orthogonal,那你今天在做projection的時候就會簡單很多。

因為我們之前有講過說,做orthogonal的projection有一個很複雜的式子,對不對,你不太容易記住,有一個很複雜的式子,但是如果今天你要處理的那個subspace,你有一個orthogonal的basis的話,那它的式子就又比較簡單了。

它的式子是什麼樣子呢?其實跟剛才講的,做coordinate system的transform的那個式子,其實就是一模一樣的,結束。

就是說,現在你有一個vector u,然後你要把這個vector uproject到w這個subspace上面,然後w那個subspace上面的vector叫做w。這個大w這個subspace,它的basis就是v1到vk,然後這個w,它是v1到vk的linear combination,那它的系數就跟剛才我們前面講的一樣。

它的系數就是u跟,比如說ck就是u跟vk搭發到vk的那種平方,就結束了。

那這個要怎麼證呢?我覺得這個證法反過來講比較容易。什麼意思?就是說,我們已經知道orthogonal的projection的式子長什麼樣子,對不對,我們已經知道orthogonal的projection它的式子長什麼樣子。

所以我們今天假設本來這個c,我們知道這個c就是你的subspace w的basis,就這個c就是basis。

然後我們現在看說,如果c它是一個orthogonal的basis,那對pw的這個式子,它會有什麼樣的影響?

那我們知道c就是w的basis,所以c就是把v1到vn。

我這邊有一個地方,有算是寫錯也算是沒有寫錯,因為這個可能寫vk是比較好一點,因為上面都是v1到vk。

然後這邊突然想說,它的dimension換了也沒有錯就是了,這個其實可能寫成k是比較好,寫成k是比較好,寫成k比較好一點,這個是v1到vk。

好,那這個呢,c的transpose就是v1的transpose到vk的transpose,你把v1到vk統統倒下來,當作是c的transpose的role。

好,那這個pw它會長什麼樣子呢?我們先來考慮中間這個部分,中間這個部分,c的transpose乘以c。

如果今天這個s是orthogonal的,那c的transpose乘以c會發生什麼事呢?

你會發現說,它會變成一個diagonal的matrix,就c的transpose乘以c,會變成一個diagonal的matrix。

這個大家有問題嗎?我們來解釋一下為什麼。

好,我們把c的transpose乘以c,那c是什麼呢?c是就是v1的transpose,v2的transpose,一直到vk的transpose,把它排起來,把它排起來,把它排起來。

好,然後呢,c是什麼?c就是v1,v2到vk,把它排起來,把它排起來,把它排起來。

好,它們相乘以後會變成什麼樣的東西呢?它們相乘以後會變成這樣。

左上角的這一個是v1的transpose乘上v1。v1的transpose乘上v1是什麼?它就是一個scalar,對不對?

它就是一個scalar,那你也可以把這個scalar就寫成v1乘v1的大括張。

好,接下來這一項是什麼?它是v2的transpose乘上v1,以此類推,這個是vk的transpose乘上v1。

好,接下來這一項是什麼?這一項是v1的transpose乘上v2,以此類推,這邊是到v1的transpose乘上vk這樣。

左下角這邊就是vk的transpose乘上vk,這邊如果你想把row是2,column是2的這個也寫上去的話,它是v2的transpose乘上v2這樣。

然後我們知道說,今天既然這個b不同,這個battery它是octagonal,那v2的transpose乘上v1,也就是v2跟v1做大括張,它一定會是0,這個是0,這個也是0。

然後不在對角線的地方通通是0,不在對角線的地方通通是0,所以你只會有對角線有值,所以你現在知道說c的transpose乘上c,它是一個diagonal的matrix,它只有對角線有值,其他地方通通都是0。

那我們現在把這個diagonal的matrix用d來表示,一個diagonal的matrix我們習慣用d來表示,所以今天projection的linear operator,它就是寫成c乘上d的transpose乘上c的transpose。

好,那接下來呢,我們再來看一下說,這個d的transpose,d的inverse長什麼樣。

d的inverse呢,其實非常的簡單,它d就是d的transpose乘上c,那d的transpose乘上c,它對角線的值啊,通通就是d的null的地方,不用考慮它非對角線的部分,非對角線的部分通通都是0。

那非對角線的部分呢,第一個row第一個column的地方就是d1的null的平方,第二個column就是d2的null的平方,到dk的column就是dk的null的平方。

好,那所以d的inverse呢,d的inverse長什麼樣,d的inverse就是你只需要把原來d的對角線的部分,原來d的對角線的部分取它的導數就好了。

所以d的inverse它的第一個row第一個column的位置是d1的null平方分之一,然後第二個column第二個row的位置是d2的null平方分之一,到dk的columndk的row的位置是dk的null平方分之一的導數。

它仍然是一個diagonal的matrix,這個是d1的inverse,這個是d的inverse。

好,那接下來呢,接下來如果我們要知道說projection的結果w長什麼樣子,我們就是把projection的matrixPw,projection的linear operatorPw,它現在是c乘以d的inverse乘以c的transpose乘上u把它算出來。

那這個c乘上d的inverse乘上c的transpose乘上u的結果,看起來像是什麼樣子呢?

我們把d inverse留在這裡。好,把d inverse留在這裡。好,這個W等於cd的inverse乘上這個c的transpose乘上u把它這樣算出來。

好,它是長這個樣子。

好,那我們現在就來看一下說,這一項到底應該長什麼樣子呢?這一項到底應該長什麼樣子呢?

那我們就想一下說,如果我們先把u乘上ct的話,會發生什麼事呢?

u乘上ct是什麼東西呢?ct就是c,不是c,我們剛才都是一直用v,ct就是d1的transpose,d2的transpose到dk的transpose,要把它抬起來。

把它乘上u,把它乘上u,把它乘上u的話會變成什麼呢?這是一個matrix,這是一個vector,其實它相乘以後會變成一個vector,對不對?

今天假設c是一個,假設今天c是一個,它應該是一個n by k的matrix,那c的transpose就是一個k by n的matrix。

那如果u呢,u是一個這個n維的vector的話,那c的transpose乘以u這個東西呢,它會是一個k維的vector,是一個k維的vector。

所以呢,現在c的transpose乘以u這一項,它是什麼呢?它等於就是v1的transpose乘以u,v2的transpose乘以u,到dk的transpose乘以u。

也就是說呢,它等於v1跟u的大發達,v2跟u的大發達,一直到vk跟u的大發達。

好,那所以這邊算完以後呢,我們就知道說,這一項這邊呢,等於c乘上d的inverse,然後再乘上呢,這個v1跟u的大發達,v2跟u的大發達,一直到dk跟u的大發達。

好,那接下來呢,再把它乘上d inverse,把這個vector乘上d inverse以後,會發生什麼事呢?

它等於c乘上,我們現在把d inverse跟它把它乘下來,它等於c呢,這個d inverse乘上這個vector以後,還是一個vector,它會等於c乘上一個vector,這個vector每一個維度是多少呢?

它是v1跟u的大發達,除以v1的none的平方,一直到vk乘以u的大發達,除以vk的none的平方。

然後最後你再把c乘上這個東西,就得到w,那c乘上這個東西等於什麼呢?假設這個c呢,它是v1到vk,那把這個vector乘上這個matrix,

就是把這個matrix裡面的color,用這個vector裡面的element做linear combination,算出來的結果呢,其實就是右上角這個式子。

所以我們就知道說,假設你今天在做orthogonal projection的時候,你要project到那個subspace,它的basis是orthogonal的,你有它的orthogonal的basis,那你就可以有一個更簡單的式子,你的projection就可以寫成更簡單的形式。

那這個怎麼來?你就拿比較複雜的形式,把c呢,用orthogonal的basis代進去,就解釋了,那你覺得沒有辦法跟上的話,你就回去自己算算看就是了。

好,那現在我們既然知道說orthogonal的basis或者是orthonormal的basis有這樣子的好處,舉例來說你至少在做orthogonal projection的時候比較容易。

那我們如何為一個subspace找一個orthogonal的basis呢?它的方法是這個樣子。

好,在剩下的時間裡面呢,我們試試看能不能講完這個部分。

怎麼找一個orthogonal的basis呢?首先是,這整個想法是這樣的,假設對某一個subspace V來說,你已經有它的basis,U1、U2到Uk,你有它的一個basis,U1到U2到Uk,那你其實就有辦法把這個basis,U1、U2到Uk,轉成一個orthogonal的basis,V1、V2到Vk。

比如說你有一個subspace的basis,你其實就有辦法把它弄一弄以後,找到另外一個basis,而這個basis是orthogonal的。

怎麼做呢?我們先來看一下它的式子,乍看之下有點複雜,但是你如果再仔細想一下的話,它其實是非常直覺的。

所以怎麼做呢?怎麼把U1到Uk變成orthogonal的V1到Vk呢?你先令V1等於U1。

V2是什麼?V2就是U2減掉V1,它前面的係數是U2跟V1的double dot,除以V1的none平方。

意思是,如果你要印記這個式子,你可能覺得有點複雜,但是就直覺來講,其實它是很make sense的。直觀來講,它做的事情是什麼呢?

直觀來講,它做的事情就是說,你現在已經有一個V1在這個地方,你有一個U2,你把U2對V1做orthogonal projection,然後把project的部分減掉。

也就是說,你今天這一項就是orthogonal projection以後的結果,你把U2對V1做orthogonal projection,這一項就是orthogonal projection以後的結果。

而剩下這個部分,剩下這個在perp裡面的部分,它就是V2,就是這麼直覺。

那V3呢?V3就是把U3減掉V1乘3的係數,再減掉V2乘3的係數。

所以這件事是什麼意思呢?我們剛才其實講過,我們就把同樣的東西再反覆講一遍。它是什麼意思呢?它的意思是說,我們現在有一個subspace,它的basis就是V1到V2。

那其實這兩個basis,V1到V2,它們甚至是orthogonal的,它們已經是orthogonal的了,因為我們前面已經知道說V1、V2是orthogonal的。

這個我們等一下再證好了,證說V1、V2它們一定會是orthogonal的,但這其實也不難,它們其實是orthogonal的。

V1、V2它們產生了一個basis,它們組成了一個basis。

那你現在有一個vector U3,你把這個U3對這個V1、V2所形成的basis,做orthogonal projection。

做projection完以後,剩下在perp的部分就是V3。

也就是說,這整個找orthogonal basis的process,它做的事情就是不斷地在做orthogonal projection,然後把落在perp的部分取出來,就可以找出一個orthogonal的basis。

所以你找完V1,然後根據V1你就會找V2,然後你現在有V1、V2,你就可以找V3,以此類推。

所以最後你找到V1、V2到Vk-1,你用V1、V2到Vjk-1形成一個subspace,然後這個subspace會是一個orthogonal的basis。

然後你把Uk對V1、V2到Vk-1所形成的subspace進行投影,落在perp的部分取出來,就是Vk,以此類推。

那這整個process叫做Greensmith的process,這個process是有名字的,叫做Greensmith的process。

我發現了錯,你們有發現嗎?