整理&字幕由Amara.org社區提供

我們上次講到basis,然後我們說任何東西,任何的vector space,其實都可以有basis。

所以我們也可以算說不同的object,它們之間是不是independent的,然後我們也可以定義不同的object所構成的集合,它的vector set,這個都是上次講過的東西。

這個也都是上次講過的東西。

接下來,我們之前也有講過coordinate的system,然後我們說可以在不同的coordinate system間進行轉換,今天當然在廣義的vector space上面,廣義的vector上面也不例外。

你可以說我現在有一個subspace叫做V,我們知道這個subspace裡面的basis,我們有一個subspace裡面的某一個element,然後我們當然可以把這個subspace裡面的某一個vector V用一個vector來表示,用它的basis的linear combination,它的basis的係數的linear combination來表示。

這個跟我們之前講到的東西其實都是一模一樣的。

所以現在假設你有一個subspace,這個subspace是Pn,Pn是什麼?Pn是degree小於等於n的所有的polynomial所構成的集合。

degree小於等於n所有的polynomial所構成的集合叫做Pn。

那這一個subspace,它的basis就是1xx平方一直到xn方,那今天假設隨便給你一個這個polynomial,這個polynomial是a0加上a1一直加到an的xn方,

那這個polynomial我們可以用這個basis所構成的coordinate system來表示,所以它就是a0、a1一直到an,那這個就是非常的直覺。

好,那接下來假設我們可以用不同的coordinate system來看待一個function的話,那我們就可以把一個function變得比較簡單。

那我們說同一個linear的operator在不同的coordinate system下,它看起來就是不一樣。

舉例來說,我們說這個derivative,這個微分,它其實是一個linear的operator,

那這個linear的operator它背後其實對應了一個matrix,那這個背後它對應的那個matrix長什麼樣子呢?

那我們現在就可以把它背後對應的這個matrix把它寫出來,其實你很難想像說微分跟一個matrix到底有什麼樣的關係,

但我們現在就是要把它背後對應的那個matrix寫出來。

好,那我們說微分這件事,它是一個function的function,它輸入一個,假設我們現在只考慮polynomial的case,它輸入一個polynomial的function,它輸出也是一個polynomial的function。

好,那我們現在想要知道說微分長什麼樣子,那微分就是你輸入,比如說你輸入一個polynomial,2-3x加5x平方,輸出就是-3加10x。

那微分這個polynomial,微分這個function,它背後的standard matrix長什麼樣子呢?它背後所對應的matrix長什麼樣子呢?

我們說我們怎麼知道一個matrix長什麼樣子呢?我們怎麼知道一個linear的operator長什麼樣子呢?

我們就把n的vector丟進去看看,你把1-1丟進去,你就知道它的第一個column長什麼樣子,你把1-2丟進去,你就知道它的第二個column長什麼樣子。

所以我們現在想,假設我們想要知道微分這個function長什麼樣子的話,那我們就是分別把1-1、1-2、1-3丟進去,我們就知道微分它長什麼樣子。

好,那怎麼把1-1、1-2、1-3丟進去呢?今天每一個polynomial我們都可以把它當作一個vector來看待。

所以其實微分這個function我們也可以看作是你輸入了2-3,5,你輸入了2-3,5這個vector,輸出就是-3,10這個vector。

我們剛才說polynomial 2-3x加5x平方,輸入微分這個function會變成-3加10x。

那意思就是說它輸入,你也可以說這個function它輸入2-3,5這個vector,它的輸出就是-3,10這個vector。

好,那接下來我們就是要問說,有什麼樣的matrix你輸入2-3,5乘上這個matrix之後,它會變成-3,10。

什麼樣的matrix乘上2-3,5以後,它的輸出會變成-3,10。

好,那怎麼知道這件事呢?就把standard vector丟進去,然後看看說輸出會是什麼東西。

好,那現在這三個standard vector,其實對應到polynomial,它分別就是1跟這個東西就是1,這個東西就是x,這個東西就是x平方,對不對?

所以我們現在,假設我們要知道說丟1,0,0進去,輸出會是什麼樣的東西,其實你問的問題就是,假設我丟一個polynomial 1出來,輸出會是什麼東西?

那微分大家都知道,假設你丟一個polynomial 1,輸出就是0,輸出就是0。

所以今天對應到微分的這個standard matrix,你輸入1,0,0這個standard vector,它的輸出就是0,0,0,你輸入1,0,0,輸出就是0,0,0。

好,那如果輸入x就是0,1,0,輸入x就是0,1,0,x就是0,1,0,輸入x輸出是什麼呢?輸入x微分以後會變成1,所以輸出就是1,0,0。

好,那接下來呢?你再輸入0,0,1,0,0,1對應到什麼呢?0,0,1對應到的就是x平方,輸出就變成2x,所以就變成0,2,0。

好,所以我們現在知道輸入3個standard vector,輸出分別是什麼,那它的輸出其實就是這個standard matrix的color。所以今天微分所對應的standard matrix就是這三個東西把它拼起來,就是微分所對應的standard matrix,就是0,1,0,0,0,2,0,0,0。

所以微分,你把polynomial做微分這件事情,其實可以看作是一個matrix,那你要做微分的話,你其實就是把你的polynomial都轉成vector,然後再乘上這一個standard matrix,你就可以得到微分的結果。

好,所以這邊就是舉一個例子,那你把5-4x加3x平方做微分,其實就是把這個polynomial用一個vector來表示,它是5-43。把5-43乘上這個matrix以後,你就算算5-43乘上這個matrix以後會得到什麼樣的東西。

那5-43乘上這個matrix以後你得到的結果,這邊就是在右上角計算一下,5-43乘上這個standard matrix,得到的就是-460。然後你再把-460轉成polynomial,算出來的結果就是-4加6x。

好,-460做polynomial以後,算出來的就是-4加6x。那所以,今天假設你不知道微分的定義是什麼,當然大家都知道了,那假設你不知道的話,你可以說你知道微分它背後其實對應的一個standard matrix。

你把vector乘上,把polynomial換成vector,再乘上這個matrix,就可以得到新的vector,這個vector再換回polynomial,你就知道微分的結果是什麼。

好,那從這個微分的standard matrix,你會發現說這個standard matrix,它是non-invertible。怎麼知道它是non-invertible的呢?你就對這個standard matrix做reduce row echelon form。

做完reduce row echelon form以後,這個reduce row echelon form顯然做出來這個2就變成1了,它reduce row echelon form顯然就是這樣。它的rank是2,這個standard matrix reduce row echelon form,它的rank是2,小於column的數目。

所以這個matrix是non-invertible,那意味著什麼?意味著微分這件事情是non-invertible。那這個跟我們對微分的了解是一樣的,不同的polynomial做完微分以後,可能會變成同一個polynomial。

所以今天微分這件事情是不可逆的,微分這件事情是non-invertible。從standard matrix上來看,跟我們對微分的了解是一致的。

好,那這邊是舉另外一個例子。假設我們現在一樣是考慮微分,但是我們不是做在polynomial上面,而是做在某一個function set上面。那這個function set,我們用大F來表示。

這個function set有什麼樣特別的地方呢?這個function set特別的地方是,它的basis是1的t四方cos t,1的t四方sin t。也就是說,這個function set裡面的每一個function都是1的t四方cos t跟1的t四方sin t的linear combination。

然後linear combination以後可以combine出各式各樣的function。那這個東西就是我們的function set F。好,那我們現在想要知道說,微分這個東西在這個function set上看起來長什麼樣子。

好,那它看起來長什麼樣子呢?我們就把standard vector丟進去做微分,看看說會得到什麼樣的結果。好,那我們現在想要把第一個standard vector E1丟進去做微分。

那第一個standard vector E1對應到的function其實是1的t四方cos t,對不對?是1的t四方cos t,因為我們的第一個basis是1的t四方cos t。所以E1它對應到的function,你就把1乘以1的t四方cos t,0乘上1的t四方sin t,所以是1的t四方cos t。

好,1的t四方cos t,如果你真的拿來做微分的話,它等於什麼呢?1的t四方cos t,真的拿來做微分的話,它等於什麼呢?那這個就看你記不記得那個微分的公式了。

就是兩個東西乘起來,它是左微乘右加右微乘左,左微就是sin,這個沒有人聽得懂,左微就是sin,右就是信語之波,這個太冷了,真的不好意思,左微乘右加右微乘左。

左微是1的t四方,它不是sin,是1的t四方。左微乘右加右微乘左,左微就是1的t四方,直接乘以cos t,1的t四方微分的話還是1的t四方乘以cos t。

右微乘左呢?右微乘左,就cos t微分是負sin t,對不對,cos t微分是負sin t,然後直接乘左邊,就直接乘1的t四方,所以1的t四方cos t微分以後是這個樣子。

那這個東西是什麼?它是一倍的basis裡面的第一個vector,加上負一倍的basis裡面的第二個vector,一倍的basis裡面的第一個vector,加上負一倍的basis裡面的第二個vector。

所以今天你把e0這個向量丟到這個function裡面去做微分的話,那你得到的結果其實是1-1,因為下面這個東西它對應的就是1-1。

同樣的事情就再做一次,如果現在丟進去的是0、1,0、1是1的t四方sin t,你就把1的t四方sin t做一下微分,左微乘右加右微乘左,左微乘右加右微乘左。

那左微就是1的t四方乘以右,就是sin t,右微就是sin,微分就是cos,sin微分就是cos,乘左就是1的t四方。

所以我們現在知道說,今天把0、1丟進去,也就是把1的sin t做微分以後得到的結果是這個樣子,所以它就是1、1。

所以我們知道說,1、0、0、1丟進去是1-1、1、1,所以今天這個微分它的standard matrix是1-1、1、1。

那接下來的問題就是,它是invertible的嗎?那你就做一下它的reduce row hreform,你就會發現說它是invertible的,做一下它的reduce row hreform,你會發現說它是invertible的。

也就是說,今天微分前的function跟微分後的function,它們是有1對1的關係的,不會有兩個不同的function,微分以後變成同一個function。

這件事情,如果你假設沒有從vector來考慮,你直接問你說,今天1的cos t、1的t四方sin t,它們的linear combination所構成的function,微分以後是不是invertible的,你可能很難直觀地想出來。

但是如果你今天從vector的角度來看,你就會知道說,今天這個微分所對應到的standard matrix,它是invertible的,所以今天這個微分是可逆的。

所以今天不同的function,它們的微分都是不一樣的,不同的function不會微分以後產生一樣的結果。

你今天甚至可以求出它的matrix的inverse長什麼樣子,所以這個1-1-1這個standard vector,你可以求它的inverse,它的inverse就長這個樣子,來自己驗算一下吧,這兩個matrix相乘會等於identity的matrix。

那我們知道說微分的相反是什麼,微分的相反就是anti-derivative,導數的相反就是反導數。

所以我們今天馬上就知道說anti-derivative怎麼算,我們馬上就可以計算它了,就是說假設你根本不知道說反導數是什麼,根本不知道anti-derivative是什麼,但你現在一瞬間你也知道anti-derivative要怎麼算。

因為你只需要把你現在的function乘上這一個matrix,你就知道它的anti-derivative長什麼樣子了。

所以本來是1的t次方sin t,叫你求它的anti-derivative,可能有點難,因為這個公式好像一般人不會背這個,只有微分的公式你會背,就是左微乘右加右微乘左,但是這個反過來到底是什麼感覺有點麻煩,不知道它是什麼。

但是如果你從vector的角度來看,1的t次方sin t,它是0 1這個vector,0 1這個vector乘上這個matrix以後,0 1這個vector乘上這個matrix以後,你得到的結果就是負二分之一二分之一,負二分之一二分之一,你再把它解回一個function。

所以你現在的兩個basis是1的t次方cos t跟1的t次方sin t,你把負二分之一二分之一都乘以1的t次方cos t跟1的t次方sin t,你得到的結果就是負二分之一的t次方cos t加二分之一的t次方sin t。

那你就知道說,原來這一個東西去做它的anti-derivative,就變成左邊這個樣子,就是這樣子。

好,那這邊再來講一下Eigenvalue跟Eigenvector,那這個跟之前講的其實沒有什麼不同,今天就是複習之前講過的東西。

那我們知道說Eigenvalue、Eigenvector是什麼呢?就是說,我們有一個vector v,我們把這個v帶到function t裡面,它會等於lambda v,然後v不等於0,v必須要不等於0。

所以我們說Eigenvector不可以是這個0 vector,Eigenvector不可以是這個0 vector。

好,那接下來呢,我們就可以來考慮一下,接下來我們就可以來考慮一下每一個function它的Eigenvector有什麼樣的東西。

舉例來說,我們來看一下微分這個東西,我們說微分這個東西,它是一個linear operator,它的input output都是function。

那接下來我們就可以問一個問題說,f of t等於1的at次方,它是微分的Eigenvector嗎?

你可以想想看,如果你把1的at次方做微分的話,它會得到什麼樣的東西呢?

是不是等於a乘以1的at次方呢?是不是等於a乘以1的at次方呢?

好,如果今天把1的at次方做微分以後等於a乘以1的at次方,那這個1的at次方是一個Eigenvector嗎?

它顯然是一個Eigenvector,那這個Eigenvector對應的Eigenvalue是什麼呢?

它對應的Eigenvalue就是a,它是一個Eigenvector,這個是yes。

那它對應的Eigenvalue是什麼?它對應的Eigenvalue就是a。

那這告訴我們什麼事情?這告訴我們說,任何的real number都是微分的Eigenvalue,對不對?

因為其實這邊1的at次方的a,你可以代任何值,你可以代3,你可以代3.14,你可以代任何值。

然後所以今天微分這個function,它的Eigenvalue是任何值,任何值都是微分的Eigenvalue,所以我們今天就是知道這件事。

好,那比如說transpose呢?transpose它有Eigenvalue或者是Eigenvector嗎?transpose有Eigenvalue嗎?有沒有什麼東西做完transpose以後,等於自己乘上n倍?

舉例來說,一個我們知道說symmetric的matrix是a等於a的transpose,所以你把symmetric的matrix,你把對稱的矩陣做transpose,它還是它自己。

所以今天我們知道transpose這個東西有一個Eigenvalue等於1,什麼樣的Eigenvector會對應到這個等於1的Eigenvalue呢?

就是對稱的矩陣,就是a的transpose等於a的時候,當a的transpose等於a的時候,這些對稱的矩陣,它就是transpose這個function的Eigenvector,然後它們的Eigenvalue是等於1的。

那其實Eigenvalue也可以等於-1,因為有一種matrix叫做skew的symmetric matrix,它是一個扭曲的對稱的矩陣,它做transpose以後等於自己乘上負號。

其實你可以輕易的想出這種matrix長什麼樣子,舉例來說,我們就隨便舉一個例子,首先這種skew的symmetric matrix對角線的地方我們就放0。

然後這邊我左下角放1,右上角放-1,那這個matrix做transpose以後就會變成自己乘上負1。

所以今天這個transpose這個function,它還有一個Eigenvalue,這個Eigenvalue是-1,這個Eigenvalue所對應的Eigenvector就是skew的symmetric matrix。

所以我們今天就講說,像derivative它是有Eigenvector、Eigenvalue的,transpose它也是有Eigenvalue、Eigenvector的。

好,那這邊我們就是來分析一下,對二乘以二的matrix做transpose這樣子的function。

二乘以二的matrix做transpose這樣的function,它輸入是一個二乘以二的matrix,它輸出也是一個二乘以二的matrix。

那我們可以把這個二乘以二的matrix把它變成一個vector。

如果我們今天想要知道transpose長什麼樣子,就transpose它是一個linear的operator,這個linear的operator它其實背後也對應了一個matrix。

那transpose這個operation很簡單,你可以輕易的直接做它,但它背後其實也對應了一個matrix。

那它背後對應的這個matrix長什麼樣子呢?你就把standard vector丟進去做transpose,然後看看說會得到什麼樣的結果。

你就知道transpose這個operator背後所對應的standard matrix長什麼樣子。

所以今天假設我們要把E1,也就是1001丟進去的話,那這個1001它對應的matrix是長這個樣子的。

那我們就把這個matrix做transpose,那這個matrix做transpose一模一樣,還是自己就是1001。

所以你把1001這個vector丟到transpose的standard matrix裡面得到的結果還是1001。

那如果我們把0100丟進去會怎樣呢?把0100丟進去,如果我們把0100丟進去,我們把這邊改掉,這個改成1,這個改成1。

那這邊呢?這邊會發生什麼事呢?就跑到左下角,這個還是0,就變成0010,就變成0010。

那就同樣的道理,再反覆的做,我們把0010帶進去,得到的輸出是0100,我們把0001帶進去,得到的輸出就是0001,就這樣子,結束了,就這樣。

那所以我們現在知道說transpose它的standard matrix長什麼樣子呢?transpose standard matrix就長這個樣子,就把帶進E1到E4的這個輸出通通集合起來,把這四個column通通集合起來,就變成一個standard的matrix長這個樣子,它長這個樣子。

好,那其實它也是有,它是invertible的啦,所以你可以找一下它的inverse的matrix,那其實可以輕易看出它是invertible的,因為你只要把這兩個row做那個調換,那你就得到了一個reduce row HL4。

所以它顯然是這個,你知道它reduce row HL4其實就是identity matrix,所以它顯然是invertible,它的inverse就長這個樣子,所以我們知道說transpose是inverse,你轉過去以後,做完transpose,還可以再transpose回來,不過這個還蠻直覺的,你用想就知道說transpose這件事情,它應該是invertible的。

好,那其實我們知道transpose的standard matrix長什麼樣子以後,其實我們就可以求它的eigenvalue了,因為我們知道它的standard matrix長什麼樣子,我們就可以算出這一個operator的characteristic polynomial,算出它的characteristic polynomial以後,我們就可以找它的eigenvalue了。

好,所以我們就來找一下transpose它本身的eigenvalue,現在transpose我們已經知道說它所對應的matrix長這個樣子,那我們就求它的characteristic polynomial,也就是說我們就把它的對角線減t,對角線減t,然後算它的determinant。

好,那經過一番計算以後,你就會發現說它的determinant長這個樣子,它的determinant是t減1的三次方乘上t加1,所以我們就知道說今天這個transpose這個matrix,它的eigenvalue就是1跟負1,那跟我們剛才直覺想的是一樣,剛才直覺想,我們在想一下transpose有什麼樣的eigenvalue,我們說有1有負1,1就是對應到對稱的,負1就對應到skew symmetric的。

但是我們不知道說還有沒有別的,搞不好還有別的,你只是一時之間想不到而已,但是根據standard matrix的分析,根據它的standard matrix的characteristic polynomial,你知道說確實transpose這個operator,它就是兩個eigenvalue,1跟負1,沒有其他的,這是從characteristic polynomial看出來的。

好,那對應到1的就是對稱的矩陣,對應到負1的就是skew symmetric的matrix,那對應到1的那些matrix,你都可以寫成這個ABBC這樣子的形式,你都可以寫成ABBC這樣子的形式。

那這種ABBC這樣子的形式的matrix的集合所形成的dimension是3,因為你只有ABC三個不同的數字,那你要產生這樣子的matrix,你需要三個basis,A那邊是1,其他都是0的,B那邊是1,其他都是0的,C那邊是1,其他都是0的,你有三個basis,它dimension是3。

那我們知道說eigen space的dimension一定小於它的multiplicity,也就是小於characteristic polynomial裡面的指數項,所以它這個dimension是3一定小於等於這個3,它dimension一定小於等於3,它dimension現在算出來是3。

那skew的matrix,它的dimension是1,因為你在右上角放A的話,左下角一定要放-A,所以它的dimension是1。接下來,我們要講inner product。

在這個in general的case而言,之前我們有講過一個東西叫dark product,我們說dark product就是把兩個vector,它的所有的element統統把它乘起來,兩兩相乘以後把它加起來。

那inner product就是dark product更general的形式,雖然我們在上課的時候有時候inner product跟dark product會在講的時候混著用,但其實inner product是dark product更general的形式。

也就是說,如果你要在一個vector space上面定義inner product這個東西的話,就在一個vector space上面有一種operation它叫做inner product,它做的事情是它吃兩個廣義的vector。

那我們說廣義的vector,它不見得是你想像的那種vector,它可能是一個matrix,它可能是一個function,可能是其他的東西。那inner product這個function,它就是吃兩個vector當作輸入,然後它會輸出一個scale,它會輸出一個數值。

那我們之前講過的dark product其實就是inner product的其中一種特例,我們說dark product就是有兩個vector,你把兩個vector裡面的element統統相乘,兩兩相乘,然後再加起來得到一個scale,這個就是dark product。

那in general而言,inner product不見得它的定義跟像是dark product那個樣子,你可以有別的定義,它就是一個operator吃兩個vector output一個scale。

那inner product這一個function也不是隨便亂定就好,它需要符合一些我們所熟悉的一些條件跟這些條件,dark product是符合的,那廣義的inner product要符合下面這幾個條件。

就是假設你有三個vector,u、v、w,它們是廣義的vector,然後你有一個scale叫做a,那如果一個function,一個operator要被稱為inner product的話,它必須要符合下面這幾個條件。

第一個就是說,假設u不是zero vector,那這邊指的也是廣義的zero vector,那舉例來說,對function而言,u不是zero vector,意思是說這個function不是output總是0的。

假設對一個廣義的zero vector而言,自己跟自己的inner product一定要大於0。假設一個u它不是zero vector,那自己跟自己的inner product一定要大於0。

然後,u跟v的inner product會等於v跟u的inner product,u加v跟w的inner product會等於u跟w的inner product加上v跟w的inner product,那a倍的u跟v的inner product會等於a乘上u跟v的inner product。

總之,一個operator如果它滿足下面這四個條件,它就是一個inner product,而我們之前講過的double product這個東西是滿足下面這些條件的。

所以這邊說double product其實就是inner product的一個special case,你其實可以在我們所熟悉的vector上面再定義出其他的inner product,那也是可以work的。

舉例來說,你可以說我們之前的double product就是把u跟v做dot,那你完全可以發明一種新的double product,你叫做double product x,我們寫double product x,我們寫double product x。

然後這個double product x可能就是,你就可以隨便亂定它是比如說十倍的u dot v,還是十倍的u dot v。

那我們這樣子定並沒有違反下面的這四個對於inner product的限制,我們完全沒有違反下面四個對inner product的限制。

所以你就定義出一個新的double product,新的inner product,那你可以把這樣子的定義拿來apply在我們之前學到的所有的跟orthogonal有關係的東西上面。

舉例來說,我們說一個vector它有一個長度,它有一個null,那這個null之前講說它的定義就是自己跟自己的double product在開根號,或者說null平方就是自己跟自己的double product。

那in general而言,你可以把一個vector v自己跟自己做inner product,在開根號,那就得到這個vector v的長度。

那你其實也定義了orthogonal這件事,今天如果兩個vector它們做inner product等於零,我們就說它是orthogonal。

但是depending on你的inner product怎麼定義,你可以有各種不同的定義方式。

舉例來說,在matrix上面有一種inner product叫做Frobenius的inner product,那這個東西其實非常的直覺,它的式子可以寫起來有點複雜,但是其實它非常的直覺。

Frobenius inner product它的定義是A乘以B的transpose的trace,大家知道什麼是trace嗎?跟大家手筆的一樣,就是斜對角線的直的和就叫做trace,一個matrix斜對角線直的和就是trace。

所以你要算A跟B的Frobenius的inner product,你就是把A乘上B的transpose,然後再取它的trace,就是A跟B的Frobenius inner product。

你可以自己check一下,Frobenius inner product是滿足我們前面在那張圖片講的inner product的四個條件,所以你可以說這個東西就是matrix的inner product,你可以用Frobenius inner product來做種種比如說跟orthogonal跟projection有關係的事情。

其實traceA乘以B的transpose也等於traceB乘以A的transpose,就是一個matrix跟自己的transpose是一樣的。

那這個東西你其實很難想像它是什麼,到底A乘以B的transpose的trace是什麼東西呢?

其實A乘以B的transpose的trace就是把兩個matrix兩兩做相乘,就是這個Frobenius inner product如果寫成右邊那個式子,你就會覺得說不知道在寫什麼,好像沒有那麼直覺。

但其實這個東西是非常直覺的,假設有人叫你自己在matrix上面定義一個東西叫做inner product,其實你最直覺的想法就是,我就把這個matrix,假設現在考慮二乘二的matrix,我們就把matrix對應的位置乘起來就好了。

比如說我們現在一個matrix叫一二三四,另外一個叫五六七八,我們就一乘五加二乘六,加三乘七加四乘八,然後全部加起來就等於七十,然後這個東西就是Frobenius inner product。

所以它寫起來像右上角這個式子一樣看起來有點複雜,但它實際上想要表達的事情就是,我們把兩個matrix,它們對應到同樣位置的element相乘再加起來就結束了。

或者你可以想成就是,我們把兩個matrix拉直做大發達,其實就是Frobenius的inner product,所以這個定義非常的直覺。

好,那所以這邊呢,我們就可以定義一個matrix的這個norm了,我們就可以定義一個matrix的長度了。

今天既然我們在matrix上面定義了inner product,那有了inner product,你就定義了長度這個東西,所以一個matrix你也可以算它的長度的,這個一個matrix的長度是什麼?

就是它自己跟自己的Frobenius的inner product,自己跟自己的Frobenius inner product怎麼算,就是把自己平方,自己乘自己,把自己平方,自己平方,每一個element都平方,每一個element都平方,

統統加起來,然後開根號,就是一個matrix A的長度。

但是我們說一個matrix有長度的時候其實也不能亂講,你只要告訴人家我今天說的這個長度是由什麼樣的inner product算出來的,那你定義了inner product以後,你就可以算某一個東西的長度。

好,這個是定義在matrix上面的,那你也可以定義在function上面,所以在function上面你也可以定義inner product,function上面inner product是什麼呢?

假設我有in general的,我有兩個任意的function,一個叫g,一個叫h,我們可以定義它的inner product,這個inner product是什麼呢?

是我們把g跟h相乘,然後從-1積分到1,那我們就可以說這個東西它是一個function的inner product。

我們就可以說它是一個function的inner product,因為想想看,它其實是符合我們所知道的function的inner product的種種條件的。

但是其實這邊應該要再加上一個前提,就是g跟h它們的範圍是落在-1跟1之間的,就是g跟h它們的輸入一定是落在-1跟1之間的,如果它們一定是落在-1跟1之間的。

然後我們現在就可以定義這個g跟h的inner product,它們的inner product就是把g of x乘上h of x,然後再從積分從-1到1,這個東西就是g跟h的inner product。

所以我們今天就可以定義orthogonal,舉例來說,如果g of x等於1,g of x的output永遠都是1,h of x的output是x,那你就會發現說根據我們現在定義的inner product,它是orthogonal,就g of x跟h of x是orthogonal。

什麼意思呢?因為現在g of x它就是一條直線,它是一個等於1的直線,那h of x它是一條斜線,它是這個樣子,那你把這兩個東西相乘,從-1到1相乘做積分以後,你得到的數值是0,你根據這個inner product定義算出來的數值是0,所以g of x等於1跟h of x等於x,它是orthogonal。

好,那你其實可以用別的方法來定義inner product,舉例來說,這邊有另外一個inner product的定義,舉例來說,我們這邊定義這個inner product是,我們取這個i等於,

我想想看,如果這邊i等於-10到10的話,那我說g跟h它的input要落在-1跟1中間的話,就比較奇怪這樣,所以我們這邊可能要重新定義g跟h的input。

那現在我們就是在g跟h上面取總共21個點,從-1到1之間我們就等據地取21個點,

然後我們把取出來的這21個點,兩兩做相乘加起來,說它是inner product,這樣子做的話,它能夠符合我們說的inner product的定義嗎?

如果我們說這個東西,g跟h就是任意的兩個function,這個式子有符合這個case嗎?有符合這四個式子嗎?大家覺得呢?

你覺得有嗎?好,那這邊的提示是,可能是沒有的這樣子,你要每個式子都檢查看看嗎?

那個提示就是,你覺得第一個式子有滿足嗎?

因為你仔細想想看,其實沒有,因為有可能u不等於0,u代表這邊就是g或者是h,有可能g不等於0。

但是你取樣的地方,我這邊只取了21個點,你取樣的地方正好是0,所以它就沒有滿足第一個式子,所以你不能夠這樣子定義inner product。

但是上面這個方法,上面這個方法是可以的,是沒有問題的,它是滿足這個式子的,有什麼問題嗎?對,不然就有點怪怪的這樣子,這樣大家有問題嗎?

對,它那21個點剛好都是0,但它其他地方不是0,這是有可能的,所以正好取樣的地方,正好sample到的地方,正好是0,但它本質上,in general它不是0的。

如果上面是這樣,假設我們今天是要算g自己跟自己的inner product,所以這個h我們也換成g,

所以它是自己跟自己的平方,因為我們今天g它的input我們就限制在-1跟1之間,這個function的定義只有在-1跟1之間。

然後這個function如果在-1跟1之間有不為0的值的話,它自己跟自己的平方就會達於0了。對,好,這個部分大家有問題要問的嗎?這樣ok嗎?這樣ok嗎?好,大家還有問題要問的嗎?

好,所以你要定義inner product的時候,也不是隨便定義一個operator就可以了,你要符合inner product的上面右上角寫的那四個條件。

那如果滿足那四個條件,接下來你就可以做各種事情,比如說你就可以做orthogonal的projection。

好,那我們之前有講過orthogonal跟orthonormal的basis,那我們說orthogonal跟orthonormal的basis有什麼好處呢?假設你今天有一個basis它是orthogonal或orthonormal的,

那你今天要把某一個vector w用這一組basis做展開就會容易很多。今天假設你有一個basis是v1到vk,然後你今天有一個vector w,

然後你希望把v1到vk乘上c1、c2到ck以後變成這個w。那c1、c2到ck,如果今天這個vector set v1到vk是orthogonal的話,

c1到ck你可以直接套個公式解,就是u dot v1除以v1的none平方等於c1,那u dot v2除以v2的none平方等於c2,

然後u dot vk除以vk的none平方等於c3,那你其實可以把這個dot就直接換成inner product,直接換成你自己定義的inner product,

如果你今天要考慮的其實不是我們之前所講的那種vector,而是其他的東西,比如說function什麼之類的,

你就可以直接把這個東西換成我們所熟知的,換成你自己定義的inner product,換成自己定義的inner product。

那如果是orthonormal的呢?那它的式子更簡單了,因為orthonormal它的none等於1,所以分子,剛才上面這個式子分母的地方就不用考慮了,

所以c1等於u dot v1,u dot v2,ck等於u dot vk,那你一樣可以把這個dot就換成inner product,換成inner product,

如果你今天考慮的東西不是那些狹隘的vector,而是更廣義的東西的話,你就把原來公式裡面的dot product,通通換成inner product,你自己定義的inner product就結束了。

好,那之前我們有講過說,我們有一個grant-smith的process,你可以把任何的basis轉成orthonormal的basis,你可以把任何的basis,這個u1到uk轉成orthonormal的basis,u1到vk。

那這個已經講過了,我們就不複述,總之你現在要做的事情就是,如果你是apply在general的case,你就把上面那個式子裡面看到的所有的dot product,通通都換成廣義的inner product,就結束了。

好,就這樣,所以這跟我們之前學的東西完全沒有任何不同,我要做的事情就是把dot product換成inner product,就結束了。

好,那現在呢,我們就來看一下一個orthogonal或是orthonormal basis的例子。

好,那我們剛才有講說,對於P2,也就是degree小於等於2的所有的polynomial,我們其實可以找到它的一個basis。

它的一個basis就是ex跟x²,對不對,就是ex跟x²,這個basis是不是一個orthogonal的basis呢?

我們不知道它是不是orthogonal basis,為什麼?因為我們還沒有定義inner product,還沒有定義inner product。

好,那我們現在假設我們定義一下P2的inner product,當然我們假設說現在這個polynomial,我們只考慮它的輸入的範圍是-1到1。

好,我們來定義一下P2的inner product,這個P2的inner product就是我們剛才看到的,把某兩個function f跟g,它們相乘以後從積分-1到1,這個就是P2上的inner product。

那有了這個inner product以後,你就可以檢查一下,ex到x²,它們是orthogonal的嗎?它們是orthogonal的嗎?

你仔細想一下,它顯然不是,e跟x是orthogonal的,但e跟x²不是orthogonal的。

因為你把f代e,你把g代x²,你把g代x²,然後你就進行一下積分,從-1積分到1,你會發現說它得到的值顯然是大於0的。

所以今天這一組basis,它是一個basis,它是P2的basis,但它不是一個orthogonal的basis,它不是一個orthogonal的basis。

那怎麼辦?我們就靠用剛才前面那一頁投影片講的Graham-Smith的process,把它轉成orthogonal的basis。

那假設這個orthogonal的basis就是V1,V2,V3,那就代一下公式,首先V1等於U1,等於1,第一個是1。

那V2呢?V2,我們代一下公式,V2等於U2,減掉,你把U2跟V1做inner product,再除以V1的弄平方,再乘以V1把它減掉。

那麼之前我說過說,這件事我們做的事情其實是把U2在V1上做投影,然後把投影的結果減掉。

那之前我們在講Graham-Smith的process的時候講過這件事情,如果你忘了的話就算了,公式就是這個樣子,照著套就是了。

接下來就是算一下積分,U2就是X,U2跟V1的inner product是什麼呢?

U2跟V1的inner product,V1是1,我們已經知道了。U2是什麼呢?U2是X,那我們這邊寫做T,因為我們積分的時候後面是寫底T,所以我們這邊寫做T。

所以U2跟V1做inner product,就是積分-1到1,T乘上1。

那V1的長度的平方,V1的弄的平方是什麼呢?你有了inner product就可以定義長度的平方,長度的平方就是自己乘自己從-1積分到1,V1是什麼?V1就是1。

那你就怒算一發以後得到的就是X。為什麼會得到X呢?因為X跟1本來就是orthogonal的,所以你算出來就是X。

但是接下來就比較麻煩了,因為X2跟1並不是orthogonal的,所以你第三個總算是V3,絕對不可能是X2。

我們現在把V3找出來,然後就怒套一個公式。那這個你自己算就是考試的時候你大概會算錯啦,這個就很麻煩,因為這邊你上面要做個積分嘛,下面要做個積分,然後這個做個積分,這個要做個積分,然後這個式子你就會列得有一點點複雜,然後一翻運算以後算出來是X平方-1 3。

所以我們知道說P2它有一個orthogonal的basis,這個orthogonal的basis就是1X跟X平方-1 3,但它們只是orthogonal而已,它們還不是orthonormal,如果你希望它是orthonormal的話,那你還要對它的長度做一下normalization。

怎麼對它的長度做normalization呢?你就把你得到的orthogonal的basis,這三個basis裡面的這三個element,它們的長度都算出來,它們的長度就是根據inner product定義來的。

所以你就把V1的長度算出來,把V2的長度算出來,把V3的長度算出來,再把它們都除掉,1除以根號2,X除以根號三分之二,第三個X平方-1 3除以根號四十五分之八這樣子,算出來的結果你就得到一個orthonormal的basis。

所以P2它的orthonormal,它有一組,當然有別組,還有別組,但是它有一組orthonormal的basis,長的就是這個樣子,長的就是這個樣子。

所以我們現在知道說,其實對於P2的function,我們都可以用下面這三個function做linear combination以後得到,而這些function它們彼此之間是orthogonal的。

那這個畫出來其實長的就是這個樣子了,第一個1除以根號2是什麼,1除以根號2它是藍色這條線,然後二分之根號3X它就是紅色這條線,最後這個X平方-1 3它就是藍色這條線。

用這三個東西做linear combination,可以變出所有的,其實beyond vector的部分就是講到這邊,這個東西其實未來在信號語系統裡面會用到非常多,講了又要非常多。

下學期不是有個信號語系統嗎,還是說是這個學期,是下學期,我忘記了。下學期修個信號語系統,裡面就是有一些什麼furious transform,然後那個東西其實……你修過了是不是?你修過了是不是?你修誰的?你沒有修過?

如果你是修李林三老師的課的話,他其實會講這個東西跟現代有什麼關係,其實那些furious transform就是所有的function的basis,那些就是basis,然後你把那些function集合起來,做linear combination,可以變成所有的function。

然後你可以把它們做轉換,你可以用那些basis來表示所有的function,就是這個樣子,然後那些basis中間它們是orthogonal的。