back to index

Linear Algebra Lecture 33: Symmetric Matrix


link |
00:00.000
我們都知道它是什麼,但是它有一些性質,是我們必須要講完orthogonal以後,尤其是講完orthogonal的matrix以後,才能夠講的性質。
link |
00:11.520
那一個對稱的矩陣有什麼樣的性質呢?在講完eigenvalue以後,其實它有一個特別的性質是,它的eigenvalue一定都是正的,它沒有虛根,它不是容數,它沒有虛根。
link |
00:27.920
那怎麼證一個symmetric的matrix,它的eigenvalue一定都是實數呢?一定都是real number呢?
link |
00:37.920
我們先舉一個特例,這個特例是說,假設我們先考慮一個二乘以二的matrix,我們只考慮一個二乘以二的symmetric的matrix。
link |
00:48.320
二乘以二的一個symmetric的matrix,二乘以二的symmetric的matrix,我們可以把它這個不失一般性的把它寫成A C B B這樣,就是對角性的地方是A跟C,不是對角性的地方就都放B,然後它是一個對稱的矩陣。
link |
01:07.120
好,那我們現在要來找這個對稱矩陣的eigenvalue,我們怎麼找eigenvalue呢?我們就列出那個characteristic的polynomial,也就是你把對角性的地方都減t,對角性的地方減t,再算它的determinant。
link |
01:24.720
你把這個matrix A,對角性的地方減t,對角性的地方減t,再算它的determinant,這個時候你會得到什麼結果呢?這個時候你要算determinant的話,你就把A減t乘C減t,然後再減掉B平方,A減t乘C減t,再減掉B平方。
link |
01:47.320
所以今天這個對稱矩陣呢,它的characteristic polynomial列出來是這個樣子。
link |
01:55.320
好,那它是一個一元二次的方程式,一元二次的方程式你要找它的一元二次的多項式,一元二次的多項式你要找它的根,你可以直接套公式解,對不對?這個是我們國中的時候就學過的東西。
link |
02:15.320
那你要怎麼知道一個一元二次的多項式,它的根是不是都是實數呢?只要它的B平方減4ac大於等於零,它的根就都是實數。
link |
02:29.820
好,那我們來check一下現在這個一元二次多項式,它的B平方減4ac是多少?它的B指的是這一項,這邊notation有點abuse,這個是B平方減4ac,就是把這個負A加C取它的平方,B平方減掉四倍的AC減B平方。
link |
02:52.920
那這個式子整理一下以後你會發現說它是A減C平方加4B平方,一定大於等於零。所以這告訴我們說,一個二乘以二的對稱矩陣,它都只有十根,它的eigenvalue通通都是實數,因為它的characteristic polynomial只有十根。
link |
03:14.220
好,這個是二乘以二的矩陣。那如果是一個in general的case,怎麼討論這個問題呢?如果是一個in general的case的話,這個時候你要用到實系數多項式須根共二這樣子的性質。
link |
03:31.020
那這個部分其實算是超出範圍,它寫在課本的appendix裡面。今天一個實系數的多項式,因為今天我們的matrix裡面的值都是實數,所以我們的characteristic polynomial它是一個實系數的多項式,它的須根會共二。
link |
03:57.900
什麼叫做須根會共二呢?假設我們有一個須根叫做lambda,lambda是一個虛數,那這個時候lambda bar,如果今天lambda是一個eigenvalue的話,那lambda bar也會是一個eigenvalue。
link |
04:21.420
這個bar是什麼,大家知道我的意思嗎?如果你今天有一個lambda,它等於a加bi,就是它是一個負數,假設你今天你的實系數多項式,你的characteristic polynomial有lambda等於a加bi這個解。
link |
04:47.740
也就是說你的matrix有a加bi這個eigenvalue,那它就一定會有lambda bar,lambda bar就是a減bi這樣子的eigenvalue。
link |
05:08.100
好,那接下來要說明的就是,如果一個矩陣它是對稱的,那它的lambda就不可能會有虛數的部分,它就一定必須是實數。
link |
05:24.140
那怎麼說呢?這邊用的是,這邊這個怎麼說呢?這個我們可以用,我們可以這麼說明,就是我們先假設說今天有一個matrix a,它是對稱的。
link |
05:44.300
那這個matrix a,假設它現在同時有lambda也有lambda bar這兩個共二的eigenvalue,因為其實無論是哪一個matrix,它的eigenvalue都一定會是共二的。
link |
06:04.660
然後在這個情況下,我們就可以說a乘上b等於lambda b,a乘上w等於lambda bar w,你找到某一個b跟a相乘以後等於lambda b,你找到某一個w跟a相乘以後等於lambda bar w。
link |
06:20.860
然後接下來你可以把這個w的transpose乘上a乘上b,然後這個東西會有兩個,這個東西當然你就可以很trivial的寫成w的transpose乘上lambda乘上b等於lambda乘上w的transpose乘上b。
link |
06:48.580
但是這一項你其實可以給它另外一個解讀,怎麼另外一個解讀呢?
link |
06:54.860
就是我們要用到a它是transpose的性質,就是a等於a的transpose這件事情,因為a等於a的transpose,所以這一項同時也等於w的transpose,a的transpose乘上b,因為a等於a的transpose。
link |
07:09.020
然後接下來你就可以把這一項把它括號括起來,這一項等於w,我想想看,把這一項括號括起來,沒有問題嗎?
link |
07:27.420
好,沒有問題,好,這一項等於什麼呢?這一項等於a乘以w的transpose再乘上b,a乘以w的transpose再乘上b,w乘以transpose乘以a乘上b,等於a乘上w的transpose再乘上b。
link |
07:46.940
然後呢?a乘以w是多少?a乘以w是lambda bar乘上w,對,lambda bar乘上w的transpose再乘上b,等於lambda barw的transpose乘上b這樣。
link |
08:08.260
好,那現在,因為這兩個式子是相等的,所以說這一項lambda barw的transpose乘上b跟lambda w的transpose乘上b,它們是相等的,它們是相等的。
link |
08:27.460
如果它們是相等的,我們就能夠保證推得lambda等於lambda bar嗎?因為它們是相等的,然後w的transpose乘上b,當然是等於w的transpose乘上b,它們是一樣的東西,它們是一樣的東西。
link |
08:47.140
它們是一樣的東西,那為了要讓它們相等的話,lambda就必須等於lambda bar。那如果lambda等於lambda bar,那就意味著說,現在lambda它自己已經是一個數值,它不等於一個數字,它是一個數字的話,lambda就不能等於lambda bar,但是如果只有這樣講的話,其實還是少了一些東西的,少了什麼呢?
link |
09:10.340
因為有一個可能是,如果w的transpose乘上b等於0的話,而如果w的transpose乘上b等於0的話,那lambda就可以不等於lambda bar,對不對?
link |
09:25.260
所以我們今天需要證明,在接下來需要說明的一件事情就是,w的transpose乘上b,它一定是不等於0的,一定是不等於0的。因為w的transpose乘上b一定不等於0,所以lambda必須要等於lambda bar。
link |
09:43.120
好,那如何證明w的transpose乘上b不等於0呢?我們可以說,其實我們找得到一個w,它就是b的conjugate,就是b bar,就是b bar。
link |
09:57.020
所謂b的conjugate的意思就是,把這個b這個vector裡面的每一個element都換成它的共二。不知道大家知道我的意思,就是假設你本來有一個vector是1加3i,然後1減2i,假設這個是b,那它的conjugate b bar就是1減3i,1加2i這樣。
link |
10:22.880
好,那所以把b bar當作w這個式子是會成立的。
link |
10:50.800
為什麼把b bar當作w這個式子會成立呢?因為我們可以把a乘上b等於lambda乘上b這個東西,左右兩邊都取它的conjugate。
link |
11:09.460
那我們知道說,今天如果你把好幾個式子,今天這個你把左右兩邊都取conjugate,等於a的conjugate乘上b的conjugate等於lambda的conjugate乘上b的conjugate。
link |
11:23.280
但是因為a是一個時數,所以a乘上b的conjugate等於lambda的conjugate乘上b的conjugate。所以我們知道說,今天w是可以等於b的conjugate。
link |
11:39.920
那w等於b的conjugate以後又怎樣呢?w等於b的conjugate以後,我們就知道說,我們現在目標是要說明這件事,就是w的transpose乘上b是不等於0的,那現在w可以等於b的conjugate。
link |
12:03.360
那b的conjugate跟transpose,跟b相乘,會發生什麼事呢?你會發現說,它一定是大於0的,它一定是大於0的。為什麼它一定是大於0的呢?
link |
12:22.560
因為可以想想看,假設b是v1v2一直到vn,那v的conjugate是v1v2一直到vn的bar。
link |
12:42.160
那算出來的結果呢?把它的alpha打算出來,把vbar的transpose乘上b,你算出來的就是v1的transpose乘上b,加上v2的transpose乘上v2。
link |
12:56.200
那這一項是什麼?這一項是b的v1的長度,對不對?假設你今天你的v1是a加vi,而你的v1bar是a減vi,
link |
13:17.660
那v1跟v1bar相乘,這個大家知道是多少嗎?就是a平方加b平方,對不對?這一項一定是真的,一定是真的。
link |
13:41.320
所以這個東西是v1的長度,這個東西是v2的長度,然後因為今天v呢,它不能是zero vector,它不能是zero vector,所以這個vbar的transpose乘上b會大於1。
link |
13:59.500
所以我們知道說,大家覺得乘後乘上b呢,是不可能等於零的,所以浪打等於浪打罷了。所以剛才講的東西,如果你覺得沒有辦法跟上的話,你就記得一件事情,
link |
14:22.220
就是對稱的矩陣,它的根都是實數,它是沒有虛根的,就這樣。
link |
14:31.600
好,那對稱的矩陣還有另外一個特色,我們之前有講說,我們可以每一個,假設一個矩陣呢,它有一堆eigenvalue,
link |
14:41.940
那每一個eigenvalue呢,都有一個自己對應的eigenspace,那eigenspace裡面呢,如果你拿兩個vector出來,它們屬於不同的eigenspace,
link |
14:53.840
那它們一定是independent,屬於不同eigenspace的vector,它們一定是independent。
link |
15:00.240
但如果今天我們考慮的matrix它是對稱的,那我們就可以進一步說,它們不只是independent的,它們還是orthogonal的。
link |
15:10.740
好,怎麼說呢?這個證明就很簡單,假設現在有u跟v這兩個eigenvector,它們分別對應到兩個不同的eigenvalue,浪打跟μ,那浪打是不等於μ的。
link |
15:23.820
那接下來呢,我們就可以說,u跟v一定是orthogonal的,對應到不同eigenvalue的eigenvector一定是orthogonal的。
link |
15:33.380
怎麼說呢?我們就計算,我們就計算au跟v的double product,我們計算au跟v的double product。
link |
15:44.980
那因為u呢,是一個eigenvector,所以u乘上a會等於浪打u,那等於浪打乘上u跟v的double product。
link |
15:57.740
然後我們可以用另外一個角度來看待這件事情,這個時候你就需要用到a等於a的transpose,a是symmetric的性質。
link |
16:06.540
好,那因為a是symmetric的,就是au dot v這件事,我們還是寫一下a吧,那au dot v這件事,可以寫成au的transpose乘上v,可以寫成u的transpose,a的transpose乘上v。
link |
16:34.860
那a的transpose乘上v會等於多少呢?因為a的transpose等於a,a是對稱的,所以這個等於u的transpose乘上a乘上v。
link |
16:53.540
然後a乘上v呢,我們就接到那個投影片上面,a乘上v等於,我發現這邊有一個寫錯的地方,難怪我剛才覺得好像怪怪的,這個應該是u才對吧,應該是u才對。
link |
17:12.020
好,a乘上v等於mu乘上v,所以等於mu乘上u跟v的大法檔。那我們在一開始已經說了,這個λ跟μ它們是不相等的,λ跟μ是不相等的。
link |
17:28.180
所以因為λ跟μ是不相等的,所以唯一的可能就是如果你要讓這兩個式子相等,而λ跟μ不相等,唯一的可能就是u跟v是orthogonal的,u跟v是orthogonal的。
link |
17:44.820
好,就這樣子。所以今天如果一個矩陣是對稱的,它有一個特別的性質,就是它的不同的eigenvalue對應的eigenvector會是orthogonal的,而不只是independent的。
link |
17:59.460
In general而言,對一般的矩陣而言,不同的eigenvalue對應到的eigenvector它是independent的,但是如果是一個對稱矩陣的話,它更進一步是orthogonal的。
link |
18:10.580
好,那接下來呢,如果一個矩陣它是對稱的,它有一個神奇的特性,就是它一定可以寫成p的transpose乘上a乘上p等於d。
link |
18:25.660
就是如果一個矩陣是對稱的,那你可以找到一個orthogonal的matrix p,把這個orthogonal matrix p乘上這個對稱的矩陣的左邊跟右邊,然後它會變成一個diagonal的matrix。
link |
18:43.260
好,就如果a是對稱的,它神奇的特性就是你可以在它的左右兩邊乘上orthogonal的matrix,然後它會等於一個diagonal的matrix。
link |
18:57.140
那這個證明,我們如果是從右到左,其實非常的簡單,而從右到左呢,根本就是trivial的,那等一下我們再講完這一頁投影片以後你就會知道為什麼是這樣。
link |
19:11.820
那從左到右呢,是比較複雜的,那這個我們等一下再講,從左到右是比較複雜的,從右到左是非常單純的。
link |
19:21.700
那神奇的地方就是,如果a是symmetric,它可以寫成這個樣子,而一個matrix如果可以寫成這個樣子,它一定是symmetric。
link |
19:32.900
好,那這個P transpose AP等於D這個東西,到底有什麼樣的特殊的含義呢?
link |
19:41.500
那這個東西其實就是我們之前講過的對講話,我們之前講過的diagonalization。
link |
19:48.900
好,因為我們知道說P是orthogonal的,orthogonal的matrix它的特色是什麼呢?它的特色就是P的transpose等於P的inverse。
link |
20:00.980
我們上週講過說,如果P是一個orthogonal的matrix,你要求它的inverse非常簡單,因為它的transpose就等於它的inverse。
link |
20:09.460
所以P的transpose乘上a乘上P,可以寫成P的inverse乘上a乘上P等於D。
link |
20:17.340
所以我們把a左邊乘上P的inverse,右邊乘上P,它就可以變成一個diagonal matrix D。
link |
20:23.820
接下來你可以把P挪到等式的右邊,也就是a等於P乘上D乘上P的inverse。
link |
20:30.940
或者是因為P的inverse等於a的transpose,所以你也可以說a等於P乘上D乘上P的transpose。
link |
20:38.820
那這意思是什麼?這意思是說,a它是可以被對角化的。
link |
20:46.700
這個式子就是我們之前講過的對角化的式子,就是我們之前講過可以被對角化的式子。
link |
20:55.100
所以其實意思就是說,a如果是一個對稱的矩陣,它一定可以被對角化。
link |
21:01.500
我們之前有講過說,並不是所有的矩陣它都一定可以被對角化。
link |
21:07.620
所以你隨便找一個matrix A,並不是所有的matrix A都可以把它變成P乘以D乘以P的inverse。
link |
21:15.980
我們有講過說,如果你要確定一個matrix A能不能夠變成P乘以D乘以P的inverse,
link |
21:23.180
你有種種check的方法,你有一些check的方法,
link |
21:26.420
但是不是所有的矩陣都一定可以把它寫成P乘以D乘以P的inverse。
link |
21:31.300
但是如果一個matrix A它是symmetric的,如果它是對稱的,
link |
21:36.260
那你就一定可以把它寫成P乘以D乘以P的inverse。
link |
21:40.220
所以一個對稱的矩陣,它就一定可以被對角化。
link |
21:45.260
那這邊就是舉一個例子。
link |
21:49.660
有一個對稱的矩陣A,我們現在要把它做對角化,
link |
21:54.460
那它一定可以被對角化,怎麼做呢?
link |
21:57.620
找出它的eigenvalue,現在它的eigenvalue是6跟1。
link |
22:05.260
接下來你就找出每一個eigenvalue對應的eigenvector,
link |
22:10.060
這個我想大家也都會,對應到6的eigenvector是-1 2,對應到1的eigenvector是2 1。
link |
22:17.220
那A是一個對稱的矩陣,所以你會發現說-1 2跟2 1它們是orthogonal,
link |
22:24.660
你把-1 2跟2 1做double dot,它們等於0。
link |
22:29.940
所以這個eigenvalue λ1,它對應的eigenspace是由-1 2所長成的,
link |
22:35.860
是由-1 2所span而成的。
link |
22:38.540
然後λ2所對應的eigenspace E2,它是由-2 1span而成的。
link |
22:44.620
然後接下來呢,你就可以說找出ε1跟ε2的orthogonal的basis,
link |
22:57.700
那怎麼找出它的orthogonal的basis呢?
link |
23:01.060
或是怎麼找出它的orthonormal的basis呢?
link |
23:04.780
因為ε1跟ε2它裡面只有一個vector,
link |
23:08.540
那個vector的長度現在不見得是1,
link |
23:11.340
所以你要對它做一個normalization,把它變成長度是1。
link |
23:15.180
所以現在就是把-1 2除以√5,把2 1除以√5,把它變成了長度是1。
link |
23:23.380
那接下來呢,你就可以把P跟D找出來了,
link |
23:27.060
D的對角線就是A的那兩個eigenvalue,
link |
23:31.820
P的兩個column就是分別對應到這兩個eigenvalue的basis,就這樣子。
link |
23:39.500
那這個跟之前我們講對角化的時候講的東西是一樣的。
link |
23:45.820
那這邊呢,是另外一個例子啦,這邊是另外一個例子。
link |
23:52.540
那假設這邊有另外一個3乘以3的matrix A,它也是對稱的,
link |
23:58.020
那只要它是對稱的,我們就可以把它寫成A等於P乘以D乘以P的inverse。
link |
24:03.740
那我們現在發現說A呢,它只有兩個eigenvalue,分別是2跟8,
link |
24:11.420
它只有兩個eigenvalue,分別是2跟8,
link |
24:14.780
代表說A對應的characteristic polynomial裡面有重根的情形。
link |
24:21.220
那如果A不是一個對稱的矩陣,它只是一個一般的矩陣的話,
link |
24:25.580
你發現說它是一個3乘以3的矩陣,但是只有兩個eigenvalue,
link |
24:29.860
這個時候你就不知道它能不能夠被對角化。
link |
24:33.500
因為有可能說你找不到三個eigenvector,
link |
24:37.820
可以三個independent eigenvector,它可以拿來當作P的三個column。
link |
24:44.020
但是如果今天是一個對稱的矩陣,你就不需要擔心這個問題,
link |
24:48.860
你一定可以把A呢,做對角化。
link |
24:53.380
所以你就實際做一下,這個λ1對應的eigenspace,
link |
24:59.020
它的basis就是-1 1 0,-1 0 1。
link |
25:03.580
那λ2它對應的eigenspace,它的basis就是1 1 1。
link |
25:10.100
那今天你如果直接套用,
link |
25:14.660
比如說你直接找出parametric的representation,
link |
25:21.020
你找出來的basis,不見得是independent的。
link |
25:25.420
誒,這邊有個奇怪的字誒,我想要講的是independent。
link |
25:44.740
好,那今天你用一般的方法找出來的basis,
link |
25:50.820
它雖然一定是independent的,但它不見得是orthogonal的,對不對?
link |
25:57.740
你找出來的basis,它一定是independent的,但它不見得是orthogonal的。
link |
26:08.060
那怎麼辦呢?你就用我們上週講過的Grant Smith的normalization,
link |
26:12.980
把一個independent但不見得是orthogonal的basis,把它轉成orthogonal的basis。
link |
26:19.820
那就把那個公式套一套,你就把這個basis轉成一個orthonormal的basis。
link |
26:27.540
好,那接下來呢,你也把這個1 1 1這個basis,也把它轉成一個orthonormal的basis。
link |
26:35.140
那接下來你再把這兩個basis拼起來,它就是P。
link |
26:42.220
然後D就是2,因為它的basis有兩個vector,所以2要重複兩遍,然後再加上8,然後就結束了。
link |
26:57.620
好,所以今天呢,如果我們要有一個matrix A,它是symmetric,
link |
27:04.340
假設我們要把它寫成P的transpose乘上A乘上P等於D的形式,
link |
27:08.700
或者是把它寫成A等於P乘以D乘以P的transpose,
link |
27:12.620
那要怎麼做呢?你就先把matrix A,它所有的eigenvalue通通都找出來,
link |
27:18.660
然後找出每一個eigenvalue所對應的eigenspace,
link |
27:22.700
假設A有K一個eigenvalue,讓打1到讓打K,
link |
27:25.980
你就找出它對應的K一個eigenspace,ε1到εK,
link |
27:31.260
然後每一個eigenspace,你要找出它的orthonormal的basis,
link |
27:37.980
你要找出它orthonormal的basis,找一般的basis還不行,
link |
27:41.620
你要找的是orthonormal的basis,因為P是一個orthogonal的matrix,
link |
27:46.620
所以你今天你的這個B的basis要是orthonormal的,
link |
27:51.260
那把這個B的orthonormal basis拼起來才會變成orthogonal的matrix P。
link |
27:57.060
所以今天找出一般的basis還不夠,你要用Brandt-Smith的algorithm找出orthonormal的basis,
link |
28:03.180
來把這些orthonormal的basis全部拼起來就可以得到P。
link |
28:09.660
好,那這件事情有什麼重要的地方呢?
link |
28:12.380
我們之前講對角化的時候,我們說今天假設你有一個matrix A,
link |
28:17.780
它可以被對角化成P乘以D乘以P乘以O,
link |
28:21.820
那意味著說我們有一個好方法,我們有一個好的coordinate system,
link |
28:27.100
我們在這個好的coordinate system下看A這個matrix,
link |
28:31.540
看A這個matrix,它是一個diagonal的matrix。
link |
28:35.740
就有一個coordinate system,這coordinate system的basis,
link |
28:39.500
就是現在投影片上的P這個matrix的color,
link |
28:43.420
那它這個,你用這個coordinate system來看待A這個matrix,
link |
28:49.100
你會發現說它是diagonal的matrix,它是一個簡單的matrix。
link |
28:55.900
那今天如果A它是symmetric的,
link |
28:58.700
那進一步你就可以再說,A既然是symmetric的,
link |
29:02.740
那P就會是一個orthonormal的matrix,
link |
29:07.540
P就會是一個orthonormal的matrix,
link |
29:10.020
P它會是一個orthonormal的basis。
link |
29:14.380
那這意味著什麼?
link |
29:15.660
這意味著說我們找得到一個coordinate system,
link |
29:18.980
這個coordinate system它的basis是orthonormal的,
link |
29:24.180
它的basis是orthonormal的。
link |
29:26.860
我們找得到一個coordinate system,
link |
29:29.500
定義這個coordinate system的那組vector,
link |
29:32.020
是一個orthonormal的vector set。
link |
29:34.660
那如果定義這個coordinate system,
link |
29:37.900
它的那個vector set是一個orthonormal的vector set,
link |
29:41.460
那有什麼好處呢?
link |
29:42.940
至少你現在要把一個在原來的,
link |
29:47.300
這個我們所熟悉的空間裡面的vector v,
link |
29:50.980
換成這個coordinate system下面的v的時候,
link |
29:54.060
你在運算上是會比較方便的。
link |
29:56.580
因為你記不記得,如果我們今天要把一個vector v,
link |
30:00.940
把它在,這邊我是寫成u,
link |
30:04.420
假設我們要把一個vector u,
link |
30:06.980
看出說它在一個coordinate system下,
link |
30:11.620
這個coordinate system它的basis是v1,v2到vk,
link |
30:17.420
而且v1,v2到vk是orthogonal的。
link |
30:21.260
那我們要怎麼找出它的係數呢?
link |
30:24.060
我們就把u跟v1做double dot,
link |
30:27.460
u跟v2做double dot,u跟vk做double dot,
link |
30:30.620
你就可以找出它的係數。
link |
30:32.900
所以今天,假設你的coordinate system,
link |
30:35.780
它定義這個coordinate system vector set,
link |
30:38.260
是orthonormal的話,
link |
30:39.740
那你就可以比較輕易的,
link |
30:41.980
在不同的這個coordinate system下做進行轉換。
link |
30:46.340
那這個呢,就是這個symmetric matrix它的一個特色。
link |
30:53.220
好,那剛才講說一個symmetric matrix,
link |
30:56.220
它可以寫成pd乘以p2乘以pos,
link |
30:59.900
那這件事情,給symmetric matrix一個特色,
link |
31:03.020
就是它可以做spectral decomposition。
link |
31:09.380
好,那怎麼說呢?
link |
31:10.900
就是因為現在pr,它是一個orthogonal的vector,
link |
31:17.780
或是你可以說,p裡面的這個u的vector,
link |
31:21.180
它形成一個orthonormal的basis,
link |
31:24.700
然後你有一個matrix D,
link |
31:26.380
這個matrix D它的value是,
link |
31:29.620
它的diagonal是ln1到lnn,
link |
31:32.220
這些ln是a的eigenvector,
link |
31:35.460
是a的eigenvalue。
link |
31:37.340
那接下來呢,你就可以把pd,
link |
31:40.500
p的transpose,寫成p,
link |
31:43.140
乘上ln1,e1,ln1,e2,ln1,en,
link |
31:46.660
乘到p的transpose。
link |
31:48.860
好,接下來呢,
link |
31:52.140
你就可以把p乘進去,
link |
31:56.460
所以ln1p乘上e1,ln2p乘上e2,
link |
31:59.500
到lnnp乘上en,乘上p的transpose。
link |
32:04.140
好,這個p乘上e1,會等於u1,
link |
32:10.420
這個p乘上e2,會等於u2,
link |
32:14.500
p乘上en,會等於un。
link |
32:17.580
這個我們大家都很清楚,
link |
32:19.300
你把p乘上一個standard vector,
link |
32:21.780
會得到p裡面的某一個color。
link |
32:27.260
好,那前面這個,
link |
32:30.180
然後那接下來呢,
link |
32:32.220
我們把後面呢,
link |
32:33.940
我們有這個p的transpose,
link |
32:36.660
然後我們把p的transpose乘進來。
link |
32:40.180
那p的transpose呢,
link |
32:41.420
它的每一個row就是u1的transpose,
link |
32:43.700
一直到un的transpose。
link |
32:45.780
那前面這個部分呢,
link |
32:47.260
是ln1u1,ln2u2,到lnnun。
link |
32:50.900
那你把這一個vector跟這一個vector,
link |
32:55.100
其實不是vector,
link |
32:55.780
你把這一個matrix跟這一個matrix做相乘,
link |
32:58.860
那你得到什麼樣的結果呢?
link |
33:00.540
你得到ln1乘上u1跟u1的transpose,
link |
33:04.860
ln2乘上u2跟u2的transpose,
link |
33:08.340
一直加到lnn乘上un乘上un的transpose。
link |
33:12.820
那所以呢,
link |
33:14.100
那這個u1乘上u1的transpose,
link |
33:16.140
它是一個matrix,
link |
33:18.260
我們把它寫成p1,
link |
33:19.780
那u2乘上u2的transpose,
link |
33:21.300
我們把它寫成p2,
link |
33:22.580
一直到un乘上un的transpose,
link |
33:24.380
我們把它寫成pn。
link |
33:26.220
所以今天matrix A啊,
link |
33:27.900
我們可以把它寫成呢,
link |
33:29.940
ln1乘上p1,
link |
33:31.700
加上ln2乘上p2,
link |
33:33.580
一直加到lnn乘上pn。
link |
33:36.420
那前面的ln,
link |
33:37.580
其實是你的eigenvalue。
link |
33:40.500
好,那這個p啊,
link |
33:41.860
有什麼樣特殊的地方呢?
link |
33:44.340
你會發現說p它是一個,
link |
33:46.980
特別簡單的matrix,
link |
33:48.660
這個特別簡單的matrix,
link |
33:50.340
它的rank一定是1,
link |
33:53.300
它的rank一定是1。
link |
33:55.380
那為什麼呢?
link |
33:56.460
因為你可以很直覺的想說,
link |
33:58.220
今天u1啊,
link |
34:00.900
呃,我們就,
link |
34:02.020
比如說你就胡亂舉個例子,
link |
34:03.660
胡亂舉個例子,
link |
34:04.940
假設你的u1呢,
link |
34:06.980
是123,
link |
34:09.540
那u1乘上u1的transpose,
link |
34:13.620
是什麼東西呢?
link |
34:14.780
u1乘上u1的transpose,
link |
34:16.700
會變成一個3乘以3的matrix,
link |
34:20.340
它是這個123,
link |
34:28.100
然後乘上2,
link |
34:29.180
2,2,4,6,
link |
34:31.060
然後3,6,9,
link |
34:32.100
這個樣子。
link |
34:33.100
好,那這一個matrix啊,
link |
34:35.620
它的rank一定是1,
link |
34:37.620
假設這個東西叫做p1,
link |
34:39.580
那p1的rank一定是1,
link |
34:45.180
它的rank一定是1。
link |
34:46.700
最神奇的地方就是,
link |
34:48.060
假設一個matrix呢,
link |
34:49.700
它是對稱的,
link |
34:51.580
它是對稱的,
link |
34:52.900
那這個對稱的matrix,
link |
34:54.700
它就可以拆解成,
link |
34:56.580
n個rank是1的matrix的weighted sum,
link |
35:00.540
它可以拆解成,
link |
35:01.620
n個rank是1的matrix的weighted sum,
link |
35:03.700
那些weight是icon value。
link |
35:07.580
好,那我們今天呢,
link |
35:10.180
上一次講到spectral decomposition,
link |
35:14.460
那總之spectral decomposition,
link |
35:15.980
想要告訴我們的是說,
link |
35:18.300
對於任何一個對稱的矩陣A啊,
link |
35:23.100
你可以把它拆解成,
link |
35:25.020
一大堆matrix p1,
link |
35:27.100
p2到pn的weighted sum,
link |
35:30.180
然後這個weight呢,
link |
35:31.380
是λ1,λ2到λn。
link |
35:36.180
那這個p呢,
link |
35:38.780
它有一個特性就是,
link |
35:40.620
它也是symmetric的,
link |
35:42.740
它也是對稱的,
link |
35:45.020
那這也是很合理,
link |
35:45.740
一個對稱的矩陣可以拆解成很多小的,
link |
35:49.180
不是小的,
link |
35:49.980
很多其他的,
link |
35:50.780
很多對稱矩陣的和。
link |
35:53.220
所以A等於p1到pn的summation。
link |
35:57.780
好,那這個p有什麼樣的特性呢?
link |
36:01.100
p的特性是,
link |
36:02.340
它的rank是1,
link |
36:04.900
因為p是某一個vector ui,
link |
36:10.700
跟它的transpose相乘的結果。
link |
36:14.220
那如果你把ui乘上ui的transpose,
link |
36:16.860
形成一個matrix,
link |
36:17.700
這個matrix的rank會是1。
link |
36:21.540
那這個p還有一些性質,
link |
36:23.500
如果我們把pi乘上pi,
link |
36:25.860
pi乘上它自己,
link |
36:27.460
會發生什麼事呢?
link |
36:29.100
pi乘上它自己,
link |
36:30.620
就是把ui乘以ui的transpose,
link |
36:33.140
再乘上ui乘以ui的transpose。
link |
36:35.620
把ui的transpose乘上u,
link |
36:37.540
會得到什麼東西呢?
link |
36:39.020
把ui的transpose乘上u,
link |
36:41.060
就會不見了,
link |
36:43.220
就得到1。
link |
36:44.140
把ui的transpose乘上u,
link |
36:46.140
就得到1。
link |
36:49.620
為什麼?
link |
36:50.140
因為u1到un是一個orthonormal的basis,
link |
36:54.620
所以u1和不同的column間是orthonormal的,
link |
36:59.620
然後每一個u的長度都是1。
link |
37:03.020
所以ui乘上ui,
link |
37:05.740
會等於ui的長度ui的null的平方,
link |
37:08.980
那這個只是1。
link |
37:10.300
所以pi乘上pi,
link |
37:12.140
是ui乘上ui的transpose。
link |
37:14.980
那ui乘上ui的transpose是什麼呢?
link |
37:17.220
ui乘上ui的transpose,
link |
37:18.980
其實就是pi。
link |
37:20.420
所以pi乘上pi,
link |
37:22.260
會等於pi它自己。
link |
37:25.180
然後呢,
link |
37:26.060
這個pi乘上pj,
link |
37:27.940
會等於什麼東西呢?
link |
37:29.660
pi乘上pj,
link |
37:31.020
就是ui乘上ui的transpose,
link |
37:33.300
再乘上uj乘上uj的transpose。
link |
37:35.820
ui的transpose跟uj的transpose相乘等於什麼呢?
link |
37:39.940
ui的transpose跟uj的transpose相乘等於0,
link |
37:42.580
因為ui跟uj它們是orthogonal。
link |
37:49.540
那所以呢,
link |
37:50.300
pi乘上pj就是0,
link |
37:52.140
就是zero matrix。
link |
37:54.540
然後呢,
link |
37:55.420
如果我們把pi乘上ui的話,
link |
37:58.980
那就變成ui乘上ui的transpose乘上ui,
link |
38:03.860
那會等,
link |
38:05.180
誒,
link |
38:05.700
這個沒有寫出來,
link |
38:06.820
這個就會等於呢?
link |
38:08.300
等於什麼呢?
link |
38:09.300
等於ui自己。
link |
38:13.180
然後如果我們把pi乘上uj的話呢,
link |
38:17.460
會等於什麼呢?
link |
38:18.460
把pi乘上uj等於ui乘ui的transpose乘上uj,
link |
38:22.260
那就等於zero的vector,
link |
38:25.020
就等於zero vector,
link |
38:26.020
就這樣。
link |
38:27.500
好,那接下來呢,就只是舉一個例子。
link |
38:29.860
哦,這邊有一個對稱的矩陣,
link |
38:31.380
我們把它做這個spectrum的decomposition。
link |
38:36.060
那你就要先找一下它的eigenvalue,
link |
38:39.220
它的eigenvalue是5跟負。
link |
38:41.660
它是一個對稱的矩陣,
link |
38:42.860
所以它的eigenvalue呢都是時數,
link |
38:47.060
都是時數。
link |
38:49.180
好,那這個eigenvalue呢,
link |
38:52.220
這兩個eigenvalue呢,
link |
38:53.620
它們對應的eigenspace,
link |
38:55.700
分別可以找出一個basis。
link |
38:58.260
然後你就再做一番的normalization以後,
link |
39:01.100
你就可以找到一個matrix B,
link |
39:03.500
或找到一個orthonormal的basis B呢,
link |
39:08.820
它的裡面的兩個vector都是A的eigenvector。
link |
39:13.060
然後接下來呢,
link |
39:13.980
你就可以把A呢,
link |
39:15.300
做spectral的decomposition,
link |
39:17.460
你就會知道說,
link |
39:18.620
A等於兩個symmetric的matrix的和,
link |
39:21.740
一個是P1,
link |
39:22.820
P1是u1跟u1的transpose,
link |
39:25.100
P2是u2跟u2的transpose,
link |
39:27.580
所以A等於λP1加上λP2,
link |
39:30.740
那就是spectral decomposition。