矩陣與線性方程組-

1、第1 章矩陣與線性方程組矩陣是描述和求解線性方程組最基本和最有用的工具。本章涉及向量和矩陣的基本概念,歸納了向量和矩陣的基本運(yùn)算。1.1 主要理論與方法一、矩陣與向量a11x1 + a12x2 + + a1n x n = b1a21x1 + a22x2 + + a2n x n = b2.a m1x1 + a m2x2 + + a mn x n =b m9=;(1.1它使用m個(gè)方程描述n個(gè)未知量之間的線性關(guān)系。這一線性方程組很容易用矩陣|向量形式簡(jiǎn)記為Ax = b (1.2式中A =26664a11 a12 a1na21 a22 a2n.a m1 a m2 a mn37775(1.3稱為m n矩

2、陣,是一個(gè)按照長(zhǎng)方陣列排列的復(fù)數(shù)或?qū)崝?shù)集合;而x =26664x1x2.x n37775; b =26664b1b2.b m37775(1.4分別為n 1向量和m1向量,是按照列方式排列的復(fù)數(shù)或?qū)崝?shù)集合,統(tǒng)稱列向量。類似地,按照行方式排列的復(fù)數(shù)或?qū)崝?shù)集合稱為行向量,例如a = a1; a2; ; a n (1.5是1 n向量。二、矩陣的基本運(yùn)算1. 共軛轉(zhuǎn)置:若A = a ij 是一個(gè)m n矩陣,則A的轉(zhuǎn)置記作A T,是一個(gè)n m矩陣,定義為A Tij = a ji;矩陣A的復(fù)數(shù)共軛A定義為Aij = aji;復(fù)共軛轉(zhuǎn)置記作A H,定義為A H =26664a11 a21 am1a12 a22

3、 am2.a1n a2n amn37775(1.6共軛轉(zhuǎn)置又叫Hermitian伴隨、Hermitian轉(zhuǎn)置或Hermitian共軛。滿足A H = A的正方復(fù)矩陣稱為Hermitian矩陣或共軛對(duì)稱矩陣。2. 矩陣求和:兩個(gè)mn矩陣A = a ij 和B = b ij 之和記作A+B,定義為A+Bij =a ij +b ij。3. 標(biāo)量與矩陣相乘:令A(yù) = a ij 是一個(gè)m n矩陣,且是一個(gè)標(biāo)量。乘積A是一個(gè)m n矩陣,定義為Aij = a ij。4. 矩陣與向量相乘:m n矩陣A = a ij 與r 1向量x = x1; x2; ; x rT的乘積Ax只有當(dāng)n = r時(shí)才存在,它是一個(gè)m

4、 1向量,定義為Axi =n X j=1a ij x j ; i = 1; 2; ;m5. 矩陣與矩陣相乘:m n矩陣A = a ij 與r s矩陣B = b ij 的乘積AB只有當(dāng)n =r時(shí)才存在,它是一個(gè)m s矩陣,定義為ABij =n X k=1a ikb kj ; i = 1; 2; ;m; j = 1; 2; ; s根據(jù)定義,容易驗(yàn)證矩陣的加法服從下面的運(yùn)算規(guī)則。加法交換律(commutative law of addition:A + B = B + A加法結(jié)合律(associative law of addition:(A + B + C = A + (B + C定理1.1 矩陣

5、的乘積服從下面的運(yùn)算法則。(1 乘法結(jié)合律(associative law of multiplication: 若A 2 C mn;B 2 C np;C 2C pq,則A(BC = (ABC。(2 乘法左分配律(left distributive law of multiplication:若A和B是兩個(gè)mn 矩陣,且C是一個(gè)n p矩陣,則(A + BC = AC + BC。(3 乘法右分配律(right distributive law of multiplication:若A是一個(gè)mn 矩陣,并且B和C是兩個(gè)n p矩陣,則A(B + C = AB + AC。(4 若是一個(gè)標(biāo)量,并且A和B

6、是兩個(gè)m n矩陣,則(A + B = A + B。6. 逆矩陣:令A(yù)是一個(gè)nn矩陣,若可以找到一個(gè)nn矩陣A1滿足AA1 = A1A =I,稱矩陣A可逆,并稱A1是矩陣A的逆矩陣。下面是共軛、轉(zhuǎn)置、共軛轉(zhuǎn)置和逆矩陣的性質(zhì)。(1 矩陣的共軛、轉(zhuǎn)置和共軛轉(zhuǎn)置滿足分配律:(A + B= A+ B(A + BT = A T + B T(A + BH = A H + B H(2 矩陣乘積的轉(zhuǎn)置、共軛轉(zhuǎn)置和逆矩陣滿足關(guān)系式(ABT = B T A T(ABH = B H A H(AB1 = B1A1 (A;B 為可逆的正方矩陣(3 共軛、轉(zhuǎn)置和共軛轉(zhuǎn)置等符號(hào)均可與求逆符號(hào)交換,即有(A1 = (A1; (

7、A T1 = (A1T; (A H1 = (A1H因此,常常分別采用緊湊的數(shù)學(xué)符號(hào)A;AT和AH。(4 對(duì)于任意矩陣A,矩陣B = A H A都是Hermitian 矩陣。若A可逆,則對(duì)于Hermitian矩陣B = A H A,有AH BA1 = AH A H AA1 = I。7. 冪等矩陣:矩陣A nn稱為冪等矩陣(idempotent matrix,若A2 = AA = A。8. 對(duì)合矩陣:矩陣A nn稱為對(duì)合矩陣(involutory matrix,若A2 = AA = I。三、向量的線性無關(guān)性與非奇異矩陣1. 向量組線性相關(guān)/無關(guān):一組m維向量fu1;u2; ;u n g稱為線性無關(guān)

8、,若方程c1u1 + c2u2 + + c n u n = 0只有零解c1 = c2 = = c n = 0。若能夠找到一組不全部為零的系數(shù)c1; c2; ; c n使得上述方程成立,則稱m維向量組fu1;u2; ;u n g線性相關(guān)。2. 奇異/非奇異矩陣:一個(gè)n n矩陣A是非奇異的,當(dāng)且僅當(dāng)矩陣方程Ax = 0只有零解x = 0。若A不是非奇異的,則稱A 奇異。四、初等行變換與階梯型矩陣1. 矩陣的初等行變換:令矩陣A 2 C mn的m個(gè)行向量分別為r1; r2; ; r m。下列運(yùn)算稱為矩陣A的初等行運(yùn)算(elementary row operation或初等行變換:(1 互換矩陣的任意

9、兩行,如r p $ r q,稱為型初等行變換。(2 一行元素同乘一個(gè)非零常數(shù),如r p ! r p,稱為型初等行變換。(3 將第p行元素同乘一個(gè)非零常數(shù)后,加給第q行,即r p + r q ! r q,稱為型初等行變換。2. 階梯型矩陣:一個(gè)m n矩陣稱為階梯型(echelon form矩陣,若(1 全部由零組成的所有行都位于矩陣的底部。(2 每一個(gè)非零行的首項(xiàng)元素總是出現(xiàn)在上一個(gè)非零行的首項(xiàng)元素的右邊。(3 首項(xiàng)元素下面的同列元素全部為零。一、向量空間以向量為元素的集合V 稱為向量空間,若加法運(yùn)算定義為兩個(gè)向量之間的加法,乘法運(yùn)算定義為向量與標(biāo)量域S中的標(biāo)量之間的乘法,并且對(duì)于向量集合V 中

10、的向量x; y;w和標(biāo)量域S中的標(biāo)量a1; a2,以下兩個(gè)閉合性和關(guān)于加法及乘法的八個(gè)公理(axiom 也稱公設(shè)(postulate或定律(law滿足:閉合性(closure properties(c1 若x 2 V 和y 2 V ,則x + y 2 V ,即V 在加法下是閉合的,簡(jiǎn)稱加法的閉合性(closure for addition;(c2 若a1是一個(gè)標(biāo)量,y 2 V ,則a1y 2 V ,即V 在標(biāo)量乘法下是閉合的,簡(jiǎn)稱標(biāo)量乘法的閉合性(closure for scalar multiplication。加法的公理(a1 x + y = y + x; 8 x; y 2 V ,稱為加法

11、的交換律(commutative law for addition;(a2 x+(y +w = (x+y+w; 8 x; y;w 2 V ,稱為加法的結(jié)合律(associative law for addition;(a3 在V 中存在一個(gè)零向量0,使得對(duì)于任意向量y 2 V ,恒有y +0 = y (零向量的存在性;(a4 給定一個(gè)向量y 2 V ,存在另一個(gè)向量y 2 V 使得y + (y = (y + y = 0 (負(fù)向量的存在性。標(biāo)量乘法的公理(s1 a(by = (aby對(duì)所有向量y和所有標(biāo)量a; b 成立,稱為標(biāo)量乘法的結(jié)合律(associative law for scalar

12、multiplication;(s2 a(x + y = ax + ay對(duì)所有向量x; y 2 V 和標(biāo)量a 成立,稱為標(biāo)量乘法的分配律(distributive law for scalar multiplication;(s3 (a + by = ay + by對(duì)所有向量y和所有標(biāo)量a; b成立(標(biāo)量乘法的分配律;(s4 1y = y 對(duì)所有y 2 V 成立,稱為標(biāo)量乘法的單位律(unity law for scalar multipli- cation。二、實(shí)內(nèi)積空間實(shí)內(nèi)積空間(real inner product space是滿足下列條件的實(shí)向量空間E:對(duì)E中每一對(duì)向量x; y,存在向

13、量x和y的內(nèi)積hx; yi 服從以下公理:(1 hx; xi 0; 8 x 6= 0,稱為內(nèi)積的嚴(yán)格正性(strict positivity或稱內(nèi)積是正定的(positive denite,并且hx; xi = 0 , x = 0;(2 hx; yi = hy; xi,稱為內(nèi)積的對(duì)稱性(symmetry;(3 hx; y + zi = hx; yi + hx; zi; 8 x; y; z;(4 hx; yi = hx; yi對(duì)所有實(shí)向量x; y及所有實(shí)標(biāo)量成立。三、復(fù)內(nèi)積空間復(fù)內(nèi)積空間(complex inner product space是滿足下列條件的復(fù)向量空間C:對(duì)C中每一對(duì)向量x; y

14、,存在復(fù)向量x和y之間的內(nèi)積hx; yi 服從以下公理:(1 x 6= 0 hx; xi 0,稱為內(nèi)積的嚴(yán)格正性或稱內(nèi)積是正定的;(2 hx; yi= hy; xi,稱為內(nèi)積的共軛對(duì)稱性(conjugate symmetry或Hermitian性;(3 hx; y + zi = hx; yi + hx; zi,對(duì)所有向量x; y; z成立;(4 hcx; yi = chx; yi對(duì)所有復(fù)向量x; y 及所有復(fù)標(biāo)量c成立。四、線性映射令V 和W分別是R m和R n 的子空間,并且T : V 7! W是一映射。稱T為線性映射或線性變換,若對(duì)于v 2 V; w 2 W和所有標(biāo)量c,映射T滿足線性關(guān)系

15、式T(v + w = T(v + T(w (1.7和T(cv = cT (v (1.8一、隨機(jī)向量的統(tǒng)計(jì)描述1. 均值向量:考查m1隨機(jī)向量x( = x1(; x2(; ; x m(T。令隨機(jī)變量x i(的均值E fx i(g = i,則隨機(jī)向量的數(shù)學(xué)期望稱為均值向量,記作x,定義為x = E fx(g =26664E fx1(g E fx2(g .E fx m(g37775=2666412.m37775(1.9式(1.9表明,均值向量的元素是隨機(jī)向量各個(gè)元素的均值。2. 自相關(guān)矩陣:隨機(jī)向量的自相關(guān)矩陣定義為R xdef = E fx(x H(g =26664r11 r12 r1mr21 r

16、22 r2m.r m1 r m2 r mm37775(1.10式中,r ii; i = 1; 2; ;m表示隨機(jī)變量x i(的自相關(guān)函數(shù),定義為r iidef = E fjx i(j2g; i = 1; 2; ;m (1.11而r ij表示隨機(jī)變量x i(和x j(之間的互相關(guān)函數(shù),定義為r ijdef = E fx i(xj (g; i; j = 1; 2; ; m; i 6= j (1.12顯然,自相關(guān)矩陣是共軛對(duì)稱的,即為Hermitian矩陣。3. 自協(xié)方差矩陣:隨機(jī)向量x(的自協(xié)方差矩陣定義為C xdef = E fx( xx( xH g =26664c11 c12 c1mc21 c

17、22 c2m.c m1 c m2 c mm37775(1.13式中,主對(duì)角線的元素c iidef = E fjx i( i j2g; i = 1; 2; ;m (1.14表示隨機(jī)變量x i(的方差2i ,即c ii = 2i ,而非主對(duì)角線元素c ijdef = E fx i( ix j( j g = E fx i(xj (g ij = cj i (1.15表示隨機(jī)變量x i(和x j(之間的協(xié)方差。自協(xié)方差矩陣也是Hermitian矩陣。隨機(jī)向量間的互相關(guān)矩陣與互協(xié)方差矩陣很容易由自相關(guān)矩陣與自協(xié)方差矩陣推廣得到。4. 統(tǒng)計(jì)不相關(guān):兩個(gè)隨機(jī)向量x(與y(統(tǒng)計(jì)不相關(guān),若它們的互協(xié)方差矩陣等于零

18、矩陣,即C xy = O。5. 正交:兩個(gè)隨機(jī)向量x(和y(稱為正交,若它們的互相關(guān)矩陣為零矩陣,即R xy = E fx(y H(g = O (1.16二、正態(tài)隨機(jī)向量若隨機(jī)向量x( = x1(; x2(; ; x m(T的各分量為聯(lián)合正態(tài)分布的隨機(jī)變量,則稱x(為正態(tài)隨機(jī)向量。一、向量的內(nèi)積與范數(shù)1. 常數(shù)向量的內(nèi)積與范數(shù)(1 內(nèi)積:兩個(gè)m 1維常數(shù)向量x = x1; x2; ; x mT 和y = y1; y2; ; y mT的內(nèi)積(或叫點(diǎn)積定義為hx; yi = x H y =m X i=1xi y i (1.17(2 范數(shù):(a l1范數(shù)kxk1def =m X i=1jx i j

19、= jx1j + jx2j + + jx m j (1.18上述范數(shù)有時(shí)也叫和范數(shù)或1范數(shù)。(b l2范數(shù)kxk2 = (jx1j2 + jx2j2 + + jx m j21=2 (1.19這一范數(shù)常稱Euclidean范數(shù),有時(shí)也稱Frobenius范數(shù)。(c l1(b 若c是一個(gè)復(fù)或者實(shí)的常數(shù)，則tr(cA = c tr(A。 (c 若A和B 均為n n矩陣，并且c1和c2為常數(shù)，則tr(c1A c2B = c1tr(A c2tr(B。 (d 矩陣A的轉(zhuǎn)置、復(fù)數(shù)共軛和復(fù)共軛轉(zhuǎn)置的跡分別為 tr(AT = tr(A tr(A = tr(A tr(AH = tr(A (e 跡是相似不變量：若A

20、為m n 矩陣，且B為n m矩陣，則 tr(AB = tr(BA (f 若矩陣A和B均為m m矩陣，并且B非奇異，則 tr(BAB 1 = tr(B 1AB = tr(A (g 若A是一個(gè)m n矩陣，則tr(AHA = 0 , A = Omn (零矩陣。 (h xHAx = tr(AxxH和yHx = tr(xyH。 (i 分塊矩陣的跡滿足 tr AB C D = tr(A + tr(D 式中，A 2 Cmm;B 2 Cmn;C 2 Cnm;D 2 Cnn。 (j 矩陣AHA 和AAH的跡相等，且有 tr(AHA = tr(AAH = n Xi=1 n Xj=1 jaij j2 (1.32 (k 跡等于特征值之和，即 tr(A = 1+ 2 + + n (1.33 (l 對(duì)于任何正整數(shù)k，有 tr(Ak = n Xi=1