線性空間與線性變換

1、第一章 線性空間與線性變換知識(shí)要點(diǎn)：1、線性空間的概念和結(jié)構(gòu)，基變換、過渡矩陣和向量的坐標(biāo)變換。2、線性子空間的概念，維數(shù)定理，直和與直和分解定理。3、線性變換及其矩陣表示。4、歐氏空間與酉空間，正交陣與酉陣，正交補(bǔ)與正交分解。5、正交變換及其特征。6、應(yīng)用于小波變換的框架理論（對(duì)偶框架，緊框架，基）。§1.1線性空間一、線性空間的概念 在諸如所有維實(shí)向量構(gòu)成的集合等集合中，線性運(yùn)算是研究向量性質(zhì)的基本工具，它能從線性相關(guān)性和線性結(jié)構(gòu)的角度研究向量、向量組之間的關(guān)系，這在線性代數(shù)課程中已得到充分展示。對(duì)于更加一般的元素構(gòu)成的集合，也可同樣在其中引入“線性運(yùn)算”，進(jìn)行集合性質(zhì)和結(jié)構(gòu)的研

2、究。通常具有某些運(yùn)算工具的集合稱為“空間”。定義1（definition）：設(shè)非空集合相對(duì)于數(shù)域具有封閉的加法和數(shù)乘運(yùn)算，并且具有與任何元素之和仍為該元素的零元素，同時(shí)每個(gè)元素均具有與其之和為零元素的負(fù)元素。若中運(yùn)算滿足加法結(jié)合律與交換律、數(shù)乘結(jié)合律與分配律和乘1不變性，則稱為數(shù)域上的線性空間。注1（note）：數(shù)域是指對(duì)加減乘除四則運(yùn)算封閉的數(shù)集，如有理數(shù)集、實(shí)數(shù)集和復(fù)數(shù)集等。注2：易證零元素和負(fù)元素均是唯一的，零元素為，元素的負(fù)元素記為。注3：任何線性空間必含有零元素，只含有零元素的線性空間稱為零空間，記為。 對(duì)于元素和數(shù)，與的和記為，與的數(shù)乘記為，稱為與的線性運(yùn)算或線性組合。一個(gè)集合是否

3、構(gòu)成一個(gè)線性空間，主要是看所引入的線性運(yùn)算是否具有封閉性。例1（example）：數(shù)域上的維（行或列，以后若不加聲明均指列）向量空間。 按維向量的線性運(yùn)算，構(gòu)成數(shù)域上的線性空間。例2：中的子集，其中為上階矩陣。 按中的線性運(yùn)算，非空子集是封閉的，從而構(gòu)成數(shù)域上的線性空間。例3：數(shù)域上的階矩陣空間。 按階矩陣的線性運(yùn)算，構(gòu)成數(shù)域上的線性空間。例4：數(shù)域上的多項(xiàng)式空間。 按多項(xiàng)式的線性運(yùn)算，構(gòu)成數(shù)域上的線性空間。例5：區(qū)間上的實(shí)值連續(xù)函數(shù)空間。按函數(shù)的線性運(yùn)算，構(gòu)成數(shù)域上的線性空間。例6：中子集，其中，。 因?yàn)?，所以時(shí)，即數(shù)乘運(yùn)算不滿足封閉性，因而不構(gòu)成數(shù)域上的線性空間。例7：設(shè)，定義中的“加法”

4、和“數(shù)乘”為：，則為上的線性空間，其中中零元素為1，的負(fù)元素為。 以上各例的完整證明留給讀者完成。二、線性空間的結(jié)構(gòu) 由于線性空間中已建立了線性的運(yùn)算工具，因此可類似于維向量空間中的做法，考察元素間的線性相關(guān)性和線性空間的結(jié)構(gòu)。為習(xí)慣起見，以后線性空間中元素仍稱為向量。定義2：設(shè)為數(shù)域上的線性空間中的一組向量，若有中不全為零的一組數(shù)，使得，則稱線性相關(guān)，否則稱為線性無關(guān)。 顯然，若使得成立的數(shù)只能全為0，則向量組必是線性無關(guān)的。由此可知，單個(gè)非零向量也是線性無關(guān)的。定義3：設(shè)線性空間中有一組非零向量，滿足：（1）線性無關(guān)；（2）中任一向量均可由線性表示。則稱為的一組基，數(shù)稱為的維數(shù)，記為。注1

5、：線性空間的基不是唯一的，但其維數(shù)是唯一確定的。注2：線性空間的基可以理解為空間中的參照系，能將所有元素線性表示出來。定理1：設(shè)為數(shù)域上線性空間的一組基，則對(duì)于任何向量，存在唯一一組數(shù)，使得，從而。證明：對(duì)于向量，若有一組數(shù)，使得，則。由基的線性無關(guān)性可知，。因此，向量在基下的線性表示是唯一的。由基的定義可知，。由線性運(yùn)算的封閉性可知，對(duì)于任意，從而。因此，。注：集合稱為線性空間的結(jié)構(gòu)表示。 稱為向量在基下的結(jié)構(gòu)表達(dá)式。 若將記為，維向量稱為在基下的坐標(biāo)。例8：為中的一組基，；為中的一組基，；為（所有以中數(shù)為系數(shù)，次數(shù)不超過的多項(xiàng)式的集合）中的一組基，；中任意有限個(gè)向量均為或中線性無關(guān)的向量組

6、，因而或均不是有限維的線性空間。 以上結(jié)論由讀者自行證明。例9：試證為線性空間中的一組基，并求矩陣在這組基下的坐標(biāo)。證明：設(shè)，則。 由此可得，。因此，線性無關(guān)。對(duì)于中的任意矩陣總有，因此，為中的一組基，并且矩陣在這組基下的坐標(biāo)為。注：若令，可得 解之即得，。從而矩陣在基下的坐標(biāo)為。三、基變換、過渡矩陣和坐標(biāo)變換 在實(shí)際問題中，某個(gè)參照系中的描述和分析較為復(fù)雜和困難時(shí)，往往需要建立新的參照系，使得原問題形式簡(jiǎn)化和分析簡(jiǎn)單。就像轉(zhuǎn)換觀察角度后，問題的形式和性質(zhì)可以變得更加簡(jiǎn)單明了。因此，當(dāng)線性空間的一組基被理解為空間中的一種參照系時(shí)，自然就存在基之間的轉(zhuǎn)換。定義4：設(shè)和為線性空間中的兩組基，若則矩

7、陣稱為從基到基的過渡矩陣。 將上述基變換表達(dá)式簡(jiǎn)記為，稱之為基變換公式。定理2：線性空間基之間的過渡矩陣是可逆的。證明：設(shè)從基到基的過渡矩陣為，則。 對(duì)于任何列向量，時(shí)，必有。由基的線性無關(guān)性，可得。再由線性代數(shù)知識(shí)可知，過渡矩陣是可逆的。推論：設(shè)為基到基的過渡矩陣，則基到基的過渡矩陣為。證明：設(shè)基到基的過渡矩陣為，則由，可得。比較左、右對(duì)應(yīng)項(xiàng)在基下表達(dá)式的系數(shù)，可得（記為），即。這說明到的過渡矩陣為。注：由一組基和一個(gè)可逆矩陣，可構(gòu)造出另一組基。定理3：設(shè)向量在基和基下的坐標(biāo)分別為和，為基到基的過渡矩陣，則或。證明：由及得，從而或。注：上述公式稱為向量在不同基下的坐標(biāo)變換公式。例10：驗(yàn)證和

8、 均為中的基，并求前一組基到后一組基的過渡矩陣，以及在后一組基下的坐標(biāo)。解：考察，即對(duì)任何數(shù)成立，則由多項(xiàng)式理論可知。因而是線性無關(guān)的，并構(gòu)成的一組基。 由及矩陣可逆知， 也構(gòu)成的一組基，并且基到基的過渡矩陣為。 由可得，在基下的坐標(biāo)為。注：也可先求出，再計(jì)算出。例11：已知的兩組基分別為，試求基到基的過渡矩陣。解：設(shè)，則因此，。四、線性子空間的概念 當(dāng)一個(gè)集合包含一些特殊類型的元素時(shí)，研究其局部的性質(zhì)是必不可少的，是對(duì)整體性質(zhì)研究的一個(gè)補(bǔ)充，至少可以將整個(gè)集合分解成一些特殊的子集。對(duì)于線性空間，那些保持著原有的線性運(yùn)算封閉性的子集，有著重要的意義。定義5：設(shè)是線性空間的非空子集，若關(guān)于中的加

9、法和數(shù)乘也構(gòu)成線性空間，則稱是的一個(gè)線性子空間。顯然，零空間是任何線性空間的子空間。例12：設(shè)是數(shù)域上線性空間中的一組向量，則集合構(gòu)成的子空間，稱為由的生成子空間，記為。 證明留給讀者完成。子空間判別定理：線性空間的非空子集為的子空間的充分必要條件是對(duì)中的線性運(yùn)算封閉。 從子空間的定義中很容易看出該定理是正確的。根據(jù)上述判別定理，不難證明以下的結(jié)論1和結(jié)論2。結(jié)論1：設(shè)、為線性空間的子空間，則與的交也是的子空間，稱為交空間。結(jié)論2：設(shè)、為線性空間的子空間，則與的和也是的子空間，稱為和空間。例13：設(shè)，均為實(shí)矩陣，則。 結(jié)論是顯然成立的。例14：設(shè)，求、及它們的一組基。解：任取，則，即。解之得，

10、從而，。由此可得，為其一組基。 任取，則，因此。由可知，為的一組基。維數(shù)定理：設(shè)、為線性空間的子空間，則。證明：設(shè)，取的一組基，并將其分別擴(kuò)展為和的基：；。 以下證明是線性無關(guān)的，從而構(gòu)成的一組基。 考察，由可知，右端屬于可由線性表示，即有，整理后得到。 由的線性無關(guān)性可得，從而。 再由的線性無關(guān)性可得，從而向量組線性無關(guān)，并構(gòu)成的一組基。由此可得， ，并且。定義6：設(shè)、為線性空間的子空間，若中每個(gè)向量的分解式(，)是唯一的，即，時(shí)，總有，則稱為與的直和，記為。直和判別定理：設(shè)、為線性空間的子空間，則。證明：若是直和，假設(shè)存在，則，并且，由零向量分解式的唯一性可得，這與假設(shè)矛盾，因此而。若，假

11、設(shè)中向量的分解式不唯一，即存在，使得。由此可得，從而，即，這與假設(shè)矛盾，因此是直和。這說明。另由維數(shù)定理可知，。注1：為直和的充要條件為某一向量（包括0）的分解式唯一。 這只要注意到如下事實(shí)：設(shè)向量的分解式是唯一的，并且0的分解式為，則。由此可得，因而0的分解式是唯一的。對(duì)于任意向量，若，則，并且，。由0的分解唯一性的可得，即任意向量的分解也是唯一的。注2：、的基合并在一起構(gòu)成基的充分必要條件是為直和。直和分解定理：設(shè)為線性空間的子空間，則存在的子空間，使得。證明：任取的一組基，將其擴(kuò)展為的一組基。令，則。因此為和的直和，并且。注1：若為的一組基，則，但遠(yuǎn)遠(yuǎn)不能充滿線性空間。注2：直和分解的意

12、義還在于將大規(guī)模的線性運(yùn)算分解成較小規(guī)模線性運(yùn)算的線性組合，這將大大加快線性運(yùn)算的速度，傅立葉（）變換的快速計(jì)算就是建立在這種思想上的。§1.2線性變換及其矩陣一、線性變換及其運(yùn)算線性變換是線性運(yùn)算和運(yùn)算具有線性性的共性化的概念，其本質(zhì)是像的線性運(yùn)算與原像的線性運(yùn)算可以互相轉(zhuǎn)換。如維向量的線性變換、函數(shù)的微分和積分運(yùn)算均為線性變換。定義1：設(shè)是數(shù)域上線性空間到（或另一線性空間）中的映射，若對(duì)任何，總成立著，則稱是上線性變換。例1：對(duì)于任意，其中，則為上的線性變換。對(duì)于任意，則為上的線性變換。對(duì)于任意，則為上的線性變換。對(duì)于任意，則為到中的線性變換。對(duì)于任意，則不構(gòu)成上的線性變換。以上

13、結(jié)論由讀者自證。結(jié)論1：線性變換的加、減、乘、數(shù)乘和逆運(yùn)算仍為線性變換，線性空間上所有線性變換的集合構(gòu)成線性空間，記為。 線性變換的研究與其他許多數(shù)學(xué)對(duì)象一樣，常常是從運(yùn)算性質(zhì)、特殊區(qū)域上的表現(xiàn)、運(yùn)算表達(dá)式等方面著手的。二、象空間、核空間和不變子空間定義2：設(shè)是上線性變換，中所有向量在下的像構(gòu)成的集合稱為的像空間，中所有被變換成0的向量構(gòu)成的集合稱為的核空間。注：的像空間和核空間均為的子空間。定理1：設(shè)是上線性變換，則。證明：取的一組基，并將其擴(kuò)張為的一組基，則對(duì)于任何，總有，從而?？疾?，由的線性性可知，從而，因此可由線性表示，即有。再由的線性無關(guān)性可知，從而線性無關(guān)，因此構(gòu)成的一組基。 由此

14、可知，從而。定義3：設(shè)是線性空間上的線性變換，是的子空間，若，則稱為的不變子空間。例2：對(duì)于任意，設(shè)，則是線性變換的不變子空間。顯然，是上的微分變換，也是一個(gè)線性變換。由于多項(xiàng)式的導(dǎo)數(shù)必為低階的多項(xiàng)式，因此是線性變換的不變子空間。例3：對(duì)于任意，設(shè)，則是線性變換的不變子空間。顯然，為上的線性變換，是的特征子空間。對(duì)于任何，即，因而是線性變換的不變子空間。注：不變子空間是線性變換的屬性在定義空間上的反映，不變子空間中線性變換的性質(zhì)獨(dú)立于其它范圍中的性質(zhì)，因此尋找合適的不變子空間是性質(zhì)分析的重要內(nèi)容。結(jié)論2：設(shè)是上線性變換，則，均為的不變子空間。三、線性變換在基下的矩陣表示定義4：設(shè)為線性空間上的

15、線性變換，若的一組基在下的像為，則稱為在下的矩陣表示（或?yàn)榈淖儞Q矩陣），并將上述表達(dá)式記為。注：不一定可逆，但可逆時(shí)也構(gòu)成一組基。結(jié)論3：設(shè)為線性空間上的線性變換，則與是同構(gòu)的（isomorphic）。即中線性變換與中矩陣一一對(duì)應(yīng)，并且保持對(duì)應(yīng)的線性運(yùn)算。因此，中的基對(duì)應(yīng)于中的基，兩空間的維數(shù)相同。 這說明除符號(hào)形式不同外，從線性運(yùn)算的角度看，與沒什么區(qū)別?？梢哉J(rèn)為，矩陣和線性變換本質(zhì)相同，只是表現(xiàn)形式不同而已。因此，在變換分析和代數(shù)運(yùn)算兩種基本方法之間就架起了溝通和轉(zhuǎn)換的橋梁。定理2：設(shè)和為線性空間中過渡矩陣為的兩組基，線性變換在這兩組基下的表示分別為，則，即相似。證明：由，可得，從而。注：

16、定理的意義還在于，可將矩陣的相似化理解為線性變換在不同基（或參照系）下的轉(zhuǎn)換。例4：設(shè)是由基函數(shù)生成的實(shí)數(shù)域上的線性空間，令。（1）證明：也為的一組基；（2）求到的過渡矩陣；（3）求微分算子在基下的矩陣。解：，。由此可得，。（1）由可知， 可逆。因此，線性無關(guān)，從而構(gòu)成的一組基。（2）為到的過渡矩陣。（3），。由此可得，微分算子在基下的矩陣為。四、線性變換下向量的坐標(biāo)在線性空間中，由于每個(gè)向量均能表示成一組基的線性組合，因此向量在線性變換下的像將由基的像來決定。結(jié)論4：設(shè)為線性空間的一組基，線性變換在基下的矩陣表示為，向量在此基下的坐標(biāo)為，則的坐標(biāo)為。注：線性變換對(duì)向量作用的矩陣表示，就是變換

17、矩陣與向量坐標(biāo)的乘積。同樣，線性變換對(duì)一組向量的作用，可用變換矩陣與向量組的坐標(biāo)矩陣乘積表示。例5：設(shè)（），（）為線性空間的兩個(gè)基，由基（）到基（）的過渡矩陣為，線性變換滿足。（1）求在基（）下的矩陣；（2）求在基（）下的坐標(biāo)。解：（1）由已知可得，。令，則有。由，可得。因此在基（）下的矩陣為。（2）由可得，在基（）下的坐標(biāo)為。§1.3內(nèi)積空間（Inner Product Space）一、內(nèi)積空間的基本概念（The basic concept of inner product space） 線性空間中線性運(yùn)算的意義已十分明了，即在研究向量間線性關(guān)系的基礎(chǔ)上，充分揭

18、示了空間的代數(shù)性質(zhì)和結(jié)構(gòu)。但是，線性運(yùn)算的封閉性導(dǎo)致無法全面描述諸如向量長(zhǎng)度、夾角等幾何屬性，需要引入能夠表述幾何屬性的參數(shù)運(yùn)算，如向量代數(shù)中的數(shù)量積。當(dāng)然，這種參數(shù)運(yùn)算一定與線性運(yùn)算是相容的。定義1：設(shè)是實(shí)數(shù)或復(fù)數(shù)域上的線性空間，若對(duì)任何向量，都存在上的確定數(shù)，滿足以下條件：（1），等號(hào)成立當(dāng)且僅當(dāng)；（2）；（3）。則稱為與的內(nèi)積(inner product)，為內(nèi)積空間(inner product space)。特別時(shí)，稱為歐氏空間（Euclidean space）；時(shí)，稱為酉空間（unitary space）。顯然，內(nèi)積空間中具有兩種相容的基本運(yùn)算：線性運(yùn)算和內(nèi)積，其中內(nèi)積運(yùn)算

19、具有線性性。內(nèi)積運(yùn)算雖然不是封閉的，但可視為元素的示性運(yùn)算。例1：常見的內(nèi)積空間。在中，向量的內(nèi)積可定義為。 在中，矩陣的內(nèi)積可定義為。在中，上實(shí)值連續(xù)函數(shù)的內(nèi)積可定義為。 以上所定義內(nèi)積的正確性由讀者自行驗(yàn)證。結(jié)論1(conclusion 1)：對(duì)每一個(gè)，令，則為一個(gè)實(shí)數(shù)，并滿足：，當(dāng)且僅當(dāng)時(shí)等號(hào)成立，因此構(gòu)成上的一個(gè)范數(shù)，稱為內(nèi)積誘導(dǎo)的范數(shù)，構(gòu)成賦范線性空間。注：若定義，則具有正定性、對(duì)稱性并滿足三點(diǎn)不等式，因此構(gòu)成上的一個(gè)距離，稱為內(nèi)積誘導(dǎo)的距離，構(gòu)成一個(gè)距離空間。不等式：對(duì)于內(nèi)積空間中的任意兩個(gè)向量，都有，等號(hào)成立當(dāng)且僅當(dāng)與線性相關(guān)。證明：顯然，時(shí)，結(jié)論成立。 設(shè)，由可得，從而，并且等

20、號(hào)成立當(dāng)且僅當(dāng)。 因此，等號(hào)成立當(dāng)且僅當(dāng)與線性相關(guān)。定義2：設(shè)是內(nèi)積空間，若，則稱位單位向量。注：對(duì)于非零向量，為單位向量，稱之為的方向向量，這一過程稱為向量的單位化。二、正交基 對(duì)于抽象空間中的向量，“夾角”是無一般性意義的概念，但特殊的“正交”概念卻有著大量的諸如正交分解等實(shí)際背景。1、正交向量組與正交化定義3：設(shè)是內(nèi)積空間，若，則稱與正交，記為。若中非零向量組兩兩正交，則稱為正交向量組。注：若是內(nèi)積空間中的正交向量組，則。定理1：設(shè)是內(nèi)積空間中的正交向量組，則是線性無關(guān)的。證明：考察，兩端同時(shí)逐個(gè)與作內(nèi)積得，。由可知，。因此，是線性無關(guān)的。結(jié)論2：線性無關(guān)的有限向量組必可正交化為正交向量

21、組。 事實(shí)上，對(duì)于線性無關(guān)向量組，令，.，則是與相互等價(jià)（即可相互線性表示）的正交向量組。這種方法稱為正交化法。注：，其中均為1。例2：試將內(nèi)積空間中向量正交化。解：設(shè)，令，則，是等價(jià)于的正交向量組。2、標(biāo)準(zhǔn)正交基(standard orthogonal basis)定義4：設(shè)為維內(nèi)積空間中兩兩正交的單位向量組，則稱為的標(biāo)準(zhǔn)正交基。結(jié)論3：為標(biāo)準(zhǔn)正交基的充要條件為，。注：維內(nèi)積空間的任一組基，總可正交化為正交向量組，逐個(gè)單位化之后便構(gòu)成一組標(biāo)準(zhǔn)正交基。結(jié)論4：任何有限維內(nèi)積空間總有標(biāo)準(zhǔn)正交基，標(biāo)準(zhǔn)正交基下向量的內(nèi)積為對(duì)應(yīng)坐標(biāo)在中的內(nèi)積。事實(shí)上，若已是有限維內(nèi)積空間的標(biāo)準(zhǔn)正交基，在基下的坐標(biāo)分別

22、為，則。在該表達(dá)式中，標(biāo)準(zhǔn)正交基的表達(dá)形式被消去，使得內(nèi)積的運(yùn)算更加簡(jiǎn)潔。因此，在內(nèi)積空間中建立一組標(biāo)準(zhǔn)正交基是十分重要的。定義5：若矩陣，滿足或，式中表示的共軛轉(zhuǎn)置，則稱為酉矩陣。若矩陣，滿足或，式中表示的轉(zhuǎn)置，則稱為正交矩陣。注：矩陣滿足，但不滿足或。因此，矩陣不是酉矩陣也不是實(shí)正交矩陣。結(jié)論5：方陣為酉矩陣（正交矩陣）的充分必要條件是其列向量組構(gòu)成（）中的標(biāo)準(zhǔn)正交基。定理2：標(biāo)準(zhǔn)正交基之間的過渡矩陣是酉矩陣或正交矩陣，即。證明：設(shè)是標(biāo)準(zhǔn)正交基到標(biāo)準(zhǔn)正交基的過渡矩陣，則。由此可得，。由的標(biāo)準(zhǔn)正交性可知，即。因此，過渡矩陣是酉矩陣或正交矩陣。推論：酉空間或歐氏空間中標(biāo)準(zhǔn)正交基之間的過渡矩陣為

23、酉矩陣或正交矩陣。注：可通過構(gòu)造酉矩陣或正交矩陣來建立新的標(biāo)準(zhǔn)正交基。三、正交分解（orthogonal decomposition）定義5：若，有，則稱與正交，記為。若，有，則稱與正交，記為。定理3：設(shè)為內(nèi)積空間的子空間，并且，則是直和。證明：任取，則，。由可得，從而，因此，從而是直和。結(jié)論6：為的子空間，稱之為的正交補(bǔ)空間。正交分解定理（orthogonal decomposition theorem）：對(duì)于任何內(nèi)積空間的子空間，總有。證明：由于子空間也是內(nèi)積空間，因而存在標(biāo)準(zhǔn)正交基，使得。將擴(kuò)展為的一組基，其中是經(jīng)過標(biāo)準(zhǔn)正交化的向量組，使得構(gòu)成的標(biāo)準(zhǔn)正交基。因此，并且。例3：在歐氏空間中

24、定義內(nèi)積：，。設(shè)，令。求（1）的一個(gè)基；（2）將擴(kuò)展為的一個(gè)標(biāo)準(zhǔn)正交基。解：(1)設(shè)為中任意矩陣，則由題意可得，即，解之得。由此可得，為的一個(gè)基。(2) 顯然，線性無關(guān)構(gòu)成的一組基，是的一組基，并且與相互正交。將和分別單位正交化，可得單位正交向量組：，。 由此可得，構(gòu)成的一個(gè)標(biāo)準(zhǔn)正交基。4、 最小二乘法（least square method） 在許多行星軌道計(jì)算、植物葉綠素檢測(cè)和油井勘探選址等實(shí)際問題中，所建立的數(shù)學(xué)模型為線性方程組，其系數(shù)矩陣和常數(shù)項(xiàng)通常是測(cè)量出來的數(shù)值，常使未知參數(shù)的線性方程組無解。因此，無解狀態(tài)下求最小誤差解就成了對(duì)數(shù)學(xué)方法的最基本要求。定義6：設(shè)為

25、歐氏空間中的子空間，下確界稱為到的距離，記為。注：可以證明，存在，使得。定理4：設(shè)為歐氏空間中的子空間，。若存在，使得，則。反之，若，則。證明：由于對(duì)一切，成立，因而，即。由一元二次函數(shù)的性質(zhì)可知，對(duì)一切成立。 因此，。反之，若，則由可知，并且。 由此可知，。最小二乘法定理（Least squares theorem）：設(shè)均為維列向量，則偏差量達(dá)到最小時(shí)，其中，。證明：由本節(jié)定理4可知，達(dá)到最小值的充要條件是，即，對(duì)任何成立。 因此，即時(shí)，達(dá)到最小。注1：視下列數(shù)值為的元二次多項(xiàng)式函數(shù)可得，達(dá)到最小的必要條件為，滿足。注2：的最小值為時(shí)，滿足，此時(shí)線性方程組有解；的最小值大于時(shí)，由可知，對(duì)于任

26、何，總是有解的。例4：設(shè)，求的最佳解。解：由于等價(jià)于，因此無精確解。由，并且等價(jià)于，可得的解為，。注：當(dāng)是病態(tài)（ill-conditioned）矩陣時(shí)，即使偏差的模（范數(shù)）很小，上述方法所得之解仍可能與真實(shí)解偏差較大(詳見第三章第四節(jié))。因此需要改進(jìn)最小二乘法，吉洪諾夫正則化方法（Tikhonov regularization method）就是這樣一個(gè)有著廣泛應(yīng)用的方法。§1.4正交變換及其特征（Orthogonal transformation and its characteristics）一、正交變換的概念定義：設(shè)是內(nèi)積空間到中的映射，若對(duì)任何，都有，則稱是上的正交變換。 顯

27、然，正交變換就是保持內(nèi)積運(yùn)算不變的變換。性質(zhì)：若是上的正交變換，則也是上的線性變換。證明：由對(duì)任何成立可知，。由此可得，對(duì)任何，。同理，對(duì)任何，成立著 由此可得，對(duì)任何，。注：在有些教科書中，正交變換被定義為保持內(nèi)積運(yùn)算不變的線性變換。二、正交變換的特征定理1：線性變換為正交變換的充分必要條件是在標(biāo)準(zhǔn)正交基下的矩陣為酉矩陣或正交矩陣。證明：設(shè)線性變換在中標(biāo)準(zhǔn)正交基下的矩陣為，則。若是上的正交變換，則，其中為的第列。因此，由可知，為酉矩陣或正交矩陣。反之，若線性變換在中標(biāo)準(zhǔn)正交基下的矩陣為酉矩陣或正交矩陣，則，。對(duì)任何在下的坐標(biāo)為和的向量，都有。因此，是上的正交變換。注：正交變換可由酉矩陣或正交矩陣生成。定理2：線性變換為正交變換的充分必要條件是將標(biāo)準(zhǔn)正交基變?yōu)闃?biāo)準(zhǔn)正交基。證明：設(shè)上的線性變換是正交變換，是