第二章數(shù)學(xué)基礎(chǔ)

第二章數(shù)學(xué)基礎(chǔ)第一頁，共二十九頁，編輯于2023年，星期四§2.1線性空間和希爾伯特空間一.符號及定義符號以后我們常用字母加低桿表示矢量和矩陣，并且用小寫字母表示矢量，大寫字母表示矩陣，如：

線性空間：

關(guān)于線性空間和希爾伯特空間的嚴(yán)格定義，讀者可以參閱有關(guān)線性代數(shù)的教科書，這里僅給出其使用概念和結(jié)論。第二頁，共二十九頁，編輯于2023年，星期四所謂線性空間是指滿足線性變換關(guān)系的矢量集合，這里“滿足線性變換關(guān)系”是指嚴(yán)格定義：線性空間首先應(yīng)滿足“加法+”和“數(shù)乘”的封閉性。西安電子科技大學(xué)雷達(dá)信號處理實驗室第三頁，共二十九頁，編輯于2023年，星期四

希爾伯特空間希爾伯特空間是指定義了內(nèi)積的完備線性空間。式中“”表示共軛轉(zhuǎn)置，“*”表示取復(fù)共軛。我們定義兩個矢量的內(nèi)積為：西安電子科技大學(xué)雷達(dá)信號處理實驗室第四頁，共二十九頁，編輯于2023年，星期四二、獨立性、正交性、子空間分解在N維線性空間中，若，線性空間的一個子集V，若V對加法和數(shù)乘封閉，線性無關(guān)那么，矢量組是線性無關(guān)的，否則，若的非平凡組合為零，則稱是線性相關(guān)的。子空間西安電子科技大學(xué)雷達(dá)信號處理實驗室第五頁，共二十九頁，編輯于2023年，星期四即則，V是

的一個子空間。設(shè)是上的一組矢量，則由的所有線性組合構(gòu)成的集合是的一個子空間，常稱為張成的子空間，記為：若是線性無關(guān)的，且那么可由唯一地線性表示。西安電子科技大學(xué)雷達(dá)信號處理實驗室第六頁，共二十九頁，編輯于2023年，星期四如果是線性無關(guān)，并且不是如果是最大線性無關(guān)組，那么，的任一線性無關(guān)組的真子集，那么，這個子集就是的一個最大線性無關(guān)1）2）3）稱

是

的一個基。組。西安電子科技大學(xué)雷達(dá)信號處理實驗室第七頁，共二十九頁，編輯于2023年，星期四的零空間為:矩陣的秩定義為：矩陣的值域與零空間

給定一組向量，由這組向量張成的子空間容易由以上給出的定義寫出。另一種求子空間的方法是給定子空間中矢量的約束條件。如與矩陣有關(guān)的兩子空間值域與零空間。設(shè)，則的值域（或列空間）為

西安電子科技大學(xué)雷達(dá)信號處理實驗室第八頁，共二十九頁，編輯于2023年，星期四1）

是非奇異的2）3）（滿秩）可以證明，即矩陣的秩等于最大無關(guān)行數(shù)或最大無關(guān)列數(shù)。，如果m=n,則如下關(guān)系等價：

正交性

矢量的角

設(shè)，則這兩個矢量的夾角余弦定義為：西安電子科技大學(xué)雷達(dá)信號處理實驗室第九頁，共二十九頁，編輯于2023年，星期四正交性：1）矢量正交是指其夾角余弦等于零，即2）矢量組是正交的，如果對所有，有正交。如果滿足，則稱之為標(biāo)準(zhǔn)正交的。3）子空間稱為互相正交的，如果子空間分解

如果是線性空間的子空間，那么它們的和也是一個子空間若每一個有唯一的表達(dá)式則被稱為一個直和，并寫為：西安電子科技大學(xué)雷達(dá)信號處理實驗室第十頁，共二十九頁，編輯于2023年，星期四子空間的交集也是一個子空間，如。如果一個子空間的正交補(bǔ)為如果矢量是標(biāo)準(zhǔn)正交的并且張成子空間則為直和。一個重要特例：正交分解，則稱矢量組構(gòu)成子空間的一個標(biāo)準(zhǔn)正交基。它總可以擴(kuò)充為的一組完全的標(biāo)準(zhǔn)正交基，此時。西安電子科技大學(xué)雷達(dá)信號處理實驗室第十一頁，共二十九頁，編輯于2023年，星期四三、線性變換與投影算子線性空間上的一個變換稱為線性變換，如果它滿足：在一定基的意義上，一個線性變換可用一矩陣表示。用一組基表示它在線性變換下的象，其坐標(biāo)所排成的矩陣就稱為在這組基下的矩陣。線性變換與矩陣一一對應(yīng)。線性變換

西安電子科技大學(xué)雷達(dá)信號處理實驗室第十二頁，共二十九頁，編輯于2023年，星期四正交投影算子

一種重要的線性變換是投影算子，而且正交情形是最重要的。正交投影算子的定義：

設(shè)子空間，線性變換稱為正交投影，如果，西安電子科技大學(xué)雷達(dá)信號處理實驗室第十三頁，共二十九頁，編輯于2023年，星期四幾何意義：已知維線性空間中的一個點和子空間，求點，使到點的距離不超過到上各點的距離。如圖2.1所示。圖2.1向量表示由一系列的實驗和調(diào)查所給出的數(shù)據(jù)，由于這些實驗或調(diào)查包含不少的誤差，以致在給定的子空間中不可能找到這組數(shù)據(jù)，即，我們不可能把表示成子空間中的一個向量，因為我們所遇到的方程組是不相容的，因此，是無解的，這樣一來，最小二乘解法就是選擇點作為最佳選擇。西安電子科技大學(xué)雷達(dá)信號處理實驗室第十四頁，共二十九頁，編輯于2023年，星期四正交投影算子的表示，即點的求解。

若子空間由標(biāo)準(zhǔn)正交基張成，則任一矢量，在子空間上的正交投影矢量可表示為：此公式可用直角坐標(biāo)系來解釋。式中階方陣常稱為投影矩陣。西安電子科技大學(xué)雷達(dá)信號處理實驗室第十五頁，共二十九頁，編輯于2023年，星期四可見，由標(biāo)準(zhǔn)正交基來求正交投影算子是很方便的。

若子空間由一組基（未必正交）張成，求由表示的空間上的正交投影算子。由正交投影的定義，到的投影矢量，即由由(2.12)式可知，上的正交投影矩陣為：線性表示，且與正交，即，則，得投影矢量西安電子科技大學(xué)雷達(dá)信號處理實驗室第十六頁，共二十九頁，編輯于2023年，星期四正交變換與正交矩陣

（2.13）式給出了到矩陣的列空間上的正交投影矩陣，當(dāng)基矢量是標(biāo)準(zhǔn)正交基時，（2.13）式可簡化為（2.11）式形式。（2.13）式也稱為的偽逆。線性變換是正交變換，如果對線性空間中的任意矢量，有內(nèi)積關(guān)系：，有時又稱為保角變換、酉變換。相應(yīng)于正交變換的矩陣為正交矩陣或酉矩陣，如果滿足關(guān)系：西安電子科技大學(xué)雷達(dá)信號處理實驗室第十七頁，共二十九頁，編輯于2023年，星期四有限長序列有N個樣本，它的傅里葉變換在頻率區(qū)間的N個等間隔分布的點上也有N個取樣值。兩個重要例子：例1：離散傅氏變換DFT是正交變換西安電子科技大學(xué)雷達(dá)信號處理實驗室第十八頁，共二十九頁，編輯于2023年，星期四矩陣常稱為一種Bulter矩陣（線性情況）。

則DFT變換寫成矩陣形式并歸一化可得：西安電子科技大學(xué)雷達(dá)信號處理實驗室第十九頁，共二十九頁，編輯于2023年，星期四正交變換是可逆變換，變換后無信息損失。大家知道，在數(shù)字信號處理中，DFT變換是一種很重要的變換，我們常用它對數(shù)據(jù)變換到頻域，以便于分析信號頻譜，在陣列信號處理中，對陣列空間抽樣數(shù)據(jù)作DFT，相當(dāng)于把數(shù)據(jù)變換到角頻域（波束空間beamspace），分析波達(dá)方向（DOA）。盡管用DFT技術(shù)作譜分析時其分辨率不高，但在高分辨譜估計和自適應(yīng)濾波技術(shù)中，DFT變換仍是很重要的一種正交變換，在后面我們還要多次利用它對數(shù)據(jù)作DFT預(yù)變換，簡化問題，這里只簡單提一下。西安電子科技大學(xué)雷達(dá)信號處理實驗室第二十頁，共二十九頁，編輯于2023年，星期四例2：K-L變換（卡-洛變換）（karhuen-loeve）取上述連續(xù)情況的與的N個均勻時間取樣值，得：注意：DFT變換是一種不依賴數(shù)據(jù)的變換（data-independent），下面再介紹一種依賴于數(shù)據(jù)的正交變換（data-dependent），隨機(jī)矢量的線性變換。連續(xù)卡－洛展開在區(qū)間的連續(xù)隨機(jī)信號可展開為：

式中：展開系數(shù)是隨機(jī)變量；

為基函數(shù)，它滿足：西安電子科技大學(xué)雷達(dá)信號處理實驗室第二十一頁，共二十九頁，編輯于2023年，星期四所以對于隨機(jī)序列，若其自相關(guān)函數(shù)為，則K-L變換為：令，則有西安電子科技大學(xué)雷達(dá)信號處理實驗室第二十二頁，共二十九頁，編輯于2023年，星期四

的特點：

對任一維Hermite矩陣（），其特征矢量構(gòu)成維空間的一組標(biāo)準(zhǔn)正交基。因此，存在一正交矩陣使得與一對角陣相似，即：

物理意義：按隨機(jī)序列的能量大小逐次作N個正交方向分解。Y的各分量去相關(guān)且按能量從大到小排列。K-L變換有人叫最佳變換。§2.2矩陣的分解特征值分解

式中為的特征值。

西安電子科技大學(xué)雷達(dá)信號處理實驗室第二十三頁，共二十九頁，編輯于2023年，星期四正定（半正定）性：若Hermite陣對任一非零矢量，有，則稱為正定（半正定）的。正定的Hermite矩陣的所有特征值為正數(shù)，即：

(2.21)式中為的特征值，為特征矢量。稱此分解為特征分解（EVD）.奇異值分解（SVD）

對，存在正交矩陣和，使得：式中,是的奇異值

第二十四頁，共二十九頁，編輯于2023年，星期四容易驗證：

矩陣QR分解

任一矩陣，總可以化為：其中是正交矩陣，是上三角矩陣，（2.22）式稱為的QR分解。西安電子科技大學(xué)雷達(dá)信號處理實驗室第二十五頁，共二十九頁，編輯于2023年，星期四§2.3復(fù)變量實函數(shù)求導(dǎo)數(shù)研究實函數(shù)：

，其中

根據(jù)求導(dǎo)法則：

西安電子科技大學(xué)雷達(dá)信號處理實驗室第二十六頁，共二十九頁，編輯于2023年，星期四矩陣對標(biāo)量求微分

設(shè)的元素是某一矢量的可微函數(shù)，則若矩陣的元素是某個自變量（標(biāo)量）的函數(shù)，當(dāng)每一個均為可微函數(shù)時，可構(gòu)成一個與同階的矩陣：，稱作矩陣