常用數(shù)學(xué)概念

1、常用數(shù)學(xué)概念 蘇州大學(xué)強(qiáng)化學(xué)習(xí)討論班2蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班常用數(shù)學(xué)概念n高斯函數(shù)n高斯徑向基函數(shù)n范數(shù)n方向?qū)?shù)、梯度n矩陣、特征值、秩、正定矩陣n概率、期望、方差、協(xié)方差n函數(shù)、最小二乘3蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班高斯函數(shù)n高斯函數(shù)： a：峰值最大值 b：峰值x軸偏移量 c：弧度跨度 n如：4蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班高斯函數(shù)n高斯函數(shù)的不定積分是誤差函數(shù)。在自然科學(xué)、社會(huì)科學(xué)、數(shù)學(xué)以及工程學(xué)等領(lǐng)域都有高斯函數(shù)的身影。5蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班核函數(shù)n設(shè)x,zX，X屬于Rn空間，非線性函數(shù)實(shí)現(xiàn)輸入空間X到特征空間

2、F的映射，其中F屬于Rm，nm。根據(jù)核函數(shù)技術(shù)有： K(x,z) = (1) 其中：為內(nèi)積，K(x,z)為核函數(shù)。 從式(1)可以看出，核函數(shù)將m維高維空間的內(nèi)積運(yùn)算轉(zhuǎn)化為n維低維輸入空間的核函數(shù)計(jì)算，從而巧妙地解決了在高維特征空間中計(jì)算的“維數(shù)災(zāi)”等問(wèn)題。6蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班核函數(shù)n常用的核函數(shù)有：1）高斯核函數(shù)： 2）多項(xiàng)式核函數(shù)： 3）感知器核函數(shù)： 4）樣條核函數(shù)：222( ,)ix xiK x xe( ,)(1) ,1,2,diiK x xx xdN( ,)tanh()iiK x xxb( ,)21()iiK x xB nxx7蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)

3、習(xí)討論班討論班徑向基函數(shù)n徑向基函數(shù) (Radial Basis Function 簡(jiǎn)稱(chēng) RBF) 是某種沿徑向?qū)ΨQ(chēng)的標(biāo)量函數(shù)。n通常定義為空間中任一點(diǎn)x到某一中心xc之間歐氏距離的單調(diào)函數(shù) ， 可記作 k(|x-xc|)，其作用往往是局部的 ， 即當(dāng)x遠(yuǎn)離xc時(shí)函數(shù)取值很小。 8蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班高斯徑向基函數(shù)n最常用的徑向基函數(shù)是高斯核函數(shù)， 形式為: 其中xi為核函數(shù)中心， 是計(jì)算兩個(gè)樣本的二范數(shù) 為函數(shù)的寬度參數(shù) ，控制了函數(shù)的徑向作用范圍。 222( ,)ix xiK x xeix x222( ,)ix xiK x xe9蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論

4、班討論班高斯徑向基函數(shù)11exp()2( )TxcxcBx222( ,)ixixeK x x10蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班高斯徑向基函數(shù)n ：二維或者多維狀態(tài)， ：“徑”，即函數(shù)中心n ：協(xié)方差矩陣，表示了狀態(tài)各維之間的關(guān)系？xcB11exp()2( )TxcxcBx11蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班高斯函數(shù)n高斯函數(shù)是一種函數(shù)形式，這種函數(shù)形式 既可以用來(lái)作為核函數(shù)， 也可以用來(lái)作為徑向基函數(shù)。 是計(jì)算兩個(gè)樣本的二范數(shù) 222( ,)ix xiK x xeix x12蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班范數(shù)22212222112n12n1122nn2A

5、a ,a ,.aBb ,b .bAB Aababab AB|(.)|(.co)s.nnAaaaBbbb設(shè)有向量：，的模：的模：、B的內(nèi)積：(A,B)或者A BA B13蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班范數(shù)(2) | |;()xxR 3| | |xyxy ( ( ) )。(1) ，當(dāng)且僅當(dāng)，當(dāng)且僅當(dāng) 時(shí)，等號(hào)成立。時(shí)，等號(hào)成立。0 x | 0 x 、()nxy R R22212|( , )nxx xxxx 顯然向量顯然向量 的模的模 具有下列三條性質(zhì)：具有下列三條性質(zhì)：|xx 維歐氏空間中向量維歐氏空間中向量 的長(zhǎng)度或的長(zhǎng)度或模模定義為定義為xn14蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討

6、論班討論班范數(shù)(2) ()| |;()xxF 正正齊齊性性3()| | |xyxyxyV （ ），角角不不、三三等等式式(1) ()| 0;x 正正定定性性如果如果 是是數(shù)域數(shù)域 上的線性空間，對(duì)上的線性空間，對(duì) 中的任中的任意向量意向量 ，都有一個(gè)，都有一個(gè)非負(fù)實(shí)數(shù)非負(fù)實(shí)數(shù) 與之對(duì)應(yīng)，并與之對(duì)應(yīng)，并且具有下列三個(gè)條件（且具有下列三個(gè)條件（正定性、正齊性和三角不等式正定性、正齊性和三角不等式）：）：VFxV V|x則稱(chēng)則稱(chēng) 是向量是向量 的的，稱(chēng)定義了范數(shù)的線，稱(chēng)定義了范數(shù)的線性空間性空間 為為。|xxV0| 0 xx 15蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班范數(shù) 對(duì)任意對(duì)任意 ，由，

7、由12( ,)Tnnxx xxF 1/1,1|pnppiixxp= =驏驏琪琪 琪琪琪琪琪琪桫桫 定義的定義的 是是 上的向量范數(shù)，稱(chēng)為上的向量范數(shù)，稱(chēng)為或或 范數(shù)。范數(shù)。 | |pnFpl16蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班范數(shù) 對(duì)任意對(duì)任意 ，由，由12( ,)Tnnxx xxF 121|nxxxx+ + + + + L L定義的定義的 是是 上的向量范數(shù)，稱(chēng)為上的向量范數(shù)，稱(chēng)為或或 范數(shù)或范數(shù)或。 1| |nF1lp = 1 時(shí)，有時(shí)，有17蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班 對(duì)任意對(duì)任意 ，由，由12( ,)Tnnxx xxF 222122|nxxxx+ + +

8、+ +L L定義的定義的 是是 上的向量范數(shù)，稱(chēng)為上的向量范數(shù)，稱(chēng)為或或 范數(shù)，也稱(chēng)為范數(shù)，也稱(chēng)為 。 2| |nF2lp = 2 時(shí)，有時(shí)，有范數(shù)18蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班 對(duì)任意對(duì)任意 ，由，由12( ,)Tnnxx xxF |max|iixx 定義的定義的 是是 上的向量范數(shù)，稱(chēng)為上的向量范數(shù)，稱(chēng)為 或或 范數(shù)或范數(shù)或。 | | nFl 在在廣義實(shí)數(shù)廣義實(shí)數(shù)范圍內(nèi)，范圍內(nèi)，P P能否取到正無(wú)窮大呢？能否取到正無(wú)窮大呢？lim |ppxx + + 可以證明：可以證明：范數(shù)19蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班范數(shù)|max|iixx 令令 ，則有，則有|max

9、|iijxx 1/1|(|)|pppjipixxxx 1/1/|()|pppjn xnx 由極限的兩邊夾法則，并注意到由極限的兩邊夾法則，并注意到 ，即得，即得欲證結(jié)論。欲證結(jié)論。1/lim1ppn 證明：證明：20蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班方向?qū)?shù) 討論函數(shù)討論函數(shù) 在一點(diǎn)在一點(diǎn)P沿某一方向沿某一方向的變化率問(wèn)題的變化率問(wèn)題),(yxfz 內(nèi)有定義，的某一鄰域在點(diǎn)設(shè)函數(shù) )(),(),(PUyxPyxfz 引射線自點(diǎn)lP,為的轉(zhuǎn)角軸正向到射線設(shè)lx).(),(pUPlyyxxP上的另一點(diǎn)且為并設(shè)oyxlP xyq21蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班方向?qū)?shù) |P

10、P,)()(22yx ),(),(yxfyyxxfz 且且當(dāng)當(dāng) 沿著沿著 趨于趨于 時(shí)，時(shí)，P Pl ),(),(lim0yxfyyxxf , z 考慮考慮是否存在？是否存在？22蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班.),(),(lim0 yxfyyxxflf 記為記為定義與函數(shù)的增量),(),(yxfyyxxf22()()PPxy 、兩點(diǎn)間的距離之比值，時(shí)，趨于沿著當(dāng)PlP如果此比的極限存在，Pl則稱(chēng)這極限為函數(shù)在點(diǎn)沿方向 的方向?qū)?shù)方向?qū)?shù)23蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班證明略證明略 sincosyfxflf 定理是可微分的，在點(diǎn)如果函數(shù)),(),(yxPyxfz

11、，方向的方向?qū)?shù)都存在那么函數(shù)在該點(diǎn)沿任意且有的轉(zhuǎn)角。軸到方向?yàn)槠渲蠰x 方向?qū)?shù)24蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班方向?qū)?shù) 同理：當(dāng)函數(shù)在此點(diǎn)可微時(shí)，那末函數(shù)在該點(diǎn)同理：當(dāng)函數(shù)在此點(diǎn)可微時(shí)，那末函數(shù)在該點(diǎn)沿任意方向沿任意方向 L的方向?qū)?shù)都存在，且有的方向?qū)?shù)都存在，且有.coscoscos zfyfxflf 設(shè)設(shè)方方向向 L 的的方方向向角角為為 ,cos x,cos y,cos z推廣可得推廣可得n元函數(shù)方向?qū)?shù)的定義元函數(shù)方向?qū)?shù)的定義25蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班梯度 定義內(nèi)具有在平面區(qū)域設(shè)函數(shù)Dyxfz),(?:最快最快沿哪一方向增加的速度沿哪一方向

12、增加的速度函數(shù)在點(diǎn)函數(shù)在點(diǎn)問(wèn)題問(wèn)題P, jyfixf ),(yxgradfjyfixf 一階連續(xù)偏導(dǎo)數(shù)，DyxP),(則對(duì)于每一點(diǎn)都可定義出一個(gè)向量這向量的梯度，在點(diǎn)稱(chēng)為函數(shù)),(),(yxyxfz 記為26蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班梯度 sincosyfxflf sin,cos, yfxfeyxgradf ),(,cos| ),(| yxgradf 其中其中),(,eyxgradf 當(dāng)當(dāng)1),(cos( eyxgradf時(shí)時(shí)，lf 有有最最大大值值.設(shè)設(shè)jie sincos 是是方方向向 l上上的的單單位位向向量量，由由方方向向?qū)?dǎo)數(shù)數(shù)公公式式知知27蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)

13、習(xí)強(qiáng)化學(xué)習(xí)討論班討論班梯度結(jié)論結(jié)論當(dāng)當(dāng)xf 不不為為零零時(shí)時(shí)，gradfgradf P 函數(shù)在某點(diǎn)的梯度是這樣一個(gè)向量，函數(shù)在某點(diǎn)的梯度是這樣一個(gè)向量，它的方向與取得它的方向與取得最大方向?qū)?shù)最大方向?qū)?shù)的方向一致的方向一致,而它的模為方向?qū)?shù)的最大值而它的模為方向?qū)?shù)的最大值梯度的模為梯度的模為tan/ffyxx軸到梯度的轉(zhuǎn)角軸到梯度的轉(zhuǎn)角的正切為的正切為 28蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班),(yxfz 在幾何上在幾何上 表示一個(gè)曲面表示一個(gè)曲面曲面被平面曲面被平面 所截得所截得cz ,),( czyxfz所得曲線在所得曲線在xoy面上投影如圖面上投影如圖oyx2),(cyx

14、f1),(cyxfcyxf),(等高線等高線),(yxgradf梯度為等高線上的法向量梯度為等高線上的法向量P梯度29蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班梯度sinzxy等高線等高線30蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班梯度),(),(yxPyxfz在點(diǎn)函數(shù)的等的梯度的方向與點(diǎn)P在這點(diǎn)的法高線cyxf),(從數(shù)線的一個(gè)方向相同，且值較值較低的等高線指向數(shù)模等高的等高線，而梯度的的方于函數(shù)在這個(gè)法線方向向?qū)?shù)梯度與等高線31蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班梯度n結(jié)論： 在點(diǎn) 的梯度為 在該點(diǎn)增長(zhǎng)最快 的方向 00(,)xy( , )zf x yzjyfixf 32蘇

15、州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班梯度.),(kzfjyfixfzyxgradf 三元函數(shù)的梯度三元函數(shù)的梯度也是一個(gè)向量，也是一個(gè)向量， ( , , )uf x y zG在空間區(qū)域 內(nèi)具有一階連續(xù)三元函數(shù)偏導(dǎo)數(shù)，則對(duì)于每一點(diǎn)GzyxP),()(梯度都可以定義一個(gè)向量其方向與取得最大方向?qū)?shù)的方向一致，其方向與取得最大方向?qū)?shù)的方向一致，其模為方向?qū)?shù)的最大值其模為方向?qū)?shù)的最大值.33蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班矩陣 - 特征值與特征向量34蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班矩陣 - 特征值與特征向量35蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班矩陣 -

16、特征值與特征向量36蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班矩陣 - 特征值與特征向量37蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班矩陣 - 秩及其求法 38蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班矩陣 - 秩及其求法39蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班矩陣 - 秩及其求法40蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班矩陣 - 秩及其求法41蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班矩陣 - 秩及其求法42蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班矩陣 - 秩及其求法43蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班矩陣 - 秩及其求法44蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化

17、學(xué)習(xí)討論班討論班矩陣 - 秩及其求法45蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班合同定義定義4 設(shè)有兩個(gè)n階矩陣,A B,如果存在一個(gè)可逆矩陣C使得TBC ACBA,則稱(chēng)矩陣與 合同關(guān)系是矩陣之間的又一重要關(guān)系，它是研究二次型的主要工具合同關(guān)系具有以下性質(zhì)： 性質(zhì)性質(zhì)1 A與自身合同 A性質(zhì)性質(zhì)2 若 合同,則BA與合同.BA與性質(zhì)性質(zhì)3 若若 合同,B與合同,則BC與合同.A與CA合同矩陣46蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班定義定義5 含有n個(gè)變量的二次齊次函數(shù)2221211 1222121213131,1(,) 222nnnnnnnnf x xxa xa xa xa x x

18、a x xaxx稱(chēng)為二次型 jiijaa取2ijijijijjijia x xa x xa x x則那么，實(shí)二次型可以寫(xiě)成： 正定矩陣47蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班1112112111221212,nnnnnnnnaaaxaaaxx xxaaax21211 1121211221212222221122( ,) nnnnnnnnnnnnf x xxa xa x xa x xa x xa xa x xa x xa x xa x111212111212nnnnnnaaaaaaAaaa12nxxxx則二次型可記作 記TfA xx48蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班 任給一

19、個(gè)二次型，就惟一確定一個(gè)對(duì)稱(chēng)矩陣；反之，任給一個(gè)對(duì)稱(chēng)矩陣，也可惟一確定一個(gè)二次型這樣，實(shí)二次型與實(shí)對(duì)稱(chēng)矩陣之間存在一一對(duì)應(yīng)關(guān)系因此，我們把對(duì)稱(chēng)矩陣 叫做二次型 的矩陣，也把 叫做對(duì)稱(chēng)矩陣 的二次型對(duì)稱(chēng)矩陣 的秩就叫做二次型 的秩AffAAf22112233243fxx xx xx 例如112323110,102023xfx x xxx可表示為49蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班正定矩陣1：對(duì)稱(chēng)陣：對(duì)稱(chēng)陣A為正定的充分必要條件是：為正定的充分必要條件是：A的特征值全為正。的特征值全為正。2：對(duì)稱(chēng)陣：對(duì)稱(chēng)陣A為正定的充分必要條件是：為正定的充分必要條件是：A的各階順序主子式都為正。的各

20、階順序主子式都為正。3：任意陣：任意陣A為正定的充分必要條件是：為正定的充分必要條件是：A合同于單位陣。合同于單位陣。 50蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班期望n一個(gè)班有40個(gè)學(xué)生，考80分的概率是20%，考70分的概率是50%，考60分的概率是30%n這個(gè)班的平均分是多少？n求平均方法：總分?jǐn)?shù)/總?cè)藬?shù)= n求期望方法：80*20%+70*50%+60*30%=69所以期望從本質(zhì)上來(lái)說(shuō)，就是平均值80*(40*20%)70*(40*50%)60*(40*30%2676040)94051蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班方差n每個(gè)同學(xué)與平均分69都存在一個(gè)差值，n差+11分

21、，共8人； 差-1分， 共20人； 差-9分，共12人n差值平方的平均（期望）：n此即為方差n 為標(biāo)準(zhǔn)差，方差或者標(biāo)準(zhǔn)差說(shuō)明了相互之間差距的大小222( 11 *8*20*1)( 1)( 924940)差值平方的和總?cè)藬?shù)49752蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班方差22,(),(),.EEEEDVarD設(shè) 是一個(gè)隨機(jī)變量 若存在則稱(chēng)為 的方差 記或；并稱(chēng)為標(biāo)準(zhǔn)差或均方差 記為 定義定義53蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班方差計(jì)算2)(dDx Ep xx(1) 利用定義計(jì)算利用定義計(jì)算 (2) 利用公式計(jì)算利用公式計(jì)算22() .DEE2()DEE證明：222() EEE

22、 222()EE EE 22()EE54蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班協(xié)方差與相關(guān)系數(shù) ( , ),()().Cov( , ),Cov( , )()().EEEEEE 設(shè)是二維隨機(jī)變量 若則稱(chēng)為隨機(jī)變量 與 的協(xié)方差 記為即定義定義 Cov(,).DD 而稱(chēng) 為 隨 機(jī) 變 量與的 相 關(guān) 系 數(shù)55蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班協(xié)方差與相關(guān)系數(shù) 協(xié)方差的性質(zhì)協(xié)方差的性質(zhì) (1) Cov( , )Cov( , ); (2) Cov(,)Cov( , ) ,;ababa b 為常數(shù)1212(3)Cov(, )Cov( , ) Cov( , ). 相關(guān)系數(shù)的意義相關(guān)系數(shù)

23、的意義, 當(dāng)較大時(shí) 表明的線性關(guān)系較密切;,. 當(dāng)較小時(shí) 表明線性相關(guān)的程度較差0,.定義：當(dāng)時(shí) 稱(chēng)和不相關(guān)56蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班協(xié)方差與相關(guān)系數(shù)(1) 不相關(guān)與相互獨(dú)立的關(guān)系不相關(guān)與相互獨(dú)立的關(guān)系注意注意相互獨(dú)立相互獨(dú)立不相關(guān)不相關(guān)(2) 不相關(guān)的充要條件不相關(guān)的充要條件o1,0; 不相關(guān)o2,Cov( , )0; 不相關(guān)o3,()EE E 不相關(guān)57蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班協(xié)方差與相關(guān)系數(shù)n 1、直觀上來(lái)看，協(xié)方差表示的是兩個(gè)變量總體誤差的方差，這與只表示一個(gè)變量誤差的方差不同。 n 2、如果兩個(gè)變量的變化趨勢(shì)一致，也就是說(shuō)如果其中一個(gè)大于自身

24、的期望值，另外一個(gè)也大于自身的期望值，那么兩個(gè)變量之間的協(xié)方差就是正值。 n 3、如果兩個(gè)變量的變化趨勢(shì)相反，即其中一個(gè)大于自身的期望值，另外一個(gè)卻小于自身的期望值，那么兩個(gè)變量之間的協(xié)方差就是負(fù)值。 n 4、如果X與Y是統(tǒng)計(jì)獨(dú)立的，那么二者之間的協(xié)方差就是0。 58蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班協(xié)方差矩陣n協(xié)方差矩陣是一個(gè)矩陣，其每個(gè)元素是各個(gè)向量元素之間的協(xié)方差。n矩陣中的第(i,j)個(gè)元素是xi與xj的協(xié)方差，如： 59蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班回顧回顧：高斯徑向基函數(shù)n ：二維或者多維狀態(tài)， ：“徑”，即函數(shù)中心n ：協(xié)方差矩陣協(xié)方差矩陣，表示了狀態(tài)各維

25、之間的線性關(guān)系？誰(shuí)和誰(shuí)的協(xié)方差？xcB11exp()2( )TxcxcBx60蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班條件概率61蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班貝葉斯概率62蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班函數(shù)n函數(shù)函數(shù)為一個(gè)集合到另外一個(gè)集合的映射。 如：值日表星期一肖飛星期二周鑫星期三于俊星期四凌蒙星期五穆翔63蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班函數(shù)12627437642451636427218399741017113812？x yy=x2+1函數(shù)函數(shù)1函數(shù)函數(shù)2函數(shù)函數(shù)3函數(shù)最原始原始的表達(dá)形式是表格表格函數(shù)有函數(shù)有3種表達(dá)形式種表達(dá)形式： 表格表

26、格 公式公式 坐標(biāo)坐標(biāo)64蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班函數(shù)12627437642451636427218399741017113812？x y函數(shù)函數(shù) 1如果找的函數(shù)函數(shù)1 的公式，有以下好處： 1、便于存儲(chǔ)，只要存儲(chǔ)公式的字符串； 2、便于傳輸，只要傳輸公式的字符串； 3、當(dāng)x=12時(shí)，可以估計(jì)y的值； 4、？ 5、？y=x3+x+165蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班函數(shù)公式1：y=x3+x+1 公式2：y=6x5-ex+9 126274376424516364272183997410171138x y函數(shù) 1126(0)269 (5)376 (0)432 (8

27、)5159 (4)638 (4)723 (2)841 (2)971 (3)1017 (0)1144 (6)x y差值之和為34128 (2)272 (0)369 (7)425 (1)5166(3)634 (8)725 (4)839(0)973 (1)1015 (2)1146 (8)x y差值之和為36n問(wèn)題1： 逼近函數(shù)1時(shí)，哪個(gè)公式好？判斷好壞的標(biāo)準(zhǔn)是什么？ 問(wèn)題2：能找到一個(gè)公式，完全逼近函數(shù)1嗎？66蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班函數(shù)a=2b=4c=7d=5124(2)269 (5)382 (6)432 (8)5159 (4)638 (4)723 (2)841 (2)971

28、 (3)1019 (2)1145 (7)x y差值之和為48128 (2)272 (2)369 (7)425 (1)5166(3)634 (8)725 (4)842 (3)973 (1)1015 (2)1142 (4)x y差值之和為33y=axb+ecx+da=6b=3c=8d=2n調(diào)整abcd四個(gè)參數(shù)，能完全逼近函數(shù)1嗎？n在函數(shù)形式固定的情況下，想要完全逼近函數(shù)1，理論上需要多少參數(shù)？n如果不能完全逼近函數(shù)1，最好的四個(gè)參數(shù)存在嗎？如果存在，如何找到這個(gè)四個(gè)參數(shù)？67蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班函數(shù)n如果函數(shù)形式修改為： f(x) = af1(x)+bf2(x)+cf3(

29、x)+df4(x) 則稱(chēng)為線性函數(shù)逼近采用線性函數(shù)逼近，形式上比較簡(jiǎn)單，也容易收斂。f1f4稱(chēng)為基函數(shù)68蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班函數(shù) f(x) = af1(x)+bf2(x)+cf3(x)+df4(x)n調(diào)整a、b、c、d四個(gè)參數(shù)，能完全逼近函數(shù)1嗎？n在基函數(shù)固定的情況下，想要完全逼近函數(shù)1，理論上需要多少參數(shù)？n如果不能完全逼近函數(shù)1，最好的四個(gè)參數(shù)存在嗎？如果存在，如何找到這個(gè)四個(gè)參數(shù)？69蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班函數(shù)n尋找最好的4個(gè)參數(shù)的方法，是使得前面所敘差值之和 最小，為避免求絕對(duì)值，采用取求差值平方和的方法，即： (y1)2+ (y2)2+ + (y11)2 取最小值。 稱(chēng)為最小二乘方法70蘇州大學(xué)蘇州大學(xué)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)討論班討論班最小二乘問(wèn)題解法n假定使得差值平方和為0，即：af1(1)+bf2(1)+cf3(1)+df4(1) - 262 +af1(2)+bf2(2)+cf3(2)+df4(2) - 742 + +af1(11)+bf2(11)+cf3(11)+df4(11) - 382=0 126274376424516364272