線性判別函數(shù)

05線性判別函數(shù)Bayesian分類器設(shè)計方法，已知類條件概率密度p(x|ωi)參數(shù)表達式先驗概率P(ωi)利用樣本估計p(x|ω

i)的未知參數(shù)用貝葉斯規(guī)則將其轉(zhuǎn)換成后驗概率P(ωi|x)，并根據(jù)后驗概率的大小進行分類決策。解決實際問題方法在實際中存在問題樣本特征空間的類條件概率密度形式常常很難確定利用Parzen窗等非參數(shù)方法恢復分布往往需要大量樣本，而且隨著特征空間維數(shù)的增加所需樣本數(shù)急劇增加。因此，在解決實際問題時，往往是利用樣本集直接設(shè)計分類器，而不恢復類條件概率密度。即采用判別函數(shù)，首先給定某個判別函數(shù)類，然后利用樣本集確定出判別函數(shù)中的未知參數(shù)。線性判別函數(shù)

問題描述線性判別函數(shù)

如下圖:三類的分類問題,它們的邊界線就是一個判別函數(shù)判別函數(shù)包含兩類:線性判別函數(shù):線性判別函數(shù)廣義線性判別函數(shù)(所謂廣義線性判別函數(shù)就是把非線性判別函數(shù)映射到另外一個空間變成線性判別函數(shù))分段線性判別函數(shù)非線性判別函數(shù)線性分類器的三種典型方法以Fisher準則為代表的傳統(tǒng)模式識別方法以感知準則函數(shù)為代表的機器自學習方法以支持向量機為代表的統(tǒng)計學習理論。分段線性判別函數(shù):近鄰法2023/5/2452023/5/2462023/5/247判別函數(shù)的形式模式的特征矢量：判別函數(shù)：稱為權(quán)矢量或系數(shù)矢量判別函數(shù)的形式增廣特征矢量：增廣權(quán)矢量：判別函數(shù)：兩類問題線性判別準則決策規(guī)則:對于兩類問題的線性分類器決策規(guī)則：方程g(x)=0定義了一個決策面，把歸類于ω1

類的點和歸類于ω2

的點分割開。假設(shè)x1

和x2

都在決策面H

上，則有

wTx1+w0=wTx2+w0

(4-3)或wT(x1

－x2)=0(4-4)表明，w

和超平面H

上任一向量正交，即w

是H的法向量。一般地，一個超平面H

把特征空間分成兩個半空間，即對ω1

類的決策域R1

和對ω2

類的決策域R2

。因為當x

在R1

中時，g(x)>0，所以決策面的法向量是指向R1

的。因此，有時稱R1

中的任何x

在H

的正側(cè)，相應(yīng)地，稱R2

中的任何x

在H

的負側(cè)。判別函數(shù)g(x)是特征空間中某點x

到超平面距離的一種代數(shù)量度。若把x

表示成式中xp

：是x

在H

上的投影向量；

r：是x

到H

的垂直距離；：是w方向上的單位向量。若x

為原點，則g(x)=w0(4-7)將(4-7)代入(4-6)，就得到從原點到超平面H

的距離(4-6)判別函數(shù)g(x)是特征空間中某點x

到超平面距離的一種代數(shù)量度。如果w0>0，則原點在H

的正側(cè)；若w0<0，則原點在H

的負側(cè)。若w0=0，則g(x)具有齊次形式wTx

，說明超平面H

通過原點。判別函數(shù)g(x)是特征空間中某點x

到超平面距離的一種代數(shù)量度。圖5.街2對這不些結(jié)臣果作漁了幾闖何解擁釋。結(jié)論利用內(nèi)線性浪判別遞函數(shù)店進行辯決策槳，就掌是用服一個媽超平經(jīng)面把鍵特征坑空間斯分割井成兩勁個決割策區(qū)妙域。超平刑面的丈方向創(chuàng)由權(quán)輕向量w確定疾，它賞的位縫置由蜻閾值房誠權(quán)w0確定醉。判別吼函數(shù)g(x)正比掉于x點到廣超平級面的丑代數(shù)負距離局（帶醋正負截號）銅當x在H正側(cè)帆時，g(x)＞0，在別負側(cè)忙時，g(x)＜0。多類瞞問題屬（情稍況一揀）每一凡類模較式可瀉以用驚一個棚超平社面與陽其它創(chuàng)類別膊分開獎；這種始情況叨可以網(wǎng)把c個類佩別的弊多類沒問題旨分解托為c個兩塑類問血題解晶決，倒需要c個線附性分冷類界折面；第i類與書其它秧類別戚之間吩的判困別函互數(shù)：（1）二挺分法多類部問題黎（情蜜況一跳）判雪別規(guī)尊則若存侄在i，使州得gi(x)>壯0，gj(x)<蠟0，j≠沫i，則修判別x屬于ωi類；其它軟情況舉，拒鴨識。多類鼻問題應(yīng)（情盞況二丟）每兩款個類杯別之文間可逢以用象一個馬超平押面分通開；c個類貞別的域問題邁需要c(虹c-弊1)距/2個線諒性分膛類界爆面；第i類與盤第j類之腸間的燥判別桿函數(shù)頂為：多類題問題揚（情綁況二斗）判籌別準衣則如果率對任羨意j≠i，有g(shù)ij(x)≥0，則造決策x屬于ωi。其它杠情況預，則確拒識芽。結(jié)論桿：判杜別區(qū)成間增皺大，附不確怠定區(qū)梁間減蘿小IR（2）ωi/ωj二分麥法多類毫問題萍（情銅況三何）情況錯三是曠情況些二的讓特例貫，不升存在雪拒識蠅區(qū)域褲。多類盒問題允（情培況三沖）判且別函夠數(shù)c個類養(yǎng)別需正要c個線頌性函得數(shù)：判別甘準則杏：（3）最促大判耍別準絡(luò)則結(jié)論事：無母不確獅定區(qū)丑間例：袖假設(shè)印判別劉函數(shù)上為：問吃屬怪于哪妻一類模。解：所以三種辛方法禍小結(jié)分類方法判別函數(shù)個數(shù)不確定區(qū)難易ωi/ωi二分法ωi/ωj二分法最大判別準則MM(初M-寸1)耳/2M最多較少沒有較難較易較易20床23棵/5窄/1賤831Fi療sh序er準則示的基符本原近理20伏23馬/5票/1依832基本罵參量延的定駕義20甩23易/5瓶/1鞏833基本止參量曠的定好義20斬23唉/5梯/1起834Fi膀sh的er線性配判別Fi州sh塊er線性予判別Fi尼sh渴er線性奪判別Fi漿sh貪er線性談判別Fi堡sh朝er線性掛判別20亡23囑/5蒙/1錢840Fi腹sh儀er線性河判別看書溝課堂江練習20烏23狹/5秒/1怎84220醬23昆/5防/1導84320哲23旁/5緞/1鄰84420切23爐/5玩/1紅84520最23妄/5順/1餅84620錄23位/5閑/1抖847感知漁器概伶念及邁其訓湯練方?jīng)Q法20帆23靜/5拉/1默84820查23旨/5吼/1晴84920站23砌/5圾/1瘡85020摟23遭/5留/1裂851兩個續(xù)問題渠：（1）構(gòu)良造準棵則函缸數(shù)（2）如憐何最隆快地那搜索沿到使櫻準則盤函數(shù)蠟取極利小值惰的解線性做判別肝函數(shù)弄的學筋習問題溉的提搶出：出假設(shè)繞有一借個包雁含n個樣剃本的財集合y1,y2,控…,yn,一些權(quán)標記巨為ω1,另一戀些標頭記為ω2，用澇這些藏樣本衰來確捕定一改個判筆別函且數(shù)g(x)=atx的權(quán)胳矢量a。在線瓶性可罩分的份情況稠下，婆希望授得到誓的判隱別函僻數(shù)能堪夠?qū)嗨谐痰挠柭丫殬訛醣菊执_分即類；線性塊不可趟分的細情況蘆下，蠢判別椒函數(shù)環(huán)產(chǎn)生詳錯誤目的概伶率最腔小。訓練央樣本嘴的規(guī)鄙范化非規(guī)捷范化籠：規(guī)范動化：最優(yōu)癥問題樓的求檔解：（1）一補個適砍當?shù)牟娲鷥r猛函數(shù)境（準船則函努數(shù)）（2）一床個優(yōu)蹲化算慮法梯度借下降同法一次閱準則例函數(shù)喬及梯議度下塘降法(G筒ra南di介en雨t闊De胳sc逆en持t扔Al雞go窩ri笑th切m)感知霉準則鴨函數(shù)牙（Ro歡se轎nb謀la辜tt）可微萍函數(shù)茄在某柱點的牲梯度速是一塌個向桐量函數(shù)猾在該媽點的們變化箭率最夸大的鐮方向函數(shù)并的梯斧度向哀量定到義為梯度靜下降半法的薯迭代役公式買為：任給擊定初駱始權(quán)擦矢量稠，第k+牙1次迭元代時撈的權(quán)軍矢量山等于千第k次的蔬權(quán)矢和量加覺上被w（k）錯才分的敬樣本之和乘以某毛個系捆數(shù)。批量壇修正準則吵函數(shù)瞧的梯兵度：將梯剪度下潛降法托應(yīng)用鞏到一鉗次準葬則函少數(shù)中感知默器算水法把樣臘本集征看成編不斷趣出現(xiàn)抄的序羊列逐艱一考漆慮，港稱為錘單樣幅本修抵正法倚。屑且令物，醫(yī)稱為都固定流增量潔法。若遭使抬得+-+-感知額器算譯法(P黨er梅ce蓬pt菌ro膽n哥Ap須pr寸oa遮ch刺)算法爹思想任選隸一初宏始增能廣權(quán)種矢量用訓糕練樣歡本檢翠驗用唉分類畢正確紗否對進軟行校追正對所遙有訓冒練樣怕本都枝能正忘確分激類？EN逢DYe影sYe悟sNoNo一、匙感知誰器算躍法算法為步驟嘉：增廣闖的訓攀練樣更本集研每個擔類別卵已知云，（1）令相步數(shù)k=鑼1,增量愈為籮正的斯常數(shù)綢，汁的各旅分量劣為較眼小的虧任意麻值（2）輸港入訓茫練模惕式夜，煉計算今判別皆函數(shù)國值（3）調(diào)掏整增厭廣權(quán)懂矢量等，規(guī)季則：（a）如孤果（b）如虧果（c）如趣果（4）如哨果k<吩N，令k=季k+耀1，GO尿TO（2）如果k=銹N，則倒檢驗碼對所丙有訓廢練樣名本是爬否都仙正確書分類吩，是各則結(jié)育束，財否則撓，令k=巾1，GO靈TO（2）一、堅感知例器算已法收斂擦定理捷：如肯果訓槽練模鹽式是矩線性辦可分紀的，泡感知墻器訓春練算炎法在刃有限塔次迭舟代后肉可以圣收斂境到正偽確的氏解矢蹤蝶量證明礙：。棉。。宅。。鮮。一、爸感知止器算程法感知技器算籌法在怒多類焦問題瘋中的翁運行元步驟議：增廣酸的訓浩練樣廚本集竹每個仿類別熄已知反，（1）令擇步數(shù)k=今1,增量顛為磨正的我常數(shù)峽，C個權(quán)聰矢量顧賦任袋意初惜值（2）輸昨入符譯號未嘴規(guī)范錫化的揉增廣地訓練巧模式亦，計衰算C個判呀別函勒數(shù)值（3）調(diào)備整增鍛廣權(quán)惱矢量疫，規(guī)擋則：（a）如絮果（b）如溝果（4）如礦果k<酬N，令k=躬k+倍1，GO辱TO（2）如果k=谷N，則鞠檢驗主對所尖有訓貸練樣議本是鞏否都妙正確芝分類遇，是倡則結(jié)絹束，麗否則晌，令k=照1，GO挺TO（2）感知稠器算干法(批量迎調(diào)整陷版本)be紀gi吼n輪in儲it裕ia棟li猛ze,蛛,θ,繼k0dokk稼+1un初ti兼lre戚tu福rn雞aen模d例有兩捏類模卻式的凍訓練歸樣本繳：ω1：{憤(0柜,0鄉(xiāng)豐),杏(面0,滑1)朋}ω2：{閘(1潑,0扯),屋(績1,埋1)拐}用感屢知器矛算法迷求取薪判別植函數(shù)鍵，將競兩類鉆樣本陷分開缺。解：(1顯)訓練塊樣本逝分量栗增廣煩化及喜符號飯規(guī)范規(guī)化：(2炊)給增鈴廣權(quán)冒矢量獸賦任抹意初予值作，瓣取增侍量=1，68例題:已知捐訓練滴樣本(0淡,0些)T1，(1笑,1影)T2，(-耗1,咸1)T3,試求蠅解向可量w1、w2和w3。（2）運樸用感針知器陸訓練蔑算法類。置k=義1，增換量=1，賦技初值暑：w1=(印0,漆0,男0)T,w2=(矩0,初0,巖0)T,w3=(漁0,鑰0,由0)T,進行神迭代告運算筑：解:（1）訓更練樣鄰本分監(jiān)量增辰廣化章。將別訓練衣樣本歲變成問增廣上訓練濾模式棟：x1=(崇0,街0,冠1)T,x2=(誰1,闖1,嗎1)T,x3=(叫-1幅,1饅,1征)T,這里傘的下貴標恰川是所買屬類災別，登各類皺樣本怖不需星符號柄規(guī)范毅化。69例題:已知庭訓練嘗樣本(0蹄,0帝)T1，(1晝,1絮)T2，(-鑼1,版1)T3,試求檢解向迫量w1、w2和w3。k=焦1,xk=x11,因為d1(x1)=貨d2(x1)=齒0，d1(x1)=淺d3(x1)=寬0，錯分消，所率以:w1(2棉)=w1(1劈燕)+x1=(勝0,渣0,省1)Tw2(2鼻)=w2(1佛)-x1=(鋒0,壯0,歸-1巨)Tw3(2型)=w3(1嫁)-x1=(顆0,匙0,疫-1棄)Tk=胸2,從xk=x22,因為d2(x2)=醒-1肉<d1(x2)=代1，d2(x2)=因d3(x2)=造-1，錯魔分，所以w1(3成)=爽w1(2與)-采x2=(泄-1累,-拍1,旁0柔)Tw2(3法)=嚇w2(2標)+急x2=(征1后,猶1,跨0財)Tw3(3疑)=薦w3(2藥)-術(shù)x2=(咐-1勁,-穴1,藏-2車)T70例題:已知錄訓練黨樣本(0集,0墾)T1，(1請,1海)T2，(-蒙1,誦1)T3,試求聾解向動量w1、w2和w3。k=袖3,親xk=x33,因為d3(x3)=單-2鄰<d1(x3)=纏0，d3(x3)=彩d2(x3)=沙0，錯欣分，所以w1(4孔)=隙w1(3緒)-懼x3=(睡0群,-廁2,顧-1絞)Tw2(4輪)=美w2(3注)-妨x3=(班2榆,穗0,謹-1四)Tw3(4陳)=們w3(3塞)+域x3=(摘-2婆,月0,且-1究)Tk=估4,片xk=x11,因為d1(x1)=害d2(x1)=撥-1，d1(x1)=野d3(x1)=安-1，錯亂分，所以w1(5堅)=披w1(4勤)+依x1=(垃0行,-蠟2,否0爸)Tw2(5繼)=被w2(4齒)-叔x1=(泡2再,惹0,駛-2敵)Tw3(5合)=樂w3(4兼)-汁x1=(魄-2弱,飾0,晶-2而)T71例題:已知預訓練戶樣本(0么,0薄)T1，(1千,1鞭)T2，(-蝴1,工1)T3,試求罷解向若量w1、w2和w3。k=牙5,蘇xk=x22,因為d2(x2)=件0>拉d1(x2)=提-2，d2(x2)=工0>瓜d3(x2)=幻玉-4，正堪確，所以w1(6斜)=觀w1(5氧)=外(宵0,管-2雪,繼0)Tw2(6猶)=血w2(5中)=濱(希2,陵0敏,-笨2)Tw3(6夕)=扯w3(5攔)=贏(-竭2,期0誘,-質(zhì)2)Tk=端6,鬼xk=x33,因為d3(x3)=述0>抹d1(x3)=勞-2，d3(x3)=基0>蒼d2(x3)=正-4，正勾確，所以w1(7鳥)=沿w1(6樓)=蒼(伯0,戰(zhàn)-2懸,竭0)Tw2(7孔)=他w2(6添)=盒(竊2,必0淹,-掘2)Tw3(7晃)=由w3(6宿)=遺(-文2,猴0勻,-琴2)T72例題:已知合訓練恨樣本(0沿,0竟)T1，(1浙,1春)T2，(-恭1,搬1)T3,試求委解向愁量w1、w2和w3。k=子7,參xk=x11,因為d1(x1)=更0>敲d2(x1)=研-2，d1(x1)=炒0>扮d3(x1)=賤-2，正聞確，三個燃權(quán)矢傘量不外再變?nèi)龌瑩б虼耸伎梢杂^確定趁所有道訓練旱樣本蕩均已飯被正欲確分莫類，由此恰得到憂三個完解矢舟量：w1*=w1(5寧)，w2*=w2(5利)，w3*=w3(5慌)同時胞可得法三個抱判別尖函數(shù):d1(x)傍=棕-2x2d2(x)擁=是2x1-2d3(x)雀=番-2x1-2MA時TL告AB程序賺示例gz茶hq刊.m20弓23敲/5府/1踐873二次淹準則禿函數(shù)雅及其奮解法問題教：一次崖準則浙函數(shù)著及其筆算法諷（如羞感知敢器算妄法）復只適抽用于仙線性年可分悶的情榆況，昏如果濕是線內(nèi)性不蝦可分戚的，辦分類桑過程直將不腸收斂?能否本找到薦一種榴算法占，使沖之能桃夠測杠試出六模式洲樣本登集是厭否線序性可牧分，彎并且鼓對線狡性不濟可分談的情臥況也藍能給噴出“次最訴優(yōu)”的解曬？如果龍訓練君模式怠是線盒性不尤可分不等挨式組站是不一例致的，啊不等提式組摟沒解魚。此狀時，目標吩最少蠢的訓禁練模動式被禁錯分遍。（一失）最嶺小錯唇分模枝式數(shù)批目準招則對線墳性不垂可分通樣本誤集，則求一掙解矢蘇量使踩得錯倍分的捎模式伍數(shù)目泡最少煉。對于胖兩類蛛問題駁，設(shè)n+扒1維增擇廣訓微練模躺式已符武號規(guī)剃范化。如果怠訓練仆模式生是線昏性可術(shù)分的巷，則宗存在健權(quán)矢荒量局使不期等式更組成立般。式中謎是嬸矩陣辨。將上傍面的各不等飾式組嶺寫成蜂矩陣尖方程窩形式辛，并藏引入N維余市量矢擴量蒜，絲式于是敗不等廢式方市程組落變?yōu)椋ǘ┳钏庑》焦疾顪噬鲃t及W-鹽H算法針對積方程投組,構(gòu)造遙方差缺準則葡函數(shù)對于,此時攤的,而對夜于,此時殊的遇。落如果止方程渣組有團唯一快解,說明訓吸練模轎式集斤是線霉性可么分的,如果擇方程會組無秘解,極小坡點值扣是最續(xù)小二貧乘解巖。一則般情勺況下捉使泥極劉小等您價于留誤分寫模式軌數(shù)目錢最少。⑴偽逆竿法求憂對脈的梯宏度并豬令其惑為零循，有可得(3強-6仆-1醬2)當(X’X)-1存在罪時，X+=(X’X)-1X’稱為X的偽沈逆(也稱曉廣義祝逆或M-誕P逆)，醒稱為砌的書偽逆摟解。X’X是(n+1隊)×剪(n+1坊)矩陣凈，一枝般是裂非奇棗異的唇。當(X’X)-1不存凡在時鐵，可民用廣顆義逆半法解這里(X’X)+為X’X的廣甜義逆狂矩陣皮。求解丹最佳樹權(quán)矢料量的咸方法烈：⑵梯度皮法由前錢述知分，魚的移梯度他為梯度鏡下降匪算法宅迭代朋公式頃為St踩ep亞1.任取St悅ep僅2.(3粒-6軍-1友3)可以證明，當為任意正的常數(shù)，

則該算法使權(quán)矢量序列收斂于;滿足，也稱為MSE解。此算虛法的耗兩個涂性質(zhì):1.當別時,M剃SE解旬等憐價于Fi時sh批er解。2.令,在樣量本數(shù)遼時,M支SE解以家最小進均方尤誤差豬逼近透貝葉交斯判妥決函漸數(shù)St粥ep忠1.任取St醋ep悠2.此算歷法通迅常稱訓為W－H(花Wi對dr漆ow－Ho任ff喇)算法仿前喂采用旦單樣眾本修粱正法堡，則蠶式(3辣