第四章機器學習之關于學習和機器學習.ppt

1、第四章關于機器學習、4.1學習和機器學習，學習學習的定義是什么：通過與環(huán)境的對話，學習知識(專家系統(tǒng)研究者)，如嬰兒走路、跑步等身體技能，學生學習外語、數(shù)學等。 在重復的工作中，改善系統(tǒng)的性能(Simon )，如運動員不斷練習，提高自己的擊中概率或加快速度。 機器學習的定義是，如果學習的主題是機器的話，這種學習就稱為“機器學習”。 也就是研究使用計算機模擬人類學習活動的方法的學科。 機器學習研究的目標：人類學習過程的認知模型人類學習機制的研究。 通用學習算法通過研究人的學習過程，尋找適合一般應用的通用學習算法。 建立面向任務的專業(yè)學習體系解決專業(yè)實際問題。 2、機器學習的研究歷史中存在符號邏輯

2、方法和神經(jīng)網(wǎng)絡兩大流派。 神經(jīng)網(wǎng)絡方法是通過模仿神經(jīng)系統(tǒng)結構調整神經(jīng)耦合權重的方法來實現(xiàn)機器學習。 所謂符號邏輯方法，是以謂語邏輯和規(guī)則等符號表現(xiàn)的知識學習為目的。 第一階段從20世紀50年代中期到60年代末，機器學習的第一個工作是從1957年羅森布拉特提倡的感知器開始，其基本思想是，系統(tǒng)由一系列的組件互連構成的網(wǎng)絡，這些組件與神經(jīng)元相似。 到1969年，明斯基和佩特里奧茨指出，兩層探測器有很大的限制，神經(jīng)網(wǎng)絡的研究進入了低潮。 第二階段從20世紀70年代到80年代，本階段的研究根據(jù)符號表示建立人的學習模式，模擬人的概念學習過程。 有代表性的工作有溫斯頓的拱形結構學習系統(tǒng)、米切爾的變形空間法等

3、。變形空間、變形空間(Version Space )方法以整個規(guī)則空間為初始的假設規(guī)則集合h。 根據(jù)訓練例的信息，泛化或特化集合h，階段性縮小集合h。 最后使h收斂于只包含要求的規(guī)則。 由于被搜索的空間h逐漸縮小，因此稱為變形空間。變形空間、變形空間方法的初始g集合是最上面的點(最一般的概念)、初始s集合是最下面的直線上的點(訓練修正示例)、初始h集合是整個規(guī)則空間。 在搜索過程中，g集分階段向下移動(特化)，s集分階段向上移動(泛化)，h分階段縮小。 最后h收斂于只包含一個要求的概念。 變形空間的缺點，(1)抗干擾性差(2)不能學習提取概念，這一階段后期的代表性工作：昆蘭的決策樹學習法ID3

4、，及其發(fā)展C4.5。 從夏皮羅的事例的邏輯程序歸納合成系統(tǒng)MIS。 在這個時期，機器學習的研究者意識到應用知識指導學習的重要性，開始將布坎納、費爾根鮑姆的元代道爾、莉娜的AM等領域知識納入學習系統(tǒng)。 后期昆蘭的決策樹學習法ID3，以及其發(fā)展C4.5。 從夏皮羅的事例的邏輯程序歸納合成系統(tǒng)MIS。 在這個時期，機器學習的研究者意識到應用知識指導學習的重要性，開始將布坎納、費爾根鮑姆的元代道爾、莉娜的AM等領域知識納入學習系統(tǒng)。 Meta-DENDRAL專家系統(tǒng)在對化學家確定有機物分子結構時的思考過程進行了詳細研究后，對質譜材料進行了分析，建立了確定物質分子結構的DENDRAL系統(tǒng)。 該系統(tǒng)像化學

5、家一樣，從分子式和質譜導出分子結構的基礎上，開發(fā)元德拉爾系統(tǒng)，不僅將事先已知的規(guī)則應用于經(jīng)驗材料，還可以由觀察到的材料構成新的規(guī)則。 Meta-DENDRAL系統(tǒng)發(fā)現(xiàn)了化學家以前不認識的一些化合物的質譜破壞規(guī)律。 這是自動構成理論的一個例子，非常接近人的真正創(chuàng)造活動。數(shù)學發(fā)現(xiàn)系統(tǒng)AM，發(fā)現(xiàn)學習是系統(tǒng)的初期知識和觀察的數(shù)據(jù)，學習數(shù)學、物理和化學等方面的概念和規(guī)則。 也可以使用歸納推論，但是由于在學習過程中初期知識以外的教育者不進行指導，所以也是沒有指導的歸納學習。 一個發(fā)現(xiàn)系統(tǒng)是數(shù)學發(fā)現(xiàn)系統(tǒng)，典型的系統(tǒng)是AM。 AM(Lenat，1976 )不是學習執(zhí)行任務的概念，而是學習數(shù)學的概念。 用改進的

6、假設方法探索數(shù)學的概念空間。 AM開始運作時，知識庫中有115個有限集合論的基本概念。 AM在運行時，收集概念的例子，創(chuàng)造新的概念，推測概念之間的聯(lián)系。 在一些CPU時間運行中，發(fā)現(xiàn)了約200個新概念，其中約一半是有意義的。 例如自然數(shù)的概念。 另一個概念是自然數(shù)具有唯一的素數(shù)因子分解。 第三階段是從20世紀80年代以后到現(xiàn)在，神經(jīng)網(wǎng)絡研究新興起來，同時符號學習也轉向了具有專業(yè)知識的增長型學習，因此出現(xiàn)了兩種方法共同發(fā)展的局面。 這個階段的代表性的工作是PAC可學習理論和其派生的修正算學習理論等。 PAC使得能夠學習理論，并且假定x是實例空間，概念是x的子集。 實例若為概念則為正例，否則為負例

7、。 學習模式是概念類的有效可學習習性。 Valiant學習理論只是對目標概念的良好近似要求極高的概率。 學習者能夠生成的概念描述與作為學習算法的輸入關殘奧詞的目標概念稍有偏差。 另外，允許學習者失敗的概率，這也是輸入殘奧儀表。 兩個概念的差異用實例空間x中的分布概率d來評價： diffD(c1， c2)=D(x )，根據(jù)協(xié)議，只有在一個概念類c是可學習的并且有一個算法a的情況下，才能夠利用協(xié)議來將機器學習分成根據(jù)學習的特定目的(其代表所有目標概念的c*C和所有分布d )的各種特定目的的學習有教師的學習，另外，3 .可以分為機器學習的分類標準，根據(jù)推論策略，機器學習又稱機器學習，又稱記憶學習，是

8、最簡單的學習策略。 傳授學習，又稱指導學習。 演繹學習是指根據(jù)系統(tǒng)所給出的知識進行推論。 歸納學習是指使用歸納推理的方法進行學習。 類推學習是指應用以前解決類似問題的方法來解決目前面臨的問題。 在機器學習的過程中，每當執(zhí)行機構解決問題，系統(tǒng)就會記住這個問題及其解決方法。 以致動器為函數(shù)f，其輸入為(x1，x2，xn )，其解為(y1，y2，ym )，聯(lián)想對象為： (x1，x2，xn )，()的例如，考慮汽車修理成本估計系統(tǒng)的設定修正。 輸入的信息包括制造商、發(fā)貨日期、車型、汽車損壞的地方、損壞程度等，是有關要修理的汽車的說明。輸出是該汽車的修理成本。 為了進行報價，系統(tǒng)必須在知識庫中找到同一廠

9、家、同一發(fā)貨日期、同一車型、同一損壞程度的汽車，并將相應的數(shù)據(jù)作為修理成本輸出給用戶。 如果找不到，必須重新估計，同時入庫，以便將來檢索和使用。 機器學習系統(tǒng)要考慮的問題是，只有在記憶結構基于知識的檢索時間比重新修正運算所需的時間少時，機器學習才有實用價值。 為了快速訪問基于知識的內(nèi)容，需要合理地組織存儲結構。 環(huán)境穩(wěn)定性和保存信息的適用性如果環(huán)境發(fā)生快速變化，保存的知識和信息將無效或無法再利用。隨時監(jiān)視環(huán)境的變化，不斷更新知識庫中保存的信息和知識。 存儲和校正的權衡利用還是重新校正存儲在知識庫中的信息權衡比較兩者的成本。 傳授式學習在使用傳授式學習系統(tǒng)時，外部環(huán)境給系統(tǒng)提供的一般指示和建議，其表現(xiàn)方式與系統(tǒng)內(nèi)部表現(xiàn)方式不完全一致，系統(tǒng)對外部知識進行一些推論、翻