機(jī)器學(xué)習(xí)及其挑戰(zhàn)

機(jī)器學(xué)習(xí)及其挑戰(zhàn)第1頁，共23頁，2023年，2月20日，星期五機(jī)器學(xué)習(xí)及其重要性機(jī)器學(xué)習(xí)角色的轉(zhuǎn)變五個挑戰(zhàn)問題匯報(bào)內(nèi)容第2頁，共23頁，2023年，2月20日，星期五機(jī)器學(xué)習(xí)經(jīng)典定義：利用經(jīng)驗(yàn)改善系統(tǒng)自身的性能[T.Mitchell,Book97]隨著該領(lǐng)域的發(fā)展，主要做智能數(shù)據(jù)分析典型任務(wù)：預(yù)測例如：天氣預(yù)報(bào)第3頁，共23頁，2023年，2月20日，星期五機(jī)器學(xué)習(xí)（續(xù)）數(shù)據(jù)挖掘數(shù)據(jù)庫機(jī)器學(xué)習(xí)數(shù)據(jù)分析技術(shù)數(shù)據(jù)管理技術(shù)第4頁，共23頁，2023年，2月20日，星期五美國航空航天局JPL實(shí)驗(yàn)室的科學(xué)家在《Science》（2001年9月）上撰文指出：機(jī)器學(xué)習(xí)對科學(xué)研究的整個過程正起到越來越大的支持作用，……，該領(lǐng)域在今后的若干年內(nèi)將取得穩(wěn)定而快速的發(fā)展重要性生物信息學(xué)計(jì)算金融學(xué)分子生物學(xué)行星地質(zhì)學(xué)……工業(yè)過程控制機(jī)器人……遙感信息處理信息安全機(jī)器學(xué)習(xí)第5頁，共23頁，2023年，2月20日，星期五重要性：例子—網(wǎng)絡(luò)安全入侵檢測：是否是入侵？是何種入侵？如何檢測？歷史數(shù)據(jù)：以往的正常訪問模式及其表現(xiàn)、以往的入侵模式及其表現(xiàn)……對當(dāng)前訪問模式分類這是一個典型的預(yù)測型機(jī)器學(xué)習(xí)問題常用技術(shù)：神經(jīng)網(wǎng)絡(luò)決策樹支持向量機(jī)k近鄰序列分析聚類…………第6頁，共23頁，2023年，2月20日，星期五重要性：例子—生物信息學(xué)常用技術(shù)：神經(jīng)網(wǎng)絡(luò)支持向量機(jī)隱馬爾可夫模型k近鄰決策樹序列分析聚類…………第7頁，共23頁，2023年，2月20日，星期五重要性（續(xù)）計(jì)算機(jī)科學(xué)在過去十年中發(fā)展極為迅速，今后會快速穩(wěn)定地發(fā)展、對科學(xué)做出更大貢獻(xiàn)的領(lǐng)域[E.Mjolsness&D.DesCoste,Science01]人工智能中最活躍、應(yīng)用潛力最明顯的領(lǐng)域（之一）[T.G.Dietterich,AIMag97]美國、歐洲各國都投入了大量人力物力大型公司如波音、微軟、通用電器等都有研究課題已有一些研究成果進(jìn)入產(chǎn)品第8頁，共23頁，2023年，2月20日，星期五機(jī)器學(xué)習(xí)角色的轉(zhuǎn)變?nèi)绻覀兿胱龀鲋匾呢暙I(xiàn)，首先需要把握住該領(lǐng)域發(fā)展的脈搏機(jī)器學(xué)習(xí)現(xiàn)在似乎已經(jīng)發(fā)展到一個新階段機(jī)器學(xué)習(xí)起源于人工智能對人類學(xué)習(xí)能力的追求，上一階段的研究幾乎完全局限在人工智能這一領(lǐng)域中（學(xué)習(xí)本身是目的）而現(xiàn)在，機(jī)器學(xué)習(xí)已經(jīng)開始進(jìn)入了計(jì)算機(jī)科學(xué)的不同領(lǐng)域，甚至其他學(xué)科，成為一種支持技術(shù)、服務(wù)技術(shù)（學(xué)習(xí)本身是手段）第9頁，共23頁，2023年，2月20日，星期五機(jī)器學(xué)習(xí)角色的轉(zhuǎn)變（續(xù)）現(xiàn)階段對機(jī)器學(xué)習(xí)的研究可能不應(yīng)再過多地強(qiáng)調(diào)模擬人的學(xué)習(xí)能力可能應(yīng)該把機(jī)器學(xué)習(xí)真正當(dāng)成一種支持技術(shù)（手段而非目的），考慮不同領(lǐng)域甚至不同學(xué)科對機(jī)器學(xué)習(xí)的需求，找出其中具有共性的、必須解決的問題，并進(jìn)而著手研究我們暫且把這種視角下的機(jī)器學(xué)習(xí)稱為：“普適機(jī)器學(xué)習(xí)”（PervasiveML）第10頁，共23頁，2023年，2月20日，星期五挑戰(zhàn)問題(1)：泛化能力共性問題：幾乎所有的領(lǐng)域，都希望越準(zhǔn)越好提高泛化能力是永遠(yuǎn)的追求目前泛化能力最強(qiáng)的技術(shù)：支持向量機(jī)（SVM）產(chǎn)生途徑：理論->實(shí)踐集成學(xué)習(xí)（ensemblelearning）

產(chǎn)生途徑：實(shí)踐->理論第11頁，共23頁，2023年，2月20日，星期五挑戰(zhàn)問題(1)：泛化能力（續(xù)）第一個挑戰(zhàn)問題：今后10年能否更“準(zhǔn)”？如果能，會從哪兒來？第12頁，共23頁，2023年，2月20日，星期五挑戰(zhàn)問題(2)：速度共性問題：幾乎所有的領(lǐng)域，都希望越快越好加快速度也是永遠(yuǎn)的追求“訓(xùn)練速度”vs.“測試速度訓(xùn)練速度快的往往測試速度慢：k近鄰測試速度快的往往訓(xùn)練速度慢：神經(jīng)網(wǎng)絡(luò)第13頁，共23頁，2023年，2月20日，星期五挑戰(zhàn)問題(2)：速度（續(xù)）第二個挑戰(zhàn)問題：今后10年能否更“快”？能做到“訓(xùn)練快”、“測試也快”嗎？如果能，如何做？第14頁，共23頁，2023年，2月20日，星期五挑戰(zhàn)問題(3)：可理解性共性問題：絕大多數(shù)領(lǐng)域都希望有“可理解性”

例子：醫(yī)療診斷地震預(yù)測目前強(qiáng)大的技術(shù)幾乎都是（或基本上是）“黑盒子”神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、集成學(xué)習(xí)“黑盒子”能滿足需要嗎？第15頁，共23頁，2023年，2月20日，星期五挑戰(zhàn)問題(3)：可理解性（續(xù)）第三個挑戰(zhàn)問題：今后10年能否產(chǎn)生“白盒子”？是和“黑盒子”完全不同的東西，還是從“黑盒子”變出來？第16頁，共23頁，2023年，2月20日，星期五挑戰(zhàn)問題(4)：數(shù)據(jù)利用能力傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)—>對有標(biāo)記數(shù)據(jù)進(jìn)行學(xué)習(xí)“標(biāo)記”——>事件所對應(yīng)的結(jié)果共性問題：

隨著數(shù)據(jù)收集能力飛速提高、Internet的出現(xiàn)，在大多數(shù)領(lǐng)域中都可以很容易地獲得大量未標(biāo)記數(shù)據(jù)例子：醫(yī)學(xué)圖象分析垃圾郵件過濾沒有標(biāo)記的數(shù)據(jù)是沒用的嗎？第17頁，共23頁，2023年，2月20日，星期五挑戰(zhàn)問題(4)：數(shù)據(jù)利用能力（續(xù)）共性問題：

在絕大多數(shù)領(lǐng)域中都會遇到“壞”數(shù)據(jù)，有時甚至只有“壞”數(shù)據(jù)

例子：海軍艦隊(duì)Web“壞”數(shù)據(jù)——>大量噪音、屬性缺失、不一致、……傳統(tǒng)的“壞”數(shù)據(jù)處理方式—>“扔掉”“壞”數(shù)據(jù)一點(diǎn)用也沒有嗎？第18頁，共23頁，2023年，2月20日，星期五第四個挑戰(zhàn)問題：今后10年能否“數(shù)據(jù)通吃”？如何“吃”？挑戰(zhàn)問題(4)：數(shù)據(jù)利用能力（續(xù)）第19頁，共23頁，2023年，2月20日，星期五挑戰(zhàn)問題(5)：代價敏感目前的機(jī)器學(xué)習(xí)技術(shù)—>降低錯誤率“錯誤”是沒有區(qū)別的嗎？把“好”當(dāng)成“壞”把“壞”當(dāng)成“好”共性問題：大多數(shù)領(lǐng)域中的錯誤代價都不一樣例子：入侵檢測癌癥診斷一樣嗎？第20頁，共23頁，2023年，2月20日，星期五第五個挑戰(zhàn)問題：今后10年能否“趨利避害”？在達(dá)到較低的總錯誤率的基礎(chǔ)上，如何“趨”、如何“避”？挑戰(zhàn)問題(5)：代價敏感（續(xù)）第21頁，共23頁