人工智能導(dǎo)論-項(xiàng)目7-自然語(yǔ)言處理

人工智能導(dǎo)論項(xiàng)目七

自然語(yǔ)言處理--人工智能實(shí)踐應(yīng)用

01項(xiàng)目背景02思維導(dǎo)圖03思政聚焦04項(xiàng)目相關(guān)知識(shí)05項(xiàng)目任務(wù)目錄CONTENTS06項(xiàng)目小結(jié)與展望01項(xiàng)目概述人機(jī)交流的關(guān)鍵--自然語(yǔ)言處理“語(yǔ)言是通往心靈深處的橋梁”，通過(guò)語(yǔ)言，人與人之間、動(dòng)物與動(dòng)物之間可以相互溝通交流。機(jī)器同樣也有自己的語(yǔ)言交流方式，那就是數(shù)字信息。但不同的語(yǔ)言之間往往是無(wú)法直接溝通的。如何讓機(jī)器學(xué)會(huì)“聽(tīng)懂”一個(gè)人說(shuō)的話，并翻譯成另一種語(yǔ)言后再說(shuō)出來(lái)，自然語(yǔ)言處理（NaturalLanguageProcessing，簡(jiǎn)稱NLP）就是其中的關(guān)鍵。自然語(yǔ)言處理概念自然語(yǔ)言處理（NLP）就是用計(jì)算機(jī)來(lái)處理、理解以及運(yùn)用人類語(yǔ)言(如中文、英文等)，它屬于人工智能的一個(gè)分支，是計(jì)算機(jī)科學(xué)與語(yǔ)言學(xué)的交叉學(xué)科，又常被稱為計(jì)算語(yǔ)言學(xué)。目標(biāo)：讓機(jī)器用人類語(yǔ)言做一些聰明的事情和利用人類語(yǔ)言進(jìn)行自我表達(dá)，比如安排約會(huì)、買東西、或更高級(jí)的目標(biāo)—理解世界。NLP被譽(yù)為“人工智能皇冠上的珍珠”。自然語(yǔ)言處理應(yīng)用我們每天都在享受自然語(yǔ)言處理技術(shù)提供的便利。例如：拼音輸入法的輸入補(bǔ)全、百度翻譯、語(yǔ)音助手；在金融領(lǐng)域，金融風(fēng)險(xiǎn)分析、欺詐識(shí)別等；在法律領(lǐng)域，案例搜索、判決預(yù)測(cè)等；在醫(yī)療健康領(lǐng)域，病歷的輔助錄入、醫(yī)學(xué)資料的檢索等。02思維導(dǎo)圖項(xiàng)目五思維導(dǎo)圖03課程思政自然語(yǔ)言處理應(yīng)用百度旗下人工智能硬件品牌小度憑借自身過(guò)硬的人工智能實(shí)力，與故宮文化“跨界聯(lián)名”，推出了故宮主題智能音箱—小度在家1S故宮文化限定版，這一輪國(guó)內(nèi)頂尖科技與中國(guó)傳統(tǒng)文化的相互融合，將故宮聯(lián)名熱潮推至頂峰。讓傳統(tǒng)文化插上AI的翅膀，活化經(jīng)典。小度與故宮文化的“跨界聯(lián)名”04項(xiàng)目知識(shí)準(zhǔn)備自然語(yǔ)言處理的發(fā)展歷程自然語(yǔ)言處理（NLP）的歷史幾乎跟計(jì)算機(jī)和人工智能（AI）一樣長(zhǎng)，自計(jì)算機(jī)出現(xiàn)后就有了人工智能的研究，而人工智能領(lǐng)域最早的研究就是機(jī)器翻譯以及自然語(yǔ)言理解。自然語(yǔ)言處理的發(fā)展大致經(jīng)歷了以下三個(gè)階段：自然語(yǔ)言處理的兩大流程自然語(yǔ)言處理機(jī)制涉及兩個(gè)流程，包括自然語(yǔ)言理解（NLU,LanguageUnderstanding）和自然語(yǔ)言生成（NLG，NaturalLanguageGeneration）。自然語(yǔ)言理解是指計(jì)算機(jī)能夠理解自然語(yǔ)言文本的意義，自然語(yǔ)言生成則是指能以自然語(yǔ)言文本來(lái)表達(dá)給定的意圖。自然語(yǔ)言處理的層次理解自然語(yǔ)言的理解和分析是一個(gè)層次化的過(guò)程，許多語(yǔ)言學(xué)家把這一過(guò)程分為五個(gè)層次，可以更好地體現(xiàn)語(yǔ)言本身的構(gòu)成，五個(gè)層次分別是語(yǔ)音分析、詞法分析、句法分析、語(yǔ)義分析和語(yǔ)用分析。（1）語(yǔ)音分析：要根據(jù)音位規(guī)則，從語(yǔ)音流中區(qū)分出一個(gè)個(gè)獨(dú)立的音素，再根據(jù)音位形態(tài)規(guī)則找出音節(jié)及其對(duì)應(yīng)的詞素或詞。（2）詞法分析：找出詞匯的各個(gè)詞素，從中獲得語(yǔ)言學(xué)的信息。詞是漢語(yǔ)中能夠獨(dú)立的最小語(yǔ)言單位，正確的單詞切分取決于對(duì)文本語(yǔ)義的正確理解，而單詞切分又是理解語(yǔ)言的最初的一道工序。

例如“我們研究所有東西”這句話進(jìn)行分詞后可能會(huì)得到“我們/研究/所有/東西”，或“我們/研究所/有/東西”自然語(yǔ)言處理的層次理解（3）句法分析：對(duì)句子和短語(yǔ)的結(jié)構(gòu)進(jìn)行分析，目的是要找出詞、短語(yǔ)等的相互關(guān)系以及各自在句中的作用。

例如：“反對(duì)│的│是│少數(shù)人”，“咬死了|獵人|的|狗”（4）語(yǔ)義分析：找出詞義、結(jié)構(gòu)意義及其結(jié)合意義，從而確定語(yǔ)言所表達(dá)的真正含義或概念。

例如“你約我吃飯”和“我約你吃飯”，意思完全不同（5）語(yǔ)用分析：研究語(yǔ)言所存在的外界環(huán)境對(duì)語(yǔ)言使用者所產(chǎn)生的影響。

例如“我要一個(gè)漢堡包”，在不同的上下文中會(huì)有不同的含義。自然語(yǔ)言處理的研究現(xiàn)狀機(jī)器缺乏常識(shí)知識(shí)大規(guī)模、高質(zhì)量的標(biāo)注數(shù)據(jù)較難獲得同樣一句話，不同的人使用時(shí)可能會(huì)有不同的說(shuō)法和不同的表達(dá)個(gè)性化識(shí)別難語(yǔ)義理解難標(biāo)注數(shù)據(jù)資源貧乏04項(xiàng)目任務(wù)任務(wù)1：智能文本分析1、任務(wù)描述

智能文本分析是輸入一段待分析的文本內(nèi)容，通過(guò)文本分句、分詞、命令實(shí)體識(shí)別這三個(gè)重要步驟，從該文本范圍中提取出時(shí)間、地點(diǎn)、人物、事件等關(guān)鍵信息。這些關(guān)鍵信息能形成反映出中心內(nèi)容的文本摘要，實(shí)現(xiàn)對(duì)文本的分類、情感分析，最終生成文本分析報(bào)告。任務(wù)1：智能文本分析2、技術(shù)分析文本分詞采用基于字符串匹配的分詞方法，按照一定的策略將待分析的字符串與一個(gè)“充分大的”機(jī)器詞典中的詞條進(jìn)行匹配，若在詞典中找到某個(gè)字符串，則匹配成功（識(shí)別出一個(gè)詞），這種分詞方法的實(shí)現(xiàn)簡(jiǎn)單方便。命名實(shí)體識(shí)別：命名實(shí)體識(shí)別的主要技術(shù)方法有基于規(guī)則和詞典的方法、基于統(tǒng)計(jì)的方法、規(guī)則與統(tǒng)計(jì)相結(jié)合的混合方法。將規(guī)則與統(tǒng)計(jì)相結(jié)合、多種統(tǒng)計(jì)方法相結(jié)合的混合方法是目前主流的方法，也是本項(xiàng)目使用的命名實(shí)體識(shí)別技術(shù)方法。任務(wù)1：智能文本分析2、技術(shù)分析關(guān)鍵信息提取是指從文本里面把跟內(nèi)容意義最相關(guān)的一些詞語(yǔ)抽取出來(lái)，在文獻(xiàn)檢索、自動(dòng)文摘、文本聚類/分類等方面有著重大的應(yīng)用。目前關(guān)于文本的關(guān)鍵信息提取算法主要有三種:有監(jiān)督的關(guān)鍵詞抽取、半監(jiān)督的關(guān)鍵詞提取、無(wú)監(jiān)督的關(guān)鍵詞提取。有監(jiān)督的文本關(guān)鍵詞提取算法需要高昂的人工成本，因此現(xiàn)有的文本關(guān)鍵詞提取主要采用適用性較強(qiáng)的無(wú)監(jiān)督關(guān)鍵詞提取方法，這也是本項(xiàng)目采用的關(guān)鍵詞提取算法。任務(wù)1：智能文本分析2、技術(shù)分析文本摘要生成：指的是為較長(zhǎng)的文本文檔創(chuàng)建簡(jiǎn)短、準(zhǔn)確的摘要。目前文本摘要的生成方式通?？煞譃樯墒?、抽取式兩類。生成式比抽取式更接近人進(jìn)行摘要的過(guò)程，這也是本項(xiàng)目采用的文本摘要生成方法。文本情感分析：指利用自然語(yǔ)言處理和文本挖掘技術(shù)，對(duì)帶有情感色彩的主觀性文本進(jìn)行分析、處理和抽取的過(guò)程。目前主要采用的方法有基于情感詞典、基于機(jī)器學(xué)習(xí)的方法，其中基于機(jī)器學(xué)習(xí)的方法是本項(xiàng)目采用的情感分析技術(shù)方法。任務(wù)1：智能文本分析3、任務(wù)實(shí)現(xiàn)---請(qǐng)大家掃二維碼根據(jù)步驟測(cè)試實(shí)現(xiàn)任務(wù)2：機(jī)器人寫(xiě)詩(shī)1、任務(wù)描述機(jī)器人寫(xiě)詩(shī)是輸入詩(shī)的標(biāo)題、類型，通過(guò)模型訓(xùn)練，自動(dòng)生成符合格式要求的詩(shī)詞。任務(wù)2：機(jī)器人寫(xiě)詩(shī)2、技術(shù)分析在寫(xiě)詩(shī)之前需要學(xué)習(xí)各種不同類型的風(fēng)格或不同主題的詩(shī)歌，獲得詩(shī)歌的一些基本特征規(guī)律，然后基于這些知識(shí)進(jìn)行詩(shī)歌生成。目前主流的詩(shī)歌生成技術(shù)方法有：基于傳統(tǒng)方法的詩(shī)歌生成、基于深度學(xué)習(xí)技術(shù)的詩(shī)歌生成。基于統(tǒng)計(jì)方法的詩(shī)歌生成方法一般需要人工設(shè)計(jì)規(guī)則和評(píng)估函數(shù)對(duì)生成詩(shī)歌的格律，語(yǔ)義等進(jìn)行約束。非常依賴詩(shī)歌的領(lǐng)域知識(shí)，通用性差方法，因此本項(xiàng)目采用的是基于深度學(xué)習(xí)技術(shù)的詩(shī)歌生成方法。任務(wù)2：機(jī)器人寫(xiě)詩(shī)3、任務(wù)實(shí)現(xiàn)---請(qǐng)大家掃二維碼根據(jù)步驟測(cè)試實(shí)現(xiàn)04項(xiàng)目小結(jié)與展望項(xiàng)目小結(jié)

本章介紹了自然語(yǔ)言處理的概念、應(yīng)用、發(fā)展歷程、研究現(xiàn)狀等內(nèi)容。以智能文本分析、機(jī)器人寫(xiě)詩(shī)這兩個(gè)項(xiàng)目實(shí)踐，對(duì)自然語(yǔ)言應(yīng)用做了案例具體實(shí)現(xiàn)。

智能文本分析實(shí)現(xiàn)過(guò)程主要包括文本分句、分詞、命名實(shí)體識(shí)別、關(guān)鍵信息提取、文本分類、情感分析等重要步驟。

機(jī)器人寫(xiě)詩(shī)則主要是通過(guò)輸入詩(shī)的標(biāo)題和類型，自動(dòng)生成詩(shī)歌。項(xiàng)目展望

人工智能自然語(yǔ)言處理將是信息科學(xué)技術(shù)中長(zhǎng)期發(fā)展的一個(gè)新的戰(zhàn)略新高度，自然語(yǔ)言處理技術(shù)會(huì)讓大家的生活越來(lái)越方便。打客服電話，你不用再選擇一大堆