《大數(shù)據(jù)導(dǎo)論》課件 第2章 大數(shù)據(jù)相關(guān)技術(shù)_第1頁
《大數(shù)據(jù)導(dǎo)論》課件 第2章 大數(shù)據(jù)相關(guān)技術(shù)_第2頁
《大數(shù)據(jù)導(dǎo)論》課件 第2章 大數(shù)據(jù)相關(guān)技術(shù)_第3頁
《大數(shù)據(jù)導(dǎo)論》課件 第2章 大數(shù)據(jù)相關(guān)技術(shù)_第4頁
《大數(shù)據(jù)導(dǎo)論》課件 第2章 大數(shù)據(jù)相關(guān)技術(shù)_第5頁
已閱讀5頁,還剩153頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

第2章

大數(shù)據(jù)相關(guān)技術(shù)演講人2024/12/24目錄2.1云計算與大數(shù)據(jù)2.2人工智能與大數(shù)據(jù)2.3物聯(lián)網(wǎng)與大數(shù)據(jù)2.4小結(jié)012.1云計算與大數(shù)據(jù)ONE2.1.1云計算的基本概念云計算是一種提供存儲和計算資源的網(wǎng)絡(luò),用戶能夠隨時獲取“云上”資源,按需求量使用。在用戶視角下,存儲和計算資源可以看成無限擴(kuò)展,按照使用時長、數(shù)量付費。因此,“云”就像自來水廠一樣,用戶能夠隨時使用水,不限定時間、用量,只需要按照使用量付費給自來水廠。云計算實現(xiàn)了通過網(wǎng)絡(luò)提供可伸縮、廉價的分布式計算能力,用戶僅需接入互聯(lián)網(wǎng),即可隨時隨地獲取所需的各類存儲和計算資源。云計算代表了基于虛擬化、低成本、動態(tài)可擴(kuò)展的基礎(chǔ)網(wǎng)絡(luò)應(yīng)用設(shè)施,目前已經(jīng)廣泛應(yīng)用到各行各業(yè)。2.1.1云計算的基本概念1.云計算的提出云計算的概念發(fā)源于20世紀(jì)60年代,斯坦福大學(xué)計算機(jī)教授約翰?麥卡錫(JohnMcCarthy)在講座中提到“計算機(jī)將會變成一種公共資源”,同時代的道格拉斯?帕克希爾(DouglasParkhill)在著作《計算機(jī)效用變革》中將計算機(jī)資源類比為電力資源,并提出了私有資源、公有資源、社區(qū)資源等概念,這些概念在云計算的應(yīng)用中沿用至今。現(xiàn)代云計算誕生于20世紀(jì)90年代末的互聯(lián)網(wǎng)大潮。1997年拉姆納特?切爾阿帕(RamnathChellappa)教授在演講中首次提出“云計算(CloudComputing)”概念;2006年8月,GoogleCEO埃里克?施密特(EricSchmidt)正式定義了“云計算(CloudComputing)”概念,推動了云計算的商業(yè)化應(yīng)用。2.1.1云計算的基本概念1.云計算的提出在云計算的商業(yè)化應(yīng)用中,1999年成立的Salesforce公司被公認(rèn)為云計算的先驅(qū),其主要業(yè)務(wù)是面向企業(yè)客戶銷售基于云的“軟件即服務(wù)”產(chǎn)品。2006年,Amazon公司推出了商業(yè)化云計算產(chǎn)品“亞馬遜網(wǎng)絡(luò)服務(wù)AWS”,其中重要的產(chǎn)品為“彈性計算云EC2”,是業(yè)界首款面向公眾提供基礎(chǔ)架構(gòu)的云服務(wù)產(chǎn)品。繼AmazonAWS產(chǎn)品以后,各類云計算產(chǎn)品層出不窮,不但包括Microsoft、Google等互聯(lián)網(wǎng)巨頭構(gòu)建的云計算產(chǎn)品,還包括國內(nèi)互聯(lián)網(wǎng)巨頭構(gòu)建的阿里云、騰訊云、百度云以及京東云等產(chǎn)品。表2-1給出了云計算發(fā)展簡史。2.1.1云計算的基本概念1.云計算的提出表2-1云計算發(fā)展簡史2.1.1云計算的基本概念云計算的定義廣義上來講,云計算是信息技術(shù)、軟件和互聯(lián)網(wǎng)相關(guān)技術(shù)提供的共享服務(wù),這種服務(wù)將存儲和計算以“共享池”的方式提供,并命名為“云”。云計算整合了存儲和計算資源,并通過軟件實現(xiàn)自動化管理,只需要投入較少的管理資源,即可提供大規(guī)模的資源共享服務(wù)。在互聯(lián)網(wǎng)的流通中,云計算像普通生活中的水、電、煤一樣,可以自由、方便的隨取隨用,且價格較為低廉。實際上,云計算的概念較為抽象,且近幾年發(fā)展快速、并趨于完善,迄今為止并沒有一個標(biāo)準(zhǔn)的定義,各類知識圖譜中均給出了關(guān)于“云計算”的概念定義:(1)百度百科:云計算是分布式計算的一種,指的是通過網(wǎng)絡(luò)“云”將巨大的數(shù)據(jù)計算處理程序分解成無數(shù)個小程序,然后,通過多部服務(wù)器組成的系統(tǒng),處理和分析這些小程序,并將結(jié)果返回給用戶。2.1.1云計算的基本概念云計算的定義(2)維基百科:云計算是一種基于互聯(lián)網(wǎng)的計算方式,通過這種方式,共享的軟硬件資源和信息可以按照需求提供給計算各種終端和其他設(shè)備,使用服務(wù)商提供的計算機(jī)基礎(chǔ)設(shè)施作為存儲和計算資源。(3)云計算安全聯(lián)盟(CSA):云計算的本質(zhì)是一種服務(wù)提供模型,通過這種模型可以隨時、隨地、按需地通過網(wǎng)絡(luò)訪問共享資源池的資源。資源池中的資源包括計算資源、網(wǎng)絡(luò)資源、存儲資源等,這些資源能夠被動態(tài)地分配與調(diào)整,在不同用戶之間靈活劃分。符合這些特點的互聯(lián)網(wǎng)服務(wù)都可被稱為云計算服務(wù)。2.1.1云計算的基本概念云計算的定義(4)美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST):云計算通過網(wǎng)絡(luò)構(gòu)建了便利、按需付費的計算資源獲取方式,包括網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用和服務(wù)等。這些資源來自共享、可配置的計算機(jī)資源池,且能夠以最小的管理代價或服務(wù)提供商交互的方式快速獲取資源??傊?,云計算并不是一種全新的網(wǎng)絡(luò)技術(shù),而是全新的網(wǎng)絡(luò)應(yīng)用概念,其核心概念是以互聯(lián)網(wǎng)為中心,為用戶提供快速、安全的存儲服務(wù)和計算服務(wù),讓每個互聯(lián)網(wǎng)用戶都能夠使用龐大的計算資源和數(shù)據(jù)中心。2.1.2云計算的基本要素與優(yōu)勢1.云計算的基本要素NIST為云計算定義了NIST800-145標(biāo)準(zhǔn),該標(biāo)準(zhǔn)定義了云計算的五大基本要素:自助服務(wù)、網(wǎng)絡(luò)分發(fā)服務(wù)、可衡量服務(wù)、資源靈活調(diào)度以及資源共享池。圖2-1給出了NIST提出的云計算要素示意圖。在NIST的標(biāo)準(zhǔn)中,云計算按照服務(wù)模式可以分為:基礎(chǔ)架構(gòu)即服務(wù)(IaaS),平臺即服務(wù)(PaaS)以及軟件即服務(wù)(SaaS)三個類別;按照部署方式可以分為:公有云、私有云、行業(yè)云和混合云四個類別。

NIST800-145標(biāo)準(zhǔn)被業(yè)界普遍接受,主要原因是該標(biāo)準(zhǔn)建立了云計算的五大基本要素,簡潔地說明了云計算的基本特征。通過云計算的五個基本要素可以很容易區(qū)分云計算服務(wù)和普通信息化服務(wù),具體基本要素的內(nèi)容為:2.1.2云計算的基本要素與優(yōu)勢1.云計算的基本要素圖2-1NIST提出的云計算要素示意圖2.1.2云計算的基本要素與優(yōu)勢1.云計算的基本要素(1)自助服務(wù):云計算為用戶提供自助的資源獲取服務(wù)。自助式服務(wù)充分發(fā)揮了云計算架構(gòu)強(qiáng)大的運算能力,保障用戶獲得高效、便捷的體驗。例如:基于騰訊云的在線會議系統(tǒng),用戶可以自助的選擇會議類型、設(shè)置參會人數(shù),上傳會議資料等。當(dāng)會議開啟后,騰訊云服務(wù)器將參會人員連接到虛擬的在線會議室。騰訊云并不需要人工干預(yù)流程,所有服務(wù)細(xì)節(jié)需求由用戶決定。不同于騰訊云方便快捷的資源服務(wù),傳統(tǒng)多方會議服務(wù)需將分散的終端機(jī)房統(tǒng)一集中到中心機(jī)房,軟硬件設(shè)施較為僵化,需要人工劃分、分配資源。(2)網(wǎng)絡(luò)分發(fā)服務(wù):基于互聯(lián)網(wǎng)分發(fā)服務(wù),能夠打破資源使用的地理位置限制,打破硬件部署環(huán)境的限制。云計算實現(xiàn)了只要接入網(wǎng)絡(luò)就能享受計算資源,革命性地改變了計算機(jī)的使用習(xí)慣。以文檔編輯為例,基于金山云的WPS在線文檔編輯,僅需使用者通過手機(jī)、電腦或平板等終端登錄后,即可進(jìn)行在線的文檔編輯。共享式WPS文檔提供了Word、Excel、PPT等常見文檔編輯功能,不再需要購買和安裝Office類軟件,僅需通過Web瀏覽器即可辦公,且文檔還支持多人協(xié)同編輯,極大地提升了工作效率。2.1.2云計算的基本要素與優(yōu)勢1.云計算的基本要素(3)可衡量服務(wù):成熟、穩(wěn)定的云計算平臺,能夠?qū)崟r跟蹤用戶對于存儲、CPU和網(wǎng)絡(luò)帶寬的需求,通過后臺的實時分析給出量化指標(biāo)。根據(jù)量化指標(biāo),云平臺運營商能夠快速進(jìn)行后臺資源的調(diào)整與優(yōu)化,從而為用戶提供彈性云服務(wù),提升資源使用效率,降低資源使用成本。(4)資源靈活調(diào)度:實際上,云平臺的存儲、計算資源被虛擬成“云”,云計算提供商能夠快速將新設(shè)備添加到“云”上,以滿足不同客戶日益增長的資源需求?;谟脩粢暯?,只需要根據(jù)資源使用按時付費,即可獲得幾乎無限的資源提供,云平臺的資源調(diào)度非常靈活。例如:基于阿里云、騰訊云的應(yīng)用能夠滿足用戶不斷增長的資源需求。在騰訊會議或釘釘會議中,已經(jīng)同時召開過千人級別的全球視頻會議,還能夠支持更大規(guī)模的多方視頻會議。2.1.2云計算的基本要素與優(yōu)勢1.云計算的基本要素(5)資源共享池:云計算平臺的計算資源“存儲、CPU和網(wǎng)絡(luò)帶寬”通常被稱為“資源共享池”。資源共享池是將所有設(shè)備的存儲、計算能力放在資源池中,并進(jìn)行統(tǒng)一的資源分配。當(dāng)用戶發(fā)出資源請求時,即可直接從資源共享池中為其分配資源,所有用戶都“共享”地使用資源池中的所有資源。NIST云計算五大關(guān)鍵要素非常形象地提煉了云計算模式的基本要素,在絕大多數(shù)成功的云計算服務(wù)中,都能很容易地感受到五大基本要素。例如:AmazonAWS的EC2云計算產(chǎn)品,其所提供的資源服務(wù)可以直接在網(wǎng)站上自助開通,通過網(wǎng)絡(luò)分發(fā)為用戶提供共享的資源服務(wù),用戶可直接在EC2后臺中查看計算資源使用情況。此外,EC2提供了一個用于云計算資源“負(fù)載均衡”的資源調(diào)配系統(tǒng),能夠滿足瞬息萬變的用戶需求。這些基本要素將EC2塑造成了優(yōu)秀的云計算服務(wù)提供商,也界定了優(yōu)秀云計算服務(wù)的基本特點,成為后續(xù)云計算服務(wù)爭相模仿的對象。2.1.2云計算的基本要素與優(yōu)勢2.云計算的優(yōu)勢云計算問世接近20年,截止到2018年,根據(jù)國際數(shù)據(jù)集團(tuán)(IDC)的數(shù)據(jù)統(tǒng)計顯示,69%的信息化企業(yè)已經(jīng)采用了云計算資源服務(wù),18%的信息化企業(yè)計劃在未來采用云計算資源服務(wù)。云計算服務(wù)擁有如下的六大優(yōu)勢:(1)超大規(guī)模:“云計算”能夠為用戶提供前所未有的存儲和計算能力。統(tǒng)計數(shù)據(jù)表明,截止到2023年,Google云服務(wù)一共擁有24個數(shù)據(jù)中心,分布在包括北美洲、歐洲、亞洲和南美洲等全球范圍,Amazon和Yahoo等云服務(wù)提供商均擁有幾十上百萬臺服務(wù)器。國內(nèi)的阿里云與騰訊云走在了云平臺建設(shè)前列,在世界各地為云平臺構(gòu)建了數(shù)據(jù)中心,圖2-2給出了騰訊云建設(shè)的印度數(shù)據(jù)中心。2.1.2云計算的基本要素與優(yōu)勢2.云計算的優(yōu)勢(2)虛擬化:云計算支持用戶在任意位置、任意時間采用各類終端設(shè)備獲取服務(wù)資源。用戶所請求的資源來自虛擬的“云平臺”,而不是實物物理硬件,用戶的應(yīng)用程序則在虛擬“云平臺”上的某個節(jié)點上運行。實際上,用戶無須了解應(yīng)用程序的具體運行位置,直接通過網(wǎng)絡(luò)獲取虛擬化的服務(wù)。圖2-2的印度數(shù)據(jù)中心2.1.2云計算的基本要素與優(yōu)勢2.云計算的優(yōu)勢(3)敏捷性:云計算為用戶提供全面的基礎(chǔ)工具和操作系統(tǒng),用戶可以根據(jù)需要快速啟動資源,從云存儲、云計算、數(shù)據(jù)庫到物聯(lián)網(wǎng)、大數(shù)據(jù)分析等業(yè)務(wù),都可以快速、自由的試驗,具有較高的敏捷性。(4)彈性可擴(kuò)展:云計算具有理論上無限制的存儲和計算資源,用戶無須為日后高速增長的業(yè)務(wù)而過度預(yù)置資源。彈性伸縮服務(wù)是云平臺的重要功能之一,通過策略自動調(diào)整業(yè)務(wù)資源服務(wù),保障按需調(diào)整云服務(wù)資源。表2-2給出了云平臺彈性伸縮服務(wù)的典型應(yīng)用場景。2.1.2云計算的基本要素與優(yōu)勢2.云計算的優(yōu)勢表2-2云平臺彈性伸縮服務(wù)的典型應(yīng)用場景2.1.2云計算的基本要素與優(yōu)勢2.云計算的優(yōu)勢(5)數(shù)據(jù)安全:數(shù)據(jù)安全是政府、企業(yè)等云計算用戶的重要需求之一,云平臺提供了許多高級安全功能,確保數(shù)據(jù)得到安全的存儲和處理。一方面,通過聯(lián)合角色進(jìn)行精細(xì)權(quán)限和訪問管理,限制不同角色對敏感數(shù)據(jù)的訪問權(quán)限;另一方面,通過大數(shù)據(jù)分析實施基線保護(hù),例如:身份驗證、訪問控制和數(shù)據(jù)加密等。(6)高可靠性:可靠性是眾多云計算應(yīng)用的另一個重要需求,云平臺采用數(shù)據(jù)副本容錯、計算節(jié)點重構(gòu)、日志回滾等措施構(gòu)建了高可靠性,用戶可以靈活實現(xiàn)數(shù)據(jù)的備份和恢復(fù)。2.1.3云計算的體系架構(gòu)云計算的體系結(jié)構(gòu)可以通過兩種方式劃分,一是基于服務(wù)模式劃分為三個類別;二是基于部署方式劃分為四個類別。2.1.3云計算的體系架構(gòu)1.云計算的服務(wù)模式云計算提供如下三種服務(wù)模式:(1)基礎(chǔ)架構(gòu)即服務(wù)(IaaS):早期最基礎(chǔ)的云服務(wù)為虛擬主機(jī)(VirtualMachine),隨著計算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的發(fā)展,基礎(chǔ)服務(wù)被拆分為CPU、存儲、網(wǎng)絡(luò)和數(shù)據(jù)庫等基礎(chǔ)云產(chǎn)品,實現(xiàn)了整個云計算的基礎(chǔ)架構(gòu)。IaaS允許用戶進(jìn)行靈活組合,實現(xiàn)彈性計費。(2)平臺即服務(wù)(PaaS):PaaS指的是基于IaaS提供的編程語言、庫和開發(fā)工具,創(chuàng)建應(yīng)用服務(wù)平臺,即將本地環(huán)境中的開發(fā)服務(wù)平臺遷移到云端。常見的開發(fā)平臺服務(wù)包括:提供音視頻、短信和郵件的通信服務(wù),提供地圖、定位和導(dǎo)航相關(guān)的地理信息服務(wù),提供面向人工智能開發(fā)者的數(shù)據(jù)標(biāo)注以及模型訓(xùn)練服務(wù)等。2.1.3云計算的體系架構(gòu)1.云計算的服務(wù)模式(3)軟件即服務(wù)(SaaS):SaaS是為用戶提供基于IaaS和PaaS構(gòu)建的應(yīng)用程序,即將本地環(huán)境中的信息應(yīng)用系統(tǒng)遷移到云端。常見的軟件應(yīng)用服務(wù)包括:辦公協(xié)同系統(tǒng)、企業(yè)OA系統(tǒng)、財務(wù)報銷系統(tǒng)以及銷售CRM系統(tǒng)等。隨著5G網(wǎng)絡(luò)的普及,我國率先進(jìn)入大數(shù)據(jù)與人工智能時代,自動駕駛、工業(yè)互聯(lián)、云醫(yī)療等場景的興起,對基礎(chǔ)設(shè)施的要求越來越高,云計算的服務(wù)模式也越來越清晰。表2-3給出了三種云計算服務(wù)模式的特性對比。2.1.3云計算的體系架構(gòu)1.云計算的服務(wù)模式表2-3三種云計算服務(wù)模式的對比2.1.3云計算的體系架構(gòu)1.云計算的服務(wù)模式為了加深讀者對云計算服務(wù)模式的理解,以下用一個“比薩餅服務(wù)平臺”案例進(jìn)行形象的比喻,如圖2-3所示。(1)如果不使用外界資源,完全自制比薩餅,則需要您準(zhǔn)備所有的器具和原材料,并自己完成制作的全過程。這相當(dāng)于所謂的“傳統(tǒng)架構(gòu)”(沒有應(yīng)用云計算服務(wù)),自己不但要掌握全部的技術(shù)方法,還需要準(zhǔn)備所有的資源。(2)如果從“比薩餅服務(wù)平臺”上訂購制作比薩餅的原材料,自己準(zhǔn)備制作的器具并完成制作的過程,這相當(dāng)于應(yīng)用“IaaS架構(gòu)”的云服務(wù),自己要掌握制作技術(shù),但基礎(chǔ)原料由服務(wù)商提供。2.1.3云計算的體系架構(gòu)云計算的服務(wù)模式03(3)如果在“比薩餅服務(wù)平臺”上請了一位面點師上門制作,他不但準(zhǔn)備了原材料,還負(fù)責(zé)制作過程。而您甚至不需要準(zhǔn)備制作的器具,只需要備有蘇打水和桌子,這就相當(dāng)于應(yīng)用了“PaaS架構(gòu)”的服務(wù)。04(4)如果在“比薩餅服務(wù)平臺”上直接購買了比薩餅,則您要的產(chǎn)品全部由服務(wù)商提供,您只需要根據(jù)自己的需要付費使用即可,這就相當(dāng)于得到“SaaS架構(gòu)”的服務(wù)。2.1.3云計算的體系架構(gòu)1.云計算的服務(wù)模式圖2-3基于“比薩餅服務(wù)平臺”理解三種云服務(wù)模式2.1.3云計算的體系架構(gòu)2.云計算的部署方式云計算提供如下四種部署方式:(1)公有云:公有云指的是第三方提供商為用戶提供的公開云服務(wù),通過互聯(lián)網(wǎng)接入使用,核心屬性是共享資源服務(wù)。公有云以低廉的成本,提供有吸引力的服務(wù),為用戶創(chuàng)造新的價值。公有云面向普通大眾,隱私安全性低于私有云,但是其作為支撐平臺,能夠整合上游服務(wù)提供者和下游服務(wù)用戶,打造新的價值鏈和生態(tài)系統(tǒng)。(2)私有云:私有云指為特定用戶構(gòu)建的云計算平臺,能夠為用戶提供高質(zhì)量的服務(wù),提高數(shù)據(jù)和資源的安全性,其核心屬性是專有資源。私有云不但可以部署在企業(yè)數(shù)據(jù)中心的防火墻內(nèi),還能夠部署在安全主機(jī)托管場所,提供了遠(yuǎn)高于公有云的隱私安全性。2.1.3云計算的體系架構(gòu)2.云計算的部署方式(3)混合云:無論是公有云還是私有云,在服務(wù)場景中都存在一定的限制?;旌显迫诤狭斯性坪退接性?,是云服務(wù)的創(chuàng)新模式和發(fā)展方向。云服務(wù)用戶既想將私密數(shù)據(jù)存放在私有云中,同時又希望獲得公有云的計算資源。這種情況下,需要將公有云和私有云進(jìn)行融合、匹配使用,以期獲得更具個性化的云服務(wù)方案。(4)行業(yè)云:行業(yè)云是面向某個行業(yè)構(gòu)建的共享云端基礎(chǔ)設(shè)施,支撐特定行業(yè)的資源服務(wù)需求,這類云服務(wù)一般建立在混合云之上,通過云服務(wù)共同構(gòu)建行業(yè)服務(wù),其中面向政府的重要應(yīng)用場景為“政務(wù)云”?!景咐?-1】“人民黨建云”政務(wù)云平臺。2.1.3云計算的體系架構(gòu)2.云計算的部署方式2014年3月,人民網(wǎng)中國共產(chǎn)黨新聞網(wǎng)推出“全國黨建云平臺”欄目,搭建了“云信息、云服務(wù)、云管理”的新型黨建宣傳模式,形成以全國黨建云平臺為主體,中央和國家機(jī)關(guān)、國企、非公、高校四個子平臺為輔的“一體四翼”發(fā)展模式,逐步建成覆蓋全國的黨建綜合信息平臺。經(jīng)過近八年的發(fā)展,截止到2021年底,全國黨建云平臺已經(jīng)有超過10萬個入駐單位,涵蓋了黨委、政府、企事業(yè)單位、社會組織等各類組織。全國黨建云平臺是黨建工作的重要信息化平臺,通過云計算等新技術(shù),實現(xiàn)黨建工作的智能化、信息化和網(wǎng)絡(luò)化,為黨建工作提供強(qiáng)有力的支撐和保障。在全國黨建云平臺上,各級組織可以開展黨建工作的各類活動,具體包括:2.1.3云計算的體系架構(gòu)2.云計算的部署方式(1)網(wǎng)上支部:隨時隨地開展網(wǎng)上支部會,會議過程中黨員可通過文字、語音、圖片等形式記錄學(xué)習(xí)情況,形成完整的會議記錄。此外,黨組織也能夠隨時檢索黨員在組織中的生活記錄,通過大數(shù)據(jù)與人工智能技術(shù),解決異地會議、三會一課留痕、會議記錄造假等問題,為黨組織評價提供有力的證據(jù)。(2)組織生活:通過圖文、視頻等形式在線上開展組織生活。黨員之間評論打分,與工作考核任務(wù)綁定,構(gòu)建了自動化、流程化的考核分析,實現(xiàn)看得見、可量化的黨建工作。(3)積分排行:搭建黨組織的積分系統(tǒng),通過排名方式激勵黨員學(xué)習(xí)、分享和活動,充分調(diào)用黨員工作的積極性。(4)工作考核:將黨組織和黨員的考核工作搬上“云端”,打造在線的黨組織任務(wù)布置、黨員完成考核的全流程,便于紀(jì)委監(jiān)督隨時了解情況,實現(xiàn)黨建工作向基層延伸。2.1.3云計算的體系架構(gòu)2.云計算的部署方式國內(nèi)最大的云計算服務(wù)商為阿里云和騰訊云,為各類企業(yè)和個人提供公有云服務(wù)。除此之外,華為云、金山云、百度云、天翼云等屬于第二梯隊,為中大型企業(yè)定制私有云服務(wù)。電信和??档绕髽I(yè)則主要進(jìn)行基于混合云的行業(yè)云建設(shè),主要應(yīng)用產(chǎn)品包括政務(wù)云等。表2-4給出了四種云計算部署方式的對比。2.1.3云計算的體系架構(gòu)2.云計算的部署方式表2-4四種云計算部署方式的對比2.1.4云計算的核心技術(shù)云計算的核心技術(shù)包括虛擬化、分布式存儲及計算、并行編程和云安全等,下面對核心相關(guān)技術(shù)進(jìn)行簡要介紹。2.1.4云計算的核心技術(shù)1.虛擬化技術(shù)虛擬化是云計算最重要的特征之一。虛擬化技術(shù)將實體存儲和計算資源予以抽象、轉(zhuǎn)換后呈現(xiàn)出來,打破了實體資源不可切割的屏障,使得物理單元和邏輯單元解耦,用戶能夠通過更好的方式使用存儲和計算資源。云計算上的虛擬化技術(shù)解決了資源使用的諸多瓶頸:01(1)服務(wù)器整合:物理服務(wù)器的性能瓶頸受限于單臺服務(wù)器,沒有虛擬化技術(shù)之前,很難將多個服務(wù)器整合成一個高性能服務(wù)器。利用虛擬化技術(shù),可以快速整合多臺服務(wù)器的存儲和計算資源,為用戶提供彈性資源服務(wù)。02(2)靈活資源分配:通過虛擬化技術(shù),云平臺能夠動態(tài)調(diào)配資源給每個用戶,資源使用進(jìn)程中能夠在不同物理機(jī)之間“不停機(jī)”地轉(zhuǎn)移,避免了硬件故障導(dǎo)致服務(wù)停滯的問題。同時,虛擬化技術(shù)能夠采用負(fù)載均衡策略,為用戶提供所需的服務(wù)資源。032.1.4云計算的核心技術(shù)1.虛擬化技術(shù)(3)快速部署:在服務(wù)器部署中,物理機(jī)的部署需要硬件組裝、驅(qū)動配置和軟件安裝等流程,部署效率低且難以維護(hù)。在虛擬化技術(shù)下,云計算用戶僅需簡單的設(shè)置,即可快速產(chǎn)生一臺或多臺標(biāo)準(zhǔn)化的虛擬機(jī),節(jié)省了大量的部署時間,同時也提升了維護(hù)的效率。(4)可用性與數(shù)據(jù)備份:虛擬快照是一種重要的虛擬化技術(shù),將虛擬機(jī)的當(dāng)前狀態(tài)通過“照片”的形式存儲。當(dāng)出現(xiàn)失誤或事故時,能夠通過虛擬快照快速恢復(fù)當(dāng)前狀態(tài),而物理機(jī)則難以做到這一點。2.1.4云計算的核心技術(shù)2.分布式存儲及計算技術(shù)分布式存儲及計算技術(shù)是云計算的另一個重要特征。云平臺將計算任務(wù)分布在云端的分布式計算設(shè)備上,數(shù)據(jù)也存儲在云端分布式存儲設(shè)備中。其中,分布式計算技術(shù)將大量計算的工程數(shù)據(jù)分區(qū)成小塊,由云端的多個計算機(jī)節(jié)點分別計算,再上傳合并進(jìn)行數(shù)據(jù)分析處理。通過分布式計算,可以節(jié)約整體計算時間,極大的提升效率。此外,云平臺服務(wù)大量用戶,若采用集中式存儲無法滿足海量大數(shù)據(jù)的存儲需求,分布式存儲技術(shù)則能夠在多臺計算機(jī)上搭建大規(guī)模存儲集群。分布式存儲是一種全新的數(shù)據(jù)存儲應(yīng)用技術(shù),通過網(wǎng)絡(luò)連接計算機(jī)集群,使用每臺計算機(jī)上的磁盤空間進(jìn)行存儲,將分散的存儲資源構(gòu)建成統(tǒng)一的數(shù)據(jù)存儲中心。分布式存儲追求在云端為每個用戶提供可擴(kuò)展、價格低廉的存儲服務(wù)。1.4云計算的核心技術(shù)分布式存儲及計算技術(shù)云存儲是分布式存儲的發(fā)展與延續(xù),二者之間不是替代關(guān)系,而是互補(bǔ)與結(jié)合的關(guān)系。分布式存儲技術(shù)是云存儲實現(xiàn)的基本條件,云存儲利用分布式存儲技術(shù)提供可靠、廉價的存儲服務(wù),并延伸出了重要的技術(shù)革新。例如:流媒體網(wǎng)站存儲的發(fā)展離不開分布式存儲技術(shù),通過分布式存儲技術(shù)構(gòu)建的云存儲,為優(yōu)酷、騰訊、愛奇藝等視頻網(wǎng)站提供了內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)(CDN)。CDN服務(wù)是云存儲的自然延伸和有效補(bǔ)充,通過網(wǎng)絡(luò)進(jìn)行內(nèi)容分發(fā),形成了自下而上的多中心化的分布式網(wǎng)絡(luò)模式。表2-5給出了云存儲和分布式存儲的對比。2.1.4云計算的核心技術(shù)2.分布式存儲及計算技術(shù)表2-5云存儲和分布式存儲的對比2.1.4云計算的核心技術(shù)2.分布式存儲及計算技術(shù)從概念層次上來講,云計算與分布式計算之間,既包含相互獨立的關(guān)系,又包含交叉關(guān)聯(lián)的關(guān)系。云計算是分布式計算技術(shù)面向應(yīng)用的延伸,分布式計算是云計算的實現(xiàn)基礎(chǔ)。沒有分布式計算技術(shù),云計算的概念和應(yīng)用無法落地表2-6給出了云計算和分布式計算的對比。2.1.4云計算的核心技術(shù)2.分布式存儲及計算技術(shù)表2-6云計算和分布式計算的對比2.1.4云計算的核心技術(shù)3.并行編程技術(shù)為了提升計算效率和系統(tǒng)處理能力,云平臺在總體設(shè)計和邏輯設(shè)計中,廣泛采用并行編程技術(shù),保證各個計算任務(wù)能夠并行執(zhí)行,提升云計算的效率。因此,云平臺的這種特性要求操作系統(tǒng)支持并發(fā)性和資源共享,能夠采用并行編程的方式設(shè)計程序,同時支持兩個以上的運算或邏輯操作。在常用的云計算并行編程技術(shù)中,一般采用MapReduce并行編程模型,將計算任務(wù)劃分為多個子任務(wù),通過Map步驟和Reduce步驟實現(xiàn)大規(guī)模節(jié)點的調(diào)度與分配。2.1.4云計算的核心技術(shù)4.云安全技術(shù)云平臺提供優(yōu)質(zhì)的安全管理服務(wù),例如:針對大量用戶的運行軟件,進(jìn)行軟件異常監(jiān)測。在強(qiáng)大的云存儲、云計算和網(wǎng)絡(luò)互連基礎(chǔ)上,云平臺能夠快速獲取最新的木馬、漏洞和惡意程序信息,并推送至云端進(jìn)行自動分析和處理。云端的分析結(jié)果能夠自動分配到各個客戶端,監(jiān)測客戶端可能發(fā)生的最新異常,從而保障客戶端的安全運行。云安全技術(shù)理論上能夠通過云端的統(tǒng)一分析與調(diào)配,將病毒的傳播范圍控制在一定范圍內(nèi),提升所有用戶的安全性。2.1.5云計算的發(fā)展現(xiàn)狀與主流平臺1.云計算發(fā)展現(xiàn)狀云計算的產(chǎn)業(yè)結(jié)構(gòu)包含三層產(chǎn)業(yè)鏈。上游產(chǎn)業(yè)鏈為基礎(chǔ)設(shè)施供應(yīng)商以及互聯(lián)網(wǎng)數(shù)據(jù)中心服務(wù)商,提供各類芯片、服務(wù)器、存儲設(shè)備,以及建設(shè)數(shù)據(jù)中心;中游產(chǎn)業(yè)鏈即為云計算服務(wù)本身,提供IaaS/PaaS/SaaS服務(wù);下游產(chǎn)業(yè)鏈為云生態(tài),包括基礎(chǔ)平臺和原生云服務(wù)等。到目前為止,全球云計算市場整體呈現(xiàn)高速增長,2017年美國云服務(wù)占據(jù)全球59.5%的市場份額,其次是歐洲占據(jù)21.5%的市場份額,亞洲市場份額僅占12.1%。從市場分布來看,國際云計算產(chǎn)業(yè)經(jīng)過多年發(fā)展,市場規(guī)模相對成熟,公有云占據(jù)主體部分。此外,2021年的統(tǒng)計數(shù)據(jù)顯示,SaaS服務(wù)在全球的云計算市場占比較高且超過66%,而PaaS服務(wù)的市場規(guī)模最小。根據(jù)中國信息通信研究院2023年7月的《云計算白皮書(2023年)》的數(shù)據(jù),2.1.5云計算的發(fā)展現(xiàn)狀與主流平臺1.云計算發(fā)展現(xiàn)狀圖2-4給出了2020-2024年全球云計算市場規(guī)模及同比增速,其中2023、2024年為預(yù)測結(jié)果。從圖中數(shù)據(jù)可知,全球的云計算市場在2021年前高速增長,從2022年開始逐漸趨于穩(wěn)步增長,云計算市場趨于穩(wěn)定。2.1.5云計算的發(fā)展現(xiàn)狀與主流平臺1.云計算發(fā)展現(xiàn)狀近十年,我國的經(jīng)濟(jì)模式發(fā)生了翻天覆地的變化,云計算技術(shù)在中國市場已經(jīng)進(jìn)入成熟階段。我國云計算市場的IaaS服務(wù)占比最大,其次是PaaS服務(wù),占比最小的是SaaS服務(wù)。根據(jù)中國信息通信研究院的統(tǒng)計結(jié)果,2022年,中國云計算總體處于快速發(fā)展階段,市場規(guī)模達(dá)到4550億元,比2021年增長40.9%。如圖2-5所示,2022年公有云市場規(guī)模達(dá)到3256億元,增長率由前一年的70.8%放緩至49.3%。公有云將成為未來幾年中國云計算市場增長的主要動力。2.1.5云計算的發(fā)展現(xiàn)狀與主流平臺1.云計算發(fā)展現(xiàn)狀從公有云細(xì)分的三種服務(wù)市場來看,公有云的IaaS和PaaS服務(wù)保持高速增長,SaaS服務(wù)穩(wěn)步發(fā)展。如圖2-6所示,2021年,公有云IaaS服務(wù)市場規(guī)模達(dá)到1615億元,增速為80.4%,占公有云總體規(guī)模的75%。PaaS服務(wù)依然保持著細(xì)分市場中最高的增長率,規(guī)模達(dá)到196億元同比增長90.7%,SaaS服務(wù)穩(wěn)步增長規(guī)模達(dá)到370億元,同比增長滑落至32.9%。根據(jù)國際數(shù)據(jù)公司IDC的統(tǒng)計數(shù)據(jù)顯示,2022年上半年我國公有云服務(wù)市場整體規(guī)模達(dá)到165.8億美元,其中IaaS市場同比增長27.3%,PaaS市場同比增長45.4%。從國內(nèi)云計算服務(wù)廠商的市場占比來看,如圖2-7所示,阿里云、天翼云、騰訊云、華為云和移動云占據(jù)公有云IaaS服務(wù)市場前5名,而公有云PaaS服務(wù)市場排名前列的則是阿里云、華為云、騰訊云和百度云。2.1.5云計算的發(fā)展現(xiàn)狀與主流平臺1.云計算發(fā)展現(xiàn)狀圖2-52017年至2022年中國公有云服務(wù)市場規(guī)模趨勢圖數(shù)據(jù)來源:中國信通院,2022年1.5云計算的發(fā)展現(xiàn)狀與主流平臺云計算發(fā)展現(xiàn)狀圖2-62017年至2022年中國公有云服務(wù)細(xì)分市場規(guī)模統(tǒng)計圖數(shù)據(jù)來源:中國信通院,2022年2.1.5云計算的發(fā)展現(xiàn)狀與主流平臺1.云計算發(fā)展現(xiàn)狀圖2-72021年中國公有云IaaS服務(wù)市場分布數(shù)據(jù)來源:中國信通院,2022年2.1.5云計算的發(fā)展現(xiàn)狀與主流平臺1.云計算發(fā)展現(xiàn)狀私有云在我國云計算市場也占據(jù)了半壁江山。2022年12月,在賽迪顧問《2022年中國私有云市場研究報告》中,給出了中國私有云市場的發(fā)展脈絡(luò)。如圖2-8所示,按照市場能力和技術(shù)能力,將中國私有云提供商劃分為四個象限。其中,市場能力和發(fā)展能力突出的“領(lǐng)導(dǎo)者”,包括由華為、新華三和華云組成的“中國私有云三華”,以及天翼云和浪潮。在“挑戰(zhàn)者”象限,勢頭迅猛的金山云和深信服正在迎頭趕上;在“可期待者”象限,則有以技術(shù)突破創(chuàng)新的騰訊云和阿里云;“跟隨者”象限則是近年來進(jìn)入私有云行業(yè)的新興企業(yè),包括曙光云、京東云和百度云等。2.1.5云計算的發(fā)展現(xiàn)狀與主流平臺1.云計算發(fā)展現(xiàn)狀圖2-82021年中國私有云提供商競爭力象限分析圖數(shù)據(jù)來源:賽迪顧問,2022年11月2.1.5云計算的發(fā)展現(xiàn)狀與主流平臺1.云計算發(fā)展現(xiàn)狀企業(yè)數(shù)字化轉(zhuǎn)型和企業(yè)使用云服務(wù)等模式,將隨著新一代私有云技術(shù)革新而升級。在業(yè)務(wù)驅(qū)動和政策利好等因素影響下,我國私有云市場增長迅速。2022年11月,賽迪顧問關(guān)于中國私有云的統(tǒng)計數(shù)據(jù)顯示,未來三年中國私有市場將保持高速增長,增速維持在30%以上。圖2-9給出了2022-2025年中國私有云市場規(guī)模與增長預(yù)測。預(yù)計到2025年,我國私有云市場規(guī)模將達(dá)到3035.1億元,每年增速持續(xù)平穩(wěn)在32%至33%左右。2.1.5云計算的發(fā)展現(xiàn)狀與主流平臺1.云計算發(fā)展現(xiàn)狀圖2-92022-2025年中國私有云市場規(guī)模與增長預(yù)測數(shù)據(jù)來源:賽迪顧問、中商產(chǎn)業(yè)研究院,2022年2.1.5云計算的發(fā)展現(xiàn)狀與主流平臺2.云計算主流平臺當(dāng)前,隨著云計算生態(tài)的不斷完善,國內(nèi)外涌現(xiàn)出大批的優(yōu)秀云計算服務(wù)提供商。以IaaS服務(wù)為例,美國主導(dǎo)了行業(yè)生態(tài),擁有AamazonAWS、MicrosoftAzure等基礎(chǔ)設(shè)施服務(wù)提供商;中國的IaaS服務(wù)市場則由阿里云、騰訊云、UCloud等服務(wù)商領(lǐng)跑。下面,我們介紹國內(nèi)外主流的云計算平臺。【案例2-2】AmazonAWS平臺2002年初,Amazon已經(jīng)開始規(guī)劃網(wǎng)絡(luò)服務(wù)(云服務(wù)的前身)AWS系統(tǒng)架構(gòu),并于2006年正式推出云計算產(chǎn)品。2013年,AmazonAWS中標(biāo)了美國中情局(CIA)構(gòu)建政務(wù)私有云的6億美元超級訂單,奠定了AWS系列產(chǎn)品在全球云計算產(chǎn)業(yè)中的領(lǐng)導(dǎo)地位。當(dāng)前,AmazonAWS在全球22個國家和地區(qū)建設(shè)了69個數(shù)據(jù)中心,為全球用戶提供1700+個云端節(jié)點。2020年開始,Amazon計劃在日本、南非、意大利、西班牙和印尼等地區(qū)新增五大數(shù)據(jù)中心,為更多地區(qū)的用戶提供基礎(chǔ)和應(yīng)用云服務(wù)。目前,AmazonAWS云平臺提供了全面,多達(dá)上千種云服務(wù),為用戶提供全面可選擇的IaaS服務(wù)、PaaS服務(wù)和SaaS服務(wù),涵蓋存儲、計算、網(wǎng)絡(luò)、操作系統(tǒng)、應(yīng)用等服務(wù),為用戶配備智能管理工具、安全配置工具以及運行監(jiān)控工具等?!景咐?-2】AmazonAWS平臺表2-7給出了AamzonAWS的主要IaaS服務(wù)產(chǎn)品。從表中可以看出,Amazon的基礎(chǔ)設(shè)施服務(wù)涵蓋云計算、云存儲、云數(shù)據(jù)庫和內(nèi)容分發(fā)網(wǎng)絡(luò)。據(jù)統(tǒng)計,2022年第三季度,AmazonAWS在全球公有云市場占比為34%,是目前公認(rèn)的全球最大的公有云提供商。此外,AmazonAWS在2022年整年實現(xiàn)銷售收入801億美元,與2021年相比增長179億美元,增長率達(dá)到29%。2022年上半年,AmazonAWS在中國的IaaS+PaaS市場占比份額達(dá)到9%,同比增長30.7%?!景咐?-2】AmazonAWS平臺表2-7AamzonAWS的主要IaaS服務(wù)產(chǎn)品【案例2-3】MicrosoftAzure平臺【案例2-3】MicrosoftAzure平臺。

2008年,Microsoft進(jìn)入云計算市場,正式創(chuàng)建云計算服務(wù)WindowsAzure。用戶通過MicrosoftAzure即可在全球任意位置訪問Microsoft數(shù)據(jù)中心,享受云服務(wù)提供的計算、存儲、數(shù)據(jù)庫、應(yīng)用程序和大數(shù)據(jù)分析等業(yè)務(wù)。Azure系列產(chǎn)品屬于典型的進(jìn)入市場早,但是發(fā)力較晚的云服務(wù)平臺。雖然于2008年進(jìn)入了全球云計算市場,但是沉寂了6年后才進(jìn)入公眾視野,成為了AmazonAWS的重要戰(zhàn)略對手。2014年,Microsoft新任總裁納德拉開始重視云服務(wù)和開源社區(qū),將WindowsAzure正式更名為MicrosoftAzure,至此Azure成為了成熟、開放的云平臺,并支持多種編程語言實現(xiàn)計算應(yīng)用服務(wù)。Azure為用戶提供IaaS、PaaS和SaaS服務(wù),【案例2-3】MicrosoftAzure平臺由于Microsoft成熟的操作系統(tǒng)和軟件體系,Azure在SaaS產(chǎn)品中呈現(xiàn)領(lǐng)先優(yōu)勢,與AWS同為全球云計算的龍頭產(chǎn)品。圖2-10給出了MicrosoftAzure公有云IaaS服務(wù)支持的主要功能產(chǎn)品。圖2-10MicrosoftAzure公有云IaaS服務(wù)支持的主要功能產(chǎn)品【案例2-3】MicrosoftAzure平臺

當(dāng)前,MicrosoftAzure已經(jīng)在全球建設(shè)超過200個數(shù)據(jù)中心,可以部署至全球44個區(qū)域,為全球超過10億用戶和2000萬公司提供云計算服務(wù)。據(jù)統(tǒng)計,2022年第二季度,MicrosoftAzure營收約為110.69億美元,同比增長46%。同時,2022年第三季度,MicrosoftAzure在全球公有云市場占比為21%,是目前公認(rèn)的全球第二大公有云提供商。目前,在MicrosoftAzure持續(xù)環(huán)比增長情況下,有望在2023年反超MicrosoftOffice,成為Microsoft第一大產(chǎn)品?!景咐?-4】UCloud平臺【案例2-4】UCloud平臺。UCloud(優(yōu)刻得)成立于2012年3月,是國內(nèi)基礎(chǔ)云計算服務(wù)提供商,長期專注于移動互聯(lián)網(wǎng)領(lǐng)域,深度了解移動互聯(lián)網(wǎng)場景的云計算和云存儲需求。UCloud的核心團(tuán)隊來自騰訊、阿里、Amazon等國內(nèi)外知名企業(yè),通過自主技術(shù)研發(fā),為用戶提供了計算資源、存儲資源、網(wǎng)絡(luò)資源等必備的基礎(chǔ)IT架構(gòu)服務(wù)。UCloud提供如下的產(chǎn)品:通用計算、I/O密集型計算、科學(xué)計算等多場景的計算服務(wù)產(chǎn)品;高速緩存、高可用塊存儲、低成本歸檔存儲等多需求的存儲服務(wù)產(chǎn)品;滿足底層架構(gòu)靈活性、國內(nèi)高效訪問和國際加速訪問的網(wǎng)絡(luò)服務(wù)產(chǎn)品。

UCloud云服務(wù)在全球擁有32個區(qū)域,500+個加速節(jié)點,為用戶提供業(yè)務(wù)架構(gòu)豐富靈活的業(yè)務(wù)需求。2017年到2018年,UCloud分別接受了元禾控股和中國移動十億級別的融資?!景咐?-4】UCloud平臺2020年1月,UCloud正式在上交所科創(chuàng)板掛牌上市,成為中國云計算第一股上市公司。2021年,UCloud承辦世界人工智能創(chuàng)新大賽,為大賽順利進(jìn)行保駕護(hù)航。2022年,UCloud響應(yīng)國家“東數(shù)西算”工程,分別部署了上海青浦云計算中心和內(nèi)蒙古烏蘭布察云計算中心,滿足政企數(shù)字化增效需求。同年,入選“2022年中國互聯(lián)網(wǎng)企業(yè)綜合實力百強(qiáng)”。2.1.6云計算與大數(shù)據(jù)的關(guān)系云計算與大數(shù)據(jù)之間密不可分,云計算為大數(shù)據(jù)提供了有力的工具與途徑,大數(shù)據(jù)則為云計算提供了有價值的用武之地。起初,云計算包含兩方面的含義:一是Google開發(fā)的大規(guī)模分布式存儲和計算技術(shù);二是Amazon提供的“按需租用”AWS服務(wù)。隨著大數(shù)據(jù)技術(shù)的發(fā)展,大規(guī)模分布式存儲和計算技術(shù)從最初的“云計算”概念剝離,成為大數(shù)據(jù)技術(shù)的核心部分。云計算則由原始的“按需租用”,擴(kuò)展成IaaS、PaaS、SaaS服務(wù),以及公有云、私有云和混合云等服務(wù)體系。如今,大數(shù)據(jù)技術(shù)著眼于“數(shù)據(jù)”,關(guān)注實際業(yè)務(wù),包括數(shù)據(jù)采集、存儲、分析和挖掘方法,重點關(guān)注信息沉淀能力;云計算技術(shù)則著眼于“計算”,關(guān)注信息系統(tǒng)的基礎(chǔ)架構(gòu)、解決方案,重點關(guān)注計算資源服務(wù)能力。因此,云計算與大數(shù)據(jù)的關(guān)系非常微妙,既密不可分又有區(qū)別。表2-8給出了云計算與大數(shù)據(jù)技術(shù)的對比。2.1.6云計算與大數(shù)據(jù)的關(guān)系表2-8云計算與大數(shù)據(jù)技術(shù)的對比022.2人工智能與大數(shù)據(jù)2.2人工智能與大數(shù)據(jù)ArtificalIntelligent(AI)翻譯成中文即為人工智能,簡單來說,人工智能就是通過算法建立模擬人類智能的理論、方法、技術(shù)和系統(tǒng)。人工智能是計算機(jī)科學(xué)的一個分支,企圖了解人類智能的本質(zhì),并設(shè)計一種與人類智能相似的方式做出反應(yīng)的智能機(jī)器,該領(lǐng)域的研究包括機(jī)器人、語音識別、圖像識別、自然語言處理以及專家系統(tǒng)等。2022年10月,習(xí)近平總書記《在中國共產(chǎn)黨第二十次全國代表大會上的報告》指出:“推動戰(zhàn)略性新興產(chǎn)業(yè)融合集群發(fā)展,構(gòu)建新一代信息技術(shù)、人工智能等一批新的增長引擎,加快發(fā)展數(shù)字經(jīng)濟(jì),促進(jìn)數(shù)字經(jīng)濟(jì)與實體經(jīng)濟(jì)深度融合?!比斯ぶ悄軐⒆鳛樾屡d技術(shù),在數(shù)字經(jīng)濟(jì)的發(fā)展和科學(xué)技術(shù)的創(chuàng)新中,具有排頭兵和先行者的作用。如今,人工智能技術(shù)已經(jīng)進(jìn)入我們生活的方方面面。2.2.1人工智能的基本概念1.人工智能發(fā)展史人工智能,顧名思義即人造的智能,是認(rèn)知科學(xué)、邏輯學(xué)、計算機(jī)科學(xué)等科學(xué)交叉形成的一種新型科學(xué)技術(shù),人工智能研究的目標(biāo)就是使機(jī)器能夠表現(xiàn)出類似人類的智慧,具有智能行為。近70年來,人工智能的發(fā)展主要包含四大階段:2.2.1人工智能的基本概念人工智能誕生期人工智能概念誕生于20世紀(jì)40年代至50年代。1950年,“人工智能之父”艾倫?圖靈(AlanTurning)給出了圖靈測試的定義:“如果一臺機(jī)器能夠與人類展開交互,而不會被人類辨別出機(jī)器的身份,那么這臺機(jī)器具有智能”。1956年,美國達(dá)特茅斯學(xué)院舉行了第一次人工智能研討會,會上“人工智能(AI)”概念由約翰?麥卡錫(JohnMcCarthy)提出,赫伯特?西蒙(HerbertSimon)和艾倫?紐厄爾(AllenNewell)展示了編寫邏輯理論的機(jī)器,此次研討會被認(rèn)為是人工智能誕生的標(biāo)志。2.2.1人工智能的基本概念人工智能黃金期人工智能進(jìn)入高速發(fā)展的黃金期是20世紀(jì)50年代至70年代。1966年,世界上第一個聊天機(jī)器人ELIZA由麻省理工學(xué)院魏澤?鮑姆(WeizenBaum)研發(fā),ELIZA能夠理解簡單的人類自然語言,并能夠與人類產(chǎn)生簡單的互動。1966年至1972年,美國斯坦福研究所研發(fā)出世界上第一臺基于人工智能的移動機(jī)器人Shakey,標(biāo)志著人工智能應(yīng)用的發(fā)展。1968年,美國斯坦福研究所道格?恩格勒(DougEngelbart)發(fā)明了計算機(jī)鼠標(biāo),并構(gòu)想出了超文本鏈接概念,為現(xiàn)代互聯(lián)網(wǎng)建立了基礎(chǔ)。2.2.1人工智能的基本概念人工智能低谷期20世紀(jì)70年代處,受限于計算機(jī)的存儲和計算性能,人工智能的研究遭遇低谷期。人工智能的應(yīng)用場景要求機(jī)器具有兒童認(rèn)知水平,但是研究者發(fā)現(xiàn)這個要求過高。在1970年左右,研究者無法構(gòu)建一個支持正常人類兒童智力水平的數(shù)據(jù)庫,計算機(jī)程序的學(xué)習(xí)能力也無法像人類兒童那樣迅速、快捷。由于缺乏能夠應(yīng)用的研究進(jìn)展,人工智能相關(guān)的研究逐漸遭遇低谷,出資方也停止了研究資助。2.2.1人工智能的基本概念人工智能爆發(fā)期2012年,隨著深度神經(jīng)網(wǎng)絡(luò)的提出,深度學(xué)習(xí)在人工智能領(lǐng)域得到了極大的發(fā)展和廣泛應(yīng)用。2012年,加拿大神經(jīng)科學(xué)團(tuán)隊構(gòu)建了具備簡單認(rèn)知、含有250萬個模擬“神經(jīng)元”的虛擬大腦Spaun,能夠通過最基本的智商測試。2013年開始,深度學(xué)習(xí)被廣泛應(yīng)用于產(chǎn)品開發(fā),F(xiàn)acebook成立人工智能實驗室、Google收購語音和圖像識別公司,推廣深度學(xué)習(xí)平臺,百度創(chuàng)建了深度學(xué)習(xí)研究院。2015年,Google開源了深度學(xué)習(xí)平臺Tensorflow。2016年,Google開發(fā)的人工智能圍棋系統(tǒng)AlphaGo戰(zhàn)勝世界冠軍李世石,圍棋人機(jī)對弈讓人工智能被世人所知,深度學(xué)習(xí)成為人工智能市場的導(dǎo)火索,人工智能開啟了新一輪爆發(fā)期。2.2.1人工智能的基本概念2.人工智能的定義人工智能的定義可以分為兩部分,即“人工”和“智能”,人工是實現(xiàn)AI的途徑,智能是實現(xiàn)AI的目標(biāo)?!爸悄堋敝傅氖前ㄈ祟?、一些動物在內(nèi)的生物所具備的學(xué)習(xí)、理解和推理的能力。百度百科關(guān)于“人工智能”的定義為:人工智能是計算機(jī)科學(xué)的一個分支,旨在了解智能的實質(zhì),并產(chǎn)生出一種新的能以人類智能相似方式做出反應(yīng)的智能機(jī)器,該領(lǐng)域的研究包括機(jī)器人、語音識別、圖像識別、自然語言處理和專家系統(tǒng)等。人工智能自誕生以來,理論和技術(shù)日益成熟,應(yīng)用領(lǐng)域也不斷擴(kuò)大。未來人工智能帶來的科技產(chǎn)品,將會是人類智慧的“容器”。人工智能可以對人的意識、思維的信息過程模擬,雖然不是人的智能,但能夠像人那樣思考,甚至在某些方面超過人的智慧。人工智能是研究使用計算機(jī)來模擬人類的某些思維過程和智能行為,如:學(xué)習(xí),推理、思考和規(guī)劃等,其任務(wù)包括使用計算機(jī)實現(xiàn)智能的原理、制造類人腦智能的計算機(jī),以及使用計算機(jī)實現(xiàn)更高層次的智能應(yīng)用。2.1人工智能的基本概念2.人工智能的定義在人工智能及相關(guān)學(xué)科的70余年發(fā)展歷史中,由于人工智能學(xué)科的交叉性,有許多不同學(xué)科背景的學(xué)者都基于本學(xué)科給出了對人工智能的理解,提出了不同的觀點,因此人工智能的發(fā)展產(chǎn)生了不同的學(xué)術(shù)流派。圖2-11所示,人工智能三大主流學(xué)術(shù)流派分別為:符號主義(Symbolism)、聯(lián)結(jié)主義(Connectionism)和行為主義(Actionism)。圖2-11人工智能三大流派2.2.1人工智能的基本概念2.人工智能的定義(1)符號主義:符號學(xué)派的理論基礎(chǔ)是“物理符號系統(tǒng)假設(shè)”和“有限合理性原理”。該流派認(rèn)為任何一個模式,只要能與其他模式相區(qū)別,就被認(rèn)為是一個符號。符號主義致力于通過某種符號來描述人類的認(rèn)知過程,并將符號輸入到能處理符號的計算機(jī)中,從而模擬人類的認(rèn)知過程,實現(xiàn)人工智能。(2)聯(lián)結(jié)主義:聯(lián)結(jié)學(xué)派研究非程序的、適應(yīng)性的、大腦風(fēng)格的信息處理本質(zhì)和能力。該流派基于神經(jīng)網(wǎng)絡(luò)以及網(wǎng)絡(luò)間的聯(lián)結(jié)機(jī)制與學(xué)習(xí)算法,研究智能模擬方法。聯(lián)結(jié)主義從神經(jīng)生理學(xué)和認(rèn)知科學(xué)的研究成果出發(fā),將人的智能歸結(jié)為人腦高層活動的結(jié)果,強(qiáng)調(diào)人類智能是大量簡單的神經(jīng)元通過復(fù)雜相互連接后并行運行的結(jié)果,以此為理論實現(xiàn)人工智能。2.2.1人工智能的基本概念2.人工智能的定義(3)行為主義:行為學(xué)派認(rèn)為智能取決于感知和行動,應(yīng)該直接利用機(jī)器對環(huán)境的響應(yīng)為原型設(shè)計人工智能模型,智能行為體現(xiàn)在現(xiàn)實世界中,通過智能體與周圍環(huán)境交互而表現(xiàn)出來。行為主義認(rèn)為學(xué)習(xí)是刺激與反應(yīng)之間的鏈接,理論假設(shè)為:行為是學(xué)習(xí)者對環(huán)境刺激所做出的反應(yīng),學(xué)習(xí)過程是漸進(jìn)的嘗試錯誤的過程,強(qiáng)化是學(xué)習(xí)成功的關(guān)鍵。此外,在人工智能的實現(xiàn)和應(yīng)用中也分為“強(qiáng)人工智能”和“弱人工智能”。強(qiáng)人工智能認(rèn)為,有可能制造出真正能推理和解決問題的人工智能機(jī)器,且機(jī)器有知覺、有自我意識。強(qiáng)人工智能包含兩類:一類是類人的人工智能,構(gòu)建與人類思維和推理一樣的機(jī)器,另一類是非類人的人工智能,構(gòu)建與人類知覺、意識和思維完全不一樣的推理機(jī)器。弱人工智能認(rèn)為,不可能制造出真正能推理和解決問題的人工智能機(jī)器,現(xiàn)有的機(jī)器只不過看起來像“智能”,但是并不真正擁有智能,也不會有自主意識。2.2.2人工智能的研究領(lǐng)域人工智能是包含自然科學(xué)、社會科學(xué)以及工程技術(shù)的交叉邊緣學(xué)科,涉及的研究和領(lǐng)域包括機(jī)器學(xué)習(xí)、群體智能優(yōu)化、人工神經(jīng)網(wǎng)絡(luò)、專家系統(tǒng)、知識圖譜、計算機(jī)視覺、自然語言處理、語音處理、人機(jī)交互以及智能機(jī)器人等,下面簡單介紹人工智能常見的研究領(lǐng)域:2.2.2人工智能的研究領(lǐng)域1.機(jī)器學(xué)習(xí)學(xué)習(xí)是人類獲取知識的重要途徑和產(chǎn)生智能的重要標(biāo)志。機(jī)器學(xué)習(xí)是讓計算機(jī)模擬人的學(xué)習(xí)行為,自動地通過學(xué)習(xí)獲取知識和技能,不斷改善性能,實現(xiàn)自我完善。圖2-12給出了一個完整的機(jī)器學(xué)習(xí)系統(tǒng),包括環(huán)境、學(xué)習(xí)環(huán)節(jié)、知識庫、執(zhí)行與評價。其中,環(huán)境向系統(tǒng)的學(xué)習(xí)部件提供支持信息;學(xué)習(xí)環(huán)節(jié)對環(huán)境提供的信息進(jìn)行整理、分析、歸納或類比,形成知識,存入知識庫;知識庫存儲預(yù)處理后的知識,為執(zhí)行評價提供數(shù)據(jù)支持;執(zhí)行環(huán)節(jié)根據(jù)知識庫完成任務(wù),同時將獲得的信息反饋給評價環(huán)節(jié),對所學(xué)習(xí)到的知識進(jìn)行評價,進(jìn)一步改善執(zhí)行環(huán)節(jié)的行為。圖2-12一個完整的機(jī)器學(xué)習(xí)系統(tǒng)2.2.2人工智能的研究領(lǐng)域1.機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)包含三個類別:一是監(jiān)督學(xué)習(xí),即在機(jī)器學(xué)習(xí)模型訓(xùn)練時,提供訓(xùn)練樣本及對應(yīng)的類別標(biāo)簽,因此又稱為有導(dǎo)師學(xué)習(xí);二是無監(jiān)督學(xué)習(xí),即在機(jī)器學(xué)習(xí)模型訓(xùn)練時,只提供訓(xùn)練樣本,而不提供或不存在樣本對應(yīng)的類別標(biāo)簽信息,又稱為無導(dǎo)師學(xué)習(xí);三是強(qiáng)化學(xué)習(xí),即在機(jī)器學(xué)習(xí)模型訓(xùn)練時,通過試錯的方式發(fā)現(xiàn)最優(yōu)行為策略,而不是采用帶標(biāo)簽的樣本學(xué)習(xí)。通常情況下,強(qiáng)化學(xué)習(xí)的樣本來自環(huán)境,標(biāo)簽具有延遲性。近年來,深度學(xué)習(xí)成為了機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點,作為機(jī)器學(xué)習(xí)的主要分支,推動著機(jī)器學(xué)習(xí)的理論及應(yīng)用研究的發(fā)展,眾多數(shù)據(jù)驅(qū)動的人工智能應(yīng)用都基于深度學(xué)習(xí)技術(shù)。2.2.2人工智能的研究領(lǐng)域2.群體智能優(yōu)化群體智能優(yōu)化算法是計算智能的常用算法,屬于人工智能在優(yōu)化領(lǐng)域的重要分支之一。群體智能算法的基本理論是模擬自然界中魚群、鳥群、蜂群以及狼群等動物群體的行為,利用群體之間的信息交流與合作,個體之間的互動達(dá)到優(yōu)化目的。1989年,杰拉爾多貝尼首次提出群體智能概念,認(rèn)為群體智能是研究由大量簡單個體構(gòu)成的群體系統(tǒng)的學(xué)科。與個體智能相比,群體智能算法往往沒有復(fù)雜、精妙的內(nèi)部設(shè)計,但是具有更強(qiáng)的魯棒性、穩(wěn)定性和適應(yīng)性。優(yōu)化問題是人工智能的經(jīng)典問題之一,群體智能算法是求解優(yōu)化問題的重要分支之一。與傳統(tǒng)優(yōu)化算法相比,基于仿生學(xué)的群體智能優(yōu)化算法本質(zhì)上是基于概率的并行搜索算法,尋優(yōu)速度快,搜索范圍廣,不易陷入局部最優(yōu)解,往往能夠搜索到全局最優(yōu)解。2.2.2人工智能的研究領(lǐng)域2.群體智能優(yōu)化經(jīng)過三十余年的發(fā)展,群體智能優(yōu)化算法發(fā)展出了多個分支,包含三大經(jīng)典算法:遺傳算法是一種基于自然選擇過程機(jī)制的搜索優(yōu)化算法,基于“適者生存”的基本概念,即模擬了自然界強(qiáng)者傾向于適應(yīng)和生存,而弱者傾向于死亡的過程。蟻群算法靈感來源于真實螞蟻的覓食行為。模擬螞蟻在搜索空間中移動時會釋放“信息素”,信息素反映了螞蟻的路徑強(qiáng)度,螞蟻則根據(jù)信息素的強(qiáng)度來選擇路徑。粒子群算法采用迭代計算群體和個體最優(yōu)位置的機(jī)制,模仿鳥類和魚群的群體行為,將群體中的個體抽象為粒子,引導(dǎo)粒子尋找全局最優(yōu)解。2.2.2人工智能的研究領(lǐng)域3.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是基于生物學(xué)中神經(jīng)網(wǎng)絡(luò)的基本原理,在理解和抽象了神經(jīng)元以及外界刺激響應(yīng)機(jī)制后,以網(wǎng)絡(luò)拓?fù)渲R為理論基礎(chǔ),模擬人腦神經(jīng)系統(tǒng)對復(fù)雜信息處理機(jī)制的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)模型具有并行分布處理能力強(qiáng)、高容錯性、智能性以及自學(xué)習(xí)等特點。實際上,人工神經(jīng)網(wǎng)絡(luò)是由單個簡單元件相互連接而成的復(fù)雜網(wǎng)絡(luò),具有高度的非線性,能夠進(jìn)行復(fù)雜的邏輯操作和非線性計算,在人工智能領(lǐng)域具有廣泛的應(yīng)用。在人工神經(jīng)網(wǎng)絡(luò)中,神經(jīng)元處理單元可以表示不同的對象,如特征、字符、概念以及抽象模式等。神經(jīng)網(wǎng)絡(luò)處理單元即為“神經(jīng)元”,主要包括輸入單元、隱含單元以及輸出單元。其中,輸入單元接受外部數(shù)據(jù)的輸入,輸出單元實現(xiàn)網(wǎng)絡(luò)結(jié)果的輸出,隱含單元在二者之間建立非線性聯(lián)系。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展已經(jīng)有超過70年的歷史。表2-9給出了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展中的關(guān)鍵模型。2.2.2人工智能的研究領(lǐng)域3.人工神經(jīng)網(wǎng)絡(luò)表2-9人工神經(jīng)網(wǎng)絡(luò)的發(fā)展時期及其關(guān)鍵模型2.2.2人工智能的研究領(lǐng)域4.專家系統(tǒng)專家系統(tǒng)是人工智能領(lǐng)域的重要研究分支,可以被看作是具有專門知識和經(jīng)驗的計算機(jī)智能系統(tǒng)。專家系統(tǒng)采用人工智能的“知識表示”以及“知識推理”技術(shù),模擬領(lǐng)域?qū)<医鉀Q復(fù)雜問題的過程,因此專家系統(tǒng)也被稱為基于知識的系統(tǒng)。不同于數(shù)據(jù)驅(qū)動的人工智能模型,專家系統(tǒng)適合于沒有數(shù)據(jù)或數(shù)據(jù)量很少的情況,在構(gòu)建專家系統(tǒng)過程需具備三大要素:領(lǐng)域?qū)<壹壷R、模擬專家思維以及達(dá)到專家級水平。經(jīng)典理論認(rèn)為“專家系統(tǒng)=知識庫+推理機(jī)”,即專家系統(tǒng)需要通過一定的知識獲取方法,將專家知識存儲在知識庫中,然后運用推理機(jī)進(jìn)行復(fù)雜問題的求解。按照推理規(guī)則分類,專家系統(tǒng)一般可以劃分為三個類別:2.2.2人工智能的研究領(lǐng)域4.專家系統(tǒng)(1)基于規(guī)則的專家系統(tǒng):此類方法是將專家所掌握的現(xiàn)有知識與經(jīng)驗,通過規(guī)則轉(zhuǎn)化方法,進(jìn)行啟發(fā)式推理過程,給予明確的前提條件,專家系統(tǒng)能夠給出明確的結(jié)果。(2)基于案例的專家系統(tǒng):此類方法是通過從數(shù)據(jù)庫中檢索已經(jīng)解決的、類似的案例,通過比較新舊問題的特點和條件,總結(jié)相同點和區(qū)別,再根據(jù)現(xiàn)有知識進(jìn)行推理。(3)基于人工神經(jīng)網(wǎng)絡(luò)的專家系統(tǒng):規(guī)則或案例類專家系統(tǒng)只有固定數(shù)量的專家知識,且規(guī)則的推導(dǎo)邏輯比較固定。基于人工神經(jīng)網(wǎng)絡(luò)的專家系統(tǒng)則可以動態(tài)增加專家知識,不設(shè)置固定的推導(dǎo)邏輯,通過大數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,提升專家系統(tǒng)面向復(fù)雜問題的處理能力。目前,專家系統(tǒng)已經(jīng)逐漸被機(jī)器學(xué)習(xí)、深度學(xué)習(xí)所取代,但是專家系統(tǒng)是人工智能發(fā)展過程中的重要組成部分,表2-10國內(nèi)外研制的經(jīng)典專家系統(tǒng)。22..2人工智能的研究領(lǐng)域4.專家系統(tǒng)表2-10國內(nèi)外研制的經(jīng)典專家系統(tǒng)2.2.2人工智能的研究領(lǐng)域5.知識圖譜知識表達(dá)在人工智能領(lǐng)域具有很高的重要性,在眾多知識表達(dá)方式中,知識圖譜是一種擁有極強(qiáng)表達(dá)能力以及靈活建模能力的語義網(wǎng)絡(luò)。首先,知識圖譜采用語義表達(dá)現(xiàn)實世界,包括對實體、概念、屬性以及之間的相關(guān)關(guān)系建模;其次,知識圖譜還衍生出了數(shù)據(jù)交換標(biāo)準(zhǔn),其本身即為數(shù)據(jù)建模協(xié)議,包含知識抽取、知識集成、知識管理以及知識應(yīng)用環(huán)節(jié)。知識圖譜實際上是一種特殊的圖數(shù)據(jù),即帶有標(biāo)記的有向?qū)傩詧D,其中每個節(jié)點含有若干個屬性和屬性值,對應(yīng)現(xiàn)實世界的實體或者概念。邊表示節(jié)點之間的關(guān)聯(lián)關(guān)系,邊上標(biāo)記關(guān)系的類型,每條邊或?qū)傩詫?yīng)現(xiàn)實中的一條知識。知識圖譜采用了人類容易識別的字符串表示各個元素,同時采用圖數(shù)據(jù)結(jié)構(gòu)也能夠輕易使用計算機(jī)處理。2.2.2人工智能的研究領(lǐng)域5.知識圖譜目前,各大信息檢索引擎已經(jīng)構(gòu)建了全面的知識圖譜。以百度搜索為例,圖2-13給出了百度關(guān)于“大數(shù)據(jù)”的知識圖譜,從圖中可以看出,關(guān)于大數(shù)據(jù)這個實體,包含百度百科關(guān)于“大數(shù)據(jù)”詞條的解釋、《大數(shù)據(jù)》學(xué)術(shù)期刊的網(wǎng)址、大數(shù)據(jù)關(guān)聯(lián)企業(yè)“美亞柏科”、大數(shù)據(jù)關(guān)聯(lián)廣告“Statista”平臺,以及大數(shù)據(jù)相關(guān)的推薦書籍。圖2-13百度關(guān)于“大數(shù)據(jù)”的知識圖譜2.2.2人工智能的研究領(lǐng)域6.計算機(jī)視覺計算機(jī)視覺是利用攝像機(jī)和計算機(jī)代替人眼,模擬生物視覺構(gòu)建視覺基礎(chǔ)功能,其主要任務(wù)是讓計算機(jī)理解圖像或識別其中的內(nèi)容,并給出相應(yīng)的反饋與決策,就像生物智能每天使用視覺完成日常生活一樣。在人類的視覺研究中,眼球、視網(wǎng)膜和大腦皮層組成了人類視覺系統(tǒng),為了讓計算機(jī)能夠模擬人類視覺,研究者使用“攝像頭”模擬眼球,收集圖像信息;使用“數(shù)字圖像處理技術(shù)”模擬視網(wǎng)膜,完成圖像信息的預(yù)處理;使用“計算機(jī)視覺技術(shù)”模擬大腦皮層,實現(xiàn)圖像信息的高層處理,如識別、決策等??傊?,計算機(jī)視覺技術(shù)是人工智能的重要分支,即解決計算機(jī)如何模擬人“看”的問題。計算機(jī)視覺領(lǐng)域的經(jīng)典任務(wù)包括:2.2.2人工智能的研究領(lǐng)域6.計算機(jī)視覺(1)圖像分類:圖像分類是計算機(jī)視覺領(lǐng)域的基礎(chǔ)任務(wù),在人工智能中具有廣泛的應(yīng)用。圖像分類是用于解決“是什么”的問題,即通過標(biāo)簽描述圖像中的主要內(nèi)容。圖像分類的典型應(yīng)用場景包括車牌號碼識別、交通燈識別、人臉識別等。(2)目標(biāo)檢測:目標(biāo)檢測是計算機(jī)視覺的重要任務(wù)之一,用于解決模擬人類視覺“目標(biāo)在哪里”的任務(wù)。例如,給定一張含有狗的圖像,其主要任務(wù)不但需要分類出其中的目標(biāo)“狗”,還需給出目標(biāo)“狗”實際的位置坐標(biāo)。目標(biāo)檢測的典型應(yīng)用場景包括姿態(tài)估計、人臉檢測、口罩檢測等。(3)圖像分割:圖像分割是計算機(jī)視覺的另一個重要任務(wù),根據(jù)圖像的色彩、紋理和結(jié)構(gòu)等特征將圖像劃分為若干個相似的區(qū)域。圖像分割適合于更為精確的目標(biāo)定位、圖像語義理解和識別等任務(wù)。圖像分割的典型應(yīng)用場景包括自動駕駛、衛(wèi)星成像、醫(yī)學(xué)影像等。1232.2.2人工智能的研究領(lǐng)域7.自然語言處理人工智能的研究領(lǐng)域涵蓋運算智能、感知智能、認(rèn)知智能以及創(chuàng)造智能。隨著計算機(jī)視覺技術(shù)在感知智能研究中大放異彩,自然語言處理(NLP)技術(shù)則在認(rèn)知智能中處于核心地位。從微觀角度,NLP技術(shù)是構(gòu)建人類自然語言到計算機(jī)內(nèi)部的映射;從宏觀角度,NLP技術(shù)是讓計算機(jī)擁有模擬人類所期望的語言功能。NLP技術(shù)的經(jīng)典任務(wù)包括:(1)回答問題:計算機(jī)模擬人類能夠正確回答用自然語言輸入的相關(guān)問題。(2)摘要生成:計算機(jī)能夠分析輸入的文本內(nèi)容,自動生成文本含義的摘要。(3)語言釋義:計算機(jī)能夠使用不同的詞語、句型復(fù)述所輸入的文本內(nèi)容信息。(4)機(jī)器翻譯:計算機(jī)自動將輸入的文本語言翻譯成另一種文本語言。2.2.2人工智能的研究領(lǐng)域7.自然語言處理(5)對話生成:計算機(jī)能夠根據(jù)上下文的文本內(nèi)容,自動理解對話意圖并生成對話。2022年12月,OpenAI發(fā)布ChatGPT機(jī)器人聊天系統(tǒng)。ChatGPT運用最新的自然語言處理技術(shù),將人們輸入的自然語言自動轉(zhuǎn)換為機(jī)器可以理解的指令。隨后,將這些指令輸入深度神經(jīng)網(wǎng)絡(luò)模型中,進(jìn)行語音分析、對話管理和對話生成,幫助用戶解決問題、完成任務(wù)和提供服務(wù)。ChatGPT的一項重要技能是基于現(xiàn)有的上下文,自動生成語義推斷,更好地理解用戶語言。另一項優(yōu)勢則是基于完善的對話系統(tǒng),可以識別用戶語言中的意圖,并建立跟蹤用戶意圖的模型,理解用戶語言中的需求。新版的ChatGPT添加了對話生成系統(tǒng),根據(jù)用戶的意圖和上下文,通過深度神經(jīng)網(wǎng)絡(luò)模型自動生成有意義的句子,幫助ChatGPT更好地回答用戶問題,為用戶提供高效服務(wù)。2.2.2人工智能的研究領(lǐng)域8.語音處理語音處理是研究語音發(fā)聲過程、語音信號統(tǒng)計特性、語音的自動識別、語音機(jī)器合成以及語音感知等技術(shù)的總稱。語音處理主要包括如下三種主流任務(wù):(1)語音識別:語音識別技術(shù)是將語音信號自動轉(zhuǎn)換為相應(yīng)文本的過程。在實際應(yīng)用中,語音信號經(jīng)常與自然語言理解、自然語言生成等技術(shù)相結(jié)合,成為語音及語義人工智能研究分支。語音識別過程包括特征提取、聲學(xué)模型以及語言模型構(gòu)建,首先通過特征提取方法從語音信號中提取有意義的特征,然后將特征分別輸入聲學(xué)模型、語言模型,獲取相應(yīng)的聲學(xué)得分和語言得分,在構(gòu)建的搜索空間中尋找最佳路徑,獲取語音信號對應(yīng)的文本。(2)語音合成:語音合成技術(shù)是將任意輸入的文本信息,轉(zhuǎn)換成自然流暢的語音輸出,又稱為文語轉(zhuǎn)換。該技術(shù)在銀行、醫(yī)院的信息播報系統(tǒng)、汽車導(dǎo)航系統(tǒng)、自動呼叫中心、智能電話客服等場景中都有廣泛應(yīng)用。2.2.2人工智能的研究領(lǐng)域8.語音處理(3)語音轉(zhuǎn)換:語音信號中除了包含語義內(nèi)容信息外,還包括說話人信息、語音場景信息等,這些信息通常是個人隱私應(yīng)該受到保護(hù)。語音轉(zhuǎn)換技術(shù)是通過語音處理技術(shù),改變語音中的說話人信息以及場景信息,使得改變后的語音信號聽起來像其他人在其他場景下發(fā)出的,在個人、背景隱私保護(hù)中具有廣泛應(yīng)用。2.2.2人工智能的研究領(lǐng)域9.人機(jī)交互人機(jī)交互是人與計算機(jī)之間采用一定的方式進(jìn)行交互,目的是完成特定任務(wù)的信息交換過程。人機(jī)交互是集認(rèn)知心理學(xué)、社會工程學(xué)、多媒體、虛擬現(xiàn)實以及人工智能多個學(xué)科及前沿技術(shù)為一體的綜合學(xué)科。傳統(tǒng)的人機(jī)交互采用鍵盤、鼠標(biāo)、顯示器等基礎(chǔ)信息交互和圖形交互,隨著人工智能技術(shù)的飛速發(fā)展,腦電圖、心電圖、眼動儀、可穿戴設(shè)備等新興技術(shù)的發(fā)展,革新了人機(jī)交互的方式,建立了語音交互、情感交互、體感交互、腦機(jī)交互以及虛擬交互等多種交互方式。人機(jī)交互具有廣泛的應(yīng)用場景,以腦機(jī)交互為例,人類通過大腦直接與計算機(jī)進(jìn)行信息交換,不再利用外周肌肉系統(tǒng)進(jìn)行通信,又稱為腦機(jī)接口技術(shù)。2020年1月,浙江大學(xué)研究團(tuán)隊在高位截癱志愿者腦內(nèi)植入Utah陣列電極,實現(xiàn)了基于意念的腦機(jī)交互,控制機(jī)械手臂實現(xiàn)進(jìn)食、飲水和握手等重要功能。同時,證明了高齡患者采用植入式腦機(jī)接口,能夠進(jìn)行復(fù)雜、有效的人機(jī)交互,有助于患者提高生活質(zhì)量。未來,基于腦機(jī)接口的人機(jī)交互技術(shù),將對輔助運動功能、失能者功能重建、老年機(jī)能增強(qiáng)等多個領(lǐng)域產(chǎn)生積極影響。2.2.2人工智能的研究領(lǐng)域10.智能機(jī)器人智能機(jī)器人是集機(jī)械、電子、控制、傳感器以及人工智能多個學(xué)科及前沿技術(shù)為一體的高端裝備,是制造技術(shù)的制高點。機(jī)器人的視覺可以通過攝像頭獲取環(huán)境圖像,并通過視覺處理算法進(jìn)行分析和解譯,讓機(jī)器人能夠辨識目標(biāo)并確定在環(huán)境中的位置;機(jī)器人的觸覺采用觸覺傳感器獲取,主要包括接觸覺、壓力覺、滑動覺、接近覺以及溫度覺等,在機(jī)器人的精細(xì)操作中具有重要意義;機(jī)器人的聽覺采用聽覺傳感器接收聲波,并采用語音處理技術(shù)為機(jī)器人提供語音及語義交互能力;機(jī)器人的運行采用智能導(dǎo)航與規(guī)劃方式,其自動避障系統(tǒng)由數(shù)據(jù)庫、知識庫、機(jī)器學(xué)習(xí)以及推理機(jī)共同構(gòu)成,保障機(jī)器人的安全運行;機(jī)器人的人機(jī)交互通過語言、表情、動作或者穿戴設(shè)備實現(xiàn),保障機(jī)器人與人之間自由地進(jìn)行信息交流與理解??傊悄軝C(jī)器人是人工智能各個分支技術(shù)的綜合體。2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用1.人工智能的產(chǎn)業(yè)人工智能技術(shù)的核心產(chǎn)業(yè)包括基礎(chǔ)設(shè)施服務(wù)、技術(shù)服務(wù)以及產(chǎn)品服務(wù)三個方面:2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用基礎(chǔ)設(shè)施服務(wù)人工智能基礎(chǔ)設(shè)施服務(wù)是整個產(chǎn)業(yè)鏈的最底層,提供人工智能模型、方法和技術(shù)的算力支持,保障人工智能產(chǎn)業(yè)上層的正常運轉(zhuǎn)?;A(chǔ)設(shè)施服務(wù)主要包括三類服務(wù):智能芯片服務(wù),尤其是深度學(xué)習(xí)成為熱點以后,GPU作為深度學(xué)習(xí)芯片進(jìn)入發(fā)展快車道;智能傳感器服務(wù),數(shù)據(jù)驅(qū)動的人工智能算法模型離不開海量的感知大數(shù)據(jù),帶動了傳感器的快速發(fā)展;智能計算框架,以Python編程為代表的經(jīng)典機(jī)器學(xué)習(xí)算法庫、深度學(xué)習(xí)算法庫,也作為基礎(chǔ)設(shè)施不斷發(fā)展。2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用技術(shù)服務(wù)人工智能技術(shù)服務(wù)關(guān)注的目標(biāo)是構(gòu)建人工智能技術(shù)平臺,為人工智能技術(shù)的應(yīng)用提供相關(guān)的技術(shù)服務(wù)。在人工智能產(chǎn)業(yè)鏈中,智能技術(shù)服務(wù)處于關(guān)鍵位置,主要提供三類服務(wù):技術(shù)平臺和算法模型、應(yīng)用場景的解決方案、基于云計算的智能在線服務(wù)。2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用產(chǎn)品服務(wù)人工智能產(chǎn)品服務(wù)是將技術(shù)成果應(yīng)用到實際的行業(yè),提升行業(yè)的效率。目前,我國人工智能產(chǎn)品主要應(yīng)用到四大行業(yè),分別是視覺人工智能、語音及語義人工智能、人工智能機(jī)器人以及決策類人工智能。表2-11給出了四大行業(yè)的典型人工智能應(yīng)用產(chǎn)品。如今,人工智能借助于學(xué)科發(fā)展、科學(xué)建模、技術(shù)創(chuàng)新以及軟硬件驅(qū)動,將進(jìn)一步引導(dǎo)我國的各行業(yè)由信息化向智能化轉(zhuǎn)變。圖2-14給出了2017年至2022年中國人工智能行業(yè)市場規(guī)模預(yù)測趨勢圖。2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用產(chǎn)品服務(wù)圖2-142017年至2022年中國人工智能行業(yè)市場規(guī)模預(yù)測趨勢圖數(shù)據(jù)來源:中商產(chǎn)業(yè)研究院,2022年2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用產(chǎn)品服務(wù)表2-11四大行業(yè)的典型人工智能應(yīng)用產(chǎn)品2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用產(chǎn)品服務(wù)統(tǒng)計數(shù)據(jù)表明,2021年我國人工智能行業(yè)市場規(guī)模達(dá)到1987億元,從2017年至2021年,人工智能市場規(guī)模年均復(fù)合增長率為58.1%。人工智能技術(shù)正在逐年突破創(chuàng)新,大量新的應(yīng)用場景有待開發(fā),預(yù)計2022年我國人工智能行業(yè)市場規(guī)模達(dá)到2845億元。同時,圖2-15給出了2021年我國人工智能行業(yè)細(xì)分市場占比統(tǒng)計。在人工智能行業(yè)的四大類別中,視覺人工智能的占比最多,達(dá)到43.3%。緊隨其后的分別是決策類人工智能、語音及語義人工智能和人工智能機(jī)器人,市場占比分別是23.7%、18.1%和14.8%。2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用產(chǎn)品服務(wù)圖2-152021年我國人工智能行業(yè)細(xì)分市場占比統(tǒng)計數(shù)據(jù)來源:中商產(chǎn)業(yè)研究院,2022年2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用2.人工智能的應(yīng)用人工智能技術(shù)的飛速發(fā)展不斷革新、重塑各個行業(yè)。當(dāng)前,人工智能技術(shù)已經(jīng)被廣泛應(yīng)用于智能安防、智能零售、智能醫(yī)療、智能交通等行業(yè)。下面,從兩大國內(nèi)新興的人工智能技術(shù)公司介紹人工智能技術(shù)在國內(nèi)的主流應(yīng)用。【案例2-5】曠視科技:Face++人工智能開放平臺。

曠視科技創(chuàng)立于2011年,是一個人工智能產(chǎn)品和解決方案品牌,以深度學(xué)習(xí)為核心競爭力,融合算法、算力和數(shù)據(jù),打造“三位一體”的新一代人工智能生產(chǎn)力平臺。Face++是曠視科技2012年開發(fā)的首個人臉識別云平臺。在隨后的4年時間里,數(shù)以萬計的用戶使用Face++提供的人臉識別API或SDK,使得“Face++”逐漸成為人臉識別領(lǐng)域最具影響力的品牌。隨著曠視科技在計算機(jī)視覺中的不斷探索,于2016年推出了全新的“Face++人工智能開發(fā)平臺”,為視覺人工智能領(lǐng)域提供成熟的解決方案和最新的算法模型。如今,F(xiàn)ace++云平臺成為了國內(nèi)頂級的視覺人工智能開放平臺,為開發(fā)者提供人臉、人體、文字、圖像各類識別服務(wù)。具體業(yè)務(wù)包括:2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用2.人工智能的應(yīng)用(1)人臉識別:提供人臉屬性檢測、比對、搜索、關(guān)鍵點檢測能力,支持膚質(zhì)檢測、面部特征識別等不同場景下的人臉應(yīng)用。(2)人像處理:提供人臉融合、人臉美型美顏、濾鏡貼紙等能力,滿足多種營銷應(yīng)用場景?;诟呔热四橁P(guān)鍵點檢測,使得人像處理效果真實自然,構(gòu)建了貼合臉型的智能美顏。(3)人體識別:提供人體屬性識別、骨骼關(guān)鍵點檢測等功能模塊,支持人體摳圖、手勢識別等多個人體識別應(yīng)用場景,適應(yīng)人體重疊等復(fù)雜場景的識別,包含各種人體姿態(tài)識別。(4)文字識別:提供身份證、駕駛證、行駛證等卡證識別服務(wù),支持各類票據(jù)、文書、卡證等普適的格式化文本識別,適應(yīng)復(fù)雜場景的文本能識別,也提供靈活定制的文字識別目標(biāo)。(5)圖像識別:提供車牌識別、犬鼻紋識別、場景與物體識別等特定場景圖像識別任務(wù),支持定制化業(yè)務(wù)模式,識別模型適應(yīng)復(fù)雜識別場景。22..3人工智能的產(chǎn)業(yè)與應(yīng)用2.人工智能的應(yīng)用【案例2-6】科大訊飛:語音及語義人工智能開放平臺。

科大訊飛成立于1999年,來自中國科學(xué)技術(shù)大學(xué)學(xué)生創(chuàng)業(yè)團(tuán)隊。自成立以來,長期從事語音及語義、自然語言理解、機(jī)器學(xué)習(xí)推理及自主學(xué)習(xí)等核心技術(shù)研究,并處于國際前沿技術(shù)水平。2014年,公司正式啟動“訊飛超腦計劃”,研發(fā)基于類人神經(jīng)網(wǎng)絡(luò)的認(rèn)知智能系統(tǒng)。22016年,發(fā)布“訊飛翻譯機(jī)”,開創(chuàng)智能消費新品類。2018年,機(jī)器翻譯系統(tǒng)首次達(dá)到專業(yè)翻譯員水平。

訊飛開放平臺1.0版本于2010年正式上線,集成了語音合成、語音搜索、自然語言理解和語音聽寫等功能模塊,此時期平臺的商業(yè)模式主要是提供人工智能單項能力的解決方案。2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用2.人工智能的應(yīng)用2021年,訊飛開放平臺升級到2.0版本,其功能模塊由二維變成了三維,開放平臺將由訊飛和頭部垂直行業(yè)公司共同打造,面向行業(yè)場景賦能開發(fā)者。其中,訊飛開放平臺提供人工智能模型、云計算平臺以及深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法;行業(yè)龍頭提供應(yīng)用場景、專家知識以及業(yè)務(wù)模型;開發(fā)者基于現(xiàn)有技術(shù)和資源,進(jìn)一步完善場景,開展各類人工智能流程開發(fā),形成具體的行業(yè)解決方案。如今,科大訊飛開放平臺2.0版本將聚焦18個行業(yè),長期布局人工智能賽道。科大訊飛開放平臺的核心業(yè)務(wù)模塊聚焦語音及語義人工智能,主要包括:(1)語音識別:提供語音聽寫、語音撰寫、實時語音轉(zhuǎn)寫、離線語音聽寫、語音喚醒、離線命令詞識別等功能,主要是將語音信號轉(zhuǎn)化為文字,實現(xiàn)語音向文字的轉(zhuǎn)化。2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用2.人工智能的應(yīng)用1(2)語音合成:提供在線語音合成、離線語音合成、音庫定制、有聲閱讀等功能,主要是將文字轉(zhuǎn)化為語音信號,支持定制自己的語音特點,并應(yīng)用至有聲閱讀等應(yīng)用場景。2(3)語音分析:提供語音評測、性別年齡識別、聲紋識別、歌曲識別等功能,主要是針對特定人的語音,進(jìn)行語音信號的分析與識別。3(4)多語種技術(shù):提供多語種識別、多語種合成、多語種翻譯、多語種文字識別等功能,主要是對各種特殊語種的語音識別、翻譯以及合成等功能。4(5)自然語言處理:提供詞法分析、依存句法分析、語義依存分析、語義角色標(biāo)注、情感分析等功能,主要是自然語言處理的基礎(chǔ)功能,基于此可以構(gòu)建更多基于自然語言處理的上層場景應(yīng)用。2.2.3人工智能的產(chǎn)業(yè)與應(yīng)用2.人工智能的應(yīng)用根據(jù)科大訊飛的人工智能戰(zhàn)略布局,未來每年要在語音及語義人工智能開放平臺投入5億研發(fā)基金,并聯(lián)合超過百萬的合作伙伴,打造全新的人工智能解決方案,共同拓展數(shù)字化市場。根據(jù)科大訊飛的財報顯示,語音及語義人工智能開放平臺是科大訊飛的核心業(yè)務(wù)之一,2020年貢獻(xiàn)超過19億元收入,占據(jù)公司營收的15%。2021年上半年的平臺收入近13億元,同比增幅超過130%。2020年至2021年,科大訊飛開放平臺開發(fā)者數(shù)量增至265萬,同比增長69%。2021年開始,科大訊飛提出了人工智能產(chǎn)業(yè)的奮斗目標(biāo):達(dá)到十億用戶、實現(xiàn)千億收入、帶動萬億產(chǎn)業(yè)生態(tài)、成為中國人工智能產(chǎn)業(yè)領(lǐng)導(dǎo)者。2.2.4人工智能與大數(shù)據(jù)的關(guān)系人工智能和大數(shù)據(jù)是如今信息行業(yè)的熱門技術(shù)。根據(jù)上述介紹,我們知道人工智能技術(shù)的發(fā)展早于大數(shù)據(jù)技術(shù),人工智能技術(shù)于20世紀(jì)50年代伴隨著計算機(jī)技術(shù)發(fā)展,大數(shù)據(jù)技術(shù)則伴隨計算機(jī)高速存儲、快速計算能力的形成,于2010年左右開始受到重視圖2-16給出了“人工智能”和“大數(shù)據(jù)”關(guān)鍵詞的百度指數(shù),從指數(shù)對比可以看出,從2013年開始,大數(shù)據(jù)的搜索指數(shù)追上人工智能;2014年到2017年,大數(shù)據(jù)的搜索指數(shù)在多數(shù)情況高于人工智能,人工智能在某些特殊特點事件呈現(xiàn)較高的峰值;2018年至今,由于AlphaGo采用深度學(xué)習(xí)擊敗圍棋世界冠軍,讓人工智能的搜索指數(shù)在近幾年超過大數(shù)據(jù)。其中,2019年3月至4月,國民短暫的關(guān)注了“大數(shù)據(jù)殺熟”問題,因此在該時期出現(xiàn)大數(shù)據(jù)搜索較高的峰值情況。綜合來看,近十年來,人工智能和大數(shù)據(jù)之間的搜索指數(shù)幾乎具有相似的規(guī)律,表明了二者之間具有密切的關(guān)聯(lián)關(guān)系。2.2.4人工智能與大數(shù)據(jù)的關(guān)系圖2-16“人工智能”和“大數(shù)據(jù)”關(guān)鍵詞的百度指數(shù)2.2.4人工智能與大數(shù)據(jù)的關(guān)系1.人工智能與大數(shù)據(jù)之間的聯(lián)系在過去,由于數(shù)據(jù)的稀缺和較高的存儲成本,人工智能方法往往采用理論驅(qū)動或模型驅(qū)動,尤其是機(jī)器學(xué)習(xí)方法一般基于概率論、群體智能算法一般基于生物學(xué)模型。然而,隨著大數(shù)據(jù)時代的到來,為人工智能的方法、模型和系統(tǒng)提供了海量的大數(shù)據(jù)支撐,提升了人工智能的發(fā)展速度,尤其是以深度學(xué)習(xí)為代表的“數(shù)據(jù)驅(qū)動型模型”,通過海量的大數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)模型,在人工智能各個領(lǐng)域得到了廣泛應(yīng)用。另一方面,大數(shù)據(jù)技術(shù)提供的分布式計算思維,還能夠拓展人工智能方法和模型,提升效率。因此,大數(shù)據(jù)技術(shù)為人工智能的騰飛做出了巨大貢獻(xiàn)。2.2.4人工智能與

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論