大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)（商科版）（第二版）課件全套 練金 項(xiàng)目1-8 走進(jìn)大數(shù)據(jù) - 綜合實(shí)戰(zhàn)案例

大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目一走進(jìn)大數(shù)據(jù)認(rèn)識(shí)數(shù)據(jù)任務(wù)一任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述現(xiàn)如今社會(huì)高速發(fā)展，信息技術(shù)愈加發(fā)達(dá)，隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)越來(lái)越受到人們的關(guān)注。大數(shù)據(jù)已成為各國(guó)政府和企業(yè)的重要戰(zhàn)略資源，就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)即將成為新一輪的技術(shù)革命。大數(shù)據(jù)不僅是信息時(shí)代的產(chǎn)物，反之，它更是信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)的新引擎，各行各業(yè)的決策正在由傳統(tǒng)的“業(yè)務(wù)驅(qū)動(dòng)”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)驅(qū)動(dòng)”。小明是電子商務(wù)專業(yè)的在校大學(xué)生，對(duì)大數(shù)據(jù)知識(shí)非常感興趣，小明認(rèn)為要想深入了解大數(shù)據(jù)，首先要掌握數(shù)據(jù)的基礎(chǔ)知識(shí)。知識(shí)準(zhǔn)備品牌：華為型號(hào)：P40Pro屏幕尺寸：6.58英寸其他參數(shù)：攝像頭5個(gè)，10倍光學(xué)變焦，100倍數(shù)字變焦，運(yùn)行內(nèi)存8G，機(jī)身內(nèi)容512G

數(shù)據(jù)是指對(duì)客觀事件進(jìn)行記錄并可以鑒別的符號(hào)，是對(duì)客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進(jìn)行記載的物理符號(hào)或這些物理符號(hào)的組合，是可識(shí)別的、抽象的符號(hào)。定義數(shù)據(jù)的概念一圖片由圖形、圖像等構(gòu)成的平面媒體音頻可分為聲音文件和MIDI文件視頻各種動(dòng)態(tài)影像的存儲(chǔ)文件文本記載和儲(chǔ)存文字信息知識(shí)準(zhǔn)備數(shù)據(jù)的類型二知識(shí)準(zhǔn)備在計(jì)算機(jī)中，文件是以文件系統(tǒng)進(jìn)行管理的，而在文件系統(tǒng)中，數(shù)據(jù)按其內(nèi)容、結(jié)構(gòu)和用途組成若干命名的文件。文件一般為某個(gè)用戶或用戶組所有，但可與其他用戶共享。數(shù)據(jù)的組織形式三文件系統(tǒng)知識(shí)準(zhǔn)備文件系統(tǒng)的缺點(diǎn)編寫應(yīng)用程序不方便數(shù)據(jù)冗余不可避免應(yīng)用程序的維護(hù)量很大文件系統(tǒng)不支持對(duì)文件的并發(fā)訪問(wèn)數(shù)據(jù)缺少統(tǒng)一管理知識(shí)準(zhǔn)備數(shù)據(jù)的組織形式數(shù)據(jù)庫(kù)是“按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)”。是一個(gè)長(zhǎng)期存儲(chǔ)在計(jì)算機(jī)內(nèi)的、有組織的、可共享的、統(tǒng)一管理的大量數(shù)據(jù)的集合。數(shù)據(jù)

庫(kù)三知識(shí)準(zhǔn)備數(shù)據(jù)的生命周期數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)處理指組織機(jī)構(gòu)在內(nèi)部針對(duì)動(dòng)態(tài)數(shù)據(jù)進(jìn)行的一系列活動(dòng)的組合指非動(dòng)態(tài)數(shù)據(jù)以任何數(shù)字格式進(jìn)行物理存儲(chǔ)的階段指新的數(shù)據(jù)產(chǎn)生或現(xiàn)有數(shù)據(jù)內(nèi)容發(fā)生顯著改變或更新的階段四知識(shí)準(zhǔn)備數(shù)據(jù)傳輸數(shù)據(jù)交換數(shù)據(jù)銷毀指數(shù)據(jù)在組織機(jī)構(gòu)內(nèi)部從一個(gè)實(shí)體通過(guò)網(wǎng)絡(luò)流動(dòng)到另一個(gè)實(shí)體的過(guò)程指數(shù)據(jù)經(jīng)由組織機(jī)構(gòu)內(nèi)部與外部組織機(jī)構(gòu)及個(gè)人交互過(guò)程中提供數(shù)據(jù)的階段指通過(guò)對(duì)數(shù)據(jù)及數(shù)據(jù)的存儲(chǔ)介質(zhì)通過(guò)相應(yīng)的操作手段，使數(shù)據(jù)徹底丟失且無(wú)法通過(guò)任何手段恢復(fù)的過(guò)程數(shù)據(jù)的生命周期四知識(shí)準(zhǔn)備數(shù)據(jù)傳輸能力數(shù)據(jù)資產(chǎn)能力數(shù)據(jù)計(jì)算能力數(shù)據(jù)算法能力1234數(shù)據(jù)傳輸性能決定了部分應(yīng)用場(chǎng)景的實(shí)現(xiàn)，數(shù)據(jù)實(shí)時(shí)的調(diào)用、加工、算法推薦和預(yù)測(cè)等計(jì)算速度就像造血速度一樣，決定了供應(yīng)量。數(shù)據(jù)資產(chǎn)直接變現(xiàn)的價(jià)值通過(guò)數(shù)據(jù)資產(chǎn)作為資源加工后提供數(shù)據(jù)服務(wù)的業(yè)務(wù)價(jià)值最直接應(yīng)用于業(yè)務(wù)場(chǎng)景且更容易被用戶感知的數(shù)據(jù)能力數(shù)據(jù)的價(jià)值五課堂研討請(qǐng)舉例說(shuō)明大數(shù)據(jù)對(duì)人們?nèi)粘Ｉ畹挠绊?。拓展?xùn)練0102數(shù)據(jù)有哪些類型？請(qǐng)簡(jiǎn)述數(shù)據(jù)生命周期的各個(gè)階段。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目一走進(jìn)大數(shù)據(jù)大數(shù)據(jù)概述任務(wù)二任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR小明很喜歡聽(tīng)音樂(lè)，他發(fā)現(xiàn)軟件會(huì)自動(dòng)推薦一些歌曲，而這些歌曲的風(fēng)格大多與他平時(shí)常聽(tīng)的類似，非常貼近他喜歡的類型；購(gòu)物軟件也是如此，小明喜歡的電子產(chǎn)品、運(yùn)動(dòng)品牌以及書(shū)籍的相關(guān)鏈接，也都出現(xiàn)在頁(yè)面最顯眼的地方。那么，這些軟件的精準(zhǔn)推薦跟大數(shù)據(jù)是否有聯(lián)系呢？任務(wù)描述知識(shí)準(zhǔn)備大數(shù)據(jù)（bigdata），IT行業(yè)術(shù)語(yǔ)，是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。定義一大數(shù)據(jù)的概念知識(shí)準(zhǔn)備大數(shù)據(jù)的特征數(shù)據(jù)量大Volume價(jià)值密度低Value數(shù)據(jù)類型繁多Variety處理速度快Velocity知識(shí)準(zhǔn)備二大數(shù)據(jù)的發(fā)展歷程萌芽時(shí)期（1990s~2000）1998年，《Science》雜志發(fā)表了一篇題為《大數(shù)據(jù)科學(xué)的可視化》的文章，大數(shù)據(jù)作為一個(gè)專用名詞正式出現(xiàn)在公共期刊上。在這一階段，大數(shù)據(jù)只是作為一個(gè)概念或假設(shè)，少數(shù)學(xué)者對(duì)其進(jìn)行了研究和討論，其意義僅限于數(shù)據(jù)量的巨大。知識(shí)準(zhǔn)備發(fā)展時(shí)期（2000~2010）在這一階段，大數(shù)據(jù)作為一個(gè)新名詞，開(kāi)始受到理論界的關(guān)注，其概念和特點(diǎn)得到進(jìn)一步豐富，相關(guān)的數(shù)據(jù)處理技術(shù)層出不窮，大數(shù)據(jù)開(kāi)始顯現(xiàn)出活力。2010200820072001美國(guó)Gartner公司率先開(kāi)發(fā)了大型數(shù)據(jù)模型。同年，DougLenny提出了大數(shù)據(jù)的3V特性數(shù)據(jù)密集型科學(xué)的出現(xiàn)，不僅為科學(xué)界提供了一種新的研究范式，而且為大數(shù)據(jù)的發(fā)展提供了科學(xué)依據(jù)Hadoop技術(shù)應(yīng)運(yùn)而生，成為數(shù)據(jù)分析的主要技術(shù)美國(guó)信息技術(shù)顧問(wèn)委員會(huì)發(fā)布了一份題為“規(guī)劃數(shù)字化未來(lái)”的報(bào)告，詳細(xì)描述了政府工作中大數(shù)據(jù)的收集和使用?！禨cience》雜志推出了一系列大數(shù)據(jù)?？?，詳細(xì)討論了一系列大數(shù)據(jù)的問(wèn)題。知識(shí)準(zhǔn)備2005知識(shí)準(zhǔn)備興盛時(shí)期（2011~至今）在2010年以后，大數(shù)據(jù)應(yīng)用滲透到各行各業(yè)，數(shù)據(jù)驅(qū)動(dòng)決策，信息社會(huì)智能化程度大幅提高。2011年，通用商用機(jī)械公司開(kāi)發(fā)了沃森超級(jí)計(jì)算機(jī)，通過(guò)每秒掃描和分析4TB數(shù)據(jù)打破了世界紀(jì)錄，大數(shù)據(jù)計(jì)算達(dá)到了一個(gè)新的高度。知識(shí)準(zhǔn)備三大數(shù)據(jù)的影響對(duì)大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的結(jié)點(diǎn)大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)的新引擎大數(shù)據(jù)利用將成為提高核心競(jìng)爭(zhēng)力的關(guān)鍵因素大數(shù)據(jù)時(shí)代科學(xué)研究的方法手段將發(fā)生重大改變14322課堂研討相對(duì)于傳統(tǒng)數(shù)據(jù)，大數(shù)據(jù)對(duì)于推動(dòng)人類社會(huì)發(fā)展有哪些突出貢獻(xiàn)？拓展訓(xùn)練0102大數(shù)據(jù)有哪些特征？簡(jiǎn)述大數(shù)據(jù)的發(fā)展歷程。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目一走進(jìn)大數(shù)據(jù)大數(shù)據(jù)國(guó)家戰(zhàn)略任務(wù)三任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR小明經(jīng)常關(guān)注國(guó)際時(shí)政，他注意到大數(shù)據(jù)對(duì)全球生產(chǎn)、流通、分配、消費(fèi)活動(dòng)以及經(jīng)濟(jì)運(yùn)行機(jī)制、社會(huì)生活方式和國(guó)家治理能力等方面產(chǎn)生越來(lái)越深遠(yuǎn)的影響。早在2015年10月26日至29日，中國(guó)共產(chǎn)黨第十八屆中央委員會(huì)第五次全體會(huì)議（黨的十八屆五中全會(huì)）上，“十三五”規(guī)劃建議提出實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略，旨在全面推進(jìn)我國(guó)大數(shù)據(jù)發(fā)展和應(yīng)用，加快建設(shè)數(shù)據(jù)強(qiáng)國(guó)，推動(dòng)數(shù)據(jù)資源開(kāi)放共享，釋放技術(shù)紅利、制度紅利和創(chuàng)新紅利，促進(jìn)經(jīng)濟(jì)轉(zhuǎn)型升級(jí)。至此，大數(shù)據(jù)戰(zhàn)略上升為國(guó)家戰(zhàn)略。世界各國(guó)的大數(shù)據(jù)國(guó)家戰(zhàn)略是怎樣的呢？任務(wù)描述知識(shí)準(zhǔn)備視大數(shù)據(jù)為重要的戰(zhàn)略資源促進(jìn)經(jīng)濟(jì)發(fā)展和社會(huì)變革提升國(guó)家整體競(jìng)爭(zhēng)力美國(guó)英國(guó)日本韓國(guó)知識(shí)準(zhǔn)備商業(yè)概念實(shí)施“三步走”戰(zhàn)略全球領(lǐng)先優(yōu)勢(shì)美國(guó)大數(shù)據(jù)技術(shù)研發(fā)商業(yè)應(yīng)用保障國(guó)家安全國(guó)家戰(zhàn)略加大大數(shù)據(jù)研發(fā)投入強(qiáng)化頂層設(shè)計(jì)聚焦部分應(yīng)用領(lǐng)域進(jìn)行重點(diǎn)突破英國(guó)結(jié)合本國(guó)特點(diǎn)和需求借鑒美國(guó)經(jīng)驗(yàn)和做法知識(shí)準(zhǔn)備發(fā)展創(chuàng)新性解決方案并應(yīng)用于實(shí)踐信息化戰(zhàn)略大數(shù)據(jù)產(chǎn)業(yè)法國(guó)社會(huì)經(jīng)濟(jì)生活國(guó)家功能（城市管理、公共管理）推動(dòng)第四次工業(yè)革命智能終端普及率世界前列韓國(guó)大數(shù)據(jù)發(fā)展戰(zhàn)略：世界先進(jìn)以大數(shù)據(jù)等技術(shù)為核心應(yīng)對(duì)移動(dòng)互聯(lián)網(wǎng)接入速度數(shù)據(jù)產(chǎn)出量知識(shí)準(zhǔn)備2012年7月，日本政府推出了《面向2020年的ICT綜合戰(zhàn)略》，大數(shù)據(jù)成為發(fā)展的重點(diǎn)2013年6月日本公布新IT戰(zhàn)略-創(chuàng)新最尖端IT國(guó)家宣言，明確了2013-2020年期間發(fā)展開(kāi)放公共數(shù)據(jù)為核心的日本新IT國(guó)家戰(zhàn)略日本ICT技術(shù)與大數(shù)據(jù)信息能力的結(jié)合，為協(xié)助解決抗災(zāi)和核電事故等公共問(wèn)題貢獻(xiàn)明顯。黨的十八屆五中全會(huì)將大數(shù)據(jù)上升為國(guó)家戰(zhàn)略，加快建設(shè)數(shù)字強(qiáng)國(guó)中國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016-2020年）中正式對(duì)大數(shù)據(jù)產(chǎn)業(yè)做出專門規(guī)劃十九大報(bào)告提出要推動(dòng)大數(shù)據(jù)與實(shí)體經(jīng)濟(jì)的深度融合2020年《關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見(jiàn)》指出大數(shù)據(jù)正式列為新型生產(chǎn)要素2021年3月發(fā)布的“十四五”規(guī)劃中，大數(shù)據(jù)標(biāo)準(zhǔn)體系的完善成為發(fā)展重點(diǎn)。2021年7月，工信部發(fā)布《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃(2021-2023年)》，提出到2023年底，全國(guó)數(shù)據(jù)中心機(jī)架規(guī)模年均增速保持在20%左右，平均利用率力爭(zhēng)提升到60%以上。課堂研討舉例說(shuō)明大數(shù)據(jù)國(guó)家戰(zhàn)略對(duì)相關(guān)領(lǐng)域產(chǎn)生的影響。拓展訓(xùn)練01請(qǐng)同學(xué)們課后查閱資料，了解國(guó)家已經(jīng)發(fā)布的大數(shù)據(jù)戰(zhàn)略相關(guān)文件。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目一走進(jìn)大數(shù)據(jù)大數(shù)據(jù)催生“新經(jīng)濟(jì)”任務(wù)四任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR大數(shù)據(jù)、云計(jì)算、無(wú)人機(jī)、3D打印、虛擬現(xiàn)實(shí)、人工智能……日新月異、層出不窮的新技術(shù)、新業(yè)態(tài)、新產(chǎn)品，引領(lǐng)著未來(lái)經(jīng)濟(jì)發(fā)展的方向。電子商務(wù)專業(yè)的小明意識(shí)到現(xiàn)在越來(lái)越多的行業(yè)發(fā)生了翻天覆地的變化，大數(shù)據(jù)對(duì)于經(jīng)濟(jì)社會(huì)與人們?nèi)粘Ｉ畹挠绊懮钊氲礁鱾€(gè)層面，社會(huì)對(duì)于數(shù)據(jù)處理能力的需求急劇增長(zhǎng)。“新經(jīng)濟(jì)”也由此誕生。于是，小明開(kāi)始在網(wǎng)上搜尋有關(guān)“新經(jīng)濟(jì)”的資料。任務(wù)描述新經(jīng)濟(jì)是指新的經(jīng)濟(jì)形式。社會(huì)主導(dǎo)產(chǎn)業(yè)形態(tài)的差異決定了社會(huì)經(jīng)濟(jì)形態(tài)的差異。在不同的歷史時(shí)期，新經(jīng)濟(jì)有不同的內(nèi)涵。目前，新經(jīng)濟(jì)是指創(chuàng)新知識(shí)主導(dǎo)知識(shí)、創(chuàng)新型產(chǎn)業(yè)成為產(chǎn)業(yè)領(lǐng)導(dǎo)者的智能經(jīng)濟(jì)形式。新經(jīng)濟(jì)的概述知識(shí)準(zhǔn)備新經(jīng)濟(jì)的標(biāo)志知識(shí)準(zhǔn)備信息化和網(wǎng)絡(luò)的快速發(fā)展經(jīng)濟(jì)呈現(xiàn)全球一體化趨勢(shì)傳統(tǒng)交通運(yùn)輸業(yè)大進(jìn)步新經(jīng)濟(jì)的基本特征與整個(gè)人類社會(huì)環(huán)境發(fā)生的深刻變化相對(duì)應(yīng)呈現(xiàn)給人們的是一個(gè)全新經(jīng)濟(jì)時(shí)代新經(jīng)濟(jì)的影響與內(nèi)涵知識(shí)準(zhǔn)備新經(jīng)濟(jì)時(shí)代的出現(xiàn)不僅給各國(guó)的經(jīng)濟(jì)發(fā)展帶來(lái)了新的機(jī)遇，也給經(jīng)濟(jì)不發(fā)達(dá)國(guó)家的企業(yè)帶來(lái)了新的挑戰(zhàn)。事實(shí)上，歷次經(jīng)濟(jì)技術(shù)革命都在資源配置的手段、方式和效率上產(chǎn)生了巨大的變化，對(duì)人們的生活方式產(chǎn)生了深遠(yuǎn)的影響。新經(jīng)濟(jì)的影響與內(nèi)涵知識(shí)準(zhǔn)備創(chuàng)新的技術(shù)與實(shí)體經(jīng)濟(jì)相結(jié)合經(jīng)濟(jì)發(fā)展的核心動(dòng)力進(jìn)而產(chǎn)生新的業(yè)態(tài)和新的生產(chǎn)方式。創(chuàng)新的技術(shù)帶動(dòng)行業(yè)和產(chǎn)業(yè)發(fā)展，新經(jīng)濟(jì)必然是圍繞創(chuàng)新并引領(lǐng)時(shí)代發(fā)展的。內(nèi)涵新經(jīng)濟(jì)背景下的商科教育傳統(tǒng)商科是培養(yǎng)“商業(yè)技術(shù)人才”的。例如財(cái)務(wù)管理專業(yè)的學(xué)生往往將自己定義為財(cái)務(wù)技術(shù)人員，人力資源管理專業(yè)的學(xué)生則將自己局限為人力專業(yè)的技術(shù)人才。但是，隨著時(shí)代的進(jìn)步，僅僅關(guān)注財(cái)務(wù)知識(shí)或人力資源管理知識(shí)本身已經(jīng)解決不了問(wèn)題，還需要進(jìn)一步了解行業(yè)發(fā)展現(xiàn)狀甚至是國(guó)際、國(guó)內(nèi)市場(chǎng)的競(jìng)爭(zhēng)態(tài)勢(shì)。新商科是與傳統(tǒng)商科對(duì)應(yīng)的一個(gè)概念是順應(yīng)經(jīng)濟(jì)社會(huì)發(fā)展的需要產(chǎn)生的商科教育模式知識(shí)準(zhǔn)備新經(jīng)濟(jì)背景下的商科教育新一輪的科技革命和產(chǎn)業(yè)革命正在進(jìn)行，互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等新興技術(shù)與模式正深刻改變?nèi)藗兊乃季S、生產(chǎn)、學(xué)習(xí)方式。共同探討、支持新商科人才培養(yǎng)事業(yè)的發(fā)展，共建現(xiàn)代學(xué)習(xí)體系，培養(yǎng)大批創(chuàng)新人才，已經(jīng)成為應(yīng)對(duì)諸多復(fù)雜挑戰(zhàn)、實(shí)現(xiàn)可持續(xù)發(fā)展的關(guān)鍵。新商科要根據(jù)實(shí)體經(jīng)濟(jì)供給側(cè)的需求，走市場(chǎng)化、企業(yè)化的合作之路。知識(shí)準(zhǔn)備課堂研討為什么說(shuō)“新商科，是在現(xiàn)有商科發(fā)展的基礎(chǔ)上，回應(yīng)科技、社會(huì)、經(jīng)濟(jì)所帶來(lái)的挑戰(zhàn)”？大數(shù)據(jù)是怎樣催生“新經(jīng)濟(jì)”的呢？拓展訓(xùn)練01請(qǐng)同學(xué)們課后查閱有關(guān)資料，了解更多有關(guān)新經(jīng)濟(jì)、新商科的相關(guān)內(nèi)容。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目一走進(jìn)大數(shù)據(jù)百度指數(shù)應(yīng)用任務(wù)五任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述

小明的母親想在電商平臺(tái)上開(kāi)一家服裝店，網(wǎng)店運(yùn)營(yíng)初期，需要掌握行業(yè)的市場(chǎng)前景，分析該市場(chǎng)的可行性以及制定可持續(xù)發(fā)展路線，這關(guān)系到網(wǎng)店運(yùn)營(yíng)過(guò)程中的利益盈虧，必須做好前期的充分的準(zhǔn)備。近年來(lái)電商市場(chǎng)的越來(lái)越大，各行業(yè)都在向互聯(lián)網(wǎng)進(jìn)軍，追求高速發(fā)展。然而，往往在行業(yè)市場(chǎng)分析上存在困難，不知道該如何利用工具以及數(shù)據(jù)進(jìn)行有效分析。

小明應(yīng)該怎么幫助母親解決該問(wèn)題呢？知識(shí)準(zhǔn)備

百度指數(shù)（BaiduIndex）是以百度海量網(wǎng)民行為數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)分析平臺(tái)，是當(dāng)前互聯(lián)網(wǎng)乃至整個(gè)數(shù)據(jù)時(shí)代最重要的統(tǒng)計(jì)分析平臺(tái)之一，自發(fā)布之日便成為眾多企業(yè)營(yíng)銷決策的重要依據(jù)。定義百度指數(shù)的概念一知識(shí)準(zhǔn)備相關(guān)名詞二（一）搜索指數(shù)搜索指數(shù)是以網(wǎng)民在百度的搜索量為數(shù)據(jù)基礎(chǔ)，以關(guān)鍵詞為統(tǒng)計(jì)對(duì)象，科學(xué)分析并計(jì)算出各個(gè)關(guān)鍵詞在百度網(wǎng)頁(yè)搜索中搜索頻次的加權(quán)和。根據(jù)搜索來(lái)源的不同，搜索指數(shù)分為PC搜索指數(shù)和移動(dòng)搜索指數(shù)。（二）需求圖譜－需求分布需求分布是綜合計(jì)算關(guān)鍵詞與相關(guān)詞的相關(guān)程度，以及相關(guān)詞自身的搜索需求大小得出。相關(guān)詞距圓心的距離表示相關(guān)詞相關(guān)性強(qiáng)度；相關(guān)詞自身大小表示相關(guān)詞自身搜索指數(shù)大小，紅色代表搜索指數(shù)上升，綠色代表搜索指數(shù)下降。（三）需求圖譜－相關(guān)詞分類來(lái)源相關(guān)詞：反映用戶在搜索中心詞之前還有哪些搜索需求，通過(guò)過(guò)濾出關(guān)鍵詞上一步搜索行為來(lái)源的相關(guān)詞，按相關(guān)程度排序得出去向相關(guān)詞：反映用戶在搜索中心詞之后還有哪些搜索需求，通過(guò)過(guò)濾出關(guān)鍵詞下一步搜索行為來(lái)源的相關(guān)詞，按相關(guān)程度排序得出（四）資訊指數(shù)以百度智能分發(fā)和推薦內(nèi)容數(shù)據(jù)為基礎(chǔ)，將網(wǎng)民的閱讀、評(píng)論、轉(zhuǎn)發(fā)、點(diǎn)贊、不喜歡等行為的數(shù)量加權(quán)求和得出資訊指數(shù)。（五）媒體指數(shù)媒體指數(shù)是以各大互聯(lián)網(wǎng)媒體報(bào)道的新聞中，與關(guān)鍵詞相關(guān)的，被百度新聞?lì)l道收錄的數(shù)量，采用新聞標(biāo)題包含關(guān)鍵詞的統(tǒng)計(jì)標(biāo)準(zhǔn)，數(shù)據(jù)來(lái)源、計(jì)算方法與搜索指數(shù)無(wú)直接關(guān)系。（六）人群屬性關(guān)鍵詞的人群屬性，是我們根據(jù)百度用戶搜索數(shù)據(jù)，采用數(shù)據(jù)挖掘方法，對(duì)關(guān)鍵詞的人群屬性進(jìn)行聚類分析，給出年齡分布、性別比例等社會(huì)屬性信息。知識(shí)準(zhǔn)備搜索指數(shù)搜索指數(shù)默認(rèn)的時(shí)間范圍為近30天，可根據(jù)需要在上方日期處或者下方時(shí)間軸進(jìn)行調(diào)整。此處以近30天的服裝搜索指數(shù)為例?？傮w而言，全國(guó)近30天PC端與移動(dòng)端的服裝搜索指數(shù)較為平穩(wěn)，在均值1080上下波動(dòng)。近30天內(nèi)出現(xiàn)四次服裝行業(yè)的新聞?lì)^條，依次以A、B、C、D進(jìn)行標(biāo)注，點(diǎn)擊A出現(xiàn)具體新聞信息。任務(wù)實(shí)施三趨勢(shì)研究知識(shí)準(zhǔn)備資訊指數(shù)近30日內(nèi)出現(xiàn)波動(dòng)的日期，反映了相關(guān)新聞資訊對(duì)服裝的持續(xù)關(guān)注度。服裝的資訊指數(shù)日均值為1,706,669，較去年同期下降3%，而較上月環(huán)比上漲23%。任務(wù)實(shí)施三趨勢(shì)研究知識(shí)準(zhǔn)備2021年1月1日至31日期間，關(guān)注“服裝”的用戶主要來(lái)自廣東、江蘇、浙江、安徽等地，由此可見(jiàn)我國(guó)東南地區(qū)對(duì)“服裝”的關(guān)注度要高于我國(guó)西北部地區(qū)。根據(jù)需要可調(diào)整時(shí)間段，最早可追溯至2013年7月1日。任務(wù)實(shí)施三人群畫(huà)像課堂研討請(qǐng)請(qǐng)根據(jù)任務(wù)實(shí)施的結(jié)果為張明的母親提供有價(jià)值的建議。拓展訓(xùn)練01請(qǐng)?jiān)诎俣戎笖?shù)中以“新冠疫情”為關(guān)鍵詞進(jìn)行相關(guān)數(shù)據(jù)查詢，并結(jié)合查詢結(jié)果談?wù)勀愕目捶āＶx謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目二大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能云計(jì)算任務(wù)一任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR華為早在2008年就開(kāi)始在云計(jì)算領(lǐng)域進(jìn)行投入與發(fā)展，目前在全國(guó)已經(jīng)有多個(gè)云計(jì)算節(jié)點(diǎn)，是領(lǐng)先的云計(jì)算提供商。華為在襄陽(yáng)的云計(jì)算數(shù)據(jù)中心已經(jīng)投產(chǎn)使用，此外，華為與英國(guó)ColtDCS達(dá)成合作協(xié)議，共同迎接云時(shí)代下數(shù)據(jù)中心基礎(chǔ)設(shè)施領(lǐng)域新挑戰(zhàn)；華為與北京市供銷合作總社達(dá)成全球合作協(xié)議，共建云計(jì)算數(shù)據(jù)中心。小明想知道什么是云計(jì)算，以及云計(jì)算有哪些應(yīng)用。任務(wù)描述知識(shí)準(zhǔn)備云計(jì)算的概念一理解云計(jì)算的前提與基礎(chǔ)：了解什么是軟件以及IT系統(tǒng)是如何構(gòu)成的軟件其實(shí)就是程序員寫得讓CPU完成某項(xiàng)任務(wù)的步驟，這個(gè)步驟包括“輸入—計(jì)算—輸出”。知識(shí)準(zhǔn)備需要注意的是：服務(wù)器、虛擬機(jī)就包括了CPU、內(nèi)存，而網(wǎng)絡(luò)、硬盤其實(shí)也是一種計(jì)算資源。IT系統(tǒng)知識(shí)準(zhǔn)備在傳統(tǒng)電腦中輸入一個(gè)命令，程序會(huì)在這臺(tái)電腦中進(jìn)行計(jì)算，最后輸出到自己的電腦上，比如用鼠標(biāo)點(diǎn)擊運(yùn)行瀏覽器這個(gè)命令。而云計(jì)算是把整個(gè)計(jì)算資源放在云端，也就是輸入輸出與計(jì)算分離。輸入一個(gè)命令后通過(guò)網(wǎng)絡(luò)傳輸?shù)皆贫?，?jì)算好后再傳回來(lái)，這就是通俗云計(jì)算的概念。定義知識(shí)準(zhǔn)備云計(jì)算的服務(wù)模式和類型二基礎(chǔ)設(shè)施即服務(wù)（IaaS）平臺(tái)即服務(wù)（PaaS）云服務(wù)提供商把IT系統(tǒng)的基礎(chǔ)設(shè)施建設(shè)好，并對(duì)計(jì)算設(shè)備進(jìn)行池化，然后直接對(duì)外出租硬件服務(wù)器、虛擬主機(jī)、存儲(chǔ)或網(wǎng)絡(luò)設(shè)施等。云服務(wù)提供商把基礎(chǔ)設(shè)施層和平臺(tái)軟件層都搭建好，然后在平臺(tái)軟件層上劃分“小塊”（習(xí)慣稱之為容器）并對(duì)外出租，相當(dāng)于買了一臺(tái)有操作系統(tǒng)的計(jì)算機(jī)，可以在這基礎(chǔ)上進(jìn)行應(yīng)用軟件的開(kāi)發(fā)。服務(wù)模式知識(shí)準(zhǔn)備軟件即服務(wù)（SaaS）云服務(wù)提供商把IT系統(tǒng)的應(yīng)用軟件層作為服務(wù)出租出去，而消費(fèi)者可以使用任何云終端設(shè)備接入計(jì)算機(jī)網(wǎng)絡(luò)，然后通過(guò)網(wǎng)頁(yè)瀏覽器或者編程接口使用云端的軟件，相當(dāng)于用戶直接擁有一臺(tái)安裝了自己需要的應(yīng)用程序的計(jì)算機(jī)。服務(wù)模式類型知識(shí)準(zhǔn)備公有云私有云混合云3混合云在使用私有云作為基礎(chǔ)的同時(shí)結(jié)合了公有云的服務(wù)策略，用戶可自主切換2私有云私有云只為特定用戶提供服務(wù)1公有云云計(jì)算服務(wù)由第三方提供商完全承載和管理，為用戶提供價(jià)格合理的計(jì)算資源訪問(wèn)服務(wù)基礎(chǔ)設(shè)施即服務(wù)（IaaS）平臺(tái)即服務(wù)（PaaS）軟件即服務(wù)（SaaS）

張明想喝橙汁給家里安了自來(lái)水，并購(gòu)買了橘子粉知識(shí)準(zhǔn)備把水凈化、燒開(kāi)，加點(diǎn)橘子粉直接買了樓下已經(jīng)處理好的純凈水，加點(diǎn)橘子粉打電話讓樓下的飲料店把張明需要的飲料送到家舉例說(shuō)明知識(shí)準(zhǔn)備云計(jì)算數(shù)據(jù)中心三云計(jì)算數(shù)據(jù)中心是一種基于云計(jì)算架構(gòu)的，計(jì)算、存儲(chǔ)、服務(wù)及網(wǎng)絡(luò)資源的松耦合，各種IT設(shè)備虛擬化、模塊化程度、自動(dòng)化程度和綠色節(jié)能程度較高的新型數(shù)據(jù)中心。定義知識(shí)準(zhǔn)備云計(jì)算數(shù)據(jù)中心三高度虛擬化自動(dòng)化模塊化綠色節(jié)能特點(diǎn)云計(jì)算的應(yīng)用四教育云醫(yī)療云金融云存儲(chǔ)云知識(shí)準(zhǔn)備教育云實(shí)質(zhì)上是指教育信息化的一種發(fā)展提供互聯(lián)網(wǎng)處理和運(yùn)行服務(wù)共享互聯(lián)網(wǎng)資源高效、低成本使用“云計(jì)算”來(lái)創(chuàng)建醫(yī)療健康服務(wù)云平臺(tái)，實(shí)現(xiàn)醫(yī)療資源的共享和醫(yī)療范圍的擴(kuò)大以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)方便了使用者對(duì)資源的管理云計(jì)算產(chǎn)業(yè)五PART1云計(jì)算服務(wù)業(yè)PART2云計(jì)算制造業(yè)PART3基礎(chǔ)設(shè)施服務(wù)業(yè)PART4支持產(chǎn)業(yè)知識(shí)準(zhǔn)備知識(shí)準(zhǔn)備企業(yè)應(yīng)用、娛樂(lè)應(yīng)用和辦公應(yīng)用等SaaS服務(wù)數(shù)據(jù)庫(kù)平臺(tái)、開(kāi)發(fā)測(cè)試、應(yīng)用部署和行業(yè)應(yīng)用等PaaS服務(wù)虛擬機(jī)、WebHosting和虛擬存儲(chǔ)等IaaS服務(wù)云計(jì)算服務(wù)業(yè)云計(jì)算制造業(yè)①軟件方面，比如系統(tǒng)集成、軟件產(chǎn)業(yè)、應(yīng)用軟件、基礎(chǔ)軟件和中間軟件等②硬件方面，比如服務(wù)器、網(wǎng)絡(luò)設(shè)備、終端設(shè)備和存儲(chǔ)設(shè)備等。基礎(chǔ)設(shè)施服務(wù)業(yè)包括網(wǎng)絡(luò)和數(shù)據(jù)中心。支持產(chǎn)業(yè)包括計(jì)算的評(píng)估認(rèn)證、設(shè)計(jì)和咨詢等?；A(chǔ)設(shè)施服務(wù)業(yè)支持產(chǎn)業(yè)知識(shí)準(zhǔn)備課堂研討圍繞云計(jì)算在其他領(lǐng)域的應(yīng)用展開(kāi)討論拓展訓(xùn)練01簡(jiǎn)述云計(jì)算的服務(wù)模式和類型謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目二大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能物聯(lián)網(wǎng)任務(wù)二任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR一位護(hù)山員在家里手機(jī)上看著千里之外的山林，一旦發(fā)現(xiàn)那里起火，他就可以遙控直升飛機(jī)前去滅火；消防員可以不用再等待火警電話，因?yàn)橹灰鞘欣锩嫒魏我粋€(gè)區(qū)域的溫度異常，該區(qū)域就會(huì)在他們的手機(jī)屏幕上顯現(xiàn)；駕駛員開(kāi)車進(jìn)車庫(kù)的時(shí)候，汽車會(huì)告訴房間里面的燈該亮了，或者窗戶該打開(kāi)了。小明非常好奇，這是怎樣做到的呢？任務(wù)準(zhǔn)備知識(shí)準(zhǔn)備物聯(lián)網(wǎng)的概念一指將互聯(lián)網(wǎng)的概念擴(kuò)展到物理設(shè)備和日常對(duì)象之間的連接中。這些設(shè)備嵌入了電子設(shè)備、網(wǎng)絡(luò)連接和其他形式的硬件（如傳感器），可以通過(guò)網(wǎng)絡(luò)與其他人通信和交互，并且可以遠(yuǎn)程監(jiān)控。定義物聯(lián)網(wǎng)的關(guān)鍵技術(shù)二知識(shí)準(zhǔn)備射頻識(shí)別（RFID）技術(shù)傳感器技術(shù)人工智能技術(shù)無(wú)線網(wǎng)絡(luò)技術(shù)云計(jì)算技術(shù)通過(guò)無(wú)線電訊號(hào)識(shí)別特定目標(biāo)并讀寫相關(guān)數(shù)據(jù)，無(wú)需識(shí)別系統(tǒng)與特定目標(biāo)之間建立機(jī)械或光學(xué)接觸能感受規(guī)定的被測(cè)量，如溫濕度、電壓和電流，并按照一定的規(guī)律轉(zhuǎn)換成可用輸出信號(hào)。高速、可進(jìn)行大批量數(shù)據(jù)傳輸?shù)臒o(wú)線網(wǎng)絡(luò)研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)云計(jì)算是把一些相關(guān)網(wǎng)絡(luò)技術(shù)和計(jì)算機(jī)發(fā)展融合在一起的產(chǎn)物知識(shí)準(zhǔn)備物聯(lián)網(wǎng)的應(yīng)用三制造家居物流交通安防能源醫(yī)療建筑零售農(nóng)業(yè)知識(shí)準(zhǔn)備下一代的工業(yè)革命已經(jīng)開(kāi)始，而這樣的興起正是由物聯(lián)網(wǎng)驅(qū)動(dòng)的。產(chǎn)品和設(shè)備都能在使用過(guò)程中反饋數(shù)據(jù)。66%的先行者認(rèn)為物聯(lián)網(wǎng)是他們?cè)诟?jìng)爭(zhēng)中取得優(yōu)勢(shì)的關(guān)鍵。物聯(lián)網(wǎng)產(chǎn)業(yè)四制造業(yè)醫(yī)療人口的增加與老齡化正在給醫(yī)療帶來(lái)沉重的負(fù)擔(dān)，而物聯(lián)網(wǎng)可以起到緩解作用。通過(guò)物聯(lián)網(wǎng)，病人可以選擇在家中進(jìn)行治療。知識(shí)準(zhǔn)備能源和公共事業(yè)運(yùn)輸及配送物聯(lián)網(wǎng)能夠?qū)⒏嗟哪茉磥?lái)源與越來(lái)越多的需求建立聯(lián)系，它還能集成可再生能源實(shí)現(xiàn)清潔發(fā)電。通過(guò)物聯(lián)網(wǎng)，人們可以實(shí)時(shí)了解設(shè)備的信息，從而減少臨時(shí)停電造成的影響。物聯(lián)網(wǎng)將軌跡追蹤提高到了一個(gè)全新的水平，它使得發(fā)貨過(guò)程中的各個(gè)參數(shù)都能被記錄下來(lái)，不僅限于位置，還有溫度、濕度、振動(dòng)和傾斜等等。知識(shí)準(zhǔn)備農(nóng)業(yè)科技物聯(lián)網(wǎng)有助于實(shí)現(xiàn)精準(zhǔn)農(nóng)業(yè)，使播種、灌溉和化肥的使用更加準(zhǔn)確。智慧城市物聯(lián)網(wǎng)可以被用來(lái)減少能源使用、管理交通、增加公民安全性。物聯(lián)網(wǎng)能幫助占全球人口總數(shù)一半的城市居民，使其生活變得更輕松、更清潔、更安全、也更愉快。6知識(shí)準(zhǔn)備零售7金融服務(wù)8智能家居9物聯(lián)網(wǎng)一直在改變零售業(yè)，使得店內(nèi)購(gòu)物體驗(yàn)變得更加個(gè)性化，還能通過(guò)購(gòu)買歷史行為向顧客推薦“可能喜歡”的頻道。在數(shù)據(jù)驅(qū)動(dòng)的全球金融環(huán)境中，物聯(lián)網(wǎng)有助于提高智能化、降低風(fēng)險(xiǎn)并提供更好的數(shù)字化體驗(yàn)。2018年80%的家電廠商都做了智能家居方面的研發(fā)，例如常見(jiàn)的家用掃地機(jī)器人，有一半都接入了物聯(lián)網(wǎng)。知識(shí)準(zhǔn)備課堂研討圍繞物聯(lián)網(wǎng)在其他領(lǐng)域的應(yīng)用展開(kāi)討論。拓展訓(xùn)練01簡(jiǎn)述物聯(lián)網(wǎng)的關(guān)鍵技術(shù)。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目二大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能人工智能任務(wù)三任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)準(zhǔn)備當(dāng)消費(fèi)者申請(qǐng)信用卡或貸款時(shí)，消費(fèi)者的信用評(píng)分將起到至關(guān)重要的作用。在過(guò)去，貸款工作人員審查了這些貸款和信用卡申請(qǐng)。雖然仍有很多工作人員，但許多關(guān)于信用卡的決定或者是否接受消費(fèi)者的申請(qǐng)，都是由人工智能中的機(jī)器學(xué)習(xí)系統(tǒng)做出來(lái)的。銀行管理人員可以設(shè)置他們希望當(dāng)前信貸標(biāo)準(zhǔn)是寬松還是緊縮的參數(shù)。但他們希望銀行的機(jī)器學(xué)習(xí)系統(tǒng)能夠隨著時(shí)間的推移而學(xué)習(xí)，以便更密切地確定哪些申請(qǐng)人是安全的借貸者。小明想要知道，除了機(jī)器學(xué)習(xí)，人工智能還涉及到哪些關(guān)鍵技術(shù)。人工智能的概念一人工智能（ArtificialIntelligence），英文縮寫為AI。它是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新技術(shù)科學(xué)。定義任務(wù)準(zhǔn)備人工智能的關(guān)鍵技術(shù)二機(jī)器學(xué)習(xí)知識(shí)圖譜自然語(yǔ)言處理人機(jī)交互計(jì)算機(jī)視覺(jué)生物特征識(shí)別VR/AR任務(wù)準(zhǔn)備機(jī)器學(xué)習(xí)是一門涉及統(tǒng)計(jì)學(xué)、系統(tǒng)辨識(shí)、逼近理論、神經(jīng)網(wǎng)絡(luò)、優(yōu)化理論、計(jì)算機(jī)科學(xué)、腦科學(xué)等諸多領(lǐng)域的交叉學(xué)科知識(shí)圖譜本質(zhì)上是結(jié)構(gòu)化的語(yǔ)義知識(shí)庫(kù)，是一種由節(jié)點(diǎn)和邊組成的圖數(shù)據(jù)結(jié)構(gòu)，以符號(hào)形式描述物理世界中的概念及其相互關(guān)系自然語(yǔ)言處理研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的各種理論和方法人機(jī)交互主要研究人和計(jì)算機(jī)之間的信息交換，主要包括人到計(jì)算機(jī)和計(jì)算機(jī)到人的兩部分信息交換任務(wù)準(zhǔn)備計(jì)算機(jī)視覺(jué)使用計(jì)算機(jī)模仿人類視覺(jué)系統(tǒng)的科學(xué)，讓計(jì)算機(jī)擁有類似人類提取、處理、理解和分析圖像以及圖像序列的能力。人機(jī)交互通過(guò)個(gè)體生理特征或行為特征對(duì)個(gè)體身份進(jìn)行識(shí)別認(rèn)證的技術(shù)。人機(jī)交互以計(jì)算機(jī)為核心的新型視聽(tīng)技術(shù)。結(jié)合相關(guān)科學(xué)技術(shù)，在一定范圍內(nèi)生成與真實(shí)環(huán)境在視覺(jué)、聽(tīng)覺(jué)、觸感等方面高度近似的數(shù)字化環(huán)境。任務(wù)準(zhǔn)備人工智能的應(yīng)用三任務(wù)準(zhǔn)備虛擬個(gè)人助理人臉識(shí)別打拐無(wú)人汽車物流機(jī)器人智能醫(yī)院課堂研討除了機(jī)器學(xué)習(xí)，銀行業(yè)還在哪些方面運(yùn)用到人工智能？拓展訓(xùn)練0102人工智能與人的智能有什么區(qū)別和聯(lián)系？簡(jiǎn)述人工智能的相關(guān)技術(shù)。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目二大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能的關(guān)系任務(wù)四任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)準(zhǔn)備學(xué)習(xí)了云計(jì)算、物聯(lián)網(wǎng)和人工智能相關(guān)知識(shí)后，小明很好奇，大數(shù)據(jù)和這三者有哪些關(guān)系呢？從技術(shù)上來(lái)看，大數(shù)據(jù)和云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)等。從應(yīng)用角度上講，云計(jì)算給大數(shù)據(jù)提供信息化的基礎(chǔ)設(shè)施，能更有效利用資源；從產(chǎn)業(yè)發(fā)展的角度上講，運(yùn)用云平臺(tái)，每天可以處理大批量的數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行科學(xué)、快速、智能的檢索。人工智能的應(yīng)用一知識(shí)準(zhǔn)備知識(shí)準(zhǔn)備大數(shù)據(jù)與物聯(lián)網(wǎng)的關(guān)系二目前，物聯(lián)網(wǎng)正在支撐起社會(huì)活動(dòng)和人們生活方式的變革，被稱為繼計(jì)算機(jī)、互聯(lián)網(wǎng)之后沖擊現(xiàn)代社會(huì)的第三次信息化發(fā)展浪潮。物聯(lián)網(wǎng)在將物品和互聯(lián)網(wǎng)連接起來(lái)，進(jìn)行信息交換和通信，以實(shí)現(xiàn)智能化識(shí)別、定位、跟蹤、監(jiān)控和管理。大數(shù)據(jù)與人工智能的關(guān)系三知識(shí)準(zhǔn)備大數(shù)據(jù)分析云計(jì)算體系A(chǔ)IoT體系課堂研討結(jié)合云計(jì)算、物聯(lián)網(wǎng)和人工智能相關(guān)知識(shí)，展望這三種技術(shù)的綜合應(yīng)用前景，并展開(kāi)討論。拓展訓(xùn)練01大數(shù)據(jù)與云計(jì)算和物聯(lián)網(wǎng)有哪些區(qū)別和聯(lián)系。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目二大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能百度地圖查看實(shí)時(shí)公交任務(wù)五任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述

隨著生活節(jié)奏的加快，人們對(duì)了解公交何時(shí)到站的需求日益加大；公交作為最大的公共交通設(shè)施，成為人們出行必不可缺的工具之一，而加入實(shí)時(shí)的概念，能夠讓市民提高出行的效率，避免過(guò)長(zhǎng)時(shí)間的在公交站等待。

小明在暑期去蘭州看望年邁的奶奶，準(zhǔn)備搭乘公交前往奶奶家，該如何獲取實(shí)時(shí)的公交信息呢？知識(shí)準(zhǔn)備

實(shí)時(shí)公交主要是查詢城市公交車實(shí)時(shí)到站信息。無(wú)論何時(shí)何地，用戶通過(guò)手機(jī)，就可查詢到要乘坐的公交車的實(shí)時(shí)位置、離乘車站還有幾站、換乘方案等信息，可合理計(jì)劃出行時(shí)間，大大縮短候車時(shí)間。概述實(shí)時(shí)公交的概述一知識(shí)準(zhǔn)備特色功能二1.實(shí)時(shí)查詢通過(guò)手機(jī)查詢公交車離乘車站還有幾站的實(shí)時(shí)數(shù)據(jù)，讓你隨時(shí)隨地查獲知車輛到站時(shí)間，不再因?yàn)榈溶嚩臒?.公交換乘除了線路查詢、周邊站點(diǎn)等便捷的公交查詢功能外，更能輕松搜索任意兩地點(diǎn)間的出行建議方案。3.站點(diǎn)定位通過(guò)GPS精準(zhǔn)定位，能夠判定應(yīng)用使用者的具體位置，顯示周邊的站點(diǎn)及經(jīng)過(guò)該站名所有公交線路列表，更進(jìn)一步輕松獲取經(jīng)過(guò)該站點(diǎn)線路的實(shí)時(shí)狀況。4.地圖模式已推出的地圖模式，顯示所在位置周邊站點(diǎn)位置信息，以地圖形式更直觀顯示距離自己所在位置周邊乘車站距離，讓乘客少走些冤枉路。知識(shí)準(zhǔn)備

點(diǎn)擊“查公交”在搜索欄中輸入想要查詢的公交線路、站點(diǎn)即可查詢實(shí)時(shí)公交信息。

此處以蘭州市航天510所公交站為例，途徑該公交站點(diǎn)的公交線路有128路與138路，距離該站點(diǎn)最近的128路公交車還有4站路，預(yù)計(jì)9分鐘后到達(dá)該站點(diǎn)，而138路公交還有3站路，預(yù)計(jì)還有4分鐘到達(dá)該站點(diǎn)任務(wù)實(shí)施三搜索位置知識(shí)準(zhǔn)備

點(diǎn)擊128路公交或者138路公交可使用地圖模式查看公交具體情況，此處以128路公交為例。根據(jù)公交車圖標(biāo)的所在位置可清楚地看到該公交車的到站情況，例如圖中第一輛公交車行駛狀態(tài)為在途，即將到達(dá)省檢察院站，而第二輛則已到達(dá)天慶花園站。適度放縮地圖后可看到該線路上正在行駛的公交狀態(tài)。此時(shí)途中半數(shù)公交已接近終點(diǎn)站空港花園。任務(wù)實(shí)施三搜索位置課堂研討假設(shè)小明的奶奶居住在省氣象局站附近的小區(qū)中，此時(shí)的張明剛剛到達(dá)航天510所公交站，那么張明還需多久才能上車呢？拓展訓(xùn)練01請(qǐng)選取自己熟悉的公交站點(diǎn)或公交線路進(jìn)行實(shí)時(shí)公交查詢。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目三大數(shù)據(jù)采集與清洗數(shù)據(jù)采集任務(wù)一任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述大數(shù)據(jù)開(kāi)啟了一個(gè)大規(guī)模生產(chǎn)、分享和應(yīng)用數(shù)據(jù)的時(shí)代，它給技術(shù)和商業(yè)帶來(lái)了巨大的變化。麥肯錫研究表明，在醫(yī)療、零售和制造業(yè)領(lǐng)域，大數(shù)據(jù)每年可以提高勞動(dòng)生產(chǎn)率0.5%～1%。大數(shù)據(jù)在核心領(lǐng)域的滲透速度有目共睹，然而調(diào)查顯示，未被使用的信息比例高達(dá)99.4%，很大程度都是由于高價(jià)值的信息無(wú)法獲取采集。因此在大數(shù)據(jù)時(shí)代背景下，如何從大數(shù)據(jù)中采集出有用的信息已經(jīng)是大數(shù)據(jù)發(fā)展的關(guān)鍵因素之一。勤奮好學(xué)的小明找到老師并提問(wèn)：什么是數(shù)據(jù)采集呢？知識(shí)準(zhǔn)備

數(shù)據(jù)采集就是使用某種技術(shù)或手段，將數(shù)據(jù)收集起來(lái)并存儲(chǔ)在某種設(shè)備上。數(shù)據(jù)采集處于大數(shù)據(jù)生命周期中的第一個(gè)環(huán)節(jié)，之后的分析挖掘都建立在數(shù)據(jù)采集的基礎(chǔ)上。數(shù)據(jù)采集技術(shù)廣泛應(yīng)用在各個(gè)領(lǐng)域，比如攝像頭和麥克風(fēng)，都是數(shù)據(jù)采集工具。定義數(shù)據(jù)采集的概念一知識(shí)準(zhǔn)備數(shù)據(jù)采集的三大要點(diǎn)二全面性01多維性02高效性03知識(shí)準(zhǔn)備數(shù)據(jù)采集的數(shù)據(jù)源三1線上行為數(shù)據(jù)2內(nèi)容數(shù)據(jù)頁(yè)面數(shù)據(jù)、交互數(shù)據(jù)、表單數(shù)據(jù)、會(huì)話數(shù)據(jù)等應(yīng)用日志、電子文檔、機(jī)器數(shù)據(jù)、語(yǔ)音數(shù)據(jù)、社交媒體數(shù)據(jù)等新數(shù)據(jù)源的歸納與分類知識(shí)準(zhǔn)備數(shù)據(jù)采集的數(shù)據(jù)源三商業(yè)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)傳感器數(shù)據(jù)商業(yè)數(shù)據(jù)主要來(lái)源于公司業(yè)務(wù)平臺(tái)的日志文件以及業(yè)務(wù)處理系統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)的采集通常是借助于網(wǎng)絡(luò)爬蟲(chóng)來(lái)完成的。所謂“網(wǎng)絡(luò)爬蟲(chóng)”，就是一個(gè)在網(wǎng)上到處或定向抓取網(wǎng)頁(yè)數(shù)據(jù)的程序。傳感器是一種檢測(cè)裝置，能感受到被測(cè)量的信息，并能將感受到的信息，按一定規(guī)律變換成為電信號(hào)或其他所需形式的信息輸出，以滿足信息的傳輸、處理、存儲(chǔ)、顯示、記錄和控制等要求。課堂研討在一些專業(yè)二手平臺(tái)上，網(wǎng)售大數(shù)據(jù)采集和定制業(yè)務(wù)頗為盛行。有些從事信息販賣的“商家”，正大肆兜售著覆蓋諸多行業(yè)的用戶信息，內(nèi)容頗為龐雜，可謂五花八門，無(wú)所不包。有的還以行業(yè)明碼標(biāo)價(jià)，成行成市。這些人打著“專業(yè)定制”的旗號(hào)，無(wú)論需要哪類信息，只要客戶提出要求，其都能從網(wǎng)上為你采集到。這些數(shù)據(jù)商的背后隱藏著一條非法獲取用戶數(shù)據(jù)的產(chǎn)業(yè)鏈。他們通過(guò)專業(yè)的“爬蟲(chóng)軟件”，侵入搜索引擎、企業(yè)網(wǎng)頁(yè)、公眾號(hào)及微信朋友圈等，采集各類個(gè)人信息及實(shí)時(shí)數(shù)據(jù)，經(jīng)過(guò)匯總、整理然后生成所謂大數(shù)據(jù)產(chǎn)品出售。思考：如果任由此類行業(yè)繼續(xù)發(fā)展，將會(huì)帶來(lái)怎樣的后果？拓展訓(xùn)練01請(qǐng)?jiān)诰W(wǎng)上查找有關(guān)數(shù)據(jù)采集的企業(yè)應(yīng)用實(shí)例。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目三大數(shù)據(jù)采集與清洗數(shù)據(jù)采集工具及采集方法任務(wù)二任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR近年來(lái)，由于互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)的快速發(fā)展，以及消費(fèi)者需求不斷發(fā)生變化，對(duì)企業(yè)的營(yíng)銷方式也提出了更高的要求，以“產(chǎn)品為中心”的營(yíng)銷觀念和手段無(wú)法適應(yīng)目前市場(chǎng)和消費(fèi)者需求多樣化發(fā)展的形勢(shì)。某煙草企業(yè)就面臨這樣的問(wèn)題，想要找到基于大數(shù)據(jù)采集技術(shù)的企業(yè)營(yíng)銷的創(chuàng)新模式，能夠?qū)崿F(xiàn)對(duì)消費(fèi)者的需求變化及時(shí)把控，真正做到以消費(fèi)者為導(dǎo)向，從而進(jìn)行有針對(duì)性的市場(chǎng)營(yíng)銷活動(dòng)。任務(wù)描述作為一名普通大學(xué)生，小明也想為該煙草公司籌謀劃策，并準(zhǔn)備從尋找合適的數(shù)據(jù)采集工具與方法開(kāi)始入手。在上一任務(wù)中，小明了解到數(shù)據(jù)采集的數(shù)據(jù)源主要分為商業(yè)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、傳感器數(shù)據(jù)三大類，根據(jù)煙草公司的特性，小明想知道，可以采集到商業(yè)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)的工具及方法有哪些呢？任務(wù)描述知識(shí)準(zhǔn)備Scribe是Facebook開(kāi)源的日志收集系統(tǒng)，在Facebook內(nèi)部已經(jīng)得到的應(yīng)用，其體系架構(gòu)如圖3-1所示。它能夠從各種日志源上收集日志，存儲(chǔ)到一個(gè)中央存儲(chǔ)系統(tǒng)（可以是NFS，分布式文件系統(tǒng)等）上，以便于進(jìn)行集中統(tǒng)計(jì)分析處理。（一）Scribe一日志收集系統(tǒng)圖3-1Scribe體系架構(gòu)圖知識(shí)準(zhǔn)備Flume是Cloudera提供的一個(gè)高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。（二）Flume一日志收集系統(tǒng)圖3-2Flume體系架構(gòu)圖知識(shí)準(zhǔn)備Chukwa是一個(gè)開(kāi)源的用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)。這是構(gòu)建在Hadoop的HDFS和Mapreduce框架之上的，繼承了Hadoop的可伸縮性和健壯性。Chukwa還包含了一個(gè)強(qiáng)大和靈活的工具集，可用于展示、監(jiān)控和分析已收集的數(shù)據(jù)。（三）Chukwa一日志收集系統(tǒng)圖3-3Chukwa結(jié)構(gòu)圖知識(shí)準(zhǔn)備二網(wǎng)絡(luò)爬蟲(chóng)（一）Python網(wǎng)絡(luò)爬蟲(chóng)Python語(yǔ)法和動(dòng)態(tài)類型，以及解釋型語(yǔ)言的本質(zhì)，使它成為多數(shù)平臺(tái)上寫腳本和快速開(kāi)發(fā)應(yīng)用的編程語(yǔ)言，隨著版本的不斷更新和語(yǔ)言新功能的添加，逐漸被用于獨(dú)立的、大型項(xiàng)目的開(kāi)發(fā)。網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。傳統(tǒng)爬蟲(chóng)從一個(gè)或若干初始網(wǎng)頁(yè)的URL開(kāi)始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當(dāng)前頁(yè)面上抽取新的URL放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。知識(shí)準(zhǔn)備二網(wǎng)絡(luò)爬蟲(chóng)（二）八爪魚(yú)采集器八爪魚(yú)采集器是一款可視化免編程的網(wǎng)頁(yè)采集軟件，可以從不同網(wǎng)站中快速提取規(guī)范化數(shù)據(jù)，幫助用戶實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)化采集、編輯以及規(guī)范化，降低工作成本。圖3-4八爪魚(yú)采集器工作流程知識(shí)準(zhǔn)備二網(wǎng)絡(luò)爬蟲(chóng)（三）集搜客集搜客采集器是一款簡(jiǎn)單易用的網(wǎng)頁(yè)信息抓取軟件，能夠抓取網(wǎng)頁(yè)文字、圖表、超鏈接等多種網(wǎng)頁(yè)元素。同樣可以通過(guò)簡(jiǎn)單可視化流程進(jìn)行采集，服務(wù)于任何對(duì)數(shù)據(jù)有采集需求的人群。圖3-5集搜客使用向?qū)еR(shí)準(zhǔn)備二網(wǎng)絡(luò)爬蟲(chóng)圖3-6集搜客工作臺(tái)課堂研討哪一種數(shù)據(jù)采集工具更適合小明？理由是什么？拓展訓(xùn)練01嘗試使用至少兩種工具，采集“鏈家”平臺(tái)廣州地區(qū)的租房信息數(shù)據(jù)。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目三大數(shù)據(jù)采集與清洗數(shù)據(jù)清洗任務(wù)三任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR數(shù)據(jù)質(zhì)量的高低嚴(yán)重影響了工業(yè)、經(jīng)濟(jì)等社會(huì)的方方面面，數(shù)據(jù)質(zhì)量問(wèn)題及其所導(dǎo)致的知識(shí)和決策錯(cuò)誤已經(jīng)在全球范圍內(nèi)造成了惡劣的后果，嚴(yán)重困擾著信息社會(huì)，大數(shù)據(jù)的廣泛應(yīng)用對(duì)數(shù)據(jù)質(zhì)量的保障提出了迫切需求。數(shù)據(jù)清洗是數(shù)據(jù)質(zhì)量管理的重要問(wèn)題，其內(nèi)容十分豐富，包括缺失值處理、實(shí)體識(shí)別與真值發(fā)現(xiàn)，錯(cuò)記的主動(dòng)發(fā)現(xiàn)和修復(fù)等問(wèn)題。小明對(duì)此產(chǎn)生了疑惑：什么是數(shù)據(jù)清洗呢？如何清洗“臟數(shù)據(jù)”呢？任務(wù)描述知識(shí)準(zhǔn)備

數(shù)據(jù)清洗是一種對(duì)數(shù)據(jù)進(jìn)行重新審查和校驗(yàn)的過(guò)程，目的在于刪除重復(fù)信息、糾正存在的錯(cuò)誤，并提供數(shù)據(jù)一致性。定義數(shù)據(jù)清洗的概念一知識(shí)準(zhǔn)備“臟數(shù)據(jù)”的類型二殘缺數(shù)據(jù)重復(fù)數(shù)據(jù)“臟數(shù)據(jù)”的類型錯(cuò)誤數(shù)據(jù)這一類數(shù)據(jù)主要是一些應(yīng)該有的信息缺失，如供應(yīng)商的名稱、分公司的名稱、客戶的區(qū)域信息缺失、業(yè)務(wù)系統(tǒng)中主表與明細(xì)表不能匹配等。這一類錯(cuò)誤產(chǎn)生的原因是業(yè)務(wù)系統(tǒng)不夠健全，在接收輸入后沒(méi)有進(jìn)行判斷直接寫入后臺(tái)數(shù)據(jù)庫(kù)造成的，比如：數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串?dāng)?shù)據(jù)后面有一個(gè)回車操作、日期格式不正確、日期越界等。對(duì)于這一類數(shù)據(jù)需將重復(fù)數(shù)據(jù)記錄的所有字段導(dǎo)出來(lái)，讓客戶確認(rèn)并整理。知識(shí)準(zhǔn)備數(shù)據(jù)清洗流程三在實(shí)際操作中，數(shù)據(jù)清洗通常會(huì)占據(jù)分析過(guò)程的50%～80%的時(shí)間。圖3-7為淺層次的數(shù)據(jù)清洗流程圖。知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（一）預(yù)處理階段查看數(shù)據(jù)看元數(shù)據(jù)抽取一部分?jǐn)?shù)據(jù)，使用人工查看方式將數(shù)據(jù)導(dǎo)入處理工具12知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（二）階段1：缺失值清洗缺失值是最常見(jiàn)的數(shù)據(jù)問(wèn)題，處理缺失值也有很多方法。首先，確定缺失值范圍。對(duì)每個(gè)字段都計(jì)算其缺失值比例，然后按照缺失比例和字段重要性，分別制定策略，可用圖3-8表示。圖3-8

數(shù)據(jù)的重要性與缺失率關(guān)系比例圖知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（三）階段2：格式內(nèi)容清洗時(shí)間、日期、數(shù)值、全半角等顯示格式不一致內(nèi)容中含有不該存在的字符內(nèi)容與該字段應(yīng)有內(nèi)容不符知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（四）階段3：邏輯錯(cuò)誤清洗這部分的工作是去掉一些使用簡(jiǎn)單邏輯推理就可以直接發(fā)現(xiàn)問(wèn)題的數(shù)據(jù)，防止分析結(jié)果走偏。主要包含去重、去除不合理值以及修正矛盾內(nèi)容。去重A去除不合理值B修正矛盾內(nèi)容C知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（五）階段4：非需求數(shù)據(jù)清洗在進(jìn)行數(shù)據(jù)清洗時(shí)人們往往會(huì)把看上去不需要但實(shí)際上對(duì)業(yè)務(wù)很重要的字段刪了，又或者某個(gè)字段覺(jué)得有用，但又沒(méi)想好怎么用，不知道是否該刪。此時(shí)，如果數(shù)據(jù)量沒(méi)有大到不刪該字段就無(wú)法處理，則能不刪的字段盡量不刪。此外，應(yīng)該勤備份數(shù)據(jù)，以免誤刪數(shù)據(jù)影響后續(xù)分析。（六）階段5：關(guān)聯(lián)性驗(yàn)證如果數(shù)據(jù)有多個(gè)來(lái)源，則有必要進(jìn)行關(guān)聯(lián)性驗(yàn)證。例如，同時(shí)獲得某品牌汽車的線下購(gòu)買信息，以及相應(yīng)汽車品牌的電話客服問(wèn)卷信息，兩者通過(guò)姓名和手機(jī)號(hào)關(guān)聯(lián)。同一個(gè)人線下登記的車輛信息和線上問(wèn)卷問(wèn)出來(lái)的車輛信息如果不是同一輛，則該條數(shù)據(jù)需要調(diào)整或去除數(shù)據(jù)。課堂研討小明現(xiàn)在收集到一份“鏈家”平臺(tái)廣州地區(qū)的房屋出租信息，但不知道該用什么工具對(duì)這份數(shù)據(jù)進(jìn)行清洗，請(qǐng)你幫幫他。拓展訓(xùn)練01請(qǐng)使用至少兩種工具對(duì)采集后的“鏈家”平臺(tái)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目三大數(shù)據(jù)采集與清洗認(rèn)識(shí)Python系統(tǒng)任務(wù)五任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述

網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。爬蟲(chóng)的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾與主題無(wú)關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊(duì)列。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁(yè)URL，并重復(fù)上述過(guò)程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止。另外，所有被爬蟲(chóng)抓取的網(wǎng)頁(yè)將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過(guò)濾，并建立索引，以便之后的查詢和檢索；對(duì)于聚焦爬蟲(chóng)來(lái)說(shuō)，這一過(guò)程所得到的分析結(jié)果還可能對(duì)以后的抓取過(guò)程給出反饋和指導(dǎo)。

知識(shí)準(zhǔn)備

此次實(shí)驗(yàn)以“京東”財(cái)務(wù)指標(biāo)數(shù)據(jù)采集為例。登錄進(jìn)入系統(tǒng)后，默認(rèn)進(jìn)入“案例一單項(xiàng)實(shí)訓(xùn)——數(shù)據(jù)采集”中的“任務(wù)一：‘京東’財(cái)務(wù)指標(biāo)數(shù)據(jù)采集”實(shí)驗(yàn)京東財(cái)務(wù)數(shù)據(jù)采集一知識(shí)準(zhǔn)備點(diǎn)擊【新建】按鈕新增項(xiàng)目，點(diǎn)擊選中項(xiàng)目名稱，鼠標(biāo)右鍵，對(duì)項(xiàng)目進(jìn)行重命名，完成后點(diǎn)擊【保存】保存數(shù)據(jù)采集過(guò)程二步驟1知識(shí)準(zhǔn)備

點(diǎn)擊【注冊(cè)表名】，彈出注冊(cè)數(shù)據(jù)表彈窗，如在彈窗中進(jìn)行數(shù)據(jù)存儲(chǔ)表注冊(cè)。在輸入框中輸入設(shè)計(jì)的表名采集過(guò)程二步驟2知識(shí)準(zhǔn)備

點(diǎn)擊【數(shù)據(jù)向?qū)А?，彈出關(guān)鍵詞替換彈窗，根據(jù)任務(wù)描述要求，對(duì)每一關(guān)鍵詞填入正確的參數(shù)，然后點(diǎn)擊【確認(rèn)】，傳入?yún)?shù)數(shù)據(jù)。采集過(guò)程二步驟3知識(shí)準(zhǔn)備

點(diǎn)擊【保存】保存數(shù)據(jù)，然后點(diǎn)擊【執(zhí)行】，執(zhí)行采集數(shù)據(jù)代碼，執(zhí)行完成后，選中項(xiàng)目，鼠標(biāo)右鍵，通過(guò)【查看結(jié)果】，進(jìn)行結(jié)果確認(rèn)。采集過(guò)程二步驟4知識(shí)準(zhǔn)備

點(diǎn)擊【導(dǎo)出數(shù)據(jù)】，可將儲(chǔ)存數(shù)據(jù)的數(shù)據(jù)表導(dǎo)出，點(diǎn)擊【導(dǎo)出】按鈕下載數(shù)據(jù)。采集過(guò)程二步驟5課堂研討在熟悉平臺(tái)操作的過(guò)程中遇到了哪些困難？又是如何解決的呢？拓展訓(xùn)練01你能從采集到的京東公司財(cái)務(wù)數(shù)據(jù)中發(fā)現(xiàn)哪些信息呢？謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目三大數(shù)據(jù)采集與清洗“鏈家”租房數(shù)據(jù)清洗任務(wù)五任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述

“廣州本地寶”作為廣州地區(qū)的生活服務(wù)類公眾號(hào)，目前策劃推出為廣大“打工人”租房分析主題的推文。在對(duì)各大房源發(fā)布平臺(tái)進(jìn)行分析后，選擇了“鏈家”平臺(tái)數(shù)據(jù)進(jìn)行分析，對(duì)租房源數(shù)據(jù)試采集后，發(fā)現(xiàn)采集回來(lái)的數(shù)據(jù)“良莠不齊”，為了使租房圖鑒更具可信度，請(qǐng)作為負(fù)責(zé)此次主題推文租房數(shù)據(jù)分析的小明，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，提升數(shù)據(jù)質(zhì)量。

知識(shí)準(zhǔn)備

數(shù)據(jù)清洗的目的有兩個(gè)，第一是通過(guò)清洗讓臟數(shù)據(jù)變得可用。無(wú)論是線下人工填寫的手工表，還是線上通過(guò)工具收集到的數(shù)據(jù)，又或者是CRM系統(tǒng)中導(dǎo)出的數(shù)據(jù)。并非所有收集到的數(shù)據(jù)都能直接用于數(shù)據(jù)分析。數(shù)據(jù)清洗數(shù)據(jù)清洗目的一知識(shí)準(zhǔn)備

新建項(xiàng)目并修改項(xiàng)目名稱，將“鏈家租房房源信息”數(shù)據(jù)集導(dǎo)入MySQL數(shù)據(jù)庫(kù)中，表名建議命名為“house_學(xué)生賬號(hào)”，為后續(xù)數(shù)據(jù)處理做好準(zhǔn)備。注冊(cè)存儲(chǔ)數(shù)據(jù)表名，表名命名為“house_學(xué)生賬號(hào)”。清洗過(guò)程二新建表知識(shí)準(zhǔn)備根據(jù)【數(shù)據(jù)向?qū)А刻崾咎顚憽霸O(shè)置儲(chǔ)存導(dǎo)入數(shù)據(jù)的數(shù)據(jù)表名”參數(shù)，填寫完成后點(diǎn)擊保存并執(zhí)行。清洗過(guò)程二導(dǎo)入數(shù)據(jù)知識(shí)準(zhǔn)備

點(diǎn)擊【數(shù)據(jù)向?qū)А?，彈出關(guān)鍵詞替換彈窗，根據(jù)任務(wù)描述要求，對(duì)每一關(guān)鍵詞填入正確的參數(shù)，然后點(diǎn)擊【確認(rèn)】，傳入?yún)?shù)數(shù)據(jù)。清洗過(guò)程二填寫參數(shù)知識(shí)準(zhǔn)備

本案例的缺失值主要分布在“房源標(biāo)題”、“地鐵”這兩個(gè)字段。由于房源標(biāo)題的缺失，相應(yīng)的房子的房源上架時(shí)間、價(jià)格、租賃方式、房型、樓層、面積（m2）、朝向等字段數(shù)據(jù)也會(huì)缺失，可通過(guò)刪除房源標(biāo)題為空的數(shù)據(jù)的方法對(duì)缺失值處理。清洗過(guò)程二缺失值知識(shí)準(zhǔn)備

主要對(duì)“鏈家租房房源信息”表的重復(fù)值進(jìn)行去重。由表可知，頁(yè)面網(wǎng)址是表的主鍵（即每一數(shù)值都是唯一的），首先需查詢是否有重復(fù)值，此外，對(duì)數(shù)據(jù)進(jìn)行分析可知，在頁(yè)面網(wǎng)址不同的情況下，房源還是存在較多的相同數(shù)據(jù)，可能平臺(tái)的不同“管家”重復(fù)上傳了同一房源，所以需對(duì)房源標(biāo)題進(jìn)行查重，考慮可能存在同一小區(qū)同一棟樓的情況，加上“房型”字段作為條件，判斷房源數(shù)據(jù)是否重復(fù)。清洗過(guò)程二重復(fù)值處理知識(shí)準(zhǔn)備

對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理后，可以看到部分?jǐn)?shù)據(jù)仍無(wú)法直接使用。例如“價(jià)格”字段中的數(shù)據(jù)包括了“（月付價(jià)）、分享、關(guān)注的房源請(qǐng)?jiān)阪溂褹PP中查看、關(guān)注”等無(wú)用數(shù)據(jù)，因此將價(jià)格中的金額單獨(dú)提出處理，新增“租金”字段儲(chǔ)存；“朝向”字段的值包括了“朝向：”這些數(shù)據(jù)，為了更改直接對(duì)朝向這一字段進(jìn)行分析，需刪除此類臟數(shù)據(jù)。清洗過(guò)程二字段抽取知識(shí)準(zhǔn)備

由于計(jì)劃給預(yù)算在3000至6000之間的“打工人”提供租房建議，將滿足該條件的房源單獨(dú)提取出來(lái)，同時(shí)，房源信息須包括地鐵站信息，才能給“打工人”進(jìn)行通勤時(shí)間判斷提供支持。清洗過(guò)程二記錄抽取課堂研討小明發(fā)現(xiàn)經(jīng)過(guò)缺失值和重復(fù)值處理后的數(shù)據(jù)仍存在空格，應(yīng)該怎么做才能讓數(shù)據(jù)排列整齊呢？請(qǐng)完成“任務(wù)四：空格值處理”。拓展訓(xùn)練01查看各字段的數(shù)據(jù)分布狀況（如地鐵、價(jià)格等），完成“隨機(jī)抽取”，隨機(jī)抽取100條數(shù)據(jù)存儲(chǔ)到新表中并進(jìn)行分析。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目四數(shù)據(jù)存儲(chǔ)和管理數(shù)據(jù)存儲(chǔ)概述任務(wù)一任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述自人類誕生以來(lái)，數(shù)據(jù)的存儲(chǔ)就一直伴隨人們左右。最早的原始人類采用結(jié)繩記事的方式實(shí)現(xiàn)數(shù)據(jù)的記錄與存儲(chǔ)，后來(lái)商代利用甲骨文記錄信息，西周和春秋時(shí)期則利用竹簡(jiǎn)作為信息記錄的載體，再到東漢造紙術(shù)的成功出現(xiàn)都持續(xù)地體現(xiàn)了數(shù)據(jù)存儲(chǔ)對(duì)人類生活的重要性。從公元1900年到現(xiàn)在，人們相對(duì)較快地經(jīng)歷了機(jī)器打孔、電子存儲(chǔ)計(jì)算器、在線數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)、多類型數(shù)據(jù)處理5個(gè)階段后，正式進(jìn)入了大數(shù)據(jù)處理階段。小明不禁有些疑惑，該怎樣向?qū)W弟學(xué)妹們解釋數(shù)據(jù)存儲(chǔ)的概念呢？數(shù)據(jù)存儲(chǔ)的方式又有哪些？它們有什么異同呢？知識(shí)準(zhǔn)備

數(shù)據(jù)存儲(chǔ)是指數(shù)據(jù)流在加工過(guò)程中產(chǎn)生的臨時(shí)文件或加工過(guò)程中需要查找的信息。定義數(shù)據(jù)存儲(chǔ)的概念一數(shù)據(jù)以某種格式記錄在計(jì)算機(jī)內(nèi)部或外部存儲(chǔ)介質(zhì)上。常用的存儲(chǔ)介質(zhì)為磁盤和磁帶。知識(shí)準(zhǔn)備數(shù)據(jù)存儲(chǔ)的方式二（一）DAS（DirectAttachedStorage）直接附加存儲(chǔ)

DAS這種存儲(chǔ)方式與普通的PC存儲(chǔ)架構(gòu)一樣，外部存儲(chǔ)設(shè)備都是直接掛接在服務(wù)器內(nèi)部總線上，數(shù)據(jù)存儲(chǔ)設(shè)備是整個(gè)服務(wù)器結(jié)構(gòu)的一部分。

DAS存儲(chǔ)方式主要適用的環(huán)境小型網(wǎng)絡(luò)地理位置分散的網(wǎng)絡(luò)提高DAS存儲(chǔ)性能特殊應(yīng)用服務(wù)器知識(shí)準(zhǔn)備數(shù)據(jù)存儲(chǔ)的方式二（二）NAS（NetworkAttachedStorage）數(shù)據(jù)存儲(chǔ)方式

NAS（網(wǎng)絡(luò)附加存儲(chǔ)）方式全面改進(jìn)了以前低效的DAS存儲(chǔ)方式。NAS是通過(guò)網(wǎng)線連接的磁盤陣列，具備磁盤陣列的所有主要特征：高容量、高效能、高可靠。NAS是部件級(jí)的存儲(chǔ)方法。NAS的缺點(diǎn)真正的即插即用存儲(chǔ)部署簡(jiǎn)單存儲(chǔ)設(shè)備位置非常靈活管理容易且成本低NAS的優(yōu)點(diǎn)存儲(chǔ)性能較低可靠度不高知識(shí)準(zhǔn)備數(shù)據(jù)存儲(chǔ)的方式二（三）SAN（StorageAreaNetwork）存儲(chǔ)方式

SAN存儲(chǔ)方式創(chuàng)造了存儲(chǔ)的網(wǎng)絡(luò)化。存儲(chǔ)網(wǎng)絡(luò)化順應(yīng)了計(jì)算機(jī)服務(wù)器體系結(jié)構(gòu)網(wǎng)絡(luò)化的趨勢(shì)。SAN的支撐技術(shù)是光纖通道（FCFiberChannel）技術(shù)。它是ANSI為網(wǎng)絡(luò)和通道/O接口建立的一個(gè)標(biāo)準(zhǔn)集成。SAN的硬件基礎(chǔ)設(shè)施是光纖通道，用光纖通道構(gòu)建的SAN由以下三個(gè)部分組成：包括備份軟件、存儲(chǔ)資源管理軟件和存儲(chǔ)設(shè)備管理軟件

包括磁帶、磁盤和光盤庫(kù)等

包括主機(jī)總線適配卡、驅(qū)動(dòng)程序、光纜、集線器、交換機(jī)、光纖通道和SCSI間的橋接器1.存儲(chǔ)和備份設(shè)備2.光纖通道網(wǎng)絡(luò)連接部件3.應(yīng)用和管理軟件知識(shí)準(zhǔn)備數(shù)據(jù)存儲(chǔ)的方式二（三）SAN（StorageAreaNetwork）存儲(chǔ)方式

SAN的優(yōu)勢(shì)網(wǎng)絡(luò)部署容易高速存儲(chǔ)性能因?yàn)镾AN采用了光纖通道技術(shù)，所以它具有更高的存儲(chǔ)帶寬，存儲(chǔ)性能明顯提高。SAN的光纖通道使用全雙工串行通信原理傳輸數(shù)據(jù)，傳輸速率高達(dá)1062.5Mb/s。良好的擴(kuò)展能力由于SAN采用了網(wǎng)絡(luò)結(jié)構(gòu)，擴(kuò)展能力更強(qiáng)。光纖接口提供了10公里的連接距離，這使得實(shí)現(xiàn)物理上分離，不在本地機(jī)房的存儲(chǔ)變得非常容易。知識(shí)準(zhǔn)備數(shù)據(jù)存儲(chǔ)方式的比較三

DAS、NAS和SAN三種存儲(chǔ)方式比較存儲(chǔ)應(yīng)用最大的特點(diǎn)是沒(méi)有標(biāo)準(zhǔn)的體系結(jié)構(gòu)，這三種存儲(chǔ)方式共存，互相補(bǔ)充，已經(jīng)很好滿足企業(yè)信息化應(yīng)用。從連接方式上看：DASNASSAN采用了存儲(chǔ)設(shè)備直接連接應(yīng)用服務(wù)器，具有一定的靈活性和限制性通過(guò)網(wǎng)絡(luò)（TCPIP，ATMFDD）技術(shù)連接存儲(chǔ)設(shè)備和應(yīng)用服務(wù)器，存儲(chǔ)設(shè)備位置靈活，隨著萬(wàn)兆網(wǎng)的出現(xiàn)，傳輸速率有了很大的提高通過(guò)光纖通道（FibreChannel）技術(shù)連接存儲(chǔ)設(shè)備和應(yīng)用服務(wù)器，具有很好的傳輸速率和擴(kuò)展性能課堂研討數(shù)據(jù)存儲(chǔ)方式的變化給人們的生活帶來(lái)了哪些變化？拓展訓(xùn)練01簡(jiǎn)述你所了解的生活中數(shù)據(jù)存儲(chǔ)的情形。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目四數(shù)據(jù)存儲(chǔ)和管理傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理技術(shù)任務(wù)二任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR小明發(fā)現(xiàn)，由于云計(jì)算、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)的發(fā)展使人類社會(huì)的數(shù)據(jù)產(chǎn)生方式發(fā)生了變化，社會(huì)數(shù)據(jù)的規(guī)模正在以前所未有的速度增長(zhǎng)，數(shù)據(jù)的種類不勝枚舉。這種海量、異構(gòu)的數(shù)據(jù)不僅改變?nèi)藗兊纳?，也帶?lái)了數(shù)據(jù)存儲(chǔ)技術(shù)的變革與發(fā)展。那么在傳統(tǒng)的數(shù)據(jù)存儲(chǔ)中用到了哪些管理技術(shù)呢？任務(wù)描述知識(shí)準(zhǔn)備文件系統(tǒng)是操作系統(tǒng)用于明確存儲(chǔ)設(shè)備（常見(jiàn)的是磁盤，也有基于NANDFlash的固態(tài)硬盤）或分區(qū)上的文件的方法和數(shù)據(jù)結(jié)構(gòu)；即在存儲(chǔ)設(shè)備上組織文件的方法。操作系統(tǒng)中負(fù)責(zé)管理和存儲(chǔ)文件信息的軟件機(jī)構(gòu)稱為文件管理系統(tǒng)，簡(jiǎn)稱文件系統(tǒng)。定義一文件系統(tǒng)文件系統(tǒng)由三部分組成：文件系統(tǒng)的接口對(duì)對(duì)象操縱和管理的軟件集合對(duì)象及屬性知識(shí)準(zhǔn)備二關(guān)系數(shù)據(jù)庫(kù)

目前市場(chǎng)上常見(jiàn)的關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品包括Oracle、SQLServer、MySQL、DB2等。一個(gè)關(guān)系數(shù)據(jù)庫(kù)可以看成是許多關(guān)系表的集合，每個(gè)關(guān)系表可以看成一張二維表格，如表4-1學(xué)生信息表所示。知識(shí)準(zhǔn)備二關(guān)系數(shù)據(jù)庫(kù)

關(guān)系數(shù)據(jù)庫(kù)的特點(diǎn)序號(hào)項(xiàng)目?jī)?nèi)容1存儲(chǔ)方式采用表格的儲(chǔ)存方式，數(shù)據(jù)以行和列的方式進(jìn)行存儲(chǔ)，要讀取和查詢都十分方便2存儲(chǔ)結(jié)構(gòu)按照結(jié)構(gòu)化的方法存儲(chǔ)數(shù)據(jù)，每個(gè)數(shù)據(jù)表的結(jié)構(gòu)都必須事先定義好，然后再根據(jù)表的結(jié)構(gòu)存入數(shù)據(jù)，但數(shù)據(jù)模型不夠靈活，存入后修改困難3存儲(chǔ)規(guī)范把數(shù)據(jù)按照最小關(guān)系表的形式進(jìn)行存儲(chǔ)。當(dāng)存在多個(gè)表時(shí)，表和表之間通過(guò)主外鍵關(guān)系發(fā)生關(guān)聯(lián)，并通過(guò)連接查詢獲得相關(guān)結(jié)果。4擴(kuò)展方式一般的關(guān)系型數(shù)據(jù)庫(kù)只具備有限的縱向擴(kuò)展能力5查詢方式采用結(jié)構(gòu)化查詢語(yǔ)言（即SQL：StructuredQueryLanguage）來(lái)對(duì)數(shù)據(jù)庫(kù)進(jìn)行查詢6事務(wù)性可以支持事務(wù)的ACID特性（原子性（Atomicity）、一致性（Consistency）、隔離性（Isolation）、持久性（Durability））7連接方式不同的關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品都遵守一個(gè)統(tǒng)一的數(shù)據(jù)庫(kù)連接接口標(biāo)準(zhǔn)，即ODBC（OpenDatabaseConnectivity）知識(shí)準(zhǔn)備三數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)（DataWarehouse）是一個(gè)數(shù)據(jù)集合，用于支持管理決策。特點(diǎn)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織，一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)。面向主題在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)時(shí)，會(huì)每隔一定的時(shí)間（比如每周、每天或每小時(shí)）從數(shù)據(jù)源抽取數(shù)據(jù)并加載到數(shù)據(jù)倉(cāng)庫(kù)。反映歷史變化數(shù)據(jù)倉(cāng)庫(kù)是不可更新的，數(shù)據(jù)倉(cāng)庫(kù)主要是為決策分析提供數(shù)據(jù)，所涉及的操作主要是數(shù)據(jù)的查詢。相對(duì)穩(wěn)定數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來(lái)自于分散的操作型數(shù)據(jù)，將所需數(shù)據(jù)從原來(lái)的數(shù)據(jù)中抽取出來(lái)，進(jìn)行加工與集成、統(tǒng)一與綜合之后才能進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)。集成知識(shí)準(zhǔn)備三數(shù)據(jù)倉(cāng)庫(kù)

如圖4-1所示，一個(gè)典型的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲(chǔ)和管理、OLAP服務(wù)器、前端工具和應(yīng)用等四個(gè)部分。圖4-1數(shù)據(jù)倉(cāng)庫(kù)體系架構(gòu)知識(shí)準(zhǔn)備四并行數(shù)據(jù)庫(kù)定義：在無(wú)共享的體系結(jié)構(gòu)中進(jìn)行數(shù)據(jù)操作的數(shù)據(jù)庫(kù)系統(tǒng)。關(guān)系表的水平劃分和SQL查詢的分區(qū)執(zhí)行兩個(gè)關(guān)鍵技術(shù)高性能和高可用性目標(biāo)沒(méi)有較好的彈性系統(tǒng)的容錯(cuò)性較差主要缺點(diǎn)并行數(shù)據(jù)庫(kù)課堂研討傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與管理技術(shù)有哪些特點(diǎn)？拓展訓(xùn)練01請(qǐng)?jiān)诰W(wǎng)上查找有關(guān)傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與管理技術(shù)的應(yīng)用實(shí)例。課堂研討比較傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與管理技術(shù)與大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)與管理技術(shù)有什么異同。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目四數(shù)據(jù)存儲(chǔ)和管理大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)和管理技術(shù)任務(wù)三任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR存儲(chǔ)本身就是大數(shù)據(jù)中一個(gè)很重要的組成部分，隨著大數(shù)據(jù)技術(shù)的到來(lái)，對(duì)于結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)也呈現(xiàn)出新的要求，特別對(duì)統(tǒng)一存儲(chǔ)也有了新的變化。大數(shù)據(jù)集容易消耗巨大的時(shí)間和成本，從而造成非結(jié)構(gòu)化數(shù)據(jù)的雪崩。也即是說(shuō)如果沒(méi)有合適的大數(shù)據(jù)存儲(chǔ)方式，就不能輕松訪問(wèn)或部署大量數(shù)據(jù)。于是小明想知道大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)與管理技術(shù)優(yōu)勢(shì)是怎樣的呢？任務(wù)描述知識(shí)準(zhǔn)備

分布式文件系統(tǒng)（DistributedFileSystem）是一種通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)文件在多臺(tái)主機(jī)上進(jìn)行分布式存儲(chǔ)的文件系統(tǒng)。定義分布式文件系統(tǒng)一作用：可以有效解決數(shù)據(jù)的存儲(chǔ)和管理難題：將固定于某個(gè)地點(diǎn)的某個(gè)文件系統(tǒng)，擴(kuò)展到任意多個(gè)地點(diǎn)/多個(gè)文件系統(tǒng)，眾多的節(jié)點(diǎn)組成一個(gè)文件系統(tǒng)網(wǎng)絡(luò)。知識(shí)準(zhǔn)備分布式文件系統(tǒng)一分布式文件系統(tǒng)的發(fā)展的三個(gè)階段第一階段是網(wǎng)絡(luò)文件系統(tǒng)第二階段是共享SAN文件系統(tǒng)第三階段是面向?qū)ο蟮牟⑿形募到y(tǒng)知識(shí)準(zhǔn)備分布式文件系統(tǒng)一圖4-2分布式文件系統(tǒng)的整體結(jié)構(gòu)知識(shí)準(zhǔn)備NewSQL和NoSQL數(shù)據(jù)庫(kù)二（一）NewSQL數(shù)據(jù)庫(kù)

NewSQL是對(duì)各種新的可擴(kuò)展、高性能數(shù)據(jù)庫(kù)的簡(jiǎn)稱，這類數(shù)據(jù)庫(kù)不僅具有對(duì)海量數(shù)據(jù)的存儲(chǔ)管理能力，還保持了傳統(tǒng)數(shù)據(jù)庫(kù)支持ACID和SQL等特性。定義目前具有代表性的NewSQL數(shù)據(jù)庫(kù)主要包括Spanner、Clustrix、GenieDB、ScalArc、Schooner、VoltDB、RethinkDB、ScaleDB、Akiban、CodeFutures、ScaleBase、Translattice、NimbusDB、Drizzle、Tokutek、JustOneDB等。知識(shí)準(zhǔn)備NewSQL和NoSQL數(shù)據(jù)庫(kù)二（二）NoSQL數(shù)據(jù)庫(kù)

NoSQL是一種不同于關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)管理系統(tǒng)設(shè)計(jì)方式，是對(duì)非關(guān)系型數(shù)據(jù)庫(kù)的統(tǒng)稱，它所采用的數(shù)據(jù)模型并非傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的關(guān)系模型，而是類似鍵/值、列族、文檔等非關(guān)系模型。定義NoSQL數(shù)據(jù)庫(kù)沒(méi)有固定的表結(jié)構(gòu)，通常也不存在連接操作，也沒(méi)有嚴(yán)格遵守ACID約束，因此，與關(guān)系數(shù)據(jù)庫(kù)相比，NoSQL具有靈活的水平可擴(kuò)展性，可以支持海量數(shù)據(jù)存儲(chǔ)。知識(shí)準(zhǔn)備NewSQL和NoSQL數(shù)據(jù)庫(kù)二（三）大數(shù)據(jù)引發(fā)數(shù)據(jù)庫(kù)架構(gòu)變革美國(guó)著名數(shù)據(jù)庫(kù)科學(xué)家邁克爾·斯通布雷克（Michael·Stonebraker）指出，行業(yè)技術(shù)的發(fā)展趨勢(shì)是由一種架構(gòu)支持所有應(yīng)用轉(zhuǎn)變?yōu)橛枚喾N架構(gòu)支持多類應(yīng)用。在大數(shù)據(jù)和云計(jì)算的背景下，這一理論導(dǎo)致了數(shù)據(jù)庫(kù)市場(chǎng)的大裂變：數(shù)據(jù)庫(kù)市場(chǎng)分化為三大陣營(yíng)，包括OldSQL（傳統(tǒng)數(shù)據(jù)庫(kù)）、NewSQL（新型數(shù)據(jù)庫(kù)）和NoSQL（非關(guān)系型數(shù)據(jù)庫(kù)）。邁克爾·斯通布雷克知識(shí)準(zhǔn)備NewSQL和NoSQL數(shù)據(jù)庫(kù)二（三）大數(shù)據(jù)引發(fā)數(shù)據(jù)庫(kù)架構(gòu)變革圖4-3大數(shù)據(jù)引發(fā)數(shù)據(jù)庫(kù)架構(gòu)變革知識(shí)準(zhǔn)備云數(shù)據(jù)庫(kù)三研究機(jī)構(gòu)IDC預(yù)言，大數(shù)據(jù)將按照每年60%的速度增加，其中包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。如何方便、快捷、低成本地存儲(chǔ)這些海量數(shù)據(jù)，是許多企業(yè)和機(jī)構(gòu)面臨的一個(gè)嚴(yán)峻挑戰(zhàn)。云數(shù)據(jù)庫(kù)就是一個(gè)非常好的解決方案。通過(guò)云技術(shù)推出更多可在公有云中托管數(shù)據(jù)庫(kù)的方法，將用戶從繁瑣的數(shù)據(jù)庫(kù)硬件定制中解放出來(lái)讓用戶擁有強(qiáng)大的數(shù)據(jù)庫(kù)擴(kuò)展能力，滿足海量數(shù)據(jù)的存儲(chǔ)需求能夠很好地滿足企業(yè)動(dòng)態(tài)變化的數(shù)據(jù)存儲(chǔ)需求和中小企業(yè)的低成本數(shù)據(jù)存儲(chǔ)需求云數(shù)據(jù)庫(kù)優(yōu)點(diǎn)123知識(shí)準(zhǔn)備云數(shù)據(jù)庫(kù)三圖4-4關(guān)系數(shù)據(jù)庫(kù)、NoSQL、NewSQL和云數(shù)據(jù)庫(kù)產(chǎn)品分類課堂研討比較傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與管理技術(shù)與大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)與管理技術(shù)有什么異同。拓展訓(xùn)練01請(qǐng)?jiān)诰W(wǎng)上查找有關(guān)大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)與管理技術(shù)的應(yīng)用實(shí)例。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目四百度網(wǎng)盤存儲(chǔ)服務(wù)百度網(wǎng)盤存儲(chǔ)服務(wù)任務(wù)四任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述

網(wǎng)盤，是由互聯(lián)網(wǎng)公司推出的在線存儲(chǔ)服務(wù)，能為用戶提供文件的存儲(chǔ)、訪問(wèn)、備份、共享等文件管理等功能。自2012年百度推出百度網(wǎng)盤之后，各大互聯(lián)網(wǎng)移動(dòng)公司都推出了自己的網(wǎng)盤服務(wù)，如115網(wǎng)盤、騰訊微云、金山快盤、華為網(wǎng)盤等，網(wǎng)盤服務(wù)極大地方便了信息化時(shí)代人們的生活。

知識(shí)準(zhǔn)備

百度網(wǎng)盤個(gè)人版是百度面向個(gè)人用戶的網(wǎng)盤存儲(chǔ)服務(wù)，滿足用戶工作生活各類需求，已上線的產(chǎn)品包括網(wǎng)盤、個(gè)人主頁(yè)、群組功能、通訊錄、相冊(cè)、人臉識(shí)別、文章、記事本、短信、手機(jī)找回。百度網(wǎng)盤功能百度網(wǎng)盤的功能一知識(shí)準(zhǔn)備

在瀏覽器中輸入百度網(wǎng)盤網(wǎng)址（/），并登錄百度網(wǎng)盤。可選用賬號(hào)密碼登錄也通過(guò)掃描二維碼的方式進(jìn)行登錄。網(wǎng)盤存儲(chǔ)二存儲(chǔ)知識(shí)準(zhǔn)備

點(diǎn)擊上傳按鈕將已準(zhǔn)備好的文件“演示文稿.pptx”上傳至網(wǎng)盤中網(wǎng)盤存儲(chǔ)二上傳知識(shí)準(zhǔn)備

鼠標(biāo)移至想要下載的文件，點(diǎn)擊“更多”選擇“下載”即可將該文件下載至本地。也可通過(guò)該方法對(duì)文件進(jìn)行管理，如移動(dòng)或復(fù)制到其他文件夾、重命名與刪除。網(wǎng)盤存儲(chǔ)二上傳課堂研討請(qǐng)登錄百度智能云網(wǎng)站（/），了解相關(guān)云服務(wù)及相應(yīng)產(chǎn)品。拓展訓(xùn)練01請(qǐng)上網(wǎng)查詢其他云服務(wù)（如阿里云、騰訊云等）的相關(guān)資料。謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目五數(shù)據(jù)挖掘和分析數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法任務(wù)一任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述小明經(jīng)常去超市并發(fā)現(xiàn)一個(gè)規(guī)律，他在購(gòu)物清單上列舉好的某些商品可能會(huì)被超市阿姨擺放在相鄰的區(qū)域。例如，面包柜臺(tái)旁邊會(huì)擺上黃油、面條柜臺(tái)附近一定會(huì)有老干媽等等。這樣的物品擺放會(huì)讓他的購(gòu)物過(guò)程更加快捷、輕松。那么如何知道哪些物品該擺放在一塊？又或者用戶在購(gòu)買某一個(gè)商品的情況下購(gòu)買另一個(gè)商品的概率有多大？這就要利用關(guān)聯(lián)數(shù)據(jù)挖掘的相關(guān)算法來(lái)解決。知識(shí)準(zhǔn)備數(shù)據(jù)挖掘一（一）數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘（DataMining），又稱之為數(shù)據(jù)庫(kù)文件的專業(yè)知識(shí)發(fā)覺(jué)（Knowledge-DiscoveryinDatabases，KDD），它是指從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中信息的過(guò)程。定義數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān)，并通過(guò)統(tǒng)計(jì)、在線分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)和模式識(shí)別等諸多方法來(lái)實(shí)現(xiàn)上述目標(biāo)。知識(shí)準(zhǔn)備數(shù)據(jù)挖掘一（二）數(shù)據(jù)挖掘體系知識(shí)準(zhǔn)備數(shù)據(jù)挖掘一（三）數(shù)據(jù)挖掘的流程KDD過(guò)程迭代序列1數(shù)據(jù)清理消除噪聲和刪除不一致數(shù)據(jù)2數(shù)據(jù)集成多種數(shù)據(jù)源可以組合在一起3數(shù)據(jù)選擇從數(shù)據(jù)庫(kù)中提取與分析任務(wù)相關(guān)數(shù)據(jù)4數(shù)據(jù)變換通過(guò)匯總或聚集操作，把數(shù)據(jù)變換和統(tǒng)一成適合挖掘的形式5數(shù)據(jù)挖掘使用一定的模型算法提取數(shù)據(jù)模式6模式評(píng)估根據(jù)某種興趣度度量，識(shí)別代表知識(shí)的真正有趣的模式7知識(shí)表示使用可視化和知識(shí)表示技術(shù)，向用戶提供挖掘的知識(shí)知識(shí)準(zhǔn)備數(shù)據(jù)挖掘一（三）數(shù)據(jù)挖掘的流程

圖5-1數(shù)據(jù)挖掘視為知識(shí)發(fā)現(xiàn)過(guò)程的一個(gè)步驟知識(shí)準(zhǔn)備數(shù)據(jù)挖掘一（四）數(shù)據(jù)挖掘的應(yīng)用市場(chǎng)分析和管理1風(fēng)險(xiǎn)分析和管理2欺騙檢測(cè)和異常模式的監(jiān)測(cè)（孤立點(diǎn)）3文本挖掘4知識(shí)準(zhǔn)備機(jī)器學(xué)習(xí)二（一）機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科。涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑，其應(yīng)用遍及人工智能的各個(gè)領(lǐng)域。定義利用機(jī)器學(xué)習(xí)的模型算法，從現(xiàn)實(shí)世界的海量數(shù)據(jù)里提煉出有價(jià)值的知識(shí)，規(guī)則和模式。并應(yīng)用到前臺(tái)系統(tǒng)，輔助業(yè)務(wù)的進(jìn)行。例如：用戶推薦、預(yù)測(cè)結(jié)果、精準(zhǔn)分類等，使到業(yè)務(wù)能產(chǎn)生更大的效益。知識(shí)準(zhǔn)備機(jī)器學(xué)習(xí)二（二）機(jī)器學(xué)習(xí)的方法監(jiān)督學(xué)習(xí)（1）KNN（K近鄰法）（2）決策樹(shù)（3）支持向量機(jī)（4）樸素貝葉斯（5）Logistics回歸無(wú)監(jiān)督式學(xué)習(xí)（1）層次聚類（2）k均值聚類（3）PCA（主成分分析）半監(jiān)督式學(xué)習(xí)（1）基于概率的算法；（2）在現(xiàn)有監(jiān)督算法基礎(chǔ)上作修改的方法；（3）直接依賴于聚類假設(shè)的方法；（4）基于多視圖的方法；（5）基于圖的方法。強(qiáng)化學(xué)習(xí)（1）Q-Learning（2）時(shí)間差學(xué)習(xí)知識(shí)準(zhǔn)備數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的關(guān)系三（一）相同點(diǎn)01020304都使用數(shù)據(jù)都用于解決復(fù)雜的問(wèn)題均屬于數(shù)據(jù)科學(xué)的范疇機(jī)器學(xué)習(xí)有時(shí)被用作進(jìn)行有用數(shù)據(jù)挖掘的一種手段知識(shí)準(zhǔn)備數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的關(guān)系三（二）不同點(diǎn)聯(lián)系能力實(shí)用性因素目的使用時(shí)間課堂研討我們寫一段程序讓計(jì)算機(jī)自己進(jìn)行一個(gè)學(xué)習(xí)過(guò)程，直到達(dá)到一個(gè)滿意程度。那么學(xué)習(xí)的目的是什么？怎樣學(xué)習(xí)？滿意程度又是如何定義的呢？拓展訓(xùn)練01請(qǐng)闡述數(shù)據(jù)挖掘的概念。02機(jī)器學(xué)習(xí)領(lǐng)域有幾種主要學(xué)習(xí)方式？03請(qǐng)闡述數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的關(guān)系？謝謝觀看大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目五數(shù)據(jù)挖掘和分析大數(shù)據(jù)分析技術(shù)任務(wù)二任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR與往屆世界杯不同的是：數(shù)據(jù)分析成為巴西世界杯賽事外的精彩看點(diǎn)。伴隨賽場(chǎng)上球員的奮力角逐，大數(shù)據(jù)也在全力演繹世界杯背后的分析故事。一向以嚴(yán)謹(jǐn)著稱的德國(guó)隊(duì)引入專門處理大數(shù)據(jù)的足球解決方案，進(jìn)行比賽數(shù)據(jù)分析，優(yōu)化球隊(duì)配置，并通過(guò)分析對(duì)手?jǐn)?shù)據(jù)找到比賽的“制敵”方式；谷歌、微軟、Opta等通過(guò)大數(shù)據(jù)分析預(yù)測(cè)賽果……大數(shù)據(jù)，不僅成為賽場(chǎng)上的“第12人”，也在某種程度上充當(dāng)了世界杯的“預(yù)言帝”。大數(shù)據(jù)分析邂逅世界杯，是大數(shù)據(jù)時(shí)代的必然發(fā)生，那么小明想要知道大數(shù)據(jù)分析技術(shù)在我們的生活中還有哪些作用呢？任務(wù)描述知識(shí)準(zhǔn)備一大數(shù)據(jù)分析概述大數(shù)據(jù)分析技術(shù)（已有數(shù)據(jù)）分布式統(tǒng)計(jì)分析技術(shù)分布式挖掘、深度學(xué)習(xí)技術(shù)（未知數(shù)據(jù)）數(shù)據(jù)處理技術(shù)數(shù)據(jù)分析階段聚類與分類關(guān)聯(lián)分析深度學(xué)習(xí)知識(shí)準(zhǔn)備二大數(shù)據(jù)分析模型常見(jiàn)的大數(shù)據(jù)分析模型。選擇了數(shù)據(jù)結(jié)構(gòu)，算法也隨之確定，系統(tǒng)構(gòu)造的關(guān)鍵因素是數(shù)據(jù)而不是算法。這種洞見(jiàn)導(dǎo)致了許多種軟件設(shè)計(jì)方法和程序設(shè)計(jì)語(yǔ)言的出現(xiàn)，面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言就是其中之一。數(shù)據(jù)模型業(yè)務(wù)模型常見(jiàn)的數(shù)據(jù)分析模型區(qū)分知識(shí)準(zhǔn)備二大數(shù)據(jù)分析模型（一）數(shù)據(jù)模型統(tǒng)計(jì)數(shù)據(jù)視角的實(shí)體模型通常指的是統(tǒng)計(jì)分析或大數(shù)據(jù)挖掘、深度學(xué)習(xí)、人工智能技術(shù)等種類的實(shí)體模型，這些模型是從科學(xué)研究視角去往界定的。6.時(shí)間序列2.回歸1.降維5.關(guān)聯(lián)3.聚類7.異常數(shù)據(jù)檢測(cè)4.分類知識(shí)準(zhǔn)備二大數(shù)據(jù)分析模型（二）業(yè)務(wù)模型業(yè)務(wù)流程實(shí)體模型指的是對(duì)于某一業(yè)務(wù)流程情景而界定的，用以解決困難的某些實(shí)體模型，這種實(shí)體模型跟上邊實(shí)體模型的差別取決于情景化的運(yùn)用。知識(shí)準(zhǔn)備二大數(shù)據(jù)分析模型（二）業(yè)務(wù)模型序號(hào)模型類型1會(huì)員數(shù)據(jù)化運(yùn)營(yíng)分析模型會(huì)員細(xì)分模型、會(huì)員價(jià)值模型、會(huì)員活躍度模型、會(huì)員流失預(yù)測(cè)模型、會(huì)員特征分析模型、市場(chǎng)營(yíng)銷回應(yīng)預(yù)測(cè)模型。2商品數(shù)據(jù)化運(yùn)營(yíng)分析模型商品價(jià)格敏感度模型、新產(chǎn)品市場(chǎng)定位模型、銷售預(yù)測(cè)模型、商品關(guān)聯(lián)銷售模型、異常訂單檢測(cè)模型、商品規(guī)劃的最優(yōu)組合。3流量數(shù)據(jù)化運(yùn)營(yíng)分析模型流量波動(dòng)檢測(cè)、渠道特征聚類、廣告整合傳播模型、流量預(yù)測(cè)模型。4內(nèi)容數(shù)據(jù)化運(yùn)營(yíng)分析模型情感分析模型、搜索優(yōu)化模型、文章關(guān)鍵字模型、主題模型、垃圾信息檢測(cè)模型。知識(shí)準(zhǔn)備三大數(shù)據(jù)分析的作用（一）現(xiàn)狀分析分析此階段企業(yè)的整體運(yùn)營(yíng)情況分析企業(yè)每個(gè)業(yè)務(wù)的組成呈現(xiàn)形式：報(bào)告（每日、每周和每月）知識(shí)準(zhǔn)備三大數(shù)據(jù)分析的作用（二）原因分析在對(duì)第一階段的現(xiàn)狀進(jìn)行分析之后，就對(duì)公司的運(yùn)營(yíng)有了基本的了解，但仍不知道是什么因素促使該公司保持現(xiàn)有的優(yōu)勢(shì)，又是什么導(dǎo)致了公司存在這樣的不足。這時(shí)需要進(jìn)行原因分析，以進(jìn)一步確定業(yè)務(wù)變更的具體原因。原因分析通常通過(guò)主題分析進(jìn)行。知識(shí)準(zhǔn)備三大數(shù)據(jù)分析的作用（三）預(yù)測(cè)分析了解公司運(yùn)營(yíng)的現(xiàn)狀后，有時(shí)需要對(duì)公司的未來(lái)發(fā)展趨勢(shì)做出預(yù)測(cè)，為公司制定業(yè)務(wù)目標(biāo)，并提供有效的戰(zhàn)略