學(xué)習(xí)單元5大數(shù)據(jù)

學(xué)習(xí)單元五

大數(shù)據(jù)5.1初識(shí)大數(shù)據(jù)線上課前導(dǎo)學(xué)課前自測推課前學(xué)習(xí)資源包頭腦風(fēng)暴任務(wù)調(diào)研現(xiàn)在的社會(huì)是一個(gè)高速發(fā)展的社會(huì)，科技發(fā)達(dá)，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數(shù)據(jù)就是這個(gè)高科技時(shí)代的產(chǎn)物。未來的時(shí)代將不是IT時(shí)代，而是DT的時(shí)代，DT就是DataTechnology數(shù)據(jù)科技，大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。

換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。小思考

在大數(shù)據(jù)時(shí)代，企業(yè)如何通過數(shù)據(jù)的“加工能力”來實(shí)現(xiàn)數(shù)據(jù)的“增值”？線上課前導(dǎo)學(xué)頭腦風(fēng)暴任務(wù)調(diào)研課前自測參考網(wǎng)站：慕課網(wǎng)（/）極客時(shí)間（/）實(shí)驗(yàn)樓（/）參考書籍：《Hadoop權(quán)威指南》《Spark大數(shù)據(jù)處理》《NoSQL數(shù)據(jù)庫原理及應(yīng)用》《大數(shù)據(jù)時(shí)代》《Python大數(shù)據(jù)處理與分析》線上課前導(dǎo)學(xué)任務(wù)調(diào)研課前自測頭腦風(fēng)暴1大數(shù)據(jù)是什么？2列舉一些大數(shù)據(jù)工具和技術(shù)，簡要介紹它們的應(yīng)用場景。3大數(shù)據(jù)分析與機(jī)器學(xué)習(xí)的結(jié)合有哪些應(yīng)用場景？線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)經(jīng)過線上課前預(yù)習(xí)，我們應(yīng)該了解到，大數(shù)據(jù)已經(jīng)成為當(dāng)今社會(huì)不可忽視的重要課題，對(duì)于企業(yè)和社會(huì)發(fā)展都有著重要的意義。學(xué)習(xí)大數(shù)據(jù)技術(shù)，需要先了解大數(shù)據(jù)的基礎(chǔ)知識(shí)，包括大數(shù)據(jù)的定義、大數(shù)據(jù)的應(yīng)用場景、大數(shù)據(jù)的處理方式、大數(shù)據(jù)的基礎(chǔ)架構(gòu)、大數(shù)據(jù)的工具和技術(shù)等。在學(xué)習(xí)大數(shù)據(jù)技術(shù)的過程中，我們還需要關(guān)注大數(shù)據(jù)的安全問題，學(xué)習(xí)大數(shù)據(jù)安全的基本概念和防護(hù)措施，了解大數(shù)據(jù)隱私保護(hù)的方法和標(biāo)準(zhǔn)。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)1.認(rèn)識(shí)大數(shù)據(jù)的基本概念；2.熟悉大數(shù)據(jù)的典型特點(diǎn)；3.了解大數(shù)據(jù)的應(yīng)用場景。大數(shù)據(jù)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)也可以定義為來自各種來源的大量非結(jié)構(gòu)化或結(jié)構(gòu)化數(shù)據(jù)。從學(xué)術(shù)角度而言，大數(shù)據(jù)的出現(xiàn)促成廣泛主題的新穎研究。大數(shù)據(jù)一詞自1990年代開始使用。大數(shù)據(jù)“大小”是一個(gè)不斷移動(dòng)的目標(biāo)，如2012的范圍從幾十兆兆字節(jié)到許多澤字節(jié)的數(shù)據(jù)。大數(shù)據(jù)需要一套具有新的集成形式的技術(shù)和技術(shù)，以揭示來自多樣化，復(fù)雜且大規(guī)模的數(shù)據(jù)集的見解。

它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫和云存儲(chǔ)、虛擬化技術(shù)。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1大數(shù)據(jù)的基本概念線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)1.規(guī)模性數(shù)據(jù)的特征首先就體現(xiàn)為“數(shù)量大”，存儲(chǔ)單位從過去的GB到TB，直至PB、EB。隨著信息技術(shù)的高速發(fā)展，數(shù)據(jù)開始爆發(fā)性增長。2.多樣性廣泛的數(shù)據(jù)來源，決定了大數(shù)據(jù)形式的多樣性。大數(shù)據(jù)大體可分為三類：一是結(jié)構(gòu)化數(shù)據(jù)，如財(cái)務(wù)系統(tǒng)數(shù)據(jù)、信息管理系統(tǒng)數(shù)據(jù)、醫(yī)療系統(tǒng)數(shù)據(jù)等，其特點(diǎn)是數(shù)據(jù)間因果關(guān)系強(qiáng)；二是非結(jié)構(gòu)化的數(shù)據(jù)，如視頻、圖片、音頻等，其特點(diǎn)是數(shù)據(jù)間沒有因果關(guān)系；三是半結(jié)構(gòu)化數(shù)據(jù)，如HTML文檔、郵件、網(wǎng)頁等，其特點(diǎn)是數(shù)據(jù)間的因果關(guān)系弱。典型工作環(huán)節(jié)2大數(shù)據(jù)的典型特點(diǎn)線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)3.高速性大數(shù)據(jù)時(shí)代的數(shù)據(jù)產(chǎn)生速度非常迅速。在Web2.0應(yīng)用領(lǐng)域，在1min內(nèi)，新浪可以產(chǎn)生2萬條微博，Twitter可以產(chǎn)生10萬條推文，蘋果可以下載4.7萬次應(yīng)用，淘寶可以賣出6萬件商品，人人網(wǎng)可以產(chǎn)生30萬次訪問，百度可以產(chǎn)生90萬次搜索查詢，F(xiàn)acebook可以產(chǎn)生600萬次瀏覽量。4.價(jià)值性這也是大數(shù)據(jù)的核心特征。現(xiàn)實(shí)世界所產(chǎn)生的數(shù)據(jù)中，有價(jià)值的數(shù)據(jù)所占比例很小。相比于傳統(tǒng)的小數(shù)據(jù)，大數(shù)據(jù)最大的價(jià)值在于通過從大量不相關(guān)的各種類型的數(shù)據(jù)中，挖掘出對(duì)未來趨勢與模式預(yù)測分析有價(jià)值的數(shù)據(jù)，并通過機(jī)器學(xué)習(xí)方法、人工智能方法或數(shù)據(jù)挖掘方法深度分析，發(fā)現(xiàn)新規(guī)律和新知識(shí)，并運(yùn)用于農(nóng)業(yè)、金融、醫(yī)療等各個(gè)領(lǐng)域，從而最終達(dá)到改善社會(huì)治理、提高生產(chǎn)效率、推進(jìn)科學(xué)研究的效果。典型工作環(huán)節(jié)2大數(shù)據(jù)的典型特點(diǎn)線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)未來,大數(shù)據(jù)將繼續(xù)成為企業(yè)數(shù)字轉(zhuǎn)型和智能發(fā)展的重要支撐。更多企業(yè)將大數(shù)據(jù)融入到戰(zhàn)略規(guī)劃和日常運(yùn)營中。政府也將大力推進(jìn)“數(shù)字政府”建設(shè),利用大數(shù)據(jù)提升政府服務(wù)能力和治理效能。大數(shù)據(jù)技術(shù)將進(jìn)一步成熟，分析能力和應(yīng)用場景將更加豐富。人工智能和大數(shù)據(jù)的融合也將打開更多機(jī)遇,助力企業(yè)和政府實(shí)現(xiàn)更高級(jí)別的智能化。1.數(shù)據(jù)的資源化何為資源化，是指大數(shù)據(jù)成為企業(yè)和社會(huì)關(guān)注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點(diǎn)。因而，企業(yè)必須要提前制定大數(shù)據(jù)營銷戰(zhàn)略計(jì)劃，搶占市場先機(jī)。典型工作環(huán)節(jié)3大數(shù)據(jù)的發(fā)展趨勢線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)2.與云計(jì)算的深度結(jié)合大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺(tái)之一。自2013年開始，大數(shù)據(jù)技術(shù)已開始和云計(jì)算技術(shù)緊密結(jié)合，預(yù)計(jì)未來兩者關(guān)系將更為密切。

除此之外，物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等新興計(jì)算形態(tài)，也將一齊助力大數(shù)據(jù)革命，讓大數(shù)據(jù)營銷發(fā)揮出更大的影響力。3.科學(xué)理論的突破隨著大數(shù)據(jù)的快速發(fā)展，就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。隨之興起的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會(huì)改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實(shí)現(xiàn)科學(xué)技術(shù)上的突破。典型工作環(huán)節(jié)3大數(shù)據(jù)的發(fā)展趨勢線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)4.數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立未來，數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科，被越來越多的人所認(rèn)知。各大高校將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，也會(huì)催生一批與之相關(guān)的新的就業(yè)崗位。

與此同時(shí)，基于數(shù)據(jù)這個(gè)基礎(chǔ)平臺(tái)，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺(tái)，之后，數(shù)據(jù)共享將擴(kuò)展到企業(yè)層面，并且成為未來產(chǎn)業(yè)的核心一環(huán)。5.數(shù)據(jù)泄露泛濫未來幾年數(shù)據(jù)泄露事件的增長率也許會(huì)達(dá)到100%，除非數(shù)據(jù)在其源頭就能夠得到安全保障。

可以說，在未來，每個(gè)財(cái)富500強(qiáng)企業(yè)都會(huì)面臨數(shù)據(jù)攻擊，無論他們是否已經(jīng)做好安全防范。

而所有企業(yè)，無論規(guī)模大小，都需要重新審視今天的安全定義。典型工作環(huán)節(jié)3大數(shù)據(jù)的發(fā)展趨勢線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)6.數(shù)據(jù)管理成為核心競爭力數(shù)據(jù)管理成為核心競爭力，直接影響財(cái)務(wù)表現(xiàn)。當(dāng)“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對(duì)于數(shù)據(jù)管理便有了更清晰的界定，將數(shù)據(jù)管理作為企業(yè)核心競爭力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運(yùn)用數(shù)據(jù)資產(chǎn)，成為企業(yè)數(shù)據(jù)管理的核心。7.數(shù)據(jù)質(zhì)量是BI成功的關(guān)鍵采用自助式商業(yè)智能工具進(jìn)行大數(shù)據(jù)處理的企業(yè)將會(huì)脫穎而出。其中要面臨的一個(gè)挑戰(zhàn)是，很多數(shù)據(jù)源會(huì)帶來大量低質(zhì)量數(shù)據(jù)。

想要成功，企業(yè)需要理解原始數(shù)據(jù)與數(shù)據(jù)分析之間的差距，從而消除低質(zhì)量數(shù)據(jù)并通過BI獲得更佳決策。典型工作環(huán)節(jié)3大數(shù)據(jù)的發(fā)展趨勢線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)8.數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度加強(qiáng)大數(shù)據(jù)的世界不只是一個(gè)單一的、巨大的計(jì)算機(jī)網(wǎng)絡(luò)，而是一個(gè)由大量活動(dòng)構(gòu)件與多元參與者元素所構(gòu)成的生態(tài)系統(tǒng)，終端設(shè)備提供商、基礎(chǔ)設(shè)施提供商、網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)接入服務(wù)提供商、數(shù)據(jù)服務(wù)使能者、數(shù)據(jù)服務(wù)提供商、觸點(diǎn)服務(wù)、數(shù)據(jù)服務(wù)零售商等等一系列的參與者共同構(gòu)建的生態(tài)系統(tǒng)。

而今，這樣一套數(shù)據(jù)生態(tài)系統(tǒng)的基本雛形已然形成，接下來的發(fā)展將趨向于系統(tǒng)內(nèi)部角色的細(xì)分，也就是市場的細(xì)分；系統(tǒng)機(jī)制的調(diào)整，也就是商業(yè)模式的創(chuàng)新；系統(tǒng)結(jié)構(gòu)的調(diào)整，也就是競爭環(huán)境的調(diào)整等等，從而使得數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度逐漸增強(qiáng)。典型工作環(huán)節(jié)3大數(shù)據(jù)的發(fā)展趨勢線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)

1.電商領(lǐng)域相信大數(shù)據(jù)在電商領(lǐng)域的應(yīng)用，大家已經(jīng)屢見不鮮了，淘寶、京東等電商平臺(tái)利用大數(shù)據(jù)技術(shù)，對(duì)用戶信息進(jìn)行分析，從而為用戶推送用戶感興趣的產(chǎn)品，從而刺激消費(fèi)。2.醫(yī)療領(lǐng)域

大數(shù)據(jù)在醫(yī)療保健行業(yè)中的應(yīng)用越來越廣泛，可以從疾病預(yù)測和預(yù)防、臨床決策支持、醫(yī)療資源管理和個(gè)性化醫(yī)療等方面進(jìn)行應(yīng)用。典型工作環(huán)節(jié)4大數(shù)據(jù)的應(yīng)用線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)

3.政府領(lǐng)域“智慧城市”已經(jīng)在多地嘗試運(yùn)營，通過大數(shù)據(jù)，政府部門得以感知社會(huì)的發(fā)展變化需求，從而更加科學(xué)化、精準(zhǔn)化、合理化的為市民提供相應(yīng)的公共服務(wù)以及資源配置。4.傳媒領(lǐng)域傳媒相關(guān)企業(yè)通過收集各式各樣的信息，進(jìn)行分類篩選、清洗、深度加工，實(shí)現(xiàn)對(duì)讀者和受眾葛新華需求的準(zhǔn)確定位和把握，并追蹤用戶的瀏覽習(xí)慣，不斷進(jìn)行信息優(yōu)化。典型工作環(huán)節(jié)4大數(shù)據(jù)的應(yīng)用線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)

5.金融領(lǐng)域大數(shù)據(jù)在金融行業(yè)應(yīng)用范圍是比較廣的，它更多應(yīng)用于交易，現(xiàn)在很多股權(quán)的交易都是利用大數(shù)據(jù)算法進(jìn)行，這些算法現(xiàn)在越來越多的考慮了社交媒體和網(wǎng)站新聞來決定在未來幾秒內(nèi)是買出還是賣出。

金融機(jī)構(gòu)可以利用大數(shù)據(jù)分析技術(shù)來進(jìn)行風(fēng)險(xiǎn)評(píng)估、投資分析、信用評(píng)估和欺詐檢測等方面的工作。6.教育領(lǐng)域通過大數(shù)據(jù)進(jìn)行學(xué)習(xí)分析，能夠?yàn)槊课粚W(xué)生創(chuàng)設(shè)一個(gè)量身定做的個(gè)性化課程，為學(xué)生的多年學(xué)習(xí)提供一個(gè)富有挑戰(zhàn)性而非逐漸厭倦的學(xué)習(xí)計(jì)劃。典型工作環(huán)節(jié)4大數(shù)據(jù)的應(yīng)用線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)7.交通領(lǐng)域大數(shù)據(jù)技術(shù)可以預(yù)測未來交通情況，為改善交通狀況提供優(yōu)化方案，有助于交通部門提高對(duì)道路交通的把控能力，防止和緩解交通擁堵，提供更加人性化的服務(wù)。此外，大數(shù)據(jù)技術(shù)還可以實(shí)現(xiàn)智能交通管控和管理，包括交通信號(hào)控制、車輛跟蹤監(jiān)控、違法行為識(shí)別等方面，提高交通違法處罰的準(zhǔn)確性和實(shí)效性。通過對(duì)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的分析和比對(duì)，大數(shù)據(jù)技術(shù)可以預(yù)測未來交通擁堵情況和運(yùn)輸需求，從而提前做出合理的交通規(guī)劃和調(diào)度安排。典型工作環(huán)節(jié)4大數(shù)據(jù)的應(yīng)用線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)1選擇題（1）大數(shù)據(jù)的4V包括以下哪些？A.歷史性B.速度C.體積D.多樣性E.準(zhǔn)確性（2）大數(shù)據(jù)安全是企業(yè)面臨的主要問題之一，下列哪項(xiàng)是大數(shù)據(jù)安全面臨的挑戰(zhàn)？A.數(shù)據(jù)收集難度B.數(shù)據(jù)處理速度C.數(shù)據(jù)存儲(chǔ)成本D.數(shù)據(jù)泄露風(fēng)險(xiǎn)2簡答題請(qǐng)簡述大數(shù)據(jù)安全中隱私保護(hù)的方法和標(biāo)準(zhǔn)。學(xué)習(xí)單元五大數(shù)據(jù)5.2了解大數(shù)據(jù)安全防護(hù)線上課前導(dǎo)學(xué)課前自測推課前學(xué)習(xí)資源包頭腦風(fēng)暴任務(wù)調(diào)研大數(shù)據(jù)時(shí)代的來臨帶來無數(shù)的機(jī)遇，但是與此同時(shí)個(gè)人或機(jī)構(gòu)的隱私權(quán)也極有可能受到?jīng)_擊，大數(shù)據(jù)包含各種個(gè)人信息數(shù)據(jù)，現(xiàn)有的隱私保護(hù)法律或政策無力解決這些新出現(xiàn)的問題。

大數(shù)據(jù)安全一直是企業(yè)關(guān)注的問題，因?yàn)橐淮喂艨赡軙?huì)使大數(shù)據(jù)部署容易遭受攻擊。小思考

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)安全問題變得尤為重要，企業(yè)應(yīng)該采取哪些措施來保護(hù)自己的數(shù)據(jù)安全？線上課前導(dǎo)學(xué)頭腦風(fēng)暴任務(wù)調(diào)研課前自測參考網(wǎng)站：慕課網(wǎng)（/）極客時(shí)間（/）實(shí)驗(yàn)樓（/）參考書籍：《Hadoop權(quán)威指南》《Spark大數(shù)據(jù)處理》《NoSQL數(shù)據(jù)庫原理及應(yīng)用》《大數(shù)據(jù)時(shí)代》《Python大數(shù)據(jù)處理與分析》線上課前導(dǎo)學(xué)任務(wù)調(diào)研課前自測頭腦風(fēng)暴1大數(shù)據(jù)的4V是指什么？2為什么大數(shù)據(jù)安全是企業(yè)關(guān)注的問題？3大數(shù)據(jù)應(yīng)用的范圍有哪些行業(yè)和領(lǐng)域？線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)經(jīng)過線上課前預(yù)習(xí)，我們應(yīng)該了解到，了解大數(shù)據(jù)安全防護(hù)已經(jīng)成為當(dāng)今社會(huì)不可忽視的重要課題，對(duì)于企業(yè)和個(gè)人都有著重要的意義。學(xué)習(xí)大數(shù)據(jù)安全防護(hù)，需要先了解大數(shù)據(jù)的基本概念和基礎(chǔ)知識(shí)，包括大數(shù)據(jù)的定義、大數(shù)據(jù)的特點(diǎn)、大數(shù)據(jù)的存儲(chǔ)和處理方式等。在學(xué)習(xí)大數(shù)據(jù)安全防護(hù)的過程中，我們還需要關(guān)注大數(shù)據(jù)的安全問題，學(xué)習(xí)大數(shù)據(jù)安全的基本概念和防護(hù)措施，了解大數(shù)據(jù)隱私保護(hù)的方法和標(biāo)準(zhǔn)。

同時(shí)，了解大數(shù)據(jù)攻擊的方式和手段，提高安全防范意識(shí)，掌握基本的安全防護(hù)技能。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)1.大數(shù)據(jù)應(yīng)用中面臨的安全問題及風(fēng)險(xiǎn)；2.大數(shù)據(jù)安全防護(hù)的基本方法；3.大數(shù)據(jù)安全防護(hù)建議。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)大數(shù)據(jù)應(yīng)用涉及到大量的個(gè)人信息和敏感數(shù)據(jù),這些數(shù)據(jù)如果被非法獲取或泄露會(huì)帶來極大的安全風(fēng)險(xiǎn)。

大數(shù)據(jù)系統(tǒng)本身也面臨被黑客攻擊、DDoS攻擊、SQL注入攻擊等技術(shù)攻擊的威脅。

同時(shí),大數(shù)據(jù)分析結(jié)果和建議也可能被惡意利用,導(dǎo)致社會(huì)影響。所以,保障大數(shù)據(jù)安全性和隱私性是當(dāng)前大數(shù)據(jù)應(yīng)用的重要課題。

需要采取技術(shù)手段和管理手段來防止各種安全風(fēng)險(xiǎn),確保大數(shù)據(jù)的安全和可靠運(yùn)用。典型工作環(huán)節(jié)1大數(shù)據(jù)應(yīng)用中面臨的安全問題及風(fēng)險(xiǎn)線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)大數(shù)據(jù)面臨的主要風(fēng)險(xiǎn)有:1.信息泄露風(fēng)險(xiǎn)大數(shù)據(jù)通常存儲(chǔ)大量個(gè)人信息和敏感數(shù)據(jù),如果這些數(shù)據(jù)被非法獲取或泄露會(huì)帶來嚴(yán)重的安全風(fēng)險(xiǎn)。2.技術(shù)攻擊風(fēng)險(xiǎn)大數(shù)據(jù)系統(tǒng)本身面臨黑客攻擊、DDoS攻擊、SQL注入攻擊、XSS攻擊等技術(shù)攻擊威脅。

這些攻擊可以破壞大數(shù)據(jù)系統(tǒng),盜取敏感數(shù)據(jù)。技術(shù)攻擊的頻率和技巧正不斷提高,任何大數(shù)據(jù)系統(tǒng)都面臨被攻破的風(fēng)險(xiǎn)。典型工作環(huán)節(jié)1大數(shù)據(jù)應(yīng)用中面臨的安全問題及風(fēng)險(xiǎn)線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)3.惡意利用風(fēng)險(xiǎn)大數(shù)據(jù)分析結(jié)果和建議可能被惡意利用,導(dǎo)致社會(huì)影響和商業(yè)損失。例如惡意廣告、欺詐行為、信息操縱等。

如果大數(shù)據(jù)分析結(jié)果被用作惡意目的,可能對(duì)社會(huì)公眾產(chǎn)生負(fù)面影響,損害企業(yè)商譽(yù)和利潤。

惡意利用的影響也可能持續(xù)很長時(shí)間,難以彌補(bǔ)。4.隱私泄露風(fēng)險(xiǎn)如果大數(shù)據(jù)分析和建議沒有妥善保護(hù)個(gè)人隱私,可能導(dǎo)致用戶隱私信息被公開或被用作其他非法用途。

任何隱私信息被泄露都將嚴(yán)重侵犯用戶權(quán)益,甚至可能導(dǎo)致身份泄露和詐騙,給個(gè)人和社會(huì)帶來無法挽回的損失。典型工作環(huán)節(jié)1大數(shù)據(jù)應(yīng)用中面臨的安全問題及風(fēng)險(xiǎn)線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)大數(shù)據(jù)安全防護(hù)要“以數(shù)據(jù)為中心”、“以技術(shù)為支撐”、“以管理為手段”,聚焦數(shù)據(jù)體系和生態(tài)環(huán)境,明確數(shù)據(jù)來源、組織形態(tài)、路徑管理、應(yīng)用場景等,圍繞大數(shù)據(jù)采集、傳輸、存儲(chǔ)、應(yīng)用、共享、銷毀等全過程,構(gòu)建由組織管理、制度規(guī)程、技術(shù)手段組成的安全防護(hù)體系,實(shí)現(xiàn)大數(shù)據(jù)安全防護(hù)的閉環(huán)管理。(1)大數(shù)據(jù)采集安全通過數(shù)據(jù)安全管理、數(shù)據(jù)類型和安全等級(jí)打標(biāo),將相應(yīng)功能內(nèi)嵌入后臺(tái)的數(shù)據(jù)管理系統(tǒng),或與其無縫對(duì)接,從而保證網(wǎng)絡(luò)安全責(zé)任制、安全等級(jí)保護(hù)、數(shù)據(jù)分級(jí)分類管理等各類數(shù)據(jù)安全制度有效的落地實(shí)施。典型工作環(huán)節(jié)2大數(shù)據(jù)安全防護(hù)的基本方法線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)(2)大數(shù)據(jù)存儲(chǔ)及傳輸安全通過密碼技術(shù)保障數(shù)據(jù)的機(jī)密性和完整性。在數(shù)據(jù)傳輸環(huán)節(jié),建立不同安全域間的加密傳輸鏈路,也可直接對(duì)數(shù)據(jù)進(jìn)行加密,以密文形式傳輸,保障傳輸過程安全。數(shù)據(jù)存儲(chǔ)過程中,可采取數(shù)據(jù)加密、磁盤加密、HDFS加密等技術(shù)保障存儲(chǔ)安全。(3)大數(shù)據(jù)應(yīng)用安全除了防火墻、入侵監(jiān)測、防病毒、防DDos、漏洞掃描等安全防護(hù)措施外,還應(yīng)對(duì)賬號(hào)統(tǒng)一管理,加強(qiáng)數(shù)據(jù)安全域管理,使原始數(shù)據(jù)不離開數(shù)據(jù)安全域,可有效防范內(nèi)部人員盜取數(shù)據(jù)的風(fēng)險(xiǎn)。典型工作環(huán)節(jié)2大數(shù)據(jù)安全防護(hù)的基本方法線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)(4)大數(shù)據(jù)共享及銷毀在數(shù)據(jù)共享時(shí),除了應(yīng)遵循相關(guān)管理制度,還應(yīng)與安全域結(jié)合起來,在滿足業(yè)務(wù)需求的同時(shí),有效管理數(shù)據(jù)共享行為。在數(shù)據(jù)銷毀過程中,可通過軟件或物理方式操作,保證磁盤中存儲(chǔ)的數(shù)據(jù)永久刪除、不可恢復(fù)。典型工作環(huán)節(jié)2大數(shù)據(jù)安全防護(hù)的基本方法線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)大數(shù)據(jù)的安全防護(hù)是保障大數(shù)據(jù)系統(tǒng)運(yùn)行和數(shù)據(jù)安全的重要手段。以下是幾個(gè)基本的大數(shù)據(jù)安全防護(hù)法規(guī)：(1).《網(wǎng)絡(luò)安全法》

(2).《信息安全技術(shù)個(gè)人信息安全規(guī)范》

(3).《數(shù)據(jù)安全管理辦法》

(4).《中華人民共和國網(wǎng)絡(luò)安全法實(shí)施條例》(5).《信息安全技術(shù)基本要求》在進(jìn)行大數(shù)據(jù)系統(tǒng)的安全防護(hù)時(shí)，需要遵守上述法規(guī)，并根據(jù)實(shí)際情況采取必要的技術(shù)措施和管理措施，包括數(shù)據(jù)加密、訪問控制、安全審計(jì)、風(fēng)險(xiǎn)評(píng)估等措施，確保大數(shù)據(jù)系統(tǒng)的安全運(yùn)行。典型工作環(huán)節(jié)3大數(shù)據(jù)安全防護(hù)基本法規(guī)線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)隨著大數(shù)據(jù)在企業(yè)數(shù)字化轉(zhuǎn)型的逐步應(yīng)用,大數(shù)據(jù)安全問題已成為企業(yè)必須面對(duì)的重點(diǎn)問題。企業(yè)要站在戰(zhàn)略角度高度關(guān)注大數(shù)據(jù)安全,提高風(fēng)險(xiǎn)防范能力,從組織機(jī)構(gòu)、管理措施、技術(shù)措施等方面做好安全防護(hù)工作。(1)建立安全組織機(jī)構(gòu),明確安全管理要求(2)制定安全管理措施,提升數(shù)據(jù)管控能力(3)著力加強(qiáng)技術(shù)防護(hù),提高安全應(yīng)急能力典型工作環(huán)節(jié)4大數(shù)據(jù)安全防護(hù)建議線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)1選擇題（1）大數(shù)據(jù)安全防護(hù)措施中，下列哪項(xiàng)措施是對(duì)外暴露的大數(shù)據(jù)進(jìn)行安全控制的方法？A.數(shù)據(jù)加密B.訪問控制C.安全審計(jì)D.數(shù)據(jù)備份（2）下列哪項(xiàng)不是大數(shù)據(jù)安全防護(hù)的主要挑戰(zhàn)？A.數(shù)據(jù)質(zhì)量B.安全性C.處理速度D.處理容量2簡答題請(qǐng)簡要說明大數(shù)據(jù)安全防護(hù)中常見的措施。學(xué)習(xí)單元五大數(shù)據(jù)5.3熟悉大數(shù)據(jù)的相關(guān)技術(shù)線上課前導(dǎo)學(xué)課前自測推課前學(xué)習(xí)資源包頭腦風(fēng)暴任務(wù)調(diào)研今天，各種大數(shù)據(jù)工具和技術(shù)如Hadoop、Spark、NoSQL等不斷涌現(xiàn)，為企業(yè)提供了更多的選擇。不僅如此，大數(shù)據(jù)分析也被越來越多的企業(yè)采用，以支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的決策和提高業(yè)務(wù)效率。

例如，通過對(duì)客戶行為的大數(shù)據(jù)分析，一些網(wǎng)絡(luò)安全公司可以更好地了解客戶需求，提供更精準(zhǔn)的客戶服務(wù)。大數(shù)據(jù)相關(guān)技術(shù)是一系列為解決大規(guī)模數(shù)據(jù)處理和管理問題而涌現(xiàn)的技術(shù)，包括體系架構(gòu)和數(shù)據(jù)分析兩方面。在體系架構(gòu)方面，包括分布式文件系統(tǒng)、分布式計(jì)算框架、數(shù)據(jù)庫技術(shù)等；在數(shù)據(jù)分析方面，包括機(jī)器學(xué)習(xí)技術(shù)。小思考

請(qǐng)談?wù)勀阏J(rèn)為大數(shù)據(jù)技術(shù)在未來發(fā)展中可能面臨的一些安全和隱私問題，并提出你的看法和建議。線上課前導(dǎo)學(xué)頭腦風(fēng)暴任務(wù)調(diào)研課前自測參考網(wǎng)站：慕課網(wǎng)（/）極客時(shí)間（/）實(shí)驗(yàn)樓（/）參考書籍：《Hadoop權(quán)威指南》《Spark大數(shù)據(jù)處理》《NoSQL數(shù)據(jù)庫原理及應(yīng)用》《大數(shù)據(jù)時(shí)代》《Python大數(shù)據(jù)處理與分析》線上課前導(dǎo)學(xué)任務(wù)調(diào)研課前自測頭腦風(fēng)暴1大數(shù)據(jù)相關(guān)技術(shù)包括哪兩個(gè)方面？2大數(shù)據(jù)技術(shù)如何幫助實(shí)現(xiàn)智能城市、物聯(lián)網(wǎng)、金融風(fēng)險(xiǎn)控制等應(yīng)用？3你了解哪些大數(shù)據(jù)技術(shù)工具和技術(shù)平臺(tái)？它們有什么特點(diǎn)和優(yōu)勢？線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)熟悉大數(shù)據(jù)的相關(guān)技術(shù)是當(dāng)今不可忽視的重要課題，對(duì)于企業(yè)和社會(huì)發(fā)展都具有重要意義。學(xué)習(xí)大數(shù)據(jù)技術(shù)需要掌握大數(shù)據(jù)的相關(guān)技術(shù)，包括大數(shù)據(jù)處理和管理的基礎(chǔ)架構(gòu)、分布式文件系統(tǒng)、分布式計(jì)算框架、數(shù)據(jù)庫技術(shù)等，以及機(jī)器學(xué)習(xí)技術(shù)和數(shù)據(jù)分析技術(shù)等。

在學(xué)習(xí)大數(shù)據(jù)技術(shù)的同時(shí)，需要了解大數(shù)據(jù)安全的基本概念和防護(hù)措施，以及大數(shù)據(jù)隱私保護(hù)的方法和標(biāo)準(zhǔn)。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)1.了解數(shù)據(jù)分析與挖掘；2.熟悉大數(shù)據(jù)體系架構(gòu)。1.數(shù)據(jù)分析和數(shù)據(jù)挖掘的概念數(shù)據(jù)分析和數(shù)據(jù)挖掘的目的是通過對(duì)數(shù)據(jù)進(jìn)行深入研究來發(fā)現(xiàn)新的見解、識(shí)別趨勢、提高效率和減少成本。2.數(shù)據(jù)分析的優(yōu)勢根據(jù)研究機(jī)構(gòu)AlliedMarketResearch公司發(fā)布的一份調(diào)查報(bào)告，到2027年，全球大數(shù)據(jù)和商業(yè)分析市場規(guī)模預(yù)計(jì)將達(dá)到4209.8億美元，從2020年到2027年的復(fù)合年增長率為10.9%。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1數(shù)據(jù)分析與挖掘3.數(shù)據(jù)分析和挖掘的工作流程大數(shù)據(jù)分析主要利用了4個(gè)關(guān)鍵流程。這些工作包括數(shù)據(jù)的收集、處理、清理和分析。以下了解這些關(guān)鍵流程。(1)收集數(shù)據(jù)移動(dòng)記錄、客戶反饋表、從客戶那里收到的郵件、調(diào)查報(bào)告、社交媒體平臺(tái)和移動(dòng)應(yīng)用程序是數(shù)據(jù)分析師可以收集特定信息的來源(2)處理數(shù)據(jù)在收集數(shù)據(jù)之后，下一步要使用它將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)池或數(shù)據(jù)倉庫中，將允許分析師組織、配置和分組大數(shù)據(jù)，以便為每個(gè)請(qǐng)求繪制清晰的圖表，這對(duì)于最終結(jié)果也將更加準(zhǔn)確。(3)清理數(shù)據(jù)為確保處理過的數(shù)據(jù)分析師的工作是完整和可行的，它必須清除重復(fù)數(shù)據(jù)、不真實(shí)輸入、系統(tǒng)錯(cuò)誤和其他類型的偏差。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1數(shù)據(jù)分析與挖掘(4)分析數(shù)據(jù)這是最后一個(gè)步驟，可以分析收集、處理和清理的原始數(shù)據(jù)，并有可能提取急需的結(jié)果。在這里可以使用：1)數(shù)據(jù)挖掘2)人工智能3)文本挖掘4)機(jī)器學(xué)習(xí)5)預(yù)測分析6)深度學(xué)習(xí)線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1數(shù)據(jù)分析與挖掘大數(shù)據(jù)架構(gòu)設(shè)計(jì)用來處理對(duì)傳統(tǒng)數(shù)據(jù)庫系統(tǒng)而言太大或太復(fù)雜的數(shù)據(jù)的引入、處理和分析。組織進(jìn)入大數(shù)據(jù)領(lǐng)域的門檻各不相同，具體取決于用戶的權(quán)限及其工具的功能。1.Hadoop體系架構(gòu)Hadoop是Apache軟件基金會(huì)旗下的一個(gè)開源分布式計(jì)算平臺(tái)，如圖所示。為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)2.

Lambda體系架構(gòu)隨著大數(shù)據(jù)應(yīng)用的發(fā)展，人們逐漸對(duì)系統(tǒng)的實(shí)時(shí)性提出了要求，為了計(jì)算一些實(shí)時(shí)指標(biāo)，就在原來離線數(shù)倉的基礎(chǔ)上增加了一個(gè)實(shí)時(shí)計(jì)算的鏈路，并對(duì)數(shù)據(jù)源做流式改造（即把數(shù)據(jù)發(fā)送到消息隊(duì)列），實(shí)時(shí)計(jì)算去訂閱消息隊(duì)列，直接完成指標(biāo)增量的計(jì)算，推送到下游的數(shù)據(jù)服務(wù)中去，由數(shù)據(jù)服務(wù)層完成離線與實(shí)時(shí)結(jié)果的合并。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)3.Kappa體系架構(gòu)Lambda架構(gòu)雖然滿足了實(shí)時(shí)的需求，但帶來了更多的開發(fā)與運(yùn)維工作，其架構(gòu)背景是流處理引擎還不完善，流處理的結(jié)果只作為臨時(shí)的、近似的值提供參考。后來隨著Flink

等流處理引擎的出現(xiàn)，流處理技術(shù)很成熟了，這時(shí)為了解決兩套代碼的問題，LickedIn

的JayKreps提出了Kappa架構(gòu)。Kappa架構(gòu)在Lambda的基礎(chǔ)上進(jìn)行了優(yōu)化，將實(shí)時(shí)和流部分進(jìn)行了合并，將數(shù)據(jù)通道以消息隊(duì)列進(jìn)行替代。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)4.Unifield體系架構(gòu)以上的種種架構(gòu)都圍繞海量數(shù)據(jù)處理為主，Unifield架構(gòu)則更激進(jìn)，將機(jī)器學(xué)習(xí)和數(shù)據(jù)處理揉為一體，從核心上來說，Unifield依舊以Lambda為主，不過對(duì)其進(jìn)行了改造，在流處理層新增了機(jī)器學(xué)習(xí)層。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)1選擇題（1）大數(shù)據(jù)相關(guān)技術(shù)主要包括以下兩方面：A.數(shù)據(jù)庫技術(shù)和數(shù)據(jù)可視化技術(shù)B.數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)C.網(wǎng)絡(luò)安全和系統(tǒng)管理D.人工智能和機(jī)器學(xué)習(xí)（2）大數(shù)據(jù)的處理方式包括以下哪些技術(shù)？A.分布式文件系統(tǒng)B.數(shù)據(jù)挖掘技術(shù)C.數(shù)據(jù)庫技術(shù)D.手工處理數(shù)據(jù)2簡答題請(qǐng)簡要介紹一下大數(shù)據(jù)的基礎(chǔ)架構(gòu)。學(xué)習(xí)單元五大數(shù)據(jù)5.4大數(shù)據(jù)可視化線上課前導(dǎo)學(xué)課前自測推課前學(xué)習(xí)資源包頭腦風(fēng)暴任務(wù)調(diào)研大數(shù)據(jù)可視化是一種使用圖形化方式來呈現(xiàn)大規(guī)模數(shù)據(jù)集合的信息和趨勢的技術(shù)。

通過大數(shù)據(jù)可視化，用戶可以更加直觀地理解和分析海量的數(shù)據(jù)，挖掘數(shù)據(jù)背后的規(guī)律和趨勢，并從中獲取有價(jià)值的信息和洞察力。

大數(shù)據(jù)可視化的特點(diǎn)包括對(duì)海量數(shù)據(jù)的處理能力、對(duì)多維數(shù)據(jù)的支持、對(duì)實(shí)時(shí)數(shù)據(jù)的處理能力、對(duì)用戶交互的支持、以及對(duì)多種圖表類型的支持。大數(shù)據(jù)可視化已經(jīng)被廣泛應(yīng)用于各個(gè)領(lǐng)域，如金融、醫(yī)療、智能城市等，幫助用戶更好地理解和管理大數(shù)據(jù)集合。小思考

大數(shù)據(jù)可視化在不同領(lǐng)域中的應(yīng)用場景有哪些？請(qǐng)列舉并解釋其中一種場景的應(yīng)用舉例。線上課前導(dǎo)學(xué)頭腦風(fēng)暴任務(wù)調(diào)研課前自測參考網(wǎng)站：慕課網(wǎng)（/）極客時(shí)間（/）實(shí)驗(yàn)樓（/）參考書籍：《Hadoop權(quán)威指南》《Spark大數(shù)據(jù)處理》《NoSQL數(shù)據(jù)庫原理及應(yīng)用》《大數(shù)據(jù)時(shí)代》《Python大數(shù)據(jù)處理與分析》線上課前導(dǎo)學(xué)任務(wù)調(diào)研課前自測頭腦風(fēng)暴1什么是大數(shù)據(jù)可視化？有哪些特點(diǎn)和應(yīng)用場景？2大數(shù)據(jù)可視化中，對(duì)于海量數(shù)據(jù)的處理能力和多維數(shù)據(jù)的支持分別指什么？如何實(shí)現(xiàn)？3大數(shù)據(jù)可視化的作用是什么？線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)學(xué)習(xí)大數(shù)據(jù)可視化需要掌握大數(shù)據(jù)的相關(guān)技術(shù)，通過圖形化呈現(xiàn)大規(guī)模數(shù)據(jù)集合的信息和趨勢。大數(shù)據(jù)可視化的特點(diǎn)包括對(duì)海量數(shù)據(jù)的處理能力、對(duì)多維數(shù)據(jù)的支持、對(duì)實(shí)時(shí)數(shù)據(jù)的處理能力、對(duì)用戶交互的支持、以及對(duì)多種圖表類型的支持。大數(shù)據(jù)可視化已經(jīng)被廣泛應(yīng)用于各個(gè)領(lǐng)域，如金融、醫(yī)療、智能城市等，幫助用戶更好地理解和管理大數(shù)據(jù)集合。同時(shí)，也需要注意大數(shù)據(jù)可視化的安全問題。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)1.了解大數(shù)據(jù)可視化工具；2.熟悉大數(shù)據(jù)可視化工具的使用方法。作為一款商業(yè)數(shù)據(jù)分析可視化工具，Tableau已連續(xù)7年穩(wěn)居“Gartner商業(yè)智能和分析平臺(tái)魔力象限”領(lǐng)導(dǎo)者！2019年6月10日，Salesforce以天價(jià)157億美元收購Tableau，創(chuàng)云營銷平臺(tái)歷史上最大收購事件。簡單的來說，Tableau是一款可以幫助人們快速分析、可視化并分享數(shù)據(jù)信息的工具。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1Tableau數(shù)據(jù)可視化支持多種類型數(shù)據(jù)Tableau支持連接到存儲(chǔ)在各個(gè)地方的各種數(shù)據(jù)?？梢允谴鎯?chǔ)在計(jì)算機(jī)上的電子表格或文本文件中，或存儲(chǔ)在企業(yè)內(nèi)服務(wù)器上的大數(shù)據(jù)、關(guān)系或多維數(shù)據(jù)集（多維度）數(shù)據(jù)庫中，也可以連接到Web上提供的公共域數(shù)據(jù)，如美國人口普查局信息，或連接到云數(shù)據(jù)庫源線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1Tableau數(shù)據(jù)可視化連接方式支持實(shí)時(shí)連接和數(shù)據(jù)提取，如圖所示。實(shí)時(shí)連接每次打開視圖都會(huì)去服務(wù)器撈取數(shù)據(jù)，適合數(shù)據(jù)量小，即席查詢速度快的數(shù)據(jù)源；而數(shù)據(jù)提取是將數(shù)據(jù)拉取到本地或者TableauServer服務(wù)器中，這樣每次打開視圖就會(huì)從本地或者TableauServer服務(wù)器中去撈取數(shù)據(jù)，對(duì)原始的數(shù)據(jù)服務(wù)器不會(huì)產(chǎn)生壓力。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1Tableau數(shù)據(jù)可視化交互式儀表板Tableau通過拖拽和拖放的方式，快速建立交互式儀表板，如圖所示。并以圖表、地圖、故事等形式呈現(xiàn)數(shù)據(jù)，用戶可以通過對(duì)數(shù)據(jù)的篩選、分組、排序等操作，實(shí)時(shí)地獲得對(duì)數(shù)據(jù)的洞察。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1Tableau數(shù)據(jù)可視化PowerBI是由微軟開發(fā)的商業(yè)分析工具，它可以將數(shù)據(jù)從多種來源中收集、轉(zhuǎn)換和可視化，幫助用戶快速創(chuàng)建交互式的數(shù)據(jù)儀表盤和報(bào)告。

PowerBI擁有豐富的數(shù)據(jù)可視化選項(xiàng)，包括圖表、表格、地圖等等，還支持自定義計(jì)算和指標(biāo)的創(chuàng)建。此外，PowerBI可以與其他微軟的產(chǎn)品和服務(wù)無縫集成，從而方便用戶在不同平臺(tái)上共享和訪問數(shù)據(jù)分析結(jié)果。

PowerBI有兩個(gè)版本，分別是PowerBIDesktop和PowerBI服務(wù)。其中，PowerBIDesktop是用于本地開發(fā)和設(shè)計(jì)數(shù)據(jù)模型的桌面應(yīng)用程序，而PowerBI服務(wù)是一個(gè)云端應(yīng)用程序，可用于共享和協(xié)作。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2powerbi數(shù)據(jù)可視化1.PowerBIDesktopPowerBIDesktop是一款可在本地計(jì)算機(jī)上安裝的免費(fèi)應(yīng)用程序，可用于連接到數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)并實(shí)現(xiàn)數(shù)據(jù)的可視化效果。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2powerbi數(shù)據(jù)可視化2.PowerBI服務(wù)PowerBI是一個(gè)包含軟件服務(wù)、應(yīng)用和連接器的集合，它們相輔相成，幫助業(yè)務(wù)且最有效的方式來創(chuàng)建、共享和使用業(yè)務(wù)見解。3.比較PowerBIDesktop和PowerBI服務(wù)PowerBIDesktop是一個(gè)應(yīng)用程序，可以在本地計(jì)算機(jī)上免費(fèi)下載和安裝它。PowerBI服務(wù)是基于云的服務(wù)，或軟件即服務(wù)(SaaS)。它支持團(tuán)隊(duì)和組織的報(bào)表編輯和協(xié)作。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2powerbi數(shù)據(jù)可視化線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)1選擇題（1）Tableau的主要功能是什么？A.數(shù)據(jù)存儲(chǔ)和管理B.數(shù)據(jù)分析和可視化C.數(shù)據(jù)加密和安全D.數(shù)據(jù)傳輸和備份（2）PowerBI主要用于以下哪項(xiàng)工作？A.數(shù)據(jù)存儲(chǔ)和管理B.數(shù)據(jù)分析和可視化C.數(shù)據(jù)加密和安全D.數(shù)據(jù)傳輸和備份2簡答題請(qǐng)簡要介紹PowerBIDesktop和PowerBI服務(wù)的區(qū)別。學(xué)習(xí)單元五

大數(shù)據(jù)5.5搭建大數(shù)據(jù)環(huán)境線上課前導(dǎo)學(xué)課前自測推課前學(xué)習(xí)資源包頭腦風(fēng)暴任務(wù)調(diào)研Hadoop是一個(gè)開源的、分布式的數(shù)據(jù)處理框架，旨在解決海量數(shù)據(jù)的存儲(chǔ)和處理問題。它最初由Apache開發(fā)，目前已成為最流行的分布式數(shù)據(jù)處理平臺(tái)之一。Hadoop包括兩個(gè)核心組件：HadoopDistributedFileSystem（HDFS）和HadoopMapReduce。HDFS是一個(gè)分布式文件系統(tǒng)，能夠存儲(chǔ)海量數(shù)據(jù)，并在不同的計(jì)算機(jī)節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)分發(fā)和備份。

MapReduce則是一種分布式數(shù)據(jù)處理模型，能夠?qū)Ａ繑?shù)據(jù)進(jìn)行分布式計(jì)算。Hadoop支持Java、Python、Scala等多種編程語言，同時(shí)也提供了眾多工具和生態(tài)系統(tǒng)，包括Hive、Pig、Spark等，使得數(shù)據(jù)處理和分析更加高效和靈活。小思考

Hadoop為什么能夠成為最流行的分布式數(shù)據(jù)處理平臺(tái)之一？它有哪些優(yōu)勢和特點(diǎn)？線上課前導(dǎo)學(xué)頭腦風(fēng)暴任務(wù)調(diào)研課前自測參考網(wǎng)站：極客時(shí)間：/開源中國：/大數(shù)據(jù)文摘：/參考書籍：《Hadoop權(quán)威指南》《Spark快速大數(shù)據(jù)分析》《大數(shù)據(jù)架構(gòu)模式》《數(shù)據(jù)倉庫工具包》《大數(shù)據(jù)平臺(tái)架構(gòu)：原理、方法與案例》線上課前導(dǎo)學(xué)任務(wù)調(diào)研課前自測頭腦風(fēng)暴1Hadoop是什么？2Hadoop有哪兩個(gè)核心組件？3Hadoop支持哪些編程語言？線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)經(jīng)過線上課前預(yù)習(xí)，我們應(yīng)該了解到，搭建大數(shù)據(jù)環(huán)境是實(shí)現(xiàn)大數(shù)據(jù)技術(shù)的重要一環(huán)，對(duì)于企業(yè)和社會(huì)的數(shù)據(jù)處理和分析都有著重要的意義。

學(xué)習(xí)如何搭建大數(shù)據(jù)環(huán)境，需要先了解大數(shù)據(jù)的基本架構(gòu)和技術(shù)原理，包括分布式文件系統(tǒng)、分布式計(jì)算模型、數(shù)據(jù)存儲(chǔ)和管理、數(shù)據(jù)處理和分析等。

在搭建大數(shù)據(jù)環(huán)境的過程中，我們還需要關(guān)注大數(shù)據(jù)的安全問題，學(xué)習(xí)大數(shù)據(jù)安全的基本概念和防護(hù)措施，了解大數(shù)據(jù)隱私保護(hù)的方法和標(biāo)準(zhǔn)。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)1.了解Hadoop安裝部署模式；2.

Hadoop搭建前的環(huán)境準(zhǔn)備；3.

Hadoop偽分布搭建與應(yīng)用。目前來說，Hadoop的安裝部署的模式一共有三種，單機(jī)模式、偽分布模式、全分布模式。考慮到硬件條件限制，我們將安裝第二種偽分布模式并將Namenode、Datanode和、SecondaryNamenode配置到同一節(jié)點(diǎn)。單機(jī)模式單機(jī)模式所需要的系統(tǒng)資源是最少的，也是默認(rèn)的安裝模式。偽分布模式偽分布也就是單節(jié)點(diǎn)集成模式，其所有守護(hù)進(jìn)程都運(yùn)行在同一臺(tái)機(jī)器上Namenode是整個(gè)文件系統(tǒng)的管理節(jié)點(diǎn)。全分布模式完全分布模式是比本地模式與偽分布模式更加復(fù)雜的模式，真正利用多臺(tái)Linux主機(jī)來進(jìn)行部署Hadoop，對(duì)集群進(jìn)行規(guī)劃，使得Hadoop各個(gè)模塊分別部署在不同的多臺(tái)機(jī)器上。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1Hadoop安裝部署我們選擇CentOS7作為安裝對(duì)象，通過Vmwareworkstation虛擬機(jī)運(yùn)行系統(tǒng)。本教程默認(rèn)已經(jīng)完成系統(tǒng)安裝。1.設(shè)置服務(wù)器的主機(jī)名稱線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備重啟服務(wù)器或注銷root重新登錄后生效。2.關(guān)閉防火墻并查看防火墻狀態(tài)[root@localhost~]#hostnamectlset-hostnamemaster[root@master~]#cat/etc/hostnamemaster[root@master~]#systemctlstopfirewalld[root@master~]#systemctlstatusfirewalld●firewalld.service-firewalld-dynamicfirewalldaemonLoaded:loaded(/usr/lib/systemd/system/firewalld.service;enabled;vendorpreset:enabled)Active:inactive(dead)since三2022-08-3122:29:41CST;12sagoDocs:man:firewalld(1)Process:826ExecStart=/usr/sbin/firewalld--nofork--nopid$FIREWALLD_ARGS(code=exited,status=0/SUCCESS)MainPID:826(code=exited,status=0/SUCCESS)線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備4.安裝java環(huán)境(1)創(chuàng)建文件夾/opt/software，用于存放安裝軟件包。3.創(chuàng)建Hadoop用戶使用root安裝Hadoop的運(yùn)行環(huán)境，hadoop用戶運(yùn)行Hadoop，添加hadoop用戶，并為該用戶設(shè)置密碼為：hadoop(2)創(chuàng)建/usr/local/src目錄，作為軟件安裝目錄。[root@master~]#useraddhadoop[root@master~]#passwdhadoop更改用戶hadoop的密碼。新的密碼：重新輸入新的密碼：passwd：所有的身份驗(yàn)證令牌已經(jīng)成功更新。[root@master~]#mkdir/opt/software[root@master~]#mkdir-p/usr/local/src線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備(3)查詢兩個(gè)目錄的屬性，目錄所有者為root用戶。[root@master~]#ll/opt/總用量0drwxr-xr-x.2rootroot610月312018rhdrwxr-xr-x.2rootroot68月3122:46software[root@master~]#ll/usr/local/總用量0drwxr-xr-x.2rootroot64月112018bindrwxr-xr-x.2rootroot64月112018etcdrwxr-xr-x.2rootroot64月112018gamesdrwxr-xr-x.2rootroot64月112018includedrwxr-xr-x.2rootroot64月112018libdrwxr-xr-x.2rootroot64月112018lib64drwxr-xr-x.2rootroot64月112018libexecdrwxr-xr-x.2rootroot64月112018sbindrwxr-xr-x.5rootroot497月520:28sharedrwxr-xr-x.2rootroot64月112018src[root@master~]#線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備(4)上傳jdk安裝包將jdk安裝包，Hadoop安裝包上傳至linux服務(wù)器。安裝包下載地址：/s/17OlEl73envfKt6ch9tmMcg?pwd=chpi提取碼chpi。這里默認(rèn)已經(jīng)上傳完成。(5)卸載自帶的OpenJDK查詢：[root@mastersoftware]#lshadoop-2.7.1.tar.gzjdk-8u231-linux-x64.tar.gz[root@mastersoftware]#rpm-qa|grepjavajava-1.7.0-openjdk-headless-61-.el7_8.x86_64python-javapackages-3.4.1-11.el7.noarchtzdata-java-2020a-1.el7.noarchjava-1.8.0-openjdk-headless-62.b10-1.el7.x86_64java-1.8.0-openjdk-62.b10-1.el7.x86_64javapackages-tools-3.4.1-11.el7.noarchjava-1.7.0-openjdk-61-.el7_8.x86_64線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備刪除文件：(6)安裝jdk至服務(wù)器軟件安裝目錄/usr/local/src[root@mastersoftware]#rpm-e--nodepsjava-1.8.0-openjdk-62.b10-1.el7.x86_64[root@mastersoftware]#rpm-e--nodepsjava-1.8.0-openjdk-headless-62.b10-1.el7.x86_64[root@mastersoftware]#rpm-e--nodepsjava-1.7.0-openjdk-headless-61-.el7_8.x86_64[root@mastersoftware]#rpm-e–nodepsjava-1.7.0-openjdk-61-.el7_8.x86_64[root@mastersoftware]#tar-zxvfjdk-8u231-linux-x64.tar.gz-C/usr/local/src/線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備(7)設(shè)置java環(huán)境變量修改/etc/pofile配置文件，在文件最后增加如下兩行：使設(shè)置生效：檢查java是否可用：[root@master~]#vim/etc/profileexportJAVA_HOME=/usr/local/src/jdk1.8.0_231#JAVA_HOME指向JAVA安裝目錄exportPATH=$PATH:$JAVA_HOME/bin#將JAVA安裝目錄加入PATH路徑[root@master~]#source/etc/profile[root@master~]#echo$JAVA_HOME/usr/local/src/jdk1.8.0_231線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備5.安裝Hadoop(1)將Hadoop安裝到/usr/local/src(2)配置環(huán)境變量修改/etc/pofile配置文件，在文件最后增加如下兩行：(3)使設(shè)置生效并檢查[root@mastersoftware]#tar-zxvfhadoop-2.7.1.tar.gz-C/usr/local/src/[root@mastersoftware]#vim/etc/profileexportHADOOP_HOME=/usr/local/src/hadoop-2.7.1/exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin[root@mastersoftware]#source/etc/profile[root@mastersoftware]#hadoop線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備(4)修改目錄所有者和所屬組[root@mastersoftware]#chown-Rhadoop:hadoop/usr/local/src/[root@mastersoftware]#ll/usr/local/src/總用量0drwxr-xr-x.9hadoophadoop1496月292015hadoop-2.7.1drwxr-xr-x.7hadoophadoop24510月52019jdk1.8.0_231線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準(zhǔn)備6.SSH免密碼登入(1)在master主機(jī)上生成密鑰對(duì)(2)Hadoop用戶在master節(jié)點(diǎn)免密登錄本機(jī)[hadoop@mastersoftware]$ssh-keygen-trsa-P''Generatingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/home/hadoop/.ssh/id_rsa):Createddirectory'/home/hadoop/.ssh'.Youridentificationhasbeensavedin/home/hadoop/.ssh/id_rsa.Yourpublickeyhasbeensavedin/home/hadoop/.ssh/id_rsa.pub.Thekeyfingerprintis:SHA256:6eh4jjG8/oZTeZQnva1xsEyxrfTBbde/eX+IGL2llI4hadoop@masterThekey'srandomartimageis:+---[RSA2048]----+|||.||o=..|[hadoop@mastersoftware]$ssh-copy-idhadoop@master1.偽分布系統(tǒng)設(shè)置(1)基礎(chǔ)環(huán)境配置偽分布式環(huán)境是指：在一臺(tái)服務(wù)器上模擬Hadoop集群工作的一種模式。這里，我們在master節(jié)點(diǎn)進(jìn)行偽分布式系統(tǒng)的配置。

基礎(chǔ)配置包括：安裝JAVA，安裝Hadoop，配置JAVA,HADOOP環(huán)境變量，修改Hadoop配置文件，設(shè)置SSH免密碼登錄等，我們已經(jīng)在前面的操作中完成，下面直接進(jìn)行偽分布式集群配置。線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)3Hadoop偽分布搭建與應(yīng)用(2)進(jìn)入Hadoop配置文件目錄線下課中演練前情回顧任務(wù)驅(qū)動(dòng)演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)3Hadoop偽分布搭建與應(yīng)用(3)修改core-site.xml配置文件fs.defaultFS設(shè)置的是HDFS的地址，設(shè)置運(yùn)行在本地的9000端口上。[hadoop@mastersoftware]$cd/usr/local