大數(shù)據(jù)技術(shù)導(dǎo)論

大數(shù)據(jù)技術(shù)導(dǎo)論讀書筆記模板01思維導(dǎo)圖目錄分析讀書筆記內(nèi)容摘要作者介紹精彩摘錄目錄0305020406思維導(dǎo)圖導(dǎo)論技術(shù)技術(shù)特點(diǎn)大數(shù)據(jù)生命周期讀者數(shù)據(jù)大數(shù)據(jù)習(xí)題分析第章可視化系統(tǒng)實(shí)驗(yàn)報(bào)告基礎(chǔ)特征數(shù)據(jù)分析實(shí)驗(yàn)本書關(guān)鍵字分析思維導(dǎo)圖內(nèi)容摘要內(nèi)容摘要本書以面向應(yīng)用、面向?qū)崙?zhàn)為指導(dǎo)思想，緊扣企業(yè)技術(shù)人才培養(yǎng)的特點(diǎn)，在知識(shí)點(diǎn)講解和實(shí)驗(yàn)中避免復(fù)雜的理論，使讀者能快速上手體驗(yàn)、驗(yàn)證大數(shù)據(jù)處理的魅力，以激發(fā)讀者的學(xué)習(xí)興趣。本書覆蓋了大數(shù)據(jù)生命周期中的主要技術(shù)要點(diǎn)，全書共8章，第1章介紹大數(shù)據(jù)的產(chǎn)生和特點(diǎn)及思維的變革，第2章了解大數(shù)據(jù)生態(tài)系統(tǒng)，第3～7章按照大數(shù)據(jù)的生命周期，分別討論大數(shù)據(jù)采集與預(yù)處理、大數(shù)據(jù)管理、大數(shù)據(jù)分析、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用的基本原理和方法，第8章討論大數(shù)據(jù)安全面臨的挑戰(zhàn)。本書可作為本科、高職院校大數(shù)據(jù)技術(shù)或數(shù)據(jù)科學(xué)課程的參考書或教材，也可供數(shù)據(jù)科學(xué)相關(guān)技術(shù)人員閱讀。目錄分析1.2Linux系統(tǒng)概述1.1揭秘大數(shù)據(jù)第1章概論實(shí)驗(yàn)報(bào)告1Linux實(shí)驗(yàn)習(xí)題1第1章概論1.1揭秘大數(shù)據(jù)1.1.1大數(shù)據(jù)產(chǎn)生歷史必然1.1.2大數(shù)據(jù)概念和特征1.1.3大數(shù)據(jù)生命周期1.1.4大數(shù)據(jù)與物聯(lián)網(wǎng)、云計(jì)算、人工智能1.1.5大數(shù)據(jù)時(shí)代的八個(gè)重大變革1.2Linux系統(tǒng)概述1.2.1Linux版本1.2.2Linux系統(tǒng)目錄結(jié)構(gòu)1.2.3文本編輯器vi1.2.4文件權(quán)限解讀1.2.5Linux系統(tǒng)常用命令2.1認(rèn)識(shí)Hadoop2.2HDFS2.3MapReduce*2.4Zookeeper第2章大數(shù)據(jù)生態(tài)系統(tǒng)實(shí)驗(yàn)報(bào)告2Hadoop實(shí)驗(yàn)習(xí)題2第2章大數(shù)據(jù)生態(tài)系統(tǒng)2.2HDFS2.2.1HDFS體系結(jié)構(gòu)2.2.2HDFS存儲(chǔ)原理2.2.3HDFS常用操作2.3MapReduce2.3.1MapReduce邏輯結(jié)構(gòu)2.3.2MapReduce操作案例3.1數(shù)據(jù)3.2數(shù)據(jù)采集3.3數(shù)據(jù)清洗3.4網(wǎng)絡(luò)爬蟲第3章大數(shù)據(jù)采集與預(yù)處理*實(shí)驗(yàn)報(bào)告3網(wǎng)絡(luò)爬蟲習(xí)題3第3章大數(shù)據(jù)采集與預(yù)處理3.1數(shù)據(jù)3.1.1數(shù)據(jù)是什么3.1.2數(shù)據(jù)分類3.1.3度量和維度3.2數(shù)據(jù)采集3.2.1數(shù)據(jù)采集分類3.2.2數(shù)據(jù)采集方法3.2.3數(shù)據(jù)采集工具3.3數(shù)據(jù)清洗3.3.1數(shù)據(jù)清洗原理3.3.2缺失值和異常數(shù)據(jù)3.3.3數(shù)據(jù)清洗基本操作3.4網(wǎng)絡(luò)爬蟲3.4.1爬蟲簡介*3.4.2論壇爬蟲源代碼分析4.1NoSQL4.2HBase習(xí)題4實(shí)驗(yàn)報(bào)告4HBase實(shí)驗(yàn)第4章大數(shù)據(jù)管理4.1NoSQL4.1.1NoSQL概述4.1.2鍵值數(shù)據(jù)庫4.1.3圖數(shù)據(jù)庫4.1.4文檔數(shù)據(jù)庫4.1.5列式數(shù)據(jù)庫4.1.6云數(shù)據(jù)庫4.2HBase4.2.1HBase模型4.2.2HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫的對(duì)比分析4.2.3HBase系統(tǒng)架構(gòu)4.2.4HBase常用Shell命令5.1大數(shù)據(jù)分析概述*5.2業(yè)務(wù)理解5.3數(shù)據(jù)認(rèn)知5.4特征工程第5章大數(shù)據(jù)分析5.5數(shù)據(jù)建模*5.6通用計(jì)算引擎Spark5.7大數(shù)據(jù)分析引擎Hive習(xí)題5實(shí)驗(yàn)報(bào)告5Hive實(shí)驗(yàn)12345第5章大數(shù)據(jù)分析5.1大數(shù)據(jù)分析概述5.1.1數(shù)據(jù)分析原則5.1.2大數(shù)據(jù)分析特點(diǎn)5.1.3大數(shù)據(jù)分析流程5.1.4數(shù)據(jù)分析師基本技能和素質(zhì)*5.1.5大數(shù)據(jù)分析難點(diǎn)*5.2業(yè)務(wù)理解5.2.1什么是業(yè)務(wù)理解5.2.2如何理解業(yè)務(wù)5.2.3數(shù)據(jù)業(yè)務(wù)化5.3數(shù)據(jù)認(rèn)知5.3.1數(shù)據(jù)變換5.3.2概率分析*5.3.3對(duì)比分析*5.3.4細(xì)分分析*5.3.5交叉分析5.3.6相關(guān)分析5.4特征工程5.4.1特征工程面臨的挑戰(zhàn)5.4.2特征選擇5.4.3特征提取5.4.4指標(biāo)設(shè)計(jì)5.5數(shù)據(jù)建模5.5.1模型分類5.5.2決策樹5.5.3關(guān)聯(lián)分析5.5.4回歸分析5.5.5聚類分析*5.5.6k-鄰近分類算法KNN*5.6通用計(jì)算引擎Spark5.6.1Spark簡介5.6.2Spark與Hadoop差異5.6.3Spark適用場(chǎng)景5.6.4Spark運(yùn)行模式5.6.5Spark常用術(shù)語5.6.6Spark編程實(shí)戰(zhàn)——單詞統(tǒng)計(jì)5.7大數(shù)據(jù)分析引擎Hive5.7.1數(shù)據(jù)倉庫概念5.7.2傳統(tǒng)數(shù)據(jù)倉庫的問題5.7.3Hive特征5.7.4Hive系統(tǒng)架構(gòu)5.7.5Hive應(yīng)用案例6.1數(shù)據(jù)可視化基本概念6.2常用圖形6.3數(shù)據(jù)可視化設(shè)計(jì)6.4數(shù)據(jù)可視化工具第6章大數(shù)據(jù)可視化6.5基于R語言可視化基礎(chǔ)*實(shí)驗(yàn)報(bào)告6可視化實(shí)驗(yàn)習(xí)題6第6章大數(shù)據(jù)可視化6.1數(shù)據(jù)可視化基本概念6.1.1為什么要數(shù)據(jù)可視化6.1.2什么是數(shù)據(jù)可視化6.1.3數(shù)據(jù)可視化的作用6.1.4數(shù)據(jù)可視化術(shù)語6.1.5數(shù)據(jù)可視化三要素6.2常用圖形6.2.1餅圖（扇形圖）6.2.2堆積柱形圖6.2.3風(fēng)玫瑰圖6.2.4柱狀圖6.2.5直方圖6.2.6氣泡圖6.2.7散點(diǎn)圖矩陣6.2.8折線圖6.2.9面積圖6.3數(shù)據(jù)可視化設(shè)計(jì)6.3.1數(shù)據(jù)可視化設(shè)計(jì)原則6.3.2數(shù)據(jù)可視化=數(shù)據(jù)+設(shè)計(jì)+故事6.3.3數(shù)據(jù)可視化圖形選擇建議6.4數(shù)據(jù)可視化工具6.4.1基本工具6.4.2進(jìn)階工具6.5基于R語言可視化基礎(chǔ)6.5.1基本繪圖命令6.5.2ggplot2繪圖7.1零售行業(yè)大數(shù)據(jù)7.2交通大數(shù)據(jù)7.3醫(yī)療大數(shù)據(jù)習(xí)題7第7章大數(shù)據(jù)應(yīng)用7.1零售行業(yè)大數(shù)據(jù)7.1.1沃爾瑪?shù)馁徫锘@分析7.1.2農(nóng)夫山泉用海量照片提升銷量7.2交通大數(shù)據(jù)7.2.1交通擁堵大數(shù)據(jù)分析7.2.2預(yù)測(cè)起飛時(shí)間7.3醫(yī)療大數(shù)據(jù)7.3.1移動(dòng)醫(yī)療與個(gè)人健康7.3.2基因測(cè)序——精準(zhǔn)治癌正在成為現(xiàn)實(shí)8.1大數(shù)據(jù)安全的重要意義8.2大數(shù)據(jù)面臨的挑戰(zhàn)8.3大數(shù)據(jù)的安全威脅8.4大數(shù)據(jù)與網(wǎng)絡(luò)攻擊監(jiān)測(cè)8.5大數(shù)據(jù)安全分析12345第8章大數(shù)據(jù)安全8.6大數(shù)據(jù)安全標(biāo)準(zhǔn)習(xí)題88.7大數(shù)據(jù)安全技術(shù)第8章大數(shù)據(jù)安全8.3大數(shù)據(jù)的安全威脅8.3.1大數(shù)據(jù)基礎(chǔ)設(shè)施安全威脅8.3.2大數(shù)據(jù)存儲(chǔ)安全威脅8.3.3大數(shù)據(jù)的隱私泄露8.3.4大數(shù)據(jù)的其他安全威脅8.6大數(shù)據(jù)安全標(biāo)準(zhǔn)8.6.1基礎(chǔ)標(biāo)準(zhǔn)類8.6.2平臺(tái)和技術(shù)類8.6.3數(shù)據(jù)安全類8.6.4服務(wù)安全類8.6.5應(yīng)用安全類A.1基礎(chǔ)環(huán)境準(zhǔn)備A.2安裝JDKA.3安裝HadoopA.4安裝ZookeeperA.