大數(shù)據(jù)技術(shù)原理與應(yīng)用（第2版）

大數(shù)據(jù)技術(shù)原理與應(yīng)用（第2版）讀書筆記模板01思維導(dǎo)圖讀書筆記目錄分析內(nèi)容摘要精彩摘錄作者介紹目錄0305020406思維導(dǎo)圖第版原理技術(shù)大數(shù)據(jù)技術(shù)數(shù)據(jù)概念框架圖小結(jié)第章習(xí)題大數(shù)據(jù)應(yīng)用實(shí)驗(yàn)編程數(shù)據(jù)庫領(lǐng)域管理生態(tài)系統(tǒng)本書關(guān)鍵字分析思維導(dǎo)圖內(nèi)容摘要內(nèi)容摘要（1）概念篇：介紹當(dāng)前緊密關(guān)聯(lián)的最新IT領(lǐng)域技術(shù)云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)。（2）大數(shù)據(jù)存儲(chǔ)與管理篇：介紹分布式數(shù)據(jù)存儲(chǔ)的概念、原理和技術(shù)，包括HDFS、HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫。（3）大數(shù)據(jù)處理與分析篇：介紹MapReduce分布式編程框架、基于內(nèi)存的分布式計(jì)算框架Spark、圖計(jì)算、流計(jì)算、數(shù)據(jù)可視化。（4）大數(shù)據(jù)應(yīng)用篇：介紹基于大數(shù)據(jù)技術(shù)的推薦系統(tǒng)。讀書筆記讀書筆記天吶，我居然看完了。這是一本偏專業(yè)的書籍。值得一看，個(gè)中內(nèi)容，源代碼及實(shí)踐部門太專業(yè)而跳過，但原理及詳述部分，非常詳細(xì)，搭配：百度+其他同內(nèi)容書，一起食用，真香！作為半業(yè)務(wù)半技術(shù)的數(shù)據(jù)分析師，值得好好了解，體會(huì)開發(fā)和大數(shù)據(jù)同行的處理思維！。四顆星。大數(shù)據(jù)技術(shù)發(fā)展日新月異，這本書中的一些內(nèi)容已經(jīng)有點(diǎn)過時(shí)了，不過通篇讀下來還是能對(duì)大數(shù)據(jù)領(lǐng)域有一個(gè)整體認(rèn)識(shí)。沒記錯(cuò)的話這本書是學(xué)?！按髷?shù)據(jù)開發(fā)技術(shù)基礎(chǔ)”的教材，上這門課前的寒假2021年2月初讀完了這本書。還記得這門課上課也沒怎么聽，就平時(shí)做做實(shí)驗(yàn)，然后臨近期末考試才買了紙質(zhì)書從頭一頁一頁的復(fù)習(xí)備考。精彩摘錄精彩摘錄大數(shù)據(jù)的4個(gè)“V”，或者說是大數(shù)據(jù)的4個(gè)特點(diǎn)，包含4個(gè)層面：數(shù)據(jù)量大（Volume）、數(shù)據(jù)類型繁多（Variety）、處理速度快（Velocity）和價(jià)值密度低（Value）。大數(shù)據(jù)技術(shù)主要包括數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲(chǔ)和管理、數(shù)據(jù)處理與分析、數(shù)據(jù)安全和隱私保護(hù)等幾個(gè)層面的內(nèi)容在思維方式方面，大數(shù)據(jù)具有“全樣而非抽樣、效率而非精確、相關(guān)而非因果”三大顯著特征流數(shù)據(jù)（或數(shù)據(jù)流）是指在時(shí)間分布和數(shù)量上無限的一系列動(dòng)態(tài)數(shù)據(jù)集合體，數(shù)據(jù)的價(jià)值隨著時(shí)間的流逝而降低，因此必須采用實(shí)時(shí)計(jì)算的方式給出秒級(jí)響應(yīng)。HBase是一個(gè)提供高可靠性、高性能、可伸縮、實(shí)時(shí)讀寫、分布式的列式數(shù)據(jù)庫，一般采用HDFS作為其底層數(shù)據(jù)存儲(chǔ)。大數(shù)據(jù)時(shí)代最大的轉(zhuǎn)變就是思維方式的3種轉(zhuǎn)變：全樣而非抽樣、效率而非精確、相關(guān)而非因果。所謂大數(shù)據(jù)技術(shù)，是指伴隨著大數(shù)據(jù)的采集、存儲(chǔ)、分析和應(yīng)用的相關(guān)技術(shù)，是一系列使用非傳統(tǒng)的工具來對(duì)大量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，從而獲得分析和預(yù)測(cè)結(jié)果的一系列數(shù)據(jù)處理和分析技術(shù)。目錄分析第2章大數(shù)據(jù)處理架構(gòu)Hadoop第1章大數(shù)據(jù)概述第一篇大數(shù)據(jù)基礎(chǔ)第1章大數(shù)據(jù)概述1.1大數(shù)據(jù)時(shí)代1.2大數(shù)據(jù)的概念1.3大數(shù)據(jù)的影響1.4大數(shù)據(jù)的應(yīng)用1.5大數(shù)據(jù)關(guān)鍵技術(shù)1.6大數(shù)據(jù)計(jì)算模式1.7大數(shù)據(jù)產(chǎn)業(yè)1.8大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)1.9本章小結(jié)第2章大數(shù)據(jù)處理架構(gòu)Hadoop2.1概述2.2Hadoop生態(tài)系統(tǒng)2.3Hadoop的安裝與使用2.4本章小結(jié)2.5習(xí)題實(shí)驗(yàn)1安裝Hadoop第3章分布式文件系統(tǒng)HDFS第4章分布式數(shù)據(jù)庫HBase第5章NoSQL數(shù)據(jù)庫第6章云數(shù)據(jù)庫第二篇大數(shù)據(jù)存儲(chǔ)與管理第3章分布式文件系統(tǒng)HDFS3.1分布式文件系統(tǒng)3.2HDFS簡介3.3HDFS的相關(guān)概念3.4HDFS體系結(jié)構(gòu)3.5HDFS的存儲(chǔ)原理3.6HDFS的數(shù)據(jù)讀寫過程3.7HDFS編程實(shí)踐3.8本章小結(jié)3.9習(xí)題第4章分布式數(shù)據(jù)庫HBase4.1概述4.2HBase訪問接口4.3HBase數(shù)據(jù)模型4.4HBase的實(shí)現(xiàn)原理4.5HBase運(yùn)行機(jī)制4.6HBase編程實(shí)踐4.7本章小結(jié)4.8習(xí)題實(shí)驗(yàn)3熟悉常用的HBase操作第5章NoSQL數(shù)據(jù)庫5.1NoSQL簡介5.2NoSQL興起的原因5.3NoSQL與關(guān)系數(shù)據(jù)庫的比較5.4NoSQL的四大類型5.5NoSQL的三大基石5.6從NoSQL到NewSQL數(shù)據(jù)庫5.7本章小結(jié)5.8習(xí)題第6章云數(shù)據(jù)庫6.1云數(shù)據(jù)庫概述6.2云數(shù)據(jù)庫產(chǎn)品6.3云數(shù)據(jù)庫系統(tǒng)架構(gòu)6.4云數(shù)據(jù)庫實(shí)踐6.5本章小結(jié)6.6習(xí)題實(shí)驗(yàn)4熟練使用RDSforMySQL數(shù)據(jù)庫第7章MapReduce第9章Spark第8章Hadoop再探討第三篇大數(shù)據(jù)處理與分析第10章流計(jì)算第12章數(shù)據(jù)可視化第11章圖計(jì)算第三篇大數(shù)據(jù)處理與分析第7章MapReduce7.1概述7.2MapReduce的工作流程7.3實(shí)例分析：WordCount7.4MapReduce的具體應(yīng)用7.5MapReduce編程實(shí)踐7.6本章小結(jié)7.7習(xí)題實(shí)驗(yàn)5MapReduce編程初級(jí)實(shí)踐第8章Hadoop再探討8.1Hadoop的優(yōu)化與發(fā)展8.2HDFS2.0的新特性8.3新一代資源管理調(diào)度框架YARN8.4Hadoop生態(tài)系統(tǒng)中具有代表性的功能組件8.5本章小結(jié)8.6習(xí)題第9章Spark9.1概述9.2Spark生態(tài)系統(tǒng)9.3Spark運(yùn)行架構(gòu)9.4Spark的部署和應(yīng)用方式9.5Spark編程實(shí)踐9.6本章小結(jié)9.7習(xí)題第10章流計(jì)算10.1流計(jì)算概述10.2流計(jì)算的處理流程10.3流計(jì)算的應(yīng)用10.4開源流計(jì)算框架Storm10.5SparkStreaming10.6本章小結(jié)10.7習(xí)題第11章圖計(jì)算11.1圖計(jì)算簡介11.2Pregel簡介11.3Pregel圖計(jì)算模型11.4Pregel的C++API11.5Pregel的體系結(jié)構(gòu)11.6Pregel的應(yīng)用實(shí)例11.7Pregel和MapReduce實(shí)現(xiàn)PageRank算法的對(duì)比11.8本章小結(jié)11.9習(xí)題第12章數(shù)據(jù)可視化12.1可視化概述12.2可視化工具12.3可視化典型案例12.4本章小結(jié)12.5習(xí)題第13章大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用第15章大數(shù)據(jù)的其他應(yīng)用第14章大數(shù)據(jù)在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用第四篇大數(shù)據(jù)應(yīng)用第13章大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用13.1推薦系統(tǒng)概述13.2協(xié)同過濾13.3協(xié)同過濾實(shí)踐13.4本章小結(jié)13.5習(xí)題第14章大數(shù)據(jù)在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用14.1流行病預(yù)測(cè)14.2智慧醫(yī)療14.3生物信息學(xué)14.4案例：基于大數(shù)據(jù)的綜合健康服務(wù)平臺(tái)14.5本章小結(jié)14.6習(xí)題第15章大數(shù)據(jù)的其他應(yīng)用15.1大數(shù)據(jù)在物流領(lǐng)域中的應(yīng)用15.2大數(shù)據(jù)在城市管理中的應(yīng)用15.3大數(shù)據(jù)在金融行業(yè)中的應(yīng)用15.4大數(shù)據(jù)在汽車行