大數據技術原理與應用從入門到實戰(zhàn)蔣亞平課后參考答案

第1章1.填空題（1）、結構化數據、半結構化數據（2）、數據量大（Volume）、處理速度快（Velocity）、數據類型多樣（Variety）、價值密度低（Value）（3）、10242.選擇題1-3、BCD3.簡答題（1）試述大數據的關鍵技術。大數據處理關鍵技術一般包括:大數據采集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。大數據采集技術:數據采集是通過RFID射頻技術、傳感器以及移動互聯網等方式獲得的各種類型的結構化及非結構化的海量數據。大數據預處理技術:大數據預處理主要完成對已接收數據的抽取、清洗等操作。大數據存儲及管理技術:大數據存儲與管理要用存儲器把采集到的數據存儲起來，建立相應的數據庫，并進行管理和調用。要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。大數據分析及挖掘技術:數據分析及挖掘技術是大數據的核心技術。數據展現和應用:大數據技術能夠將隱藏于海量數據中的信息挖掘出來，從而提高各個領域的運行效率。在我國，大數據重點應用于以下三大領域:商業(yè)智能、政決策和公共服務。（2）簡述大數據應用的領域。大數據的應用領域主要有：1.電商領域；2.醫(yī)療領域；3、物流領域；4.政府領域；5.傳媒領域；6.金融領域；7.教育領域；8.交通領域。第2章1.填空題（1）、Shell（2）、Xshell、Xftp（3）、systemctlrestartnetwork.service、ipaddr、hostname（4）、grep、cp、tar（5）、負載均衡集群2.選擇題1-4、CDCA3.簡答題（1）請闡述Linux配置服務器網絡的詳細過程。首先點擊虛擬機菜單“編輯→虛擬網絡編輯器”。然后，點擊右下角“更改設置”后，如下圖所示，選中“NAT模式”，設置子網IP為“”，接著點擊“確定”。圖2-20配置網絡以“root”身份登錄到master，執(zhí)行命令“vi/etc/sysconfig/network-scripts/ifcfg-ens33”修改網絡信息。修改內容如下，BOOTPROTO設置為dhcp表示動態(tài)獲取網絡IP，設置為static表示靜態(tài)網絡IP。UUID--刪除ONBOOT=yes--修改BOOTPROTO=staticIPADDR=01--添加NETMASK=GATEWAY=DNS1=14執(zhí)行命令“systemctlrestartnetwork.service”重啟網卡重新加載配置文件，執(zhí)行命令“ipaddr”或者“ifconfig”查看IP地址。執(zhí)行命令”ping”測試網絡，執(zhí)行命令“ctrl+c”終止命令的執(zhí)行。試述免密鑰登錄配置?？梢砸淮涡耘渲煤萌_主機。下面命令前的[123]表示三臺主機同時操作（點擊菜單“工具→發(fā)送鍵輸入到所有會話）?！?23】ssh-keygen-trsa-P''-f~/.ssh/id_rsa【123】vi/etc/ssh/ssh_config在最后添加StrictHostKeyCheckingnoUserKnownHostsFile/dev/null##將秘鑰分別拷貝給自己和別人【123】ssh-copy-id-i~/.ssh/id_rsa.pubroot@master【123】ssh-copy-id-i~/.ssh/id_rsa.pubroot@slave0【123】ssh-copy-id-i~/.ssh/id_rsa.pubroot@slave1上面三條命令都需要輸入密碼：123456第3章1.填空題（1）、HDFS、MapReduce、YARN（2）、NameNode、DataNode（3）、64、128（4）、客戶端（5）、機架感知策略2.選擇題1-5、AACBC3.簡答題（1）簡述HDFS的數據讀取流程和寫入流程。HDFS的數據讀取流程：HDFS會返回一個FSDataInputStream對象，FSDataInputStream類轉而封裝成客戶端發(fā)起讀請求?？蛻舳伺cNameNode得到文件的塊及位置信息列表?？蛻舳酥苯雍虳ataNode交互讀取數據。讀取完成關閉連接。HDFS的數據寫入流程：同讀文件過程一樣，FSDataOutputStream類轉而封裝成DFSDataOutputStream對象，這個對象管理著與DataNode和NameNode的I/O，具體過程如下。待臨時文件達到塊大小時開始向NameNode請求DataNode信息。NameNode在文件系統(tǒng)中創(chuàng)建文件并返回給客戶端一個數據塊及其對應DataNode的地址列表（列表中包含副本存放的地址）?？蛻舳送ㄟ^上一步得到的信息把創(chuàng)建臨時文件塊Flush到列表中的第一個DataNode。當文件關閉，NameNode會提交這次文件創(chuàng)建，此時文件在文件系統(tǒng)中可見。試述HDFS中如何實現元數據的維護。NameNode的元數據是通過fsimage文件+edit編輯日志來維護的，當NameNode啟動的時候fsimage文件的edits編輯日志中的內容會被加載到內存中進行合并并形成元數據信息，當我們對元數據進行操作的時候，考慮到會直接修改文件的低效性，從而不會直接修改fsimage文件，而是會往edits編輯日志中追加操作記錄。當滿足一定條件的時候，我們會讓SecondaryNameNode來完成fsimage和edits編輯日志的合并，SecondaryNameNode首先會讓NameNode停止對正在使用的edits編輯日志的使用，并重新生成一個新的edits編輯日志。接著把NameNode的fsimage文件和已經停止的edits文件拷貝到本地在內存中將edits編輯日志的操作記錄合并到fsimage文件中形成一個最新的fsimage文件，最后會將這個fsimage文件推送給NameNode并且自己也備分一份。（3）請闡述NN和DN的關系，以及DN的工作流程。NameNode和DataNode是一對多的關系，一個NN管理多個DN的數據塊的元數據信息。NameNode是負責文件元數據的操作，DataNode負責處理文件內容的讀寫請求，跟文件內容相關的數據流不經過NameNode，只詢問它跟哪個DataNode聯系，否則NameNode會成為系統(tǒng)的瓶頸。副本存放在哪些DataNode上由NameNode來控制，根據全局情況作出塊放置決定，讀取文件NameNode盡量讓用戶讀取最近的副本，降低讀取網絡開銷和讀取延時。DN的工作流程如下圖所示。一個數據塊在DataNode上以文件形式存儲在磁盤上，包括兩個文件，一個是數據本身，一個是元數據Q包括(數據塊的長度，塊數據的校驗和，以及時間戳)。DataNode啟動后向NameNode注冊，通過后，周期性(默認6小時)的向NameNode上報所有的塊信息。心跳是每3秒一次，心跳返回結果帶有

NameNode給該

DataNode的命令如復制塊數據到另一臺機器，或刪除某個數據塊。如果超過10分鐘+30秒沒有收到某個DataNode的心跳，則認為該節(jié)點不可用。集群運行中可以安全加入和退出一些機器。第4章1.填空題（1）、mkdir（2）、9870、8088（3）、chmod（4）、/etc/profile（5）、start-dfs.sh、start-yarn.sh、start-all.sh2.選擇題1-5、BBCAD3.思考題（1）試述搭建Hadoop集群需要配置哪些文件，闡述每個文件的作用。搭建Hadoop集群需要配置以下文件：hadoop-env.sh文件：配置Hadoop運行環(huán)境相關的配置信息，比如配置JAVA_HOME、HDFS、YARN等。core-site.xml文件：配置Hadoop運行時所需的核心環(huán)境變量。如HDFS默認文件系統(tǒng)的URI、客戶端訪問HDFS所使用的用戶賬號等。hdfs-site.xml：配置HDFS的屬性，例如數據塊大小、副本數量、名字節(jié)點和數據節(jié)點的地址、緩存等。yarn-site.xml：配置YARN集群的各種參數。包括集群的資源配置、節(jié)點管道配置、容器分配策略等。mapred-site.xml：配置MapReduce的屬性，例如mapreduce運行的框架、開啟mapreduce最小任務模式。假設/opt/jyp目錄下有一個程序包hdfs_examples-1.1.1.jar，寫出終端命令來執(zhí)行這個程序。終端命令為：hadoopjar/opt/jyp/hdfs_examples-1.1.1.jar第5章1.填空題（1）Zookeeper（2）HDFS（3）Client、Master、Region、RegionServer、Zookeeper和StoreFile等（4）Timestamp（5）分區(qū)檢索和物理存儲文件檢索2.選擇題1-5、D、D、B、C、D3.簡答題（1）分別解釋HBase中行鍵、列和時間戳的概念。答：1）行（Row)。在表里面，每一行代表著一個數據對象。每一行都是由一個行鍵（RowKey）和一個或者多個列組成的。行鍵是行的唯一標識。2）列族（ColumnFamily)。在定義HBase表的時候需要提前設置好列族，表中所有的列都需要組織在列族里面。3）時間戳（Timestamp）。默認情況下，每一個單元中的數據插入時都會用時間戳來進行版本標識。（2）請舉個實例來闡述HBase的概念視圖和物理視圖的不同？答：例如以下的HBase的概念視圖：物理視圖:第6章1.填空題（1）fasle（2）一致性協調（Coordination）（3）16010（4）bin/start-hbase.sh（5）leader（主節(jié)點）、follower(子節(jié)點)和observer（次級子節(jié)點）2.選擇題1-5、D、B、D、B、A3.簡答題（1）在HBase中創(chuàng)建表mytable，列為data，并在列族data中添加三行數據：行號分別為：row1，row2，row3；列名分別為：data:1，data:2，data:3；值分別為：zhangsan，zhangsanfeng，zhangwuji。答：create'mytable','data'put'mytable','row1','data:1','zhangsan'put'mytable','row2','data:2','zhangsanfeng'put'mytable','row3','data:3','zhangwuji'（2）刪除mytable表。答：Disable‘mytable’Drop‘mytable’第7章1.填空題（1）內部數據采集、外部數據采集（2）systemctlstatusmysqld.service（3）抽取(Extract)、轉換(Transform)、加載(Load)（4）Agent、Source、Channel、Sink和Event（5）MemoryChannel和FileChannel2.選擇題1-4、C、A、C、B3.簡答題（1）請描述內部數據采集與外部數據采集的區(qū)別。

答：內部數據采集是指從組織內部獲取數據的過程。這可以包括從數據庫、信息系統(tǒng)、日志文件、表格、調查問卷和其它來源收集信息。外部數據采集是指從組織外部獲取數據的過程。這可以包括從公共來源、社交媒體、第三方數據提供商、網絡抓取和其它來源收集信息（2）請簡單闡述Sqoop和Flume的區(qū)別。答：Sqoop主要用于批量傳輸結構化數據，而Flume主要用于實時采集和傳輸半結構化或非結構化數據。它們分別適用于不同的數據傳輸和數據采集場景，并在數據采集過程中發(fā)揮著不同的作用第8章1.填空題（1）點對點模式（pointtopoint）和發(fā)布/訂閱模式（publish/subscribe）（2）多個（3）bin/kafka-server-start.shconfig/perties（4）一個Consumer（5）consumer2.選擇題1-4、A、B、D、D、A3.簡答題（1）在Kafka中，使用命令創(chuàng)建一個名為“swxy”的Topic，并發(fā)送消息“welcometoswxy”。答:/kafka-topics.sh--bootstrap-servermaster:9092--create--partitions1--replication-factor3--topicswxy（2）使用命令消費上述的消息答：bin/kafka-console-consumer.sh--bootstrap-servermaster:9092--topictest--from-beginning第9章1.填空題（1）、分而治之（2）、Shuffle、Reduce任務（3）、WritableComparable（4）、key（5）、計算向數據（6）、Reducer、Mapper2.選擇題1-3、ACA3.思考題（1）試述Map函數和Reduce函數各自的輸入、輸出以及處理過程。Map和Reduce函數的輸入輸出函數輸入輸出說明Map<k1,v1>List(<k2.v2>)數據集解析成<Key,Value>對，輸入Map函數，處理后輸出一批<Key,Value>中間結果Reduce<k2,List(v2)><k3,v3>Map函數的輸出經過合并、排序處理后就是Reduce函數的輸入，List(v2)表示一批屬于同一個k2的value值Map函數和Reduce函數各自的輸入、輸出如上圖所示。MapReduce框架運轉在<key,value>鍵值對上，框架把作業(yè)的輸入看成是一組<key,value>鍵值對，同樣也產生一組<key,value>鍵值對作為作業(yè)的輸出，這兩組鍵值對可能是不同的。具體處理過程見思考題（2）。（2）試述MapReduce從讀取數據開始到將最終結果寫入HDFS經過了哪些步驟？一個MapReduce作業(yè)的輸入和輸出類型如上圖所示，從圖可以看出整個標準的流程中，會有三組<key,value>鍵值對類型的存在。Mapper執(zhí)行過程：把輸入目錄下的文件按照一定的標準進行邏輯切片。對切片中的數據按照一定規(guī)則解析成<key,value>對。調用Mapper類中的map方法。按照一定的規(guī)則對第三階段輸出的鍵值對進行分區(qū)。對每個分區(qū)中的鍵值對進行排序。對數據進行局部聚合處理，也就是combiner處理。鍵相同的鍵值對會調用一次reduce方法。經過這一階段，數據量會減少。Reduce執(zhí)行過程：Reducer任務主動從Mapper任務復制其輸出的鍵值對。把復制到Reducer本地數據，全部進行合并，即把分散的數據合并成一個大的數據，再對合并后的數據排序。對排序后的鍵值對調用reduce方法。鍵相同的鍵值對調用一次reduce方法。最后把這些輸出的鍵值對寫入到HDFS文件中。（3）試畫出使用MapReduce來對英語句子“Afriendinneedisafriendindeed”進行單詞統(tǒng)計的過程。單詞統(tǒng)計的過程如圖所示。拆分輸入數據。拆分數據（Split）屬于Map的輸入階段，系統(tǒng)會逐行讀取文件的數據，得到一系列的（Key/Value）。執(zhí)行Map方法。分割完成后，系統(tǒng)會將分割好的（Key/Value）對交給用戶定義的Map方法進行處理，生成新的（Key/Value）對。排序與合并處理。系統(tǒng)在得到Map方法輸出的（Key/Value）對后，Mapper會將它們按照Key值進行排序，并執(zhí)行Combine過程，將Key值相同的Value值累加，得到Mapper的最終輸出結果。Reduce階段的排序與合并。第10章1.選擇題1-5、DCCDB2.思考題（1）請闡述如下Spark的幾個主要概念:RDD、DAG、階段、分區(qū)、窄依賴、寬依賴。①RDD:是彈性分布式數據集（Resilient?Distributed?Dataset）的英文縮寫，是分布式內存的一個抽象概念，提供了一種高度受限的共享內存模型。

②DAG:是Directed?Acyclic?Graph（有向無環(huán)圖）的英文縮寫，反映RDD之間的依賴關系。

③階段：是作業(yè)的基本調度單位，一個作業(yè)會分為多組任務，每組任務被稱為“階段”，或者也被稱為“任務集”。

④分區(qū)：一個RDD就是一個分布式對象集合，本質上是一個只讀的分區(qū)記錄集合，每個RDD可以分成多個分區(qū)，每個分區(qū)就是一個數據集片段。

⑤窄依賴：父RDD的一個分區(qū)只被一個子RDD的一個分區(qū)所使用就是窄依賴。

⑥寬依賴：父RDD的一個分區(qū)被一個子RDD的多個分區(qū)所使用就是寬依賴。（2）Spark對RDD的操作主要分為行動操作和轉換操作兩種類型，兩種操作的區(qū)別是什么?RDD主要有兩大類操作，分別為轉換(Transformations)和行動(Actions)。轉換主要是指把原始數據集加載到RDD以及把一個RDD轉換另外一個RDD，而行動主要指把RDD存儲到硬盤或觸發(fā)轉換執(zhí)行。請簡述Spark工作流程的特點。在Spark中，RDD是采用惰性求值，即每次調用行動算子操作，都會從頭開始計算，這對迭代計算來說代價很大，因為迭代計算經常需要多次重復的使用同一組數據集，所以，為了避免重復計算的開銷，讓Spark對數據集進行持久化操作。第11章1.單選題1-5、CBC2.多選題1。BCD2.ABCD3.AC4.BD5.ABCD6.ABCD3.思考題（1）Spark的集群部署方式有幾種？各有什么特點？Standalone模式：又稱為獨立部署模式，該模式采用Spark自帶的簡單集群管理器（ClusterManager），不依賴第三方提供的集群管理器。這種模式比較方便快捷。Yarn模式：這種模式采用Hadoop2.0以上版本中的Yarn充當集群管理器。本書采用了這種模式，因此下面的安裝需要確保Hadoop3.3已經安裝好，并且在啟動Spark或在提交Spark應用程序時，Hadoop3.3已經正常啟動。Mesos模式：Mesos是由加州大學伯克利分校AMPLab開發(fā)的通用群集管理器，支持Hadoop、ElasticSearch、Spark、Storm和Kafka等系統(tǒng)。Mesos內核運行在每個機器上，在整個數據中心和云環(huán)境內向分布式系統(tǒng)（如Spark等）提供集群管理的API接口。簡述Spark運行的基本流程1構建SparkApplication的運行環(huán)境（啟動SparkContext），SparkContext向資源管理器（可以是Standalone、Mesos或YARN）注冊并申請運行Executor資源；2資源管理器分配Executor資源并啟動StandaloneExecutorBackend，Executor運行情況將隨著心跳發(fā)送到資源管理器上；

3SparkContext構建成DAG圖，將DAG圖分解成Stage，并把Taskset發(fā)送給TaskScheduler。Executor向SparkContext申請Task

4TaskScheduler將Task發(fā)放給Executor運行同時SparkContext將應用程序代碼發(fā)放給Executor。請闡述搭建Spark開發(fā)環(huán)境的關鍵步驟。下載Spark安裝包2．解壓Spark安裝包3．配置Spark環(huán)境變量4．修改模板文件5．配置spark-env.sh環(huán)境變量6．配置workers文件7．配置spark-defaults.conf文件8．復制master上的Spark到slave節(jié)點9.啟動并驗證Spark第12章1.單選題1-5、BABCA2.思考題（1）試述機器學習算法按照學習理論分，分為哪幾類？按學習理論分，機器學習模型可以分為有監(jiān)督學習，半監(jiān)督學習，無監(jiān)督學習，遷移學習和強化學習。監(jiān)督學習是訓練樣本帶有標簽，分為回歸和分類兩大部分；半監(jiān)督學習是訓練樣本部分有標簽，部分無標簽；無監(jiān)督學習是訓練樣本無標簽；遷移學習是把已經訓練好的模型參數遷移到新的模型上以幫助新模型訓練；強化學習是一個學習最優(yōu)策略，可以讓本體（agent）在特定環(huán)境中，根據當前狀態(tài)，做出行動，從而獲得最大回報。強化學習和有監(jiān)督學習最大的不同是，強化學習每次的決定沒有對與錯，而是希望獲得最多的累計獎勵。詳細闡述大數據和機器學習的區(qū)別和聯系。大數據的核心是利用數據的價值，機器學習是利用數據價值的關鍵技術，對于大數據而言，機器學習是不可或缺的。相反，對于機器學習而言，越多的數據會越可能提升模型的精確性，同時復雜的機器學習算法的計算時間也迫切需要分布式計算與內存計算這樣的關鍵技術。因此，機器學習的興盛也離不開大數據的幫助。大數據與機器學習兩者是互相促進，相依相存的關系。機器學習與大數據聯系緊密。但是，必須清醒的認識到，大數據并不等同于機器學習，同理，機器學習也不等同于大數據。大數據中包含有分布式計算，內存數據庫，多維分析等等多種技術。試述常用的分類算法有哪些，各自的特點是什么？貝葉斯分類法優(yōu)點：

1）所需估計的參數少，對于缺失數據不敏感。

2）有著堅實的數學基礎，以及穩(wěn)定的分類效率。

缺點：

1）假設屬性之間相互獨立，這往往并不成立。（喜歡吃番茄、雞蛋，卻不喜歡

吃番茄炒蛋）。

2）需要知道先驗概率。

3）分類決策存在錯誤率。決策樹優(yōu)點：

1）不需要任何領域知識或參數假設。

2）適合高維數據。

3）簡單易于理解。

4）短時間內處理大量數據，得到可行且效果較好的結果。

5）能夠同時處理數據型和常規(guī)性屬性。

缺點：

1）對于各類別樣本數量不一致數據，信息增益偏向于那些具有更多數值的特征。

2）易于過擬合。

3）忽略屬性之間的相關性。

4）不支持在線學習。支持向量機優(yōu)點：

1）可以解決小樣本下機器學習的問題。

2）提高泛化性能。

3）可以解決高維、非線性問題。超高維文本分類仍受歡迎。

4）避免神經網絡結構選擇和局部極小的問題。

缺點：

1）對缺失數據敏感。

2）內存消耗大，難以解釋。

3）運行和調差略煩人。（4）試述決策樹算法的思想。采用自頂向下的遞歸方法，以信息熵為度量，從訓練數據集中學習(擬合)出一棵決策樹第13章1.填空題（1）、HDFS、limit、external（2）、group（3）、Hadoop（4）、like（5）、內部2.選擇題1-2、CC3.思考題（1）試述數據倉庫分層的源數據層、數據倉庫層和數據應用層的執(zhí)行流程。首先源數據層采集并存儲的數據來源于不同的數據源，例如點擊流數據、數據庫數據及文檔數據等；然后通過ETL將清洗和轉換后的數據裝載到數據倉庫層；最終數據應用層根據實際業(yè)務需求獲取數據倉庫層的數據實現報表展示、數據分析或數據挖掘等操作。（2）請闡述什么是分區(qū)表和分桶表，以及它們的作用。分區(qū)表是指將數據按照某種規(guī)則劃分為多個邏輯上的部分，每個部分稱為一個分區(qū)。分區(qū)表可以根據數據的某個特征進行分區(qū)，比如按照時間、地理位置、用戶等信息進行分區(qū)。通過將數據分散存儲在不同的分區(qū)中，可以提高數據的查詢速度，同時方便進行數據的維護和管理。分桶表是一種用于優(yōu)化查詢而設計的表類型，對應的數據文件在底層被分解為若干個部分，通俗來說就是被拆分成若干個獨立的小文件。在分桶時，要指定根據哪個字段將數據分為幾桶。分桶表有以下三個好處。1）基于分桶字段查詢時，減少全表掃描。2）JOIN時可以提高MR程序效率，減少笛卡爾積數量（二張表按照關聯字段分桶）。3）分桶表數據進行高效抽樣。第14章1.選擇題1-3、BAB2.思考題（1）試述DataX架構原理。1）設計理念：DataX的設計理念是一種星型數據鏈路，為了解決異構數據源同步問題。2）框架設計：DataX本身作為離線數據同步框架，采用Framework+Plugin架構構建。將數據源讀取和寫入抽象成為Reader/Writer插件，納入到整個同步框架中。 Reader：數據采集模塊，負責采集數據源的數據，將數據發(fā)給FrameWork。 Writer：數據寫入模塊，負責不斷的向FrameWork取數據，并將數據寫入到目的端。 FrameWork：用于連接Reader和Writer，作為兩者的數據傳輸通道，并處理緩存，流控，并發(fā)，數據轉換等核心問題。（2）試述數據可視化的步驟。1）新建數據源2）新建數據集3）新建儀表板（3）試述數據可視化的重要作用。數據可視化是指借助于圖形化手段，清晰有效地傳達與溝通信息，使用戶能夠快速地識別模式，交互式可視化能夠讓決策者對細節(jié)有更深層的了解。數據可視化的作用主要包括：1）化繁為簡，實現可視化；2）更快發(fā)現新趨勢、新機遇；3）有效增強數據交互性；4）復雜信息易理解；5）數據多維度顯示；6）直觀展示圖；7）突破記憶限制。第15章1.選擇題1-3、BDDCB2.思考題（1）試述協同過濾的優(yōu)缺點。協同過濾推薦的優(yōu)勢在于，它不需要對物品或者用戶進行嚴格的建模（這是與前兩種算法的主要區(qū)別），而且不要求物品的描述是機器可理解的，它只要建立用戶與物品的某種關系（如評價關系