大數(shù)據(jù)課堂測(cè)驗(yàn)2

大數(shù)據(jù)課堂測(cè)驗(yàn)2大數(shù)據(jù)課堂測(cè)驗(yàn)221/22PAGE21第頁(yè)（共3頁(yè)）大數(shù)據(jù)課堂測(cè)驗(yàn)2PAGE1第頁(yè)（共×頁(yè)）中國(guó)醫(yī)科大學(xué)試卷紙大數(shù)據(jù)課堂測(cè)驗(yàn)2簡(jiǎn)述大數(shù)據(jù)的來(lái)源與數(shù)據(jù)類(lèi)型大數(shù)據(jù)的來(lái)源非常多，如信息管理系統(tǒng)、網(wǎng)絡(luò)信息系統(tǒng)、物聯(lián)網(wǎng)系統(tǒng)、科學(xué)實(shí)驗(yàn)系統(tǒng)等，其數(shù)據(jù)類(lèi)型包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。2、大數(shù)據(jù)產(chǎn)生的三個(gè)階段（1）被動(dòng)式生成數(shù)據(jù)（2）主動(dòng)式生成數(shù)據(jù)感知式生成數(shù)據(jù)3、大數(shù)據(jù)處理的基本流程1．?dāng)?shù)據(jù)抽取與集成2．?dāng)?shù)據(jù)分析3．?dāng)?shù)據(jù)解釋4、大數(shù)據(jù)的特征4V1OVolume，Variety，Value，Velocity，On-Line5、適合大數(shù)據(jù)的四層堆棧式技術(shù)架構(gòu)6、大數(shù)據(jù)的整體技術(shù)和關(guān)鍵技術(shù)大數(shù)據(jù)的整體技術(shù)一般包括：數(shù)據(jù)采集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、模型預(yù)測(cè)和結(jié)果呈現(xiàn)等。大數(shù)據(jù)處理關(guān)鍵技術(shù)一般包括：大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲(chǔ)及管理、開(kāi)發(fā)大數(shù)據(jù)安全大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用（大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)安全等）。7、新一代數(shù)據(jù)體系的分類(lèi)新一代數(shù)據(jù)體系中，將傳統(tǒng)數(shù)據(jù)體系中沒(méi)有考慮過(guò)的新數(shù)據(jù)源進(jìn)行歸納與分類(lèi)，可將其歸納到線(xiàn)上行為數(shù)據(jù)與內(nèi)容數(shù)據(jù)兩大類(lèi)別。8、EDC系統(tǒng)的定義臨床試驗(yàn)電子數(shù)據(jù)采集（ElectricDataCapture，EDC）系統(tǒng)，在臨床試驗(yàn)中的應(yīng)用可以有效解決紙質(zhì)CRF存在的問(wèn)題。EDC是通過(guò)互聯(lián)網(wǎng)從試驗(yàn)中心（Sites）直接遠(yuǎn)程收集臨床試驗(yàn)數(shù)據(jù)的一種數(shù)據(jù)采集系統(tǒng)。9、EDC系統(tǒng)的基本功能數(shù)據(jù)錄入、數(shù)據(jù)導(dǎo)出、試驗(yàn)設(shè)計(jì)、編輯檢查、操作痕跡、系統(tǒng)安全、在線(xiàn)交流、醫(yī)學(xué)編碼和支持多語(yǔ)言。10、EDC系統(tǒng)的優(yōu)點(diǎn)（1）提高了臨床研究的效率，縮短了臨床研究周期（2）通過(guò)邏輯檢查提高了數(shù)據(jù)質(zhì)量（3）對(duì)研究質(zhì)量的監(jiān)測(cè)更加方便11、大數(shù)據(jù)采集的數(shù)據(jù)來(lái)源大數(shù)據(jù)的三大主要來(lái)源為商業(yè)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)與傳感器數(shù)據(jù)。12、網(wǎng)絡(luò)數(shù)據(jù)采集和處理的四個(gè)主要模塊網(wǎng)絡(luò)爬蟲(chóng)（Spider）、數(shù)據(jù)處理（DataProcess）、URL隊(duì)列（URLQueue）和數(shù)據(jù)（Data）。13、大數(shù)據(jù)集成在大數(shù)據(jù)領(lǐng)域中，數(shù)據(jù)集成技術(shù)也是實(shí)現(xiàn)大數(shù)據(jù)方案的關(guān)鍵組件。大數(shù)據(jù)中的集成是將大量不同類(lèi)型的數(shù)據(jù)原封不動(dòng)的保存在原地，而將處理過(guò)程適當(dāng)?shù)姆峙浣o這些數(shù)據(jù)。這是一個(gè)并行處理的過(guò)程，當(dāng)在這些分布式數(shù)據(jù)上執(zhí)行請(qǐng)求后，需要整合并返回結(jié)果。14、數(shù)據(jù)集成時(shí)應(yīng)解決的問(wèn)題數(shù)據(jù)集成時(shí)應(yīng)解決的問(wèn)題包括數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)的遷移、組織內(nèi)部的數(shù)據(jù)移動(dòng)、從非結(jié)構(gòu)化數(shù)據(jù)中抽取信息和將數(shù)據(jù)處理移動(dòng)到數(shù)據(jù)端。15、網(wǎng)絡(luò)數(shù)據(jù)處理的四個(gè)模塊及主要功能分詞（WordsAnalyze）、排重（ContentDeduplicate）、整合（Integrate）和數(shù)據(jù)，如圖2-17所示。這四個(gè)模塊的主要功能如下。1）分詞：對(duì)抓取到的網(wǎng)頁(yè)內(nèi)容進(jìn)行切詞處理。2）排重：對(duì)眾多的網(wǎng)頁(yè)內(nèi)容進(jìn)行排重。3）整合：對(duì)不同來(lái)源的數(shù)據(jù)內(nèi)容進(jìn)行格式上的整合。4）數(shù)據(jù)：包含兩方面的數(shù)據(jù)，SpiderData和DpData。16、大數(shù)據(jù)建模概念大數(shù)據(jù)建模是為了理解事物而對(duì)事物做出的一種抽象，是對(duì)事物的一種無(wú)歧義的書(shū)面描述。17、大數(shù)據(jù)分析模式分類(lèi)根據(jù)實(shí)時(shí)性，可分為在線(xiàn)分析和離線(xiàn)分析根據(jù)數(shù)據(jù)規(guī)模，可分為內(nèi)存級(jí)、BI級(jí)和海量級(jí)根據(jù)算法復(fù)雜度的分類(lèi)18、大數(shù)據(jù)建模流程定義問(wèn)題、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、模型建立、模型評(píng)估、模型更新與結(jié)果部署等。19、大數(shù)據(jù)建模應(yīng)遵循的規(guī)律以業(yè)務(wù)目標(biāo)作為實(shí)現(xiàn)目標(biāo)業(yè)務(wù)知識(shí)是每一步的核心做好數(shù)據(jù)預(yù)處理試驗(yàn)對(duì)尋找解決方案是必要的數(shù)據(jù)中總含有模式數(shù)據(jù)挖掘增大對(duì)業(yè)務(wù)的認(rèn)知預(yù)測(cè)提高了信息作用能力大數(shù)據(jù)建模的價(jià)值不在于預(yù)測(cè)的準(zhǔn)確率模式因業(yè)務(wù)變化而變化20、數(shù)據(jù)可視化的概念數(shù)據(jù)可視化技術(shù)是指運(yùn)用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換為圖形或圖像，然后在屏幕上顯示出來(lái)，利用數(shù)據(jù)分析和開(kāi)發(fā)工具發(fā)現(xiàn)其中未知信息的交互處理的理論、方法和技術(shù)。21、數(shù)據(jù)可視化流程22、數(shù)據(jù)可視化工具的特性1）實(shí)時(shí)性2）簡(jiǎn)單操作3）更豐富的展現(xiàn)4）多種數(shù)據(jù)集成支持方式23、數(shù)據(jù)可視化在生物領(lǐng)域中的應(yīng)用測(cè)序數(shù)據(jù)可視化分子結(jié)構(gòu)數(shù)據(jù)可視化關(guān)系網(wǎng)絡(luò)可視化臨床數(shù)據(jù)可視化24、Hadoop優(yōu)點(diǎn)1）可擴(kuò)展（Scalable）2）低成本（Economical）3）高效率（Efficient）4）可靠（Reliable）25、Hadoop的核心模塊HDFS、MapReduce、Common及YARN，其中HDFS提供了海量數(shù)據(jù)的存儲(chǔ)，MapReduce提供了對(duì)數(shù)據(jù)的計(jì)算，Common為在通用硬件上搭建云計(jì)算環(huán)境提供基本的服務(wù)及接口，YARN可以控制整個(gè)集群并管理應(yīng)用程序向基礎(chǔ)計(jì)算資源的分配。26、YARN的基本設(shè)計(jì)思想將MapReduce中的JobTracker拆分成了兩個(gè)獨(dú)立的服務(wù)：一個(gè)全局的資源管理器ResourceManager和每個(gè)應(yīng)用程序特有的ApplicationMaster。其中ResourceManager負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和分配，而ApplicationMaster則負(fù)責(zé)單個(gè)應(yīng)用程序的管理。27、HiveHive最早是由Facebook設(shè)計(jì)，基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供類(lèi)SQL查詢(xún)功能。28、HBaseHBase即HadoopDatabase，是一個(gè)分布式、面向列的開(kāi)源數(shù)據(jù)庫(kù)。HBase主要用于需要隨機(jī)訪(fǎng)問(wèn)、實(shí)時(shí)讀寫(xiě)的大數(shù)據(jù)。29、AvroAvro是一個(gè)數(shù)據(jù)序列化系統(tǒng)。類(lèi)似于其他序列化機(jī)制，Avro可以將數(shù)據(jù)結(jié)構(gòu)或者對(duì)象轉(zhuǎn)換成便于存儲(chǔ)和傳輸?shù)母袷剑湓O(shè)計(jì)目標(biāo)是用于支持?jǐn)?shù)據(jù)密集型應(yīng)用，適合大規(guī)模數(shù)據(jù)的存儲(chǔ)與交換。30、ChukwaChukwa是開(kāi)源的數(shù)據(jù)收集系統(tǒng)，用于監(jiān)控和分析大型分布式系統(tǒng)的數(shù)據(jù)。31、PigPig是一個(gè)對(duì)大型數(shù)據(jù)集進(jìn)行分析和評(píng)估的平臺(tái)。32、Spark原理Spark是一個(gè)開(kāi)源的通用并行分布式計(jì)算框架，由加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室開(kāi)發(fā)，支持內(nèi)存計(jì)算、多迭代批量處理、流處理和圖計(jì)算等多種范式。Spark基于MapReduce算法實(shí)現(xiàn)的分布式計(jì)算，擁有MapReduce所具有的優(yōu)點(diǎn)；但不同于MapReduce的是Job中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫(xiě)HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。33、Spark的優(yōu)點(diǎn)輕量級(jí)快速處理支持多語(yǔ)言支持復(fù)雜查詢(xún)實(shí)時(shí)的流處理可以與Hadoop數(shù)據(jù)整合34、HDFS的設(shè)計(jì)目標(biāo)高效的硬件響應(yīng)流式數(shù)據(jù)訪(fǎng)問(wèn)大規(guī)模數(shù)據(jù)集簡(jiǎn)單的一致性模型異構(gòu)軟硬件平臺(tái)間的可移植性35、HDFS架構(gòu)——解釋下圖答案在P107-P10836、以一個(gè)文件FileA（大小100MB）為例，說(shuō)明HDFS的工作原理。讀操作流程寫(xiě)操作流程答案在P109-P11137、HDFS的4類(lèi)源代碼基礎(chǔ)包實(shí)體實(shí)現(xiàn)包應(yīng)用包WebHDFS相關(guān)包38、MapReduceMapReduce是一個(gè)針對(duì)大規(guī)模群組中海量數(shù)據(jù)處理的分布式編程模型。39、HDFS接口遠(yuǎn)程過(guò)程調(diào)用接口與客戶(hù)端相關(guān)接口HDFS各服務(wù)器間的接口40、HDFS和MapReduce的關(guān)系HDFS在集群上實(shí)現(xiàn)了分布式文件系統(tǒng)，MapReduce在集群上實(shí)現(xiàn)了分布式計(jì)算和任務(wù)處理。HDFS在MapReduce任務(wù)處理過(guò)程中提供了對(duì)文件操作和存儲(chǔ)的支持。MapReduce在HDFS的基礎(chǔ)上實(shí)現(xiàn)任務(wù)的分發(fā)、跟蹤、執(zhí)行等工作，并收集結(jié)果。41、MapReduce技術(shù)特征易于使用良好的伸縮性大規(guī)模數(shù)據(jù)處理42、MapReduce工作機(jī)制答案在P116-P11743、MapReduce執(zhí)行流程Map（映射）和Reduce（化簡(jiǎn)）是它的主要思想，Map負(fù)責(zé)將數(shù)據(jù)打散，Reduce負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行聚集，用戶(hù)只需要實(shí)現(xiàn)Map和Reduce兩個(gè)接口，即可完成TB級(jí)數(shù)據(jù)的計(jì)算。向MapReduce框架提交一個(gè)計(jì)算作業(yè)時(shí)，它會(huì)首先進(jìn)行Split（分片），將File（文件）分配為多個(gè)數(shù)據(jù)片段，保證作業(yè)的并行效率。然后Map把計(jì)算作業(yè)拆分成若干個(gè)Map任務(wù)，然后分配到不同的結(jié)點(diǎn)上去執(zhí)行，每一個(gè)Map任務(wù)處理輸入數(shù)據(jù)中的一部分。當(dāng)Map任務(wù)完成后，它會(huì)生成一些中間文件，把這些文件重新組織作為Reduce階段的輸入，該過(guò)程稱(chēng)為Shuffle（洗牌），洗牌的操作一般包含本地化混合、分區(qū)、排序、復(fù)制及合并。Reduce任務(wù)的主要目標(biāo)就是把前面經(jīng)過(guò)洗牌的文件匯總到一起并輸出。44、CommonCommon為Hadoop的其他模塊提供了一些常用工具程序包，主要包括系統(tǒng)配置工具Configuration、遠(yuǎn)程過(guò)程調(diào)用RPC、序列化機(jī)制和Hadoop抽象文件系統(tǒng)FileSystem等。在通用硬件上搭建云計(jì)算環(huán)境提供基本的服務(wù)，同時(shí)為軟件開(kāi)發(fā)提供了API。45、大數(shù)據(jù)的一致性策略CAP，即一致性（Consistency）、可用性（Availability）和分區(qū)容錯(cuò)性（PartitionTolerance）46、大數(shù)據(jù)分區(qū)技術(shù)通過(guò)一定的規(guī)則將超大型表分割成若干小塊來(lái)分別處理。表進(jìn)行分區(qū)時(shí)需要使用分區(qū)鍵來(lái)標(biāo)志每一行屬于哪一個(gè)分區(qū)，分區(qū)鍵以列的形式保存在表中。47、幾種常見(jiàn)的數(shù)據(jù)分區(qū)算法范圍分區(qū)列表分區(qū)哈希分區(qū)48、分布式環(huán)境下的數(shù)據(jù)緩存技術(shù)特點(diǎn)高性能動(dòng)態(tài)擴(kuò)展性高可用性易用性49、NoSQL數(shù)據(jù)庫(kù)種類(lèi)鍵值（Key-Value）存儲(chǔ)列存儲(chǔ)（Column-Oriented）文檔（Document-Oriented）存儲(chǔ)圖形存儲(chǔ)（Graph-Oriented）。50、四種類(lèi)型NoSQL的特點(diǎn)及典型產(chǎn)品存儲(chǔ)類(lèi)型特性典型工具鍵值存儲(chǔ)可以通過(guò)鍵快速查詢(xún)到值，值無(wú)需符合特定格式Redis列存儲(chǔ)可存儲(chǔ)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，對(duì)某些列的高頻率查詢(xún)具有很好的I/O優(yōu)勢(shì)Bigtable、Hbase、Cassandra文檔存儲(chǔ)數(shù)據(jù)以文檔形式存儲(chǔ)，沒(méi)有固定格式CouchDB、MongoDB圖形存儲(chǔ)以圖形的形式存儲(chǔ)數(shù)據(jù)及數(shù)據(jù)之間的關(guān)系Neo4J51、BigtableBigtable是Google開(kāi)發(fā)的一個(gè)分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，運(yùn)用按列存儲(chǔ)數(shù)據(jù)的方法，是一個(gè)未開(kāi)源的系統(tǒng)。52、Bigtable數(shù)據(jù)庫(kù)的架構(gòu)答案在P135.53、Bigtable數(shù)據(jù)庫(kù)特點(diǎn)適合大規(guī)模海量數(shù)據(jù)，PB級(jí)數(shù)據(jù)。分布式、并發(fā)數(shù)據(jù)處理，效率極高。易于擴(kuò)展，支持動(dòng)態(tài)伸縮。適用于廉價(jià)設(shè)備。適合于讀操作，不適合寫(xiě)操作。不適用于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)。54、云計(jì)算定義云計(jì)算是一種用于對(duì)可配置共享資源池（網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)）通過(guò)網(wǎng)絡(luò)方便的、按需獲取的模型，它可以以最少的管理代價(jià)或以最少的服務(wù)商參與，快速地部署與發(fā)布。55、云計(jì)算基本特征規(guī)模經(jīng)濟(jì)性強(qiáng)大的虛擬化能力高可靠性高可擴(kuò)展性通用性強(qiáng)按需服務(wù)價(jià)格低廉支持快速部署業(yè)務(wù)56、云計(jì)算服務(wù)模式基礎(chǔ)設(shè)施即服務(wù)（IaaS）、平臺(tái)即服務(wù)（PaaS）、軟件即服務(wù)（SaaS）是云計(jì)算的三種應(yīng)用服務(wù)模式57、云計(jì)算部署模式公有云、私有云和混合云58、虛擬化技術(shù)把有限的、固定的資源根據(jù)不同需求進(jìn)行重新規(guī)劃以達(dá)到最大利用率的思路，在IT領(lǐng)域就稱(chēng)為虛擬化技術(shù)。59、云計(jì)算數(shù)據(jù)中心的構(gòu)成云計(jì)算數(shù)據(jù)中心本質(zhì)上由云計(jì)算平臺(tái)和云計(jì)算服務(wù)構(gòu)成60、云計(jì)算安全關(guān)鍵技術(shù)可信訪(fǎng)問(wèn)控制密文檢索與處理數(shù)據(jù)存在與可使用性證明數(shù)據(jù)隱私保護(hù)虛擬安全技術(shù)云資源訪(fǎng)問(wèn)控制可信云計(jì)算61、大數(shù)據(jù)解決方案系統(tǒng)架構(gòu)及各層功能平臺(tái)層：其中的大數(shù)據(jù)存儲(chǔ)平臺(tái)提供大數(shù)據(jù)存儲(chǔ)服務(wù)，大數(shù)據(jù)計(jì)算平臺(tái)提供大數(shù)據(jù)計(jì)算服務(wù)，多數(shù)據(jù)中心調(diào)度引擎為多區(qū)域智能中心的分析架構(gòu)提供數(shù)據(jù)調(diào)度服務(wù)。功能層：包括大數(shù)據(jù)集成、存儲(chǔ)、管理和挖掘部分，各部分為大數(shù)據(jù)存儲(chǔ)和挖掘提供相應(yīng)功能。服務(wù)層：基于Web技術(shù)和OpenAPI技術(shù)提供大數(shù)據(jù)最終的展現(xiàn)服務(wù)。62、醫(yī)學(xué)大數(shù)據(jù)的種類(lèi)醫(yī)院醫(yī)療大數(shù)據(jù)區(qū)域衛(wèi)生信息平臺(tái)大數(shù)據(jù)基于大量人群的醫(yī)學(xué)研究或疾病監(jiān)測(cè)大數(shù)據(jù)自我量化大數(shù)據(jù)網(wǎng)絡(luò)大數(shù)據(jù)生物信息大數(shù)據(jù)63、大數(shù)據(jù)挖掘與傳統(tǒng)數(shù)據(jù)挖掘方法的區(qū)別傳統(tǒng)數(shù)據(jù)挖掘大數(shù)據(jù)挖掘樣本數(shù)量少量數(shù)據(jù)樣本分析與事物相關(guān)的所有數(shù)據(jù)，研究的樣本數(shù)量趨近于總體數(shù)量事物之間的關(guān)系遵循事物之間的因果關(guān)系尋找事物之間的相關(guān)關(guān)系追求的目標(biāo)追求絕對(duì)的準(zhǔn)確性追求效率和趨勢(shì)挖掘方式采集方法，內(nèi)容分類(lèi)，采信標(biāo)準(zhǔn)等都已存在即有規(guī)則，方法論完整挖掘新鮮事物，還沒(méi)有形成清晰的方法、路徑及評(píng)判標(biāo)準(zhǔn)64、醫(yī)學(xué)大數(shù)據(jù)挖掘的特點(diǎn)醫(yī)學(xué)數(shù)據(jù)挖掘隱私性醫(yī)學(xué)數(shù)據(jù)的多樣性醫(yī)學(xué)數(shù)據(jù)的不完整性醫(yī)學(xué)數(shù)據(jù)的冗余性醫(yī)學(xué)數(shù)據(jù)的動(dòng)態(tài)性65、醫(yī)學(xué)大數(shù)據(jù)挖掘的主要方法自動(dòng)疾病預(yù)測(cè)趨勢(shì)和行為關(guān)聯(lián)分析聚類(lèi)分析模糊系統(tǒng)與進(jìn)化算法66、醫(yī)學(xué)大數(shù)據(jù)挖掘的應(yīng)用方向臨床決策支持系統(tǒng)醫(yī)療數(shù)據(jù)透明度醫(yī)學(xué)圖像挖掘生物信息學(xué)——DNA分析公眾健康67、基于互聯(lián)網(wǎng)大數(shù)據(jù)生物監(jiān)