大數(shù)據(jù)(老師復(fù)習(xí)提到的)

第一章大數(shù)據(jù)概論1?大數(shù)據(jù)的基本概念：大數(shù)據(jù)（BigData）,數(shù)量極其龐大的數(shù)據(jù)資料。通俗地講大數(shù)據(jù)就是貌似毫無意義，但存在著的數(shù)據(jù)，其中包括結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化的所有數(shù)據(jù)。經(jīng)過處理后的大數(shù)據(jù)就是大數(shù)據(jù)信息。1ZB=1024EB=1024PB=1024TB=1024GB2?大數(shù)據(jù)的數(shù)據(jù)來源：管理信息系統(tǒng)，網(wǎng)絡(luò)信息系統(tǒng)，物聯(lián)網(wǎng)絡(luò)系統(tǒng),科學(xué)實(shí)驗(yàn)系統(tǒng)3、 生產(chǎn)數(shù)據(jù)的三個(gè)階段:被動(dòng)式生成數(shù)據(jù)（數(shù)據(jù)庫技術(shù)）,主動(dòng)式生成數(shù)據(jù),感知式生成數(shù)據(jù)4、 大數(shù)據(jù)的特點(diǎn)傳統(tǒng)方式大數(shù)據(jù)時(shí)代數(shù)據(jù)產(chǎn)生方式被動(dòng)采集數(shù)據(jù)主動(dòng)生成數(shù)據(jù)數(shù)據(jù)采集密度采樣密度較低，采樣數(shù)據(jù)有限利用大數(shù)據(jù)平臺(tái)，可對(duì)需要分析的事件的數(shù)據(jù)進(jìn)行密集采樣，精確獲取事件全局?jǐn)?shù)據(jù)數(shù)據(jù)源獲取較為孤立，不同數(shù)據(jù)源之間的數(shù)據(jù)整合難度較大利用大數(shù)據(jù)技術(shù)，通過分布式技術(shù)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫等技術(shù)對(duì)多個(gè)數(shù)據(jù)源獲取的數(shù)據(jù)進(jìn)行整合處理。數(shù)據(jù)處理方式大多采用離線處理方式，對(duì)生成的數(shù)據(jù)集中分析處理，不對(duì)實(shí)時(shí)產(chǎn)生的數(shù)據(jù)進(jìn)行分析。較大的數(shù)據(jù)源、響應(yīng)時(shí)間要求低的應(yīng)用可以采取批處理方式集中計(jì)算；對(duì)于響應(yīng)時(shí)間要求高的實(shí)時(shí)數(shù)據(jù)處理采用流處理的方式進(jìn)行實(shí)時(shí)計(jì)算，并通過對(duì)歷史數(shù)據(jù)的分析進(jìn)行預(yù)測(cè)分析5、大數(shù)據(jù)的特性（四V—O）：Volume,Variety，Value,Velocity，On-Line6、 大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性：結(jié)構(gòu)化信息（數(shù)據(jù)庫，聯(lián)機(jī)事務(wù)處理系統(tǒng)OLTP0）,可排序和查詢），半結(jié)構(gòu)化信息（XML、HTML，電子郵件，網(wǎng)絡(luò)上的信息，數(shù)據(jù)結(jié)構(gòu)和內(nèi)容混雜在一起），非結(jié)構(gòu)化信息（文檔、圖片、視頻/音頻，映射數(shù)據(jù)，可感知的形式中，其龐大規(guī)模和復(fù)雜性需要高級(jí)分析工具來創(chuàng)建或利用一種易于人們感知和交互的結(jié)構(gòu)）7、 大數(shù)據(jù)的應(yīng)用領(lǐng)域：醫(yī)療記錄，天文學(xué)，生物、基因組學(xué)，軍事偵察，社會(huì)網(wǎng)絡(luò)、數(shù)據(jù)。。。8、 主要的大數(shù)據(jù)處理系統(tǒng);數(shù)據(jù)查詢分析計(jì)算系統(tǒng),批處理系統(tǒng),,流式計(jì)算系統(tǒng),迭代計(jì)算系統(tǒng),圖計(jì)算系統(tǒng),內(nèi)存計(jì)算系統(tǒng)9、 大數(shù)據(jù)處理的基本流程:數(shù)據(jù)抽取與集成,,數(shù)據(jù)分析（核心）,數(shù)據(jù)解釋利用信息技術(shù)等手段處理非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)探索大數(shù)據(jù)復(fù)雜性、不確定性特征描述的方法及大數(shù)據(jù)的系統(tǒng)建模數(shù)據(jù)異構(gòu)性與決策異構(gòu)性的關(guān)系對(duì)大數(shù)據(jù)知識(shí)發(fā)現(xiàn)與管理決策的影響11、幾個(gè)典型大數(shù)據(jù)技術(shù)應(yīng)用平臺(tái)（典型工具）：Hadoop：分布式文件系統(tǒng)（HDFS）,實(shí)現(xiàn)和分布式計(jì)算框架（MapReduce）

HPCC:高性能計(jì)算與通信Storm:開源軟件，分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，處理龐大的數(shù)據(jù)流實(shí)時(shí)分析，在線機(jī)器學(xué)習(xí)，不停頓計(jì)算，分布式RPC（RemoteProcedureCall遠(yuǎn)程過程調(diào)用ApacheDrillRapidMiner12、大數(shù)據(jù)技術(shù)構(gòu)架1312、大數(shù)據(jù)技術(shù)構(gòu)架13、大數(shù)據(jù)整體技術(shù):數(shù)據(jù)采集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、模型預(yù)測(cè)和結(jié)果呈現(xiàn)等大數(shù)據(jù)關(guān)鍵技術(shù):大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲(chǔ)及管理、開發(fā)大數(shù)據(jù)安全大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用（大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)安全等）14、大數(shù)據(jù)未來發(fā)展趨勢(shì):數(shù)據(jù)資源化，數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立，大數(shù)據(jù)隱私和安全問題（結(jié)合專業(yè)知識(shí)及翻轉(zhuǎn)課堂過程中的資料論述）第二章大數(shù)據(jù)的采集與預(yù)處理1．（（（蒂品課資瀬聞?wù)?^（（（蒂品課資瀬聞?wù)?^）2.數(shù)據(jù)釆集DAQ大巨量據(jù)數(shù)廣源來量單構(gòu)結(jié)類、的據(jù)的化數(shù)化構(gòu)E3?數(shù)據(jù)采集系統(tǒng)：用于數(shù)據(jù)采集的成套設(shè)備（DAS,包括硬件部分和軟件部分，硬件部分又分為模擬部分和數(shù)字部分流程：采集傳感器-模擬信號(hào)-數(shù)字信號(hào)-計(jì)算機(jī)-顯示或打印目標(biāo)和特點(diǎn)：精度和速度,實(shí)現(xiàn)動(dòng)態(tài)測(cè)試3?臨床試驗(yàn)電子數(shù)據(jù)釆集系統(tǒng)（EDC）通過互聯(lián)網(wǎng)從試驗(yàn)中心直接遠(yuǎn)程收集臨床試驗(yàn)數(shù)據(jù)的一種數(shù)據(jù)采集系統(tǒng)。（在國(guó)內(nèi)應(yīng)用較少）基本功能：數(shù)據(jù)錄入數(shù)據(jù)導(dǎo)出，試驗(yàn)設(shè)計(jì)，編輯檢查，操作痕跡，系統(tǒng)安全，在線交流，醫(yī)學(xué)編碼，支持多語優(yōu)點(diǎn):提高了臨床研究的效率，縮短了臨床研究周期通過邏輯檢驗(yàn)和錄入數(shù)據(jù)檢查提高了數(shù)據(jù)質(zhì)量對(duì)研究質(zhì)量的監(jiān)測(cè)更加方便對(duì)臨床研究的影響：改變了傳統(tǒng)意義上的數(shù)據(jù)管理模式,EDC的應(yīng)用是臨床研究的必然趨勢(shì)，加快新藥研發(fā)和上市的進(jìn)度。4?大數(shù)據(jù)釆集的數(shù)據(jù)來源：結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫）；半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)（90%）信息數(shù)據(jù)采集需要考慮：采集量，采集速度，采集范圍商業(yè)數(shù)據(jù):企業(yè)ERP互聯(lián)網(wǎng)數(shù)據(jù)：社交網(wǎng)絡(luò)數(shù)據(jù)，F(xiàn)acebook，Google傳感器數(shù)據(jù)：物聯(lián)網(wǎng)5?大數(shù)據(jù)釆集的技術(shù)方法：系統(tǒng)日志釆集方法，?網(wǎng)絡(luò)數(shù)據(jù)釆集方法（對(duì)非結(jié)構(gòu)化，網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API）其他數(shù)據(jù)釆集方法：保密性要求較高的數(shù)據(jù)，可以通過與企業(yè)或研究機(jī)構(gòu)合作，使用特定系統(tǒng)接口等相關(guān)方式釆集數(shù)據(jù)。6?大數(shù)據(jù)處理：抽?。◤?fù)雜數(shù)據(jù)轉(zhuǎn)化為單一），清洗（去噪）7?大數(shù)據(jù)集成：大量不同類型的數(shù)據(jù)原封不動(dòng)的保存在原地，而將處理過程適當(dāng)?shù)姆峙浣o這些數(shù)據(jù)；問題：數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)的遷移、組織內(nèi)部的數(shù)據(jù)移動(dòng)、從非結(jié)構(gòu)化數(shù)據(jù)中抽取信息和將數(shù)據(jù)處理移動(dòng)到數(shù)據(jù)端第3章大數(shù)據(jù)建模（簡(jiǎn)單了解每種建模原理，能區(qū)別實(shí)例的理論原理）第三章大數(shù)據(jù)建模1?數(shù)據(jù)建模的定義建模就是建立模型，就是為了理解事物而對(duì)事物做出的一種抽象，是對(duì)事物的一種無歧義的書面描述。如數(shù)學(xué)建模，統(tǒng)計(jì)建模，數(shù)據(jù)挖掘建模，大數(shù)據(jù)建模2、數(shù)據(jù)模型之間的關(guān)系：相互聯(lián)系，相互區(qū)別3?經(jīng)典大數(shù)據(jù)建模常用的技術(shù)方法：分類（醫(yī)療診斷、信用卡的信用分級(jí)、圖像模式識(shí)別）、回歸分析（預(yù)測(cè)與控制）、聚類（市場(chǎng)分析）、關(guān)聯(lián)規(guī)則（金融行業(yè)、企業(yè)中以預(yù)測(cè)客戶的需求）、神經(jīng)網(wǎng)絡(luò)方法（生物信號(hào)的檢測(cè)與自動(dòng)分析、醫(yī)學(xué)專家系統(tǒng)）、Web數(shù)據(jù)挖掘大數(shù)據(jù)分析模式分類：根據(jù)實(shí)時(shí)性:可分為在線分析和離線分析根據(jù)數(shù)據(jù)規(guī)模:可分為內(nèi)存級(jí)、BI級(jí)和海量級(jí)根據(jù)算法復(fù)雜度的分類:分為時(shí)間復(fù)雜度和空間復(fù)雜度兩類大數(shù)據(jù)建模流程：模型建立、模型訓(xùn)練、模型驗(yàn)證和模型預(yù)測(cè)四個(gè)步驟數(shù)據(jù)建模應(yīng)遵循的9個(gè)定律：目標(biāo)律，知識(shí)律，準(zhǔn)備律，試驗(yàn)律，模式律，洞察律，預(yù)測(cè)律，價(jià)值律，變化律大數(shù)據(jù)建模應(yīng)用案例：百度疾病預(yù)測(cè)系統(tǒng)，臨床決策支持系統(tǒng)第四章數(shù)據(jù)可視化應(yīng)用數(shù)據(jù)可視化的目的就是將隱藏在數(shù)據(jù)背后的、特別重要的信息以講故事的方式分享給用戶。數(shù)據(jù)可視化主要旨在借助于圖形化手段，清晰有效地傳達(dá)與溝通信息。數(shù)據(jù)可視化技術(shù)：交互性，多維性，可視性數(shù)據(jù)可視化流程分枷]表述|修飾|?敎堆本劉京數(shù)娠結(jié)構(gòu)關(guān)注隹::息統(tǒng)門劉罕和亍視?范模炮沽晰須讀操州；分枷]表述|修飾|數(shù)據(jù)可視化過程：將事物圖形化，將事物的數(shù)值圖形化，將事物的關(guān)系圖形化，將時(shí)間和空間可視化，將數(shù)據(jù)進(jìn)行概念轉(zhuǎn)換，讓圖表“動(dòng)”起來第5章Hadoop概論Hadoop平臺(tái)以HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系統(tǒng)）、MapReduce（GoogleMapReduce的開源實(shí)現(xiàn)）、Common、YARN等模塊為核心，為用戶提供了細(xì)節(jié)透明的系統(tǒng)底層分布式基礎(chǔ)架構(gòu)。用戶可以利用Hadoop輕松地組織計(jì)算機(jī)資源，搭建自己的分布式計(jì)算平臺(tái)，并且可以充分利用集群的計(jì)算和存儲(chǔ)能力，完成海量數(shù)據(jù)的處理。Hadoop優(yōu)點(diǎn)：可擴(kuò)展，低成本，高效率，可靠Hadoop結(jié)構(gòu)簡(jiǎn)介：3.1HDFS：，Namenode（主服務(wù)器），Datanode（管理存儲(chǔ)的數(shù)據(jù)），Client（獲取文件）3.2MapReduce：映射、簡(jiǎn)化編程：Map-分解，Reduce-結(jié)果匯報(bào)第6章HDFS、MapReduce和Common概論（老師直接跳過了）第七章NoSQL技術(shù)介紹。NoSQL管理：包括大數(shù)據(jù)的一致性策略、大數(shù)據(jù)的分區(qū)與放置策略、大數(shù)據(jù)的復(fù)制與容錯(cuò)技術(shù)以及大數(shù)據(jù)的壓縮和緩存技術(shù)等。分布式系統(tǒng)的CAP理論是構(gòu)建NoSQL數(shù)據(jù)管理的基石。CAP，即Consistency（一致性）、Availability（可用性）和PartitionTolerance（分區(qū)容錯(cuò)性）數(shù)據(jù)分區(qū)：“化整為零”，通過一定的規(guī)則將超大型表分割成若干個(gè)小塊分別處理。數(shù)據(jù)分區(qū)技術(shù)：范圍分區(qū)，列表分區(qū)，哈希分區(qū)數(shù)據(jù)放置策略：1）順序放置策略：將各個(gè)存儲(chǔ)節(jié)點(diǎn)看成是邏輯有序的，在對(duì)數(shù)據(jù)副本進(jìn)行分配時(shí)先將同一數(shù)據(jù)的所有副本編號(hào)，然后采用一定的映射方式將各個(gè)副本放置到對(duì)應(yīng)序號(hào)的節(jié)點(diǎn)上2）隨機(jī)放置策略：通常是基于某一哈希函數(shù)來實(shí)現(xiàn)對(duì)數(shù)據(jù)的放置的，所以這里所謂的“隨機(jī)”其實(shí)也是有規(guī)律的，很多時(shí)候被稱為“偽隨機(jī)放置策略”6.系統(tǒng)故障類型故障類型故障子類故障語義崩潰故障失憶型崩潰服務(wù)器崩潰（停機(jī)），但停機(jī)前工作正常服務(wù)器只能從初始狀態(tài)，遺忘了崩潰前的狀態(tài)中頓型崩潰服務(wù)器可以從崩潰前的狀態(tài)啟動(dòng)停機(jī)型崩潰服務(wù)器完全停機(jī)失職故障接收型失職服務(wù)器對(duì)輸入的請(qǐng)求沒有響應(yīng)服務(wù)器無法接收信件發(fā)送型失職服務(wù)器無法發(fā)送信件應(yīng)答故障返回值故障服務(wù)器對(duì)服務(wù)請(qǐng)求做出錯(cuò)誤反應(yīng)返回值出現(xiàn)錯(cuò)誤狀態(tài)變遷故障服務(wù)器偏離正確的運(yùn)行軌跡時(shí)序故障服務(wù)器反應(yīng)遲緩，超出規(guī)定的時(shí)間間隔隨意故障服務(wù)器在任意時(shí)間產(chǎn)生的隨意錯(cuò)誤數(shù)據(jù)緩存技術(shù)：為了在用戶和數(shù)據(jù)庫之間建立的一層緩沖機(jī)制，把經(jīng)常訪問的數(shù)據(jù)放在內(nèi)存緩沖區(qū)，利用內(nèi)存高速讀取的特點(diǎn)來提高數(shù)據(jù)查詢效率。建立的這一層緩沖機(jī)制，也便于在不同節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)交換。分布式緩存可以橫跨多個(gè)服務(wù)器，所以可以靈活的進(jìn)行擴(kuò)展。分布式數(shù)據(jù)緩存的特點(diǎn)：高性能，動(dòng)態(tài)擴(kuò)展性，高可用性，易用性（分布式緩存提供單一的數(shù)據(jù)與管理視圖、動(dòng)態(tài)擴(kuò)展或失效恢復(fù)時(shí)無需人工配置、自動(dòng)選取備份結(jié)點(diǎn)且多數(shù)緩存系統(tǒng)提供了圖形化的管理控制臺(tái)，便于統(tǒng)一維護(hù)）9.NoSQL的種類Key-Value鍵值存儲(chǔ),Column-Oriented列存儲(chǔ),Document-Oriented面向文檔存儲(chǔ)Graph-Oriented圖形存儲(chǔ)10?典型的NoSQL工具（有點(diǎn)印象）：Redis,BIgtable,CouchDB,Neo4j第八章云計(jì)算云計(jì)算是一種用于對(duì)可配置共享資源池（網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)）通過網(wǎng)絡(luò)方便的、按需獲取的模型,它可以以最少的管理代價(jià)或以最少的服務(wù)商參與,快速地部署與發(fā)布。云計(jì)算基本特征（樓言強(qiáng)調(diào)：分布式存儲(chǔ),虛擬化技術(shù)）規(guī)模經(jīng)濟(jì)性,強(qiáng)大的虛擬化能力,支持快速部署業(yè)務(wù),通用性強(qiáng),價(jià)格低廉,高可靠性,高可擴(kuò)展性云計(jì)算服務(wù)模式云計(jì)算基于SOA（Service-OrientedArchitecture，面向服務(wù)的體系結(jié)構(gòu)）的理念和技術(shù)，將計(jì)算資源和應(yīng)用變成各種服務(wù)（XaaS）,可以說云服務(wù)即一切皆服務(wù)：軟件即服務(wù)（SaaS）,平臺(tái)即服務(wù)（PaaS）,基礎(chǔ)設(shè)施服務(wù)（laaS）云計(jì)算有三種部署模式，即公有云、私有云和混合云。云計(jì)算與大數(shù)據(jù)的關(guān)鍵技術(shù)：虛擬化技術(shù)，數(shù)據(jù)分布式存儲(chǔ)，大數(shù)據(jù)管理技術(shù)，并行編程模式，云計(jì)算數(shù)據(jù)中心，云計(jì)算集群，云計(jì)算仿真虛擬化技術(shù)：服務(wù)器，存儲(chǔ)，應(yīng)用，平臺(tái)，桌面數(shù)據(jù)分布式存儲(chǔ)：云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)本質(zhì)上是一種分布式的數(shù)據(jù)存儲(chǔ)技術(shù)及與之相關(guān)的虛擬化技術(shù)。目前云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)主要有Google的GFS和Hadoop開發(fā)團(tuán)隊(duì)開發(fā)的HDFS。云計(jì)算安全關(guān)鍵技術(shù)：可信訪問控制，密文檢索與處理，數(shù)據(jù)存在與可使用性證明，數(shù)據(jù)隱私保護(hù)，虛擬安全技術(shù)，云資源訪問控制，可信云計(jì)算生物醫(yī)學(xué)大數(shù)據(jù)的云解決方案（結(jié)合實(shí)際簡(jiǎn)答）：解決方案：獲取云計(jì)算資源、存儲(chǔ)和搜索數(shù)據(jù)，運(yùn)行和共享系統(tǒng)鏡像，配置和執(zhí)行并行計(jì)算流程：生物醫(yī)學(xué)項(xiàng)目規(guī)劃、生物云的方案選擇、方案執(zhí)行區(qū)域醫(yī)療信息云平臺(tái)建設(shè)：IaaS層，PaaS層，SaaS層，SaaS模式下的主要應(yīng)用第九章大數(shù)據(jù)解決方案1大數(shù)據(jù)解決方案系統(tǒng)架構(gòu).醫(yī)學(xué)大數(shù)據(jù)具體應(yīng)用案例：數(shù)據(jù)來源包括哪些？4.熱善療為/社交網(wǎng)JS我們?nèi)绾卫么髷?shù)據(jù)創(chuàng)造價(jià)借?（示例）?遠(yuǎn)程監(jiān)按醸i塞、3探4.熱善療為/社交網(wǎng)JS我們?nèi)绾卫么髷?shù)據(jù)創(chuàng)造價(jià)借?（示例）?遠(yuǎn)程監(jiān)按醸i塞、3探?曲認(rèn)□號(hào)計(jì)學(xué)時(shí)J!旳5劇5她睡?豪戡趙JSM的傾-了解病人就謖行為?11共衛(wèi)捋時(shí)紀(jì)計(jì)廿析?新農(nóng)合基金數(shù)蠟廿析?基亭藥勒馬袍用分折嘔樂戳據(jù)比對(duì)礙厲類型站入費(fèi)?酥癖支持第十章醫(yī)學(xué)大數(shù)據(jù)挖掘醫(yī)學(xué)大數(shù)據(jù)的種類：醫(yī)院醫(yī)療大數(shù)據(jù)，區(qū)域衛(wèi)生信息平臺(tái)大數(shù)據(jù)，基于大量人群的醫(yī)學(xué)研究或疾病監(jiān)測(cè)大數(shù)據(jù)，自我量化大數(shù)據(jù)，網(wǎng)絡(luò)大數(shù)據(jù)，生物信息大數(shù)據(jù)醫(yī)院醫(yī)療大數(shù)據(jù)：主要產(chǎn)生于醫(yī)院常規(guī)臨床診治、科研和管理過程。包括各種門急診記錄、住院記錄、影像記錄、實(shí)驗(yàn)室記錄、用藥記錄、手術(shù)記錄、隨訪記錄和醫(yī)療保險(xiǎn)記錄等。這些醫(yī)療數(shù)據(jù)中的大多數(shù)都是用醫(yī)學(xué)專業(yè)方式記錄下來的，是最原