大數(shù)據(jù)云平臺建設(shè)技術(shù)規(guī)劃方案（僅用于學(xué)習(xí)的參考模板）

大數(shù)據(jù)云平臺建設(shè)技術(shù)規(guī)劃

總體設(shè)計方案—2

—

云平臺總體架構(gòu)平臺總述IaaS：提供基本的計算、網(wǎng)絡(luò)和存儲資源。PaaS：中間層，提供對行業(yè)業(yè)務(wù)應(yīng)用的支持。SaaS：向用戶交付最終業(yè)務(wù)應(yīng)用和數(shù)據(jù)分析。PaaS環(huán)境層：為業(yè)務(wù)應(yīng)用提供支撐的軟件組件、包括各種中間件和數(shù)據(jù)庫等。以Hadoop為代表的大數(shù)據(jù)處理。PaaS業(yè)務(wù)層：包含了應(yīng)用的后臺程序，數(shù)據(jù)處理算法以及業(yè)務(wù)數(shù)據(jù)等實現(xiàn)業(yè)務(wù)能力的元素。PaaS服務(wù)層：將業(yè)務(wù)層的業(yè)務(wù)、算法和數(shù)據(jù)以接口的形式提供給上層的前端應(yīng)用直接訪問。平臺核心：統(tǒng)一資源+大數(shù)據(jù)+開放服務(wù)—3

—

云平臺總體架構(gòu)云管理特點面向一般數(shù)據(jù)中心典型的應(yīng)用場景，提供對混合IT資源的統(tǒng)一接入，以構(gòu)筑云模式下基礎(chǔ)資源調(diào)度的最佳實踐。以PaaS能力為核心，將應(yīng)用系統(tǒng)的典型軟件組件以服務(wù)形態(tài)提供，為業(yè)務(wù)系統(tǒng)提供統(tǒng)一環(huán)境支持，并進行統(tǒng)一管理和監(jiān)控。將大數(shù)據(jù)平臺作為典型服務(wù)組件整合到云平臺中進行統(tǒng)一管理，以適應(yīng)未來應(yīng)用對大數(shù)據(jù)能力的普遍使用。為用戶提供面向DevOps的統(tǒng)一云服務(wù)業(yè)務(wù)流程，以統(tǒng)一平臺提供傳統(tǒng)的IaaS和PaaS能力，并貫穿開發(fā)、測試和生產(chǎn)的全過程?！?

—

云平臺總體架構(gòu)云管理整合傳統(tǒng)IaaS的管理能力與傳統(tǒng)PaaS的能力資源接入、服務(wù)管理、應(yīng)用系統(tǒng)環(huán)境支撐和統(tǒng)一監(jiān)控體系四位一體—5

—

云平臺總體架構(gòu)服務(wù)資源構(gòu)建混合IT基礎(chǔ)環(huán)境：數(shù)據(jù)中心的最佳實踐通常需要由物理機和不同價位和能力的虛擬化技術(shù)共同構(gòu)成。一個最佳性價比的方案可以是使用物理機支持核心數(shù)據(jù)庫和大規(guī)模計算、使用高效穩(wěn)定但成本高的虛擬化系統(tǒng)如VMWare等支持核心業(yè)務(wù)、使用普通虛擬化系統(tǒng)如HyperV等支持普通業(yè)務(wù)系統(tǒng)、最后使用低成本虛擬化系統(tǒng)如KVM等支持開發(fā)測試等環(huán)境。多資源區(qū)統(tǒng)一管理：同一類虛擬化資源或者物理資源可以構(gòu)成一個或若干個基本資源區(qū)。每個資源區(qū)一般包含一定數(shù)量的物理機。資源區(qū)的劃分方式取決于業(yè)務(wù)的區(qū)隔?！?

—

云平臺總體架構(gòu)服務(wù)資源構(gòu)建服務(wù)域：承載支撐應(yīng)用系統(tǒng)的軟件組件以服務(wù)形式進行交付的區(qū)域。在這個區(qū)域中，每一套軟件組件有一個自己獨立的服務(wù)域。一個服務(wù)域中，軟件組件典型的部署模式包含以下三種：a)按需模式：在一個服務(wù)域初始化時不創(chuàng)建具體的服務(wù)實例，當(dāng)有用戶請求時再根據(jù)用戶需求創(chuàng)建該軟件組件的實例。b)預(yù)置模式：在服務(wù)域創(chuàng)建時構(gòu)建相應(yīng)軟件組件的多個實例。當(dāng)用戶請求該軟件的實例時，系統(tǒng)直接從已經(jīng)創(chuàng)建的實例中進行分配。同時，該模式可以按照一定的策略保證空閑實例的數(shù)量。c)多實例模式：對一些特定類型的服務(wù)組件，一次部署以后可以產(chǎn)生多個服務(wù)實例。在這種情況下，該服務(wù)域在創(chuàng)建時可直接部署該組件，然后通過特定的服務(wù)接口在用戶申請實例時，由這個部署的組件不斷的創(chuàng)建服務(wù)實例。—7

—

大數(shù)據(jù)基礎(chǔ)構(gòu)建大數(shù)據(jù)基礎(chǔ)管理架構(gòu)大數(shù)據(jù)基礎(chǔ)平臺組成：1.分布式存儲框架：主要負(fù)責(zé)針對海量數(shù)據(jù)的存儲，以分布式存儲技術(shù)，支持快速、海量、多種類型的數(shù)據(jù)存取。主要支持從數(shù)據(jù)源抽取數(shù)據(jù)大數(shù)據(jù)基礎(chǔ)平臺存儲，集成多種存儲方式，有針對結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的存儲。2.計算框架：主要提供批處理計算、內(nèi)存計算、流式計算框架，由數(shù)據(jù)處理管理驅(qū)動來分配和調(diào)度計算框架，加載數(shù)據(jù)處理算法，完成數(shù)據(jù)處理。3.二級計算框架：主要提供Hive、Mahout等計算能力，這些計算能力最終還會使用計算框架來完成計算。4.數(shù)據(jù)集市倉庫：主要對計算框架完成后的結(jié)果進行存儲，支持Hbase、Mysql等存儲，同時將數(shù)據(jù)以接口的形式開放出去?！?

—

大數(shù)據(jù)基礎(chǔ)構(gòu)建大數(shù)據(jù)基礎(chǔ)管理架構(gòu)大數(shù)據(jù)基礎(chǔ)平臺組成：5.全文索引庫：采用大數(shù)據(jù)基礎(chǔ)平臺構(gòu)建支持全文檢索的全文庫，主要用于支撐海量結(jié)構(gòu)化數(shù)據(jù)的搜索查詢應(yīng)用。6.數(shù)據(jù)處理算法庫：集成通用的數(shù)據(jù)分析算法、能夠插入用戶自定義的數(shù)據(jù)模型算法，配合以資源管理系統(tǒng)為主的計算存儲框架，進行數(shù)據(jù)處理。目前包括插入全文檢索索引模型等。7.資源管理：以容器的方式，來為計算框架和存儲框架分配資源，并支持資源調(diào)度，彈性伸縮。8.數(shù)據(jù)服務(wù)總線：將基礎(chǔ)平臺的能力和數(shù)據(jù)服務(wù)接口，以API的方式開放出去，形成一個共享的、多租戶的、供大量應(yīng)用使用的服務(wù)總線?？砂ǎ翰樵冾惤涌?，分析類接口，專題應(yīng)用類接口，決策類接口等?！?

—

大數(shù)據(jù)基礎(chǔ)構(gòu)建大數(shù)據(jù)基礎(chǔ)管理架構(gòu)大數(shù)據(jù)基礎(chǔ)平臺組成：9.服務(wù)總線管理：主要是對數(shù)據(jù)服務(wù)總線進行管理和使用，功能包括：服務(wù)治理，接口訪問控制、服務(wù)質(zhì)量、協(xié)議轉(zhuǎn)換等功能。10.數(shù)據(jù)處理管理：主要是以作業(yè)管理的方式，對計算框架、存儲框架的資源進行調(diào)度、分配，以承載數(shù)據(jù)處理算法包，完成數(shù)據(jù)處理。11.資源目錄管理：主要針對大數(shù)據(jù)基礎(chǔ)平臺數(shù)據(jù)的元數(shù)據(jù)進行有效分類，根據(jù)目前橋梁生命線系統(tǒng)的數(shù)據(jù)特征分為以下幾大類目錄，包括：傳感器、橋梁、供水管道、燃?xì)夤艿?、機構(gòu)、用戶等，便于數(shù)據(jù)的管理和查詢。12.數(shù)據(jù)源管理：數(shù)據(jù)源管理實現(xiàn)對數(shù)據(jù)來源的管理，大數(shù)據(jù)基礎(chǔ)平臺具備對結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的抽取能力，并可通過本地系統(tǒng)上傳、對接第三方API、爬取互聯(lián)網(wǎng)數(shù)據(jù)等，為數(shù)據(jù)處理、分析、融合準(zhǔn)備數(shù)據(jù)?！?0

—

關(guān)鍵技術(shù)分析物理機管理鏡像部署接口：鏡像部署接口主要用于將操作系統(tǒng)鏡像自動化部署到創(chuàng)建的新主機上，使之交付的物理機是一個帶操作系統(tǒng)的物理機。主機控制接口：主機控制接口主要用于為新建（交付）的主機設(shè)置網(wǎng)卡IP地址、掛載盤等控制功能。電源管理接口：電源管理接口主要用于對新建的物理機進行啟動、停止、重啟等操作。IPMI接口：IPMI接口主要用于獲取物理機的CPU、風(fēng)扇、電源等信息—11

—

關(guān)鍵技術(shù)分析存儲資源管理KVM存儲資源管理：KVM的存儲部署支持直接使用iSCSI或FCSAN存儲陣列和共享分布式存儲，如GlusterFS和Ceph等，作為后端存儲。這些存儲接入到KVM虛擬化管理軟件的存儲管理模塊后，由存儲管理模塊對其劃分邏輯單元（LUN）作為虛擬機使用的存儲空間，形成統(tǒng)一的存儲資源池。存儲資源池可用于存儲KVM宿主機的虛擬機磁盤鏡像、虛擬機模板、驅(qū)動ISO、操作系統(tǒng)ISO等文件。VMware存儲資源管理：VMware的存儲部署采用iSCSI或FCSAN存儲陣列的后端存儲+DataStore數(shù)據(jù)存儲的方案，即在iSCSI協(xié)議或FC協(xié)議的存儲陣列上劃分出用于作為VMware集群共享存儲的邏輯單元（LUN），將該LUN映射至集群中的所有ESXi主機形成“共享卷”并格式化為VMFS網(wǎng)絡(luò)文件系統(tǒng)，這樣集群中每臺ESXi主機本地就形成了映射至后端存儲中同一邏輯單元（LUN）的數(shù)據(jù)存儲—“DataStore”，用于存儲集群中ESXi主機本地虛擬機的磁盤鏡像（vmdk）、虛擬機模板、驅(qū)動ISO、操作系統(tǒng)ISO等文件。—12

—

關(guān)鍵技術(shù)分析Hadoop部署Hadoop平臺部署：1、應(yīng)用服務(wù)資源區(qū)中可以建立兩個不同二級邏輯資源區(qū)，大數(shù)據(jù)虛擬資源區(qū)和大數(shù)據(jù)物理資源區(qū)。前者提供虛擬機來部署Hadoop平臺，可以主要用于滿足開發(fā)和測試驗證的需要。后者提供物理機來部署Hadoop平臺，可以用來滿足生產(chǎn)系統(tǒng)部署的需求。2、在給定的資源區(qū)上構(gòu)Hadoop服務(wù)域。在該服務(wù)域上，Hadoop平臺可以通過資源區(qū)提供的計