視頻分布式組件開放平臺建設(shè)方案模板

視頻能力平臺建設(shè)方案項目概述1.1建設(shè)背景隨著國家經(jīng)濟的提高，城市化進程在不斷的發(fā)展，各種社會矛盾和暴力事件逐漸增多,政府和相關(guān)單位對加強城市各地聯(lián)網(wǎng)型監(jiān)控系統(tǒng)越來越重視，實時發(fā)現(xiàn)安全隱患的視頻監(jiān)控功能已經(jīng)具有越來越重要的現(xiàn)實意義。XX、政務(wù)、建筑、教育等行業(yè)先后頒布多個有關(guān)視頻的政策文件指導(dǎo)建設(shè)，在數(shù)字政府建設(shè)、行業(yè)應(yīng)用拓展等方面都出現(xiàn)了對視頻監(jiān)控業(yè)務(wù)的迫切需求，如:雪亮工程、明廚亮灶、平安校園、智慧工地等。同時，5G時代的到來也是視頻監(jiān)控行業(yè)的重大機遇，目前中國XX已經(jīng)將視頻業(yè)務(wù)歸納為移動、寬帶、電視之后的第四大基礎(chǔ)業(yè)務(wù)，伴隨著視頻監(jiān)控業(yè)務(wù)與5G、人工智能、大數(shù)據(jù)技術(shù)相結(jié)合的智能視頻業(yè)務(wù)呈爆發(fā)性的增長態(tài)勢，智能視頻監(jiān)控產(chǎn)品在這種日益增長的需求帶動下，正在成為視頻監(jiān)控領(lǐng)域的新熱點。因此，如何把握5G時代發(fā)展契機，發(fā)揮XXXX在視頻監(jiān)控領(lǐng)域的市場和能力優(yōu)勢，全面布局視頻能力建設(shè)，打造能夠滿足各行各業(yè)視頻應(yīng)用需求，并形成具有智能視頻監(jiān)測、安防、服務(wù)、管理的視頻能力開放平臺就顯得尤為迫切和重要。1.2建設(shè)內(nèi)容視頻能力開放平臺是集視頻基礎(chǔ)服務(wù)和AI及大數(shù)據(jù)分析能力于一體的綜合服務(wù)運營管理平臺，通過建設(shè)智能視頻基礎(chǔ)平臺、智能視頻應(yīng)用平臺和智能視頻分析平臺，面向公眾客戶和行業(yè)客戶，提供從產(chǎn)品受理，音視頻基礎(chǔ)服務(wù)，包括播放、錄像、回放、云臺控制，智能分析服務(wù)等一整套多元化的視頻應(yīng)用服務(wù)。平臺采用國標GB28181協(xié)議搭建視頻基礎(chǔ)服務(wù)平臺，使用分布式及邊緣計算架構(gòu)搭建視頻整體架構(gòu)，實現(xiàn)平臺快速對接、應(yīng)用快速落地，靈活服務(wù)于各類客戶及各種應(yīng)用場景。1.3建設(shè)意義通過建設(shè)視頻能力開放平臺，可以實現(xiàn)XX視頻平臺產(chǎn)品化的能力。不僅實現(xiàn)視頻接入能力，而且可以實現(xiàn)對視頻智能化分析能力，為XX視頻綜合業(yè)務(wù)的發(fā)展提供有利的保障。目前智能視頻監(jiān)控建設(shè)正逐漸從“代建模式”向“自營出租模式”演變，未來將轉(zhuǎn)向以數(shù)據(jù)銷售為中心的規(guī)?；\營。XX可以實現(xiàn)以監(jiān)控視頻業(yè)務(wù)為主，打造統(tǒng)一的智能視頻平臺，構(gòu)建視頻接入、傳輸資源優(yōu)勢，面向用戶開展視頻出租業(yè)務(wù)；加強構(gòu)建視頻生態(tài)，拓展大數(shù)據(jù)和智能分析應(yīng)用，提升視頻價值挖掘。發(fā)揮中國XX在視頻監(jiān)控領(lǐng)域的市場和能力優(yōu)勢，全面布局視頻能力建設(shè)，打造行業(yè)生態(tài)，合作共贏。1.4建設(shè)規(guī)模平臺分期建設(shè)。本期建設(shè)規(guī)模按照目前業(yè)務(wù)發(fā)展規(guī)模進行預(yù)估，在部署的完成后可持續(xù)擴容，包括擴容資源申請，擴容部署時限等，以滿足用戶使用的需求。建設(shè)原則平臺在進行設(shè)計的過程中應(yīng)遵循如下原則：1、實用性按照系統(tǒng)投入結(jié)合具體運用和具體應(yīng)用環(huán)境來設(shè)計系統(tǒng)，最大限度的滿足各項功能要求。系統(tǒng)盡量具有人性化的設(shè)計，做到易操作、界面友好，美觀大方、易管理、查詢與統(tǒng)計功能靈活完善、數(shù)據(jù)更新和維護簡便、系統(tǒng)升級容易等特點。使系統(tǒng)能被用戶接受容納，便于推廣應(yīng)用。2、可靠性系統(tǒng)應(yīng)運用先進的訪問控制、身份認證等技術(shù)防止非法用戶的入侵，保證系統(tǒng)能夠正常、可靠的運行。數(shù)據(jù)在網(wǎng)上采集、存儲、傳輸和處理的過程中，始終保持完整性和一致性。為保證系統(tǒng)的可靠正常運行、采取系統(tǒng)定期檢測和數(shù)據(jù)定期備份來保證系統(tǒng)的可靠性。3、穩(wěn)定性平臺將會考慮數(shù)據(jù)穩(wěn)定性要求，保障系統(tǒng)在運行過程中正常穩(wěn)定運行。在安全、高效的基礎(chǔ)上實現(xiàn)系統(tǒng)穩(wěn)定運行是系統(tǒng)建設(shè)的基本目標。為了保證系統(tǒng)建設(shè)的穩(wěn)定原則，應(yīng)充分考察現(xiàn)在系統(tǒng)的系統(tǒng)結(jié)構(gòu)和成功應(yīng)用案例，不能為了過分追求新技術(shù)而忽略系統(tǒng)穩(wěn)定性，也不能為了過分強調(diào)穩(wěn)定而忽略系統(tǒng)的高效運作和安全問題。4、開放性系統(tǒng)設(shè)計采用的各項軟、硬件設(shè)備均應(yīng)符合國際通用標準，符合開放性原則，應(yīng)用系統(tǒng)建設(shè)和組網(wǎng)使用的技術(shù)要與技術(shù)發(fā)展的潮流吻合，保證系統(tǒng)的開放性和技術(shù)延伸性，與日后的技術(shù)應(yīng)具有良好的親和性。信息共享需要開放性與標準化。為了支持系統(tǒng)的可持續(xù)發(fā)揮作用，必須對信息及信息服務(wù)、應(yīng)用功能等提供開放的接口，并進行標準化。為了支持系統(tǒng)上線后的后繼開發(fā)工作，應(yīng)準備向各應(yīng)用系統(tǒng)開放接口，并提供相關(guān)技術(shù)文檔和接口文件支持。5、先進性系統(tǒng)要采用國際上先進、成熟、實用的技術(shù)，既保證系統(tǒng)實現(xiàn)的功能，又保證系統(tǒng)在未來的五年內(nèi)，其技術(shù)仍能滿足應(yīng)用發(fā)展的需求。目前的J2EE技術(shù)已比較成熟，系統(tǒng)應(yīng)該采用J2EE多層體系結(jié)構(gòu)，所有的應(yīng)用服務(wù)應(yīng)架構(gòu)于中間件之上，客戶端通過統(tǒng)一的瀏覽器界面訪問整個系統(tǒng)，保持接口統(tǒng)一、訪問簡單、易升級、易擴充的特點，完全能夠滿足平臺未來幾年的發(fā)展需要。6、易用性系統(tǒng)考慮到不同層面的業(yè)務(wù)人員的操作水平、系統(tǒng)建設(shè)過程中將更多的考慮系統(tǒng)的易用性。易用原則即在進行系統(tǒng)開發(fā)時，要充分考慮系統(tǒng)使用者的需求和習(xí)慣，以易用為導(dǎo)向，以實現(xiàn)業(yè)務(wù)流程為目標。包括工作人員和公眾進行操作時，都應(yīng)體現(xiàn)易用原則。項目需求人員需對系統(tǒng)使用者進行較深入的調(diào)查和研究，充分尊重用戶的需求和使用習(xí)慣，在體現(xiàn)系統(tǒng)功能的基礎(chǔ)上，避免出現(xiàn)過于復(fù)雜的操作，避免出現(xiàn)使用戶陷入迷茫狀態(tài)的系統(tǒng)界面，力爭以最簡單的操作步驟、最清晰明了的流程指引實現(xiàn)業(yè)務(wù)流程。7、健壯性系統(tǒng)的健壯性主要表現(xiàn)在受控訪問。為了防止大量的用戶同時訪問系統(tǒng)而造成系統(tǒng)崩潰，必須對信息訪問進行有效控制，使信息有序流動；由于系統(tǒng)存儲了大量流媒體數(shù)據(jù)，務(wù)必要確保信息傳輸?shù)目煽啃裕罕ＷC信息不多傳、不誤傳、不丟失。采用各種措施，保障系統(tǒng)的健壯性。8、安全性必須保證系統(tǒng)和信息的高安全性，采取必要的防范措施，使整個系統(tǒng)受到有意、無意的非法侵入而造成系統(tǒng)破壞的可能性降至最低程度。系統(tǒng)將具備完善的用戶權(quán)限控制機制；具備完善的用戶權(quán)限控制機制；完善的日志及跟蹤功能，業(yè)務(wù)辦理及敏感數(shù)據(jù)查詢需做相應(yīng)的記錄；具備方便的數(shù)據(jù)備份及災(zāi)難恢復(fù)能力，可在服務(wù)器系統(tǒng)崩潰后最短時間內(nèi)使系統(tǒng)恢復(fù)正常運行。9、完備性各系統(tǒng)自身具有完整地功能，涵蓋多個業(yè)務(wù)領(lǐng)域，能夠滿足使用需求。通過接口等多種方式進行整合后，能夠提供更加強大的、完整的功能，能夠更好的滿足應(yīng)用需求。10、容錯性根據(jù)設(shè)備的功能、重要性等分別采用冗余、容錯、備份等技術(shù)，以保證局部的錯誤不影響整個系統(tǒng)的運行。11、高效性采用新技術(shù)和穩(wěn)定的設(shè)備，將整個系統(tǒng)的信息流量維持在一個均衡高效的指標內(nèi)。高效原則應(yīng)體現(xiàn)在辦事效率和系統(tǒng)運行兩個方面。系統(tǒng)建設(shè)和使用過程中發(fā)現(xiàn)問題及時解決，響應(yīng)速度和解決問題進度保證迅速及時。雙方應(yīng)建立良好的溝通機制，以最短的時間最高的效率實現(xiàn)系統(tǒng)建設(shè)目標。系統(tǒng)運行效率方面，在充分考慮性價比、系統(tǒng)實際應(yīng)用環(huán)境的前提下，充分考察軟硬件的搭配問題，進行新系統(tǒng)建設(shè)時爭取購買較先進的硬件，淘汰運行效率低下的技術(shù)。12、易維護性系統(tǒng)的管理、維護和維修應(yīng)具有簡易性和可操作性。系統(tǒng)的各種關(guān)鍵參數(shù)可以通過程序維護，并且通過綜合網(wǎng)絡(luò)進行系統(tǒng)維護，從而大大降低維護成本。系統(tǒng)易于進行功能擴充，新增功能模塊不影響原來的應(yīng)用。13、集成性系統(tǒng)的各個部分，既要是相對獨立的子系統(tǒng)，又能實現(xiàn)相互之間必要的信息交換，可實現(xiàn)自上而下、集中統(tǒng)一的網(wǎng)絡(luò)、設(shè)備監(jiān)控和管理。具有良好的高內(nèi)聚、低耦合的特性，便于系統(tǒng)的擴充和功能的增加，以及應(yīng)用的強化。建設(shè)方案視頻能力開放平臺具有標準的協(xié)議及接口規(guī)范，能無縫對接各種視頻類平臺、業(yè)務(wù)類平臺，接入各大主流前端設(shè)備，實現(xiàn)平臺互聯(lián)互通，實現(xiàn)智慧社區(qū)、明廚亮灶、入侵檢測等智能化應(yīng)用場景，進行統(tǒng)一管理，視頻存儲轉(zhuǎn)發(fā)。3.3視頻相關(guān)服務(wù)3.3.1接入服務(wù)GB28181-2016接入支持GB/T28181-2016協(xié)議接入。平臺完全按照GB/T28181協(xié)議進行開發(fā)，注冊、注銷、校時、心跳、視頻預(yù)覽、前端錄像回放和下載、報警等功能都符合GB28181的標準信令流程。SDK網(wǎng)關(guān)接入支持SDK網(wǎng)關(guān)接入。通過第三方SDK接入私有協(xié)議設(shè)備，實現(xiàn)對設(shè)備的管理和控制。GB28181-2011接入支持GB/T28181-2011協(xié)議接入。對注冊、注銷、校時、心跳、視頻預(yù)覽、前端錄像回放和下載、報警等功能都符合標準信令流程。私有協(xié)議接入支持私有協(xié)議接入。通過第三方私有協(xié)議接入私有協(xié)議設(shè)備，實現(xiàn)對設(shè)備的管理和控制。ONVIF協(xié)議接入適配ONVIF協(xié)議接入。通過ONVIF協(xié)議接入NVR設(shè)備，實現(xiàn)對設(shè)備的管理和控制。平臺API接入支持平臺API接入，按照天翼看家、智能視頻云等廠家的接口規(guī)范實現(xiàn)相應(yīng)的接口鑒權(quán)過程，鑒權(quán)完成之后獲取天翼看家的信息目錄樹、設(shè)備列表、設(shè)備信息和直播地址。3.3.2標準服務(wù)H.264編解碼平臺支持H.264解編碼，可實現(xiàn)H.264編碼推流、傳輸及解碼播放。H.265編解碼平臺支持H.265解編碼，可實現(xiàn)H.265編碼推流、傳輸及解碼播放。G.711A音頻編解碼平臺支持G.711A解編碼，可實現(xiàn)G.711A編碼推流、傳輸及解碼播放。音視頻解析針對海量多媒體數(shù)據(jù)，提供轉(zhuǎn)碼和音視頻處理服務(wù)。用戶可按需將視頻文件轉(zhuǎn)碼為適合在PC或移動端播放的格式，滿足用戶在各類平臺播放視頻。音視頻分發(fā)可對系統(tǒng)已存在的某監(jiān)控點的音視頻碼流進行分發(fā)，可直接向請求方發(fā)送已有媒體數(shù)據(jù)。視頻流格式轉(zhuǎn)換（RTSP、RTMP、HLS、FLV）獲得對應(yīng)視頻流數(shù)據(jù)，對視頻流數(shù)據(jù)解碼后重新編碼成不同格式的視頻數(shù)據(jù)，然后按照視頻流數(shù)據(jù)協(xié)議打包輸出，以滿足實時視頻流的轉(zhuǎn)碼功能。支持協(xié)議包括：RTSP、RTMP、HLS、FLV。音視頻拉流獲取設(shè)備實時視頻播放地址，通知視頻平臺流媒體服務(wù)，主動拉取實時視頻，獲得對應(yīng)視頻流數(shù)據(jù)。音視頻推流基于RTSP、RTMP、HLS等流媒體協(xié)議，對音視頻數(shù)據(jù)使用傳輸協(xié)議進行封裝，變成流數(shù)據(jù)，通過一定的Qos算法將音視頻流數(shù)據(jù)推送到網(wǎng)絡(luò)斷，通過CDN進行分發(fā)。媒體負載可根據(jù)需求動態(tài)擴展流媒體分發(fā)網(wǎng)元，中央調(diào)度服務(wù)器可根據(jù)各個網(wǎng)元的性能進行負載均衡。0國標網(wǎng)關(guān)負載可根據(jù)需求動態(tài)擴展國標網(wǎng)關(guān)網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、增加吞吐量，分攤到多個操作單元上進行執(zhí)行，從而加強國標網(wǎng)關(guān)數(shù)據(jù)處理能力及承載能力。1存儲網(wǎng)關(guān)負載可根據(jù)需求動態(tài)擴展存儲網(wǎng)關(guān)服務(wù)器，增加吞吐量，分攤到多個操作單元上進行執(zhí)行，從而加強存儲網(wǎng)關(guān)數(shù)據(jù)處理能力及承載能力。2設(shè)備接入網(wǎng)關(guān)負載可根據(jù)需求動態(tài)擴展設(shè)備接入網(wǎng)關(guān)服務(wù)器，增加吞吐量，分攤到多個操作單元上進行執(zhí)行，從而加強設(shè)備接入網(wǎng)關(guān)數(shù)據(jù)處理能力及承載能力。3.3.3國標服務(wù)國標上級聯(lián)通過國標規(guī)范，主動向上級平臺注冊、注銷、保持心跳、主動上報本級域設(shè)備目錄信息，支持上級地域訂閱功能。國標下級聯(lián)通過國標級聯(lián)的方式，接入下級平臺，同步下級平臺數(shù)據(jù)，以同步下級平臺的設(shè)備資源，實現(xiàn)下級平臺的設(shè)備管理等功能。國標注冊重定向提供國標注冊重定向功能，設(shè)備向國標注冊網(wǎng)關(guān)發(fā)起注冊操作后，返回國標服務(wù)地址，設(shè)備向國標服務(wù)地址發(fā)起注冊。設(shè)備布控提供設(shè)備布控功能，用戶可根據(jù)自身需求及不同業(yè)務(wù)場景對設(shè)備進行布控設(shè)置。告警通知提供告警通知服務(wù)，平臺對異常操作進行實時告警。同時提供列表可以查看所有的設(shè)備告警信息。國標拉流向國標設(shè)備發(fā)起媒體信令，設(shè)備返回國標流，媒體服務(wù)進行打包。國標信令服務(wù)提供國標信令服務(wù)，可通過國標信令服務(wù)對設(shè)備發(fā)起國標信令操作，如云臺控制、重啟、拉流等。國標網(wǎng)關(guān)服務(wù)提供國標網(wǎng)關(guān)服務(wù)，實現(xiàn)國標服務(wù)負載調(diào)度、鑒權(quán)。3.3.4媒體服務(wù)直播（RTSP、RTMP、HLS、FLV）為用戶提供直播服務(wù)，支持RTSP、RTMP、HLS、FLV等流媒體協(xié)議。國標級聯(lián)拉流支持將主動拉取實時視頻流地址獲取的視頻流數(shù)據(jù)，通過解析并轉(zhuǎn)換為國標標準的視頻流數(shù)據(jù)協(xié)議，以滿足通過國標標準拉取下級平臺國標視頻流的要求。國標級聯(lián)推流基于國標流媒體協(xié)議，對視頻流數(shù)據(jù)使用傳輸協(xié)議進行封裝，變成流數(shù)據(jù)，通過一定的Qos算法將音視頻流數(shù)據(jù)推送到網(wǎng)絡(luò)斷，通過CDN進行分發(fā)。以滿足通過國標標準推送至上級平臺國標視頻流的要求。錄像回放為用戶提供錄像回放功能，按照指定設(shè)備、時間等要素檢索歷史影像信息，并提供回放和下載，回放支持正常播放、快速播放、畫面暫停、圖像抓拍等。云臺控制提供云臺控制，用戶可通過云臺實現(xiàn)對攝像頭不同方向的控制。點擊監(jiān)控畫面顯示控制按鈕，包括上下左右等。同時支持畫質(zhì)選擇。調(diào)焦用戶在成功登錄客戶端后，可以根據(jù)權(quán)限獲取對應(yīng)的設(shè)備列表，通過設(shè)備列表用戶可以控制具有權(quán)限的設(shè)備進行操作，點擊監(jiān)控畫面顯示控制按鈕，實現(xiàn)攝像頭調(diào)焦。視頻放大縮小用戶在成功登錄客戶端后，可以根據(jù)權(quán)限獲取對應(yīng)的設(shè)備列表，通過設(shè)備列表用戶可以控制具有權(quán)限的設(shè)備進行操作，點擊監(jiān)控畫面顯示控制按鈕，實現(xiàn)放大縮小操作。0設(shè)備重啟提供設(shè)備重啟功能，用戶可遠程批量及單臺對設(shè)備進行重啟。1抓拍對當(dāng)前觀看的實時視頻或者錄像進行圖像抓拍，并保存到本地。。3媒體網(wǎng)關(guān)服務(wù)提供媒體網(wǎng)關(guān)服務(wù)，實現(xiàn)媒體服務(wù)負載調(diào)度、鑒權(quán)。4本地錄像平臺支持獲取設(shè)備的本地存儲的錄像資源，并實現(xiàn)在線播放。3.3.5存儲服務(wù)定時存儲平臺支持定時存儲，根據(jù)用戶需求及不同業(yè)務(wù)場景，通過配置錄像存儲策略，實現(xiàn)定時存儲。動態(tài)存儲平臺支持動態(tài)存儲，通過獲取設(shè)備移動偵測信息，完成動態(tài)畫面視頻錄像。流式文件存儲提供流式文件存儲，大幅度地縮短啟動延時，大大降低對系統(tǒng)緩存容量的需求。容器式文件存儲提供容器存儲，實現(xiàn)容器持久化存儲，提供高性能的容器應(yīng)用管理服務(wù)，支持企業(yè)級容器化應(yīng)用的生命周期管理。存儲策略配置提供存儲策略，用戶可根據(jù)自身需求及不同業(yè)務(wù)場景設(shè)置存儲策略，包括存儲方式、存儲周期等。存儲開關(guān)提供存儲開關(guān)功能，用戶可通過存儲開關(guān)隨時開啟或關(guān)閉存儲服務(wù)。對象存儲提供海量、安全、低成本、高可靠的對象儲服務(wù)，提供99.9999999999%的數(shù)據(jù)持久性。使用RESTfulAPI可以在互聯(lián)網(wǎng)任何位置存儲和訪問，容量和處理能力彈性擴展，多種存儲類型供選擇全面優(yōu)化存儲成本。支持與天翼云等S3標準對象存儲對接。塊存儲提供的低時延、持久性、高可靠的塊級隨機存儲。塊存儲支持在可用區(qū)內(nèi)自動復(fù)制數(shù)據(jù)，防止意外硬件故障導(dǎo)致的數(shù)據(jù)不可用，保護您的業(yè)務(wù)免于硬件故障的威脅。支持天翼云塊存儲協(xié)議。文件存儲提供可共享訪問，彈性擴展的高性能云原生分布式文件支持冷熱數(shù)據(jù)分級存儲。廣泛應(yīng)用于容器、大數(shù)據(jù)分析、Web服務(wù)和內(nèi)容管理、應(yīng)用程序開發(fā)和測試、媒體和數(shù)據(jù)庫備份等。支持流式文件存儲及容器式文件存儲。0存儲管理提供存儲管理功能，用戶可實時掌握存儲情況，如存儲空間、使用情況、存儲分配、存儲擴充等。1資源調(diào)度提供資源調(diào)度，用戶可實時對存儲資源進行調(diào)度調(diào)節(jié)。2存儲網(wǎng)關(guān)服務(wù)提供存儲網(wǎng)關(guān)服務(wù)，實現(xiàn)存儲服務(wù)負載調(diào)度、鑒權(quán)。3.3.6第三方應(yīng)用第三方鑒權(quán)生成RSA公鑰與私鑰，并提供公鑰給第三方應(yīng)用進行配置，用于實現(xiàn)返回結(jié)果加解密。媒體服務(wù)API為第三方應(yīng)用提供媒體服務(wù)API，第三方應(yīng)用通過媒體服務(wù)API調(diào)用直播、回看、云臺控制等服務(wù)。存儲服務(wù)API為第三方應(yīng)用提供存儲服務(wù)API，第三方應(yīng)用通過存儲服務(wù)API調(diào)用存儲管理、資源調(diào)度、存儲開關(guān)、錄像存儲地址等服務(wù)。國標服務(wù)API為第三方應(yīng)用提供國標服務(wù)API，第三方應(yīng)用通過國標服務(wù)API調(diào)用設(shè)備布控、國標拉流、信令管理等服務(wù)。第三方網(wǎng)關(guān)服務(wù)提供第三方網(wǎng)關(guān)服務(wù)，讓用戶更高效快捷的訪問應(yīng)用和服務(wù)?；诹阈湃尾呗裕瑢?yīng)用和服務(wù)提供集中管控，統(tǒng)一防控和統(tǒng)一審計，保障應(yīng)用和服務(wù)更安全、更可靠。3.4應(yīng)用技術(shù)平臺建設(shè)采用J2EE企業(yè)級軟件技術(shù)體系架構(gòu)進行研發(fā)，支持Java8及以上版本。采用微服務(wù)架構(gòu)及前后端分離技術(shù)，構(gòu)建以“數(shù)據(jù)中臺”和“業(yè)務(wù)中臺”為支撐的系統(tǒng)應(yīng)用服務(wù)體系。圍繞JSON、XML、Restful、Webservice、移動開發(fā)技術(shù)等主流企業(yè)級java生態(tài)圈技術(shù)，為業(yè)務(wù)應(yīng)用系統(tǒng)提供技術(shù)支撐并實現(xiàn)可視化展示。采用Hadoop、Spark、Storm等大數(shù)據(jù)技術(shù)，基于Hbase、Hive、關(guān)系型數(shù)據(jù)庫、時序數(shù)據(jù)庫、圖數(shù)據(jù)庫等數(shù)據(jù)庫技術(shù)，使用ETL、數(shù)據(jù)挖掘、模型分析、搜索引擎等技術(shù)，基于消息隊列技術(shù)、JSON/XML技術(shù)、OLTP/OLAP技術(shù)為平臺提供以大數(shù)據(jù)為依托的數(shù)據(jù)匯集、數(shù)據(jù)存儲、數(shù)據(jù)分析等服務(wù)能力。主要通用技術(shù)和關(guān)鍵技術(shù)介紹具體如下：3.4.1通用技術(shù)J2EE企業(yè)級開發(fā)架構(gòu)J2EE是符合OMG標準的純面向?qū)ο蟮募夹g(shù)體系結(jié)構(gòu)，采用B/S結(jié)構(gòu)技術(shù)的系統(tǒng)實現(xiàn)，基于WEB方式的客戶端實現(xiàn)，整體應(yīng)用服務(wù)分成四層標準的邏輯結(jié)構(gòu)：數(shù)據(jù)層、業(yè)務(wù)邏輯層、應(yīng)用邏輯層和表現(xiàn)層，并以此為基礎(chǔ)擴展可以形成N層體系結(jié)構(gòu)，基于組件技術(shù)的企業(yè)應(yīng)用服務(wù)可以靈活地配置和組裝，相對于其他開發(fā)框架有較好的穩(wěn)定性、高可靠性和可擴展性，不受平臺的束縛，方便地移植和重用，從架構(gòu)上保證了系統(tǒng)的靈活、高效，并能完成負載均衡。JSON技術(shù)JSON(JavaScriptObjectNotation)是一種輕量級的數(shù)據(jù)交換格式,易于閱讀和編寫，同時也易于機器解析和生成。JSON采用完全獨立于編程語言和技術(shù)平臺的文本格式，使得它在JavaScript相關(guān)程序中處理JSON格式數(shù)據(jù)不需要特殊API或軟件工具包，是一種理想的數(shù)據(jù)交換語言。JSON的主要作用是提供機構(gòu)化數(shù)據(jù)的一種表示，可以在不同語言編寫的應(yīng)用程序之間交換數(shù)據(jù)，而且可以在不同機器上運行相關(guān)的應(yīng)用程序。XML技術(shù)為保證系統(tǒng)之間能夠順利進行數(shù)據(jù)交換，必須制定各系統(tǒng)必須遵守的統(tǒng)一的數(shù)據(jù)規(guī)范和格式，XML作為簡單靈活的文本格式的可擴展標記語言，具有簡單性、開放性、可擴展性、靈活性、自描述性等特性，適合于多種數(shù)據(jù)源間進行數(shù)據(jù)的交換。按照《中華人民共和國國家環(huán)境保護標準-環(huán)境信息交換技術(shù)規(guī)范》、《政務(wù)信息資源交換體系第3部分：異構(gòu)數(shù)據(jù)庫接口規(guī)范》，明確規(guī)范了以XML格式進行數(shù)據(jù)信息交換。Web可視化技術(shù)Node是一個基于ChromeJavaScript運行時建立的一個平臺，是一個事件驅(qū)動I/O服務(wù)端JavaScript環(huán)境。Vue是一套構(gòu)建用戶界面的漸進式框架，只關(guān)注視圖層，采用自底向上增量開發(fā)的設(shè)計，Vue的目標是通過盡可能簡單的API實現(xiàn)響應(yīng)的數(shù)據(jù)綁定和組合的視圖組件。Jquery是一個JavaScript代碼庫。HTML稱為超文本標記語言，是一種標識性的語言。它包括一系列標簽．通過這些標簽可以將網(wǎng)絡(luò)上的文檔格式統(tǒng)一，使分散的Internet資源連接為一個邏輯整體。HTML文本是由HTML命令組成的描述性文本，HTML命令可以說明文字，圖形、動畫、聲音、表格、鏈接等。JSP（全稱JavaServerPages）是一種動態(tài)網(wǎng)頁技術(shù)標準。JSP部署于網(wǎng)絡(luò)服務(wù)器上，可以響應(yīng)客戶端發(fā)送的請求，并根據(jù)請求內(nèi)容動態(tài)地生成HTML、XML或其他格式文檔的Web網(wǎng)頁，然后返回給請求者。JSP技術(shù)以Java語言作為腳本語言，為用戶的HTTP請求提供服務(wù)，并能與服務(wù)器上的其它Java程序共同處理復(fù)雜的業(yè)務(wù)需求。Echarts是一個純Javascript的圖表庫，可以定制直觀、生動、可交互、可高度個性化的Web數(shù)據(jù)可視化圖表。移動應(yīng)用技術(shù)移動開發(fā)技術(shù)也稱為手機開發(fā)，或叫做移動互聯(lián)網(wǎng)開發(fā)。是指以手機、PDA等便攜終端為基礎(chǔ)，進行相應(yīng)的開發(fā)工作，由于這些隨身設(shè)備基本都采用無線上網(wǎng)的方式，因此，業(yè)內(nèi)也稱作為無線開發(fā)。原生開發(fā)是指某一個移動平臺（比如iOS或安卓）所特有的應(yīng)用，使用相應(yīng)平臺支持的開發(fā)工具和語言，并直接調(diào)用系統(tǒng)提供的SDKAPI。比如Android原生應(yīng)用就是指使用Java或Kotlin語言直接調(diào)用AndroidSDK開發(fā)的應(yīng)用程序；而iOS原生應(yīng)用就是指通過Objective-C或Swift語言直接調(diào)用iOSSDK開發(fā)的應(yīng)用程序。H5+原生混合開發(fā)是將APP的一部分需要動態(tài)變動的內(nèi)容通過H5來實現(xiàn)，通過原生的網(wǎng)頁加載控件WebView(Android)或WKWebView（iOS）來加載。微信小程序，簡稱小程序，英文名MiniProgram，是一種不需要下載安裝即可使用的應(yīng)用，它實現(xiàn)了應(yīng)用“觸手可及”的夢想，用戶掃一掃或搜一下即可打開應(yīng)用。消息隊列技術(shù)消息隊列中間件是分布式系統(tǒng)中重要的組件，主要解決應(yīng)用耦合、異步消息、流量削鋒等問題。實現(xiàn)高性能、高可用、可伸縮和最終一致性架構(gòu)。是大型分布式系統(tǒng)不可缺少的中間件。消息隊列網(wǎng)絡(luò)是能夠相互間來回發(fā)送消息的任何一組計算機。消息隊列就是一個消息的鏈表。可以把消息看作一個記錄，具有特定的格式以及特定的優(yōu)先級。對消息隊列有寫權(quán)限的進程可以向消息隊列中按照一定的規(guī)則添加新消息，對消息隊列有讀權(quán)限的進程則可以從消息隊列中讀走消息。消息隊列是隨內(nèi)核持續(xù)的。目前主要有兩種類型的消息隊列：POSIX消息隊列以及系統(tǒng)V消息隊列，系統(tǒng)V消息隊列目前被大量使用?？紤]到程序的可移植性，新開發(fā)的應(yīng)用程序應(yīng)盡量使用POSIX消息隊列。3.4.2關(guān)鍵技術(shù)ZLMediakit框架ZLMediakit是基于C++11的高性能運營級流媒體服務(wù)框架?；贑++11開發(fā)，避免使用裸指針，代碼穩(wěn)定可靠，性能優(yōu)越。支持多種協(xié)議(RTSP/RTMP/HLS/HTTP-FLV/WebSocket-FLV/GB28181/HTTP-TS/WebSocket-TS/HTTP-fMP4/WebSocket-fMP4/MP4),支持協(xié)議互轉(zhuǎn)。使用多路復(fù)用/多線程/異步網(wǎng)絡(luò)IO模式開發(fā)，并發(fā)性能優(yōu)越，支持海量客戶端連接。代碼經(jīng)過長期大量的穩(wěn)定性、性能測試，已經(jīng)在線上商用驗證已久。支持linux、macos、ios、android、windows全平臺。支持畫面秒開、極低延時(500毫秒內(nèi)，最低可達100毫秒)。提供完善的標準CAPI,可以作SDK用，或供其他語言調(diào)用。提供完整的MediaServer服務(wù)器，可以免開發(fā)直接部署為商用服務(wù)器。提供完善的restfulapi以及webhook，支持豐富的業(yè)務(wù)邏輯。打通了視頻監(jiān)控協(xié)議棧與直播協(xié)議棧，對RTSP/RTMP支持都很完善。全面支持H265/H264/AAC/G711/OPUS。1、RTSP[S]RTSP[S]服務(wù)器，支持RTMP/MP4/HLS轉(zhuǎn)RTSP[S],支持亞馬遜echoshow這樣的設(shè)備RTSP[S]播放器，支持RTSP代理，支持生成靜音音頻RTSP[S]推流客戶端與服務(wù)器支持rtpoverudprtpovertcprtpoverhttprtp組播四種RTP傳輸方式服務(wù)器/客戶端完整支持Basic/Digest方式的登錄鑒權(quán)，全異步可配置化的鑒權(quán)接口支持。H265編碼服務(wù)器支持RTSP推流(包括rtpoverudprtpovertcp方式)支持H264/H265/AAC/G711/OPUS編碼，其他編碼能轉(zhuǎn)發(fā)但不能轉(zhuǎn)協(xié)議2、RTMP[S]RTMP[S]播放服務(wù)器，支持RTSP/MP4/HLS轉(zhuǎn)RTMPRTMP[S]發(fā)布服務(wù)器，支持錄制發(fā)布流RTMP[S]播放器，支持RTMP代理，支持生成靜音音頻RTMP[S]推流客戶端支持http[s]-flv直播支持websocket-flv直播支持H264/H265/AAC/G711/OPUS編碼，其他編碼能轉(zhuǎn)發(fā)但不能轉(zhuǎn)協(xié)議支持RTMP-H265支持RTMP-OPUS3、HLS支持HLS文件生成，自帶HTTP文件服務(wù)器，通過cookie追蹤技術(shù)，可以模擬HLS播放為長連接，可以實現(xiàn)HLS按需拉流、播放統(tǒng)計等業(yè)務(wù)支持HLS播發(fā)器，支持拉流HLS轉(zhuǎn)rtsp/rtmp/mp4支持H264/H265/AAC/G711/OPUS編碼4、TS支持http[s]-ts直播支持ws[s]-ts直播支持H264/H265/AAC/G711/OPUS編碼5、fMP4支持http[s]-fmp4直播支持ws[s]-fmp4直播支持H264/H265/AAC/G711/OPUS編碼6、HTTP[S]與WebSocket服務(wù)器支持目錄索引生成,文件下載,表單提交請求客戶端提供文件下載器(支持斷點續(xù)傳),接口請求器,文件上傳器完整HTTPAPI服務(wù)器，可以作為web后臺開發(fā)框架支持跨域訪問支持http客戶端、服務(wù)器cookie支持WebSocket服務(wù)器和客戶端支持http文件訪問鑒權(quán)7、GB28181與RTP推流支持UDP/TCP國標RTP(PS或TS)推流服務(wù)器，可以轉(zhuǎn)換成RTSP/RTMP/HLS等協(xié)議支持RTSP/RTMP/HLS轉(zhuǎn)國標推流客戶端，支持TCP/UDP模式，提供相應(yīng)restfulapi支持H264/H265/AAC/G711/OPUS編碼支持?？礶home推流8、MP4點播與錄制支持錄制為FLV/HLS/MP4/RTSP/RTMP/HTTP-FLV/WS-FLV支持MP4文件點播，支持seek支持H264/H265/AAC/G711/OPUS編碼9、其他支持豐富的restfulapi以及webhook事件支持簡單的telnet調(diào)試支持配置文件熱加載支持流量統(tǒng)計、推拉流鑒權(quán)等事件支持虛擬主機,可以隔離不同域名支持按需拉流，無人觀看自動關(guān)斷拉流支持先拉流后推流，提高及時推流畫面打開率，提供capisdk支持FFmpeg拉流代理任意格式的流支持httpapi生成并返回實時截圖支持按需解復(fù)用、轉(zhuǎn)協(xié)議，當(dāng)有人觀看時才開啟轉(zhuǎn)協(xié)議Kratos框架Kratos是bilibili開源的一套Go微服務(wù)框架，包含大量微服務(wù)相關(guān)框架及工具。1、HTTP框架:Blademaster(bm)基于gin二次開發(fā)，具有快速、靈活的特點，可以方便的開發(fā)中間件處理通用或特殊邏輯，基礎(chǔ)庫默認實現(xiàn)了log&trace等。2、gRPC框架:Warden(wd)基于官方gRPC封裝，默認使用discovery進行服務(wù)注冊發(fā)現(xiàn)，及wrr和p2c(默認)負載均衡。3、基礎(chǔ)組件庫dappertrace：基于opentracing，全鏈路集成了trace，我們還提供dapper實現(xiàn)，請參看：dapper敬請期待。log：基于zap的field方式實現(xiàn)的高性能log庫，集成了我們提供的log-agent敬請期待日志收集方案。cache：集成memcache&redis的SDK，注意無redis-cluster實現(xiàn)，推薦使用代理模式overlord。database：集成MySQL&HBase&TiDB的SDK，其中TiDB使用服務(wù)發(fā)現(xiàn)方案。4、框架工具鏈kratostool：kratos相關(guān)工具量，包括項目快速生成、pb文件代碼生成、swagger文檔生成等。提供完整的微服務(wù)研發(fā)體驗，整合相關(guān)框架及工具后，微服務(wù)治理相關(guān)部分可對整體業(yè)務(wù)開發(fā)周期無感，從而更加聚焦于業(yè)務(wù)交付微服務(wù)技術(shù)微服務(wù)技術(shù)是一項在云中部署應(yīng)用和服務(wù)的新技術(shù)。微服務(wù)是一種架構(gòu)風(fēng)格，一個大型復(fù)雜軟件應(yīng)用由一個或多個微服務(wù)組成。系統(tǒng)中的各個微服務(wù)可被獨立部署，各個微服務(wù)之間是松耦合的。每個微服務(wù)僅關(guān)注于完成一件任務(wù)并很好地完成該任務(wù)。在所有情況下，每個任務(wù)代表著一個小的業(yè)務(wù)能力。微服務(wù)可以在“自己的程序”中運行，并通過“輕量級設(shè)備與HTTP型API進行溝通”。微服務(wù)的核心是服務(wù)調(diào)用，分布式服務(wù)架構(gòu)中的服務(wù)分布在不同主機的不同進程上，服務(wù)的調(diào)用跟單體應(yīng)用進程內(nèi)方法調(diào)用的本質(zhì)區(qū)別就是需要借助網(wǎng)絡(luò)來進行通信。微服務(wù)不需要像普通服務(wù)那樣成為一種獨立的功能或者獨立的資源。微服務(wù)是需要與業(yè)務(wù)能力相匹配，服務(wù)粒度越粗，就越難以符合規(guī)定原則。服務(wù)粒度越細，就越能夠靈活地降低變化和負載所帶來的影響。然而，利弊之間的權(quán)衡過程是非常復(fù)雜的，要在配置和資金模型的基礎(chǔ)上考慮到基礎(chǔ)設(shè)施的成本問題。C++技術(shù)C++是C語言的繼承，它既可以進行C語言的過程化程序設(shè)計，又可以進行以抽象數(shù)據(jù)類型為特點的基于對象的程序設(shè)計，還可以進行以繼承和多態(tài)為特點的面向?qū)ο蟮某绦蛟O(shè)計。C++擅長面向?qū)ο蟪绦蛟O(shè)計的同時，還可以進行基于過程的程序設(shè)計，因而C++就適應(yīng)的問題規(guī)模而論，大小由之。C++不僅擁有計算機高效運行的實用性特征，同時還致力于提高大規(guī)模程序的編程質(zhì)量與程序設(shè)計語言的問題描述能力。1、支持數(shù)據(jù)封裝和數(shù)據(jù)隱藏在C++中，類是支持數(shù)據(jù)封裝的工具，對象則是數(shù)據(jù)封裝的實現(xiàn)。C++通過建立用戶定義類支持數(shù)據(jù)封裝和數(shù)據(jù)隱藏。在面向?qū)ο蟮某绦蛟O(shè)計中，將數(shù)據(jù)和對該數(shù)據(jù)進行合法操作的函數(shù)封裝在一起作為一個類的定義。對象被說明為具有一個給定類的變量。每個給定類的對象包含這個類所規(guī)定的若干私有成員、公有成員及保護成員。完好定義的類一旦建立，就可看成完全封裝的實體，可以作為一個整體單元使用。類的實際內(nèi)部工作隱藏起來，使用完好定義的類的用戶不需要知道類是如何工作的，只要知道如何使用它即可。2、支持繼承和重用在C++現(xiàn)有類的基礎(chǔ)上可以聲明新類型，這就是繼承和重用的思想。通過繼承和重用可以更有效地組織程序結(jié)構(gòu)，明確類間關(guān)系，并且充分利用已有的類來完成更復(fù)雜、深入的開發(fā)。新定義的類為子類，成為派生類。它可以從父類那里繼承所有非私有的屬性和方法，作為自己的成員。3、支持多態(tài)性采用多態(tài)性為每個類指定表現(xiàn)行為。多態(tài)性形成由父類和它們的子類組成的一個樹型結(jié)構(gòu)。在這個樹中的每個子類可以接收一個或多個具有相同名字的消息。當(dāng)一個消息被這個樹中一個類的一個對象接收時，這個對象動態(tài)地決定給予子類對象的消息的某種用法。多態(tài)性的這一特性允許使用高級抽象。繼承性和多態(tài)性的組合，可以輕易地生成一系列雖然類似但獨一無二的對象。由于繼承性，這些對象共享許多相似的特征。由于多態(tài)性，一個對象可有獨特的表現(xiàn)方式，而另一個對象有另一種表現(xiàn)方式。Golang技術(shù)Go（又稱Golang）是Google的RobertGriesemer，RobPike及KenThompson開發(fā)的一種靜態(tài)強類型、編譯型語言。Go語言語法與C相近，但功能上有：內(nèi)存安全，GC（垃圾回收），結(jié)構(gòu)形態(tài)及CSP-style并發(fā)計算。Go的語法接近C語言，但對于變量的聲明有所不同。Go支持垃圾回收功能。Go的并行模型是以東尼·霍爾的通信順序進程（CSP）為基礎(chǔ)，采取類似模型的其他語言包括Occam和Limbo，但它也具有Pi運算的特征，比如通道傳輸。在1.8版本中開放插件（Plugin）的支持，這意味著現(xiàn)在能從Go中動態(tài)加載部分函數(shù)。與C++相比，Go并不包括如枚舉、異常處理、繼承、泛型、斷言、虛函數(shù)等功能，但增加了切片(Slice)型、并發(fā)、管道、垃圾回收、接口（Interface）等特性的語言級支持。Go2.0版本將支持泛型，對于斷言的存在，則持負面態(tài)度，同時也為自己不提供類型繼承來辯護。不同于Java，Go內(nèi)嵌了關(guān)聯(lián)數(shù)組（也稱為哈希表（Hashes）或字典（Dictionaries）），就像字符串類型一樣。數(shù)據(jù)庫技術(shù)數(shù)據(jù)庫技術(shù)是信息系統(tǒng)的一個核心技術(shù)。是一種計算機輔助管理數(shù)據(jù)的方法，它研究如何組織和存儲數(shù)據(jù)，如何高效地獲取和處理數(shù)據(jù)。常規(guī)業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)庫采用關(guān)系型數(shù)據(jù)庫。關(guān)系型數(shù)據(jù)庫應(yīng)滿足構(gòu)建多節(jié)點分布式集群需求,滿足構(gòu)建多節(jié)點讀寫分離集群需求,滿足并行數(shù)據(jù)加載能力,可進行并行數(shù)據(jù)高速加載。滿足分布式集群的監(jiān)控和維護需求。滿足負載均衡能力和故障隔離能力,滿足根據(jù)場景調(diào)整負載均衡策略。滿足高可靠性,避免單點故障,以及軟硬件造成的數(shù)據(jù)丟失等。支持數(shù)據(jù)庫備份還原,提供重做日志系統(tǒng),支持系統(tǒng)運行日志與監(jiān)控,提供數(shù)據(jù)庫對象管理;在技術(shù)生態(tài)方面,支持多種編程語言以及接口和開發(fā)框架,支持廣泛的SQL語法兼容性和專用DB-API特性兼容,支持多種編程語言、接口和開發(fā)框架、多字符集與國際化,支持多種網(wǎng)絡(luò)通信協(xié)議,支持多種云計算基礎(chǔ)設(shè)施環(huán)境,支持多種軟硬件平臺。在大數(shù)據(jù)計算方面,支持數(shù)據(jù)庫彈性計算,可以在保證包括SQL支持能力在內(nèi)的所有數(shù)據(jù)庫功能完備性的同時,提供關(guān)系數(shù)據(jù)庫集群的橫向擴展能力,提升用戶設(shè)備算力。非關(guān)系型數(shù)據(jù)庫選擇應(yīng)根據(jù)業(yè)務(wù)特性、數(shù)據(jù)讀寫存儲等方面綜合考慮,應(yīng)優(yōu)先選擇時序數(shù)據(jù)庫進行存儲;對于關(guān)聯(lián)關(guān)系復(fù)雜的數(shù)據(jù)需優(yōu)先選擇圖數(shù)據(jù)庫來進行存儲分析,利用圖數(shù)據(jù)庫節(jié)點關(guān)系,自動建立數(shù)據(jù)索引關(guān)系,對于讀寫頻繁的業(yè)務(wù)數(shù)據(jù)應(yīng)選擇NoSql數(shù)據(jù)庫進行存儲。大數(shù)據(jù)技術(shù)在平臺建設(shè)中對大數(shù)據(jù)技術(shù)進行創(chuàng)新應(yīng)用,利用HDFS、Hbase等大數(shù)據(jù)技術(shù)實現(xiàn)提供對多元異構(gòu)數(shù)據(jù)的存儲服務(wù),利用Spark、SparkSteaming、Storm、Flink等大數(shù)據(jù)技術(shù)實現(xiàn)對數(shù)據(jù)的處理計算服務(wù),利用ES、Solr等技術(shù)實現(xiàn)大數(shù)據(jù)檢索服務(wù),利用Sqoop、Logstash、ETL等技術(shù)實現(xiàn)對數(shù)據(jù)的匯聚交換服務(wù)。通過提高大數(shù)據(jù)存儲、計算處理、搜索以及匯聚交換等服務(wù)能力,為環(huán)境管理者和決策者提供可靠、及時、全面的環(huán)境信息,從而為環(huán)境管理科學(xué)決策奠定堅實基礎(chǔ)。.1Hadoop大數(shù)據(jù)技術(shù)Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡稱HDFS。HDFS有高容錯性的特點，并且設(shè)計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。Hadoop的框架最核心的設(shè)計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。Hadoop的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲，對例如像ETL這樣的批處理操作相對合適，因為類似這樣操作的批處理結(jié)果可以直接走向存儲。Hadoop的MapReduce功能實現(xiàn)了將單個任務(wù)打碎，并將碎片任務(wù)(Map)發(fā)送到多個節(jié)點上，之后再以單個數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉庫里。Hadoop由許多元素構(gòu)成。其最底部是HadoopDistributedFileSystem（HDFS），它存儲Hadoop集群中所有存儲節(jié)點上的文件。HDFS（對于本文）的上一層是MapReduce引擎，該引擎由JobTrackers和TaskTrackers組成。通過對Hadoop分布式計算平臺最核心的分布式文件系統(tǒng)HDFS、MapReduce處理過程，以及數(shù)據(jù)倉庫工具Hive和分布式數(shù)據(jù)庫Hbase的介紹，基本涵蓋了Hadoop分布式平臺的所有技術(shù)核心。.2Spark大數(shù)據(jù)技術(shù)Spark支持Java、Python和Scala的API，還支持超過80種高級算法，使用戶可以快速構(gòu)建不同應(yīng)用。而且Spark支持交互式的Python和Scala的Shell，這意味著可以非常方便的在這些Shell中使用Spark集群來驗證解決問題的方法，而不是像以前一樣，需要打包、上傳集群、驗證等。這對于原型開發(fā)非常重要。Spark提供了統(tǒng)一的解決方案。Spark可以用于批處理、交互式查詢（通用SparkSQL）、實時流處理（通過SparkStreaming）、機器學(xué)習(xí)（通過SparkMLlib）和圖計算（通過SparkGraphX）。Spark非常方便的與其他開源產(chǎn)品進行融合。比如，Spark可以使用Hadoop的YARN和ApacheMesos作為它的資源管理和調(diào)度器，并且可以處理所有Hadoop支持的數(shù)據(jù)，包括HDFS、HBase和Cassanda等。這對于已部署Hadoop集群的用戶特別重要，因為不需要做任何數(shù)據(jù)遷移就可以使用Spark強大的處理能力。Spark也可以不依賴第三方的資源管理器和調(diào)度器，它實現(xiàn)了Standalone作為其內(nèi)置資源管理器和調(diào)度框架，這樣進一步降低了Spark的使用門檻，使得所有人可以非常容易地部署和使用Spark。此外Spark還提供了在EC2上部署Standalone的Spark集群的工具。.3多元異構(gòu)數(shù)據(jù)的存儲服務(wù)利用HDFS、Hbase等大數(shù)據(jù)技術(shù)實現(xiàn)提供對多元異構(gòu)數(shù)據(jù)的存儲服務(wù)。HBase是BigTable的開源（源碼使用Java編寫）版本。是ApacheHadoop的數(shù)據(jù)庫，是建立在HDFS之上，被設(shè)計用來提供高可靠性、高性能、列存儲、可伸縮、多版本的NoSQL的分布式數(shù)據(jù)存儲系統(tǒng)，實現(xiàn)對大型數(shù)據(jù)的實時、隨機的讀寫訪問。HBase依賴于HDFS做底層的數(shù)據(jù)存儲，依賴于MapReduce做數(shù)據(jù)計算，依賴于ZooKeeper做服務(wù)協(xié)調(diào)。HBase是一種Hadoop數(shù)據(jù)庫，經(jīng)常被描述為一種稀疏的，分布式的，持久化的，多維有序映射，它基于行鍵、列鍵和時間戳建立索引，是一個可以隨機訪問的存儲和檢索數(shù)據(jù)的平臺。HBase不限制存儲的數(shù)據(jù)的種類，允許動態(tài)的、靈活的數(shù)據(jù)模型，不用SQL語言，也不強調(diào)數(shù)據(jù)之間的關(guān)系。HBase被設(shè)計成在一個服務(wù)器集群上運行，可以相應(yīng)地橫向擴展。HBase位于結(jié)構(gòu)化存儲層，HadoopHDFS為HBase提供了高可靠性的底層存儲支持，HadoopMapReduce為HBase提供了高性能的計算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機制。此外，Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進行數(shù)據(jù)統(tǒng)計處理變的非常簡單。Sqoop則為HBase提供了方便的RDBMS數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向HBase中遷移變的非常方便。Hbase是一個面向列存儲的分布式存儲系統(tǒng)，它的優(yōu)點在于可以實現(xiàn)高性能的并發(fā)讀寫操作，同時Hbase還會對數(shù)據(jù)進行透明的切分，這樣就使得存儲本身具有了水平伸縮性。.4大數(shù)據(jù)匯聚交換服務(wù)利用Sqoop、Logstash、ETL等技術(shù)實現(xiàn)對數(shù)據(jù)的匯聚交換服務(wù)。ETL（Extraction，Transformation，Loading）即數(shù)據(jù)的抽取、轉(zhuǎn)換與裝載。ETL工具可將業(yè)務(wù)系統(tǒng)中分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)，為輔助決策、分析、查詢提供統(tǒng)一的數(shù)據(jù)依據(jù)。ETL作為構(gòu)建數(shù)據(jù)倉庫的一個環(huán)節(jié)，負責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。現(xiàn)在越來越多地將ETL應(yīng)用于一般信息系統(tǒng)數(shù)據(jù)的遷移、交換和同步。.5大數(shù)據(jù)檢索服務(wù)搜索引擎，是指根據(jù)一定的策略、運用特定的計算機程序從互聯(lián)網(wǎng)上搜集信息，在對信息進行組織和處