大數(shù)據(jù)回報需要明確的問題

1、.大數(shù)據(jù)回報需要明確的問題老實說，大數(shù)據(jù)是一樁大生意， Wikibon預(yù)計其將以每年31%的速度增長,并在2017年到達50億美元的銷售額。雖然迄今為止，大量砸入大數(shù)據(jù)的投資都猶如石沉大海。今年早些時候，InfoChimps的調(diào)研結(jié)果顯示55%的大數(shù)據(jù)工程都遭受失敗。大數(shù)據(jù)思辨( Think Big Analytics)公司的CEO Bodkin指出，大局部大數(shù)據(jù)工程的失敗都可以歸結(jié)到幾點原因：無明確的商業(yè)目標(biāo)，未結(jié)合實際業(yè)務(wù)需求、缺乏的預(yù)算、缺少規(guī)劃以及未指定工程的實施X圍。(數(shù)據(jù)分析技術(shù)的缺乏只會讓大數(shù)據(jù)在未來五年內(nèi)的前景更不樂觀。)就算是那些現(xiàn)在成功的大數(shù)據(jù)工程，也很可能因未能給業(yè)務(wù)運營

2、帶來實時效益，而不被IT部門之外的人理解，最終導(dǎo)致失敗。大數(shù)據(jù)工程的花費來源于銷售業(yè)績，但它創(chuàng)造的價值存在于物流和金融。據(jù)塔塔咨詢效勞的調(diào)研報告"最新的大數(shù)據(jù)回報形式"顯示，全球各地的企業(yè)主要把大數(shù)據(jù)的投資放在銷售、市場和用戶效勞上。但其實說為的大數(shù)據(jù)金礦，是分布在企業(yè)業(yè)務(wù)的各個角落里的。例如，最有潛力的利益回報就包括開掘客戶需求和客戶價值，產(chǎn)品質(zhì)量、活動效果和存貨追蹤。如何用大數(shù)據(jù)來減少客戶流失Bodkin著重提到了兩點。首先是關(guān)于互聯(lián)網(wǎng)的，在這里我們可以從智能終端和聯(lián)網(wǎng)設(shè)備上搜集到必須的數(shù)據(jù)信息，來促進銷售、提供工程管理決策、提高生產(chǎn)率、減少浪費和驅(qū)動通用公司談到的“工

3、業(yè)互聯(lián)網(wǎng)。其次是醫(yī)療保健，也就是常常被人談?wù)摰降腦X產(chǎn)業(yè)的“口袋創(chuàng)造，基因研究和穿戴設(shè)備技術(shù)都將在醫(yī)患關(guān)系中起到核心的改變?！翱纱┐髟O(shè)備其實已經(jīng)有很多，但最大的挑戰(zhàn)還是在于將分散的設(shè)備中的數(shù)據(jù)集成起來，構(gòu)建出一個綜合的圖表，來顯示病人的XX狀況。Bodkin 如是說。但有這些還遠遠不夠，下一步是再將個人的心率、飲食習(xí)慣、運動、睡眠習(xí)慣數(shù)據(jù)整合進來，描繪出一幅完整的XX圖表。“醫(yī)療保健科技的難點在于其信息互通和集成，但準(zhǔn)確的個人XX狀況報告和建議所帶來的價值將遠遠超過與一年一度的體檢。這將是大數(shù)據(jù)價值的重要表達。Bodkin說道。犯規(guī)來，這也將大大提升人們參與到數(shù)據(jù)收集的工作中去。大數(shù)據(jù)的下一步

4、該怎么走"Bodkin告訴我們，大數(shù)據(jù)工程的下一步應(yīng)該不僅僅是將數(shù)據(jù)搜集起來，而是要迅速將其轉(zhuǎn)化為預(yù)測性分析、自動商務(wù)決策并把它當(dāng)成一種資本投入到商業(yè)中。同時，在不同的渠道提供一樣的消費體驗，也更加有利于客戶關(guān)系的維護。他們會真心感謝公司能夠360度地照顧到他們的感受，無論是在網(wǎng)上、手機上或者實體的活動中。隨著大數(shù)據(jù)技術(shù)在接下來的五年里日趨成熟，為了讓數(shù)據(jù)分析能更上一層樓，我們需要加速集成大數(shù)據(jù)的單點應(yīng)用“。他們需要進展比現(xiàn)在更復(fù)雜得多的數(shù)學(xué)運算，Bodkin說道?？上驳氖牵@種技術(shù)講越來越普及，就像根本的計算機操作一樣。浪擎科技作為國內(nèi)最大的備份容災(zāi)軟件廠商，始終致力于各種數(shù)據(jù)實時

5、備份、數(shù)據(jù)庫實時復(fù)制技術(shù)研發(fā)的廠商，具備完整的技術(shù)架構(gòu)和多系列的產(chǎn)品。既有高端的基于應(yīng)用層的、備端在線的鏡像系統(tǒng)，以及基于私有云架構(gòu)的大型災(zāi)備中心方案，又有基于邏輯卷層的實時數(shù)據(jù)復(fù)制產(chǎn)品，還有容錯CDP級的產(chǎn)品線。下面就浪擎科技的各種核心技術(shù)在大數(shù)據(jù)方面的應(yīng)用來展開說明。一、 浪擎現(xiàn)有的、核心的數(shù)據(jù)復(fù)制、傳輸技術(shù)浪擎科技基于已有的構(gòu)造化數(shù)據(jù)和非構(gòu)造化數(shù)據(jù)的復(fù)制傳輸技術(shù)來探討大數(shù)據(jù)傳輸?shù)膶崿F(xiàn)按。浪擎現(xiàn)有的核心關(guān)鍵技術(shù)：1)分布式并行傳輸，后續(xù)“靜態(tài)的非構(gòu)造化數(shù)據(jù)的復(fù)制、移動說明。并行傳輸?shù)墓ぷ髟砥鋵嵤窍确趾蠛系臄?shù)據(jù)處理方式。分解：把海量數(shù)據(jù)分割成了假設(shè)干局部，分給多臺處理器并行傳輸;合并：把各

6、臺處理器傳輸后的結(jié)果進展匯總操作以得到最終結(jié)果。2)重復(fù)數(shù)據(jù)刪除，后續(xù)“靜態(tài)的非構(gòu)造化數(shù)據(jù)的復(fù)制、移動說明)。浪擎科技的基于文件塊的增量傳輸技術(shù)可以在源端刪除90% 的冗余備份和歸檔數(shù)據(jù)，這種方式將目標(biāo)端存儲中的重復(fù)數(shù)據(jù)刪除，將網(wǎng)絡(luò)中發(fā)送的數(shù)據(jù)量銳減90%，藉此顯著加快將大量備份或歸檔數(shù)據(jù)遷移的速度。3)構(gòu)造化數(shù)據(jù)的實時感知與捕捉，后續(xù)“動態(tài)的構(gòu)造化數(shù)據(jù)的實時復(fù)制、移動章節(jié)說明。4)活動的、構(gòu)造化數(shù)據(jù)的追逐式復(fù)制，后續(xù)“動態(tài)的構(gòu)造化數(shù)據(jù)的實時復(fù)制、移動章節(jié)說明。通過使用分布式并行傳輸控制、鏡像復(fù)制技術(shù)、重復(fù)數(shù)據(jù)刪除等技術(shù)，可以顯著縮短了遷移大量數(shù)據(jù)所需的時間。以下章節(jié)詳細說明非構(gòu)造化數(shù)據(jù)和構(gòu)造

7、化數(shù)據(jù)復(fù)制、移動。二、 靜態(tài)的非構(gòu)造化數(shù)據(jù)的復(fù)制、移動非構(gòu)造化數(shù)據(jù)一般指文件類型數(shù)據(jù)，如音視頻文件、office文件、網(wǎng)頁文件、CAD制圖文件、科研數(shù)據(jù)等等，以及現(xiàn)在互聯(lián)網(wǎng)各種應(yīng)用產(chǎn)生的數(shù)據(jù)大多以文件形態(tài)來存儲。浪擎科技的文件傳輸通信協(xié)議(OFTP)，是浪擎科技為滿足大規(guī)模的數(shù)據(jù)傳輸歷經(jīng)四年自主研發(fā)的一種高效傳輸協(xié)議，簡稱OFTP，可應(yīng)用在長距離、低可靠性的窄帶網(wǎng)絡(luò)上進展數(shù)據(jù)傳輸復(fù)制。1. 浪擎的文件傳輸通信協(xié)議(OFTBP)協(xié)議具備以下技術(shù)特性： 并行優(yōu)化增量傳輸 數(shù)據(jù)壓縮 傳輸一致性校驗 網(wǎng)絡(luò)斷開自動重連 數(shù)據(jù)包喪失自動重排重發(fā)等目前，一般的數(shù)據(jù)傳輸協(xié)議，如傳統(tǒng)的 FTP協(xié)議或RCP協(xié)議，

8、在進展網(wǎng)絡(luò)傳輸?shù)倪^程中存在著很多弊端。如傳輸?shù)臄?shù)據(jù)量、性能、準(zhǔn)確性等都不能到達TB設(shè)置PB級要求。與這些傳統(tǒng)的傳輸協(xié)議相比擬，在平安性、可靠性、承載能力、擴展性上具有明顯的優(yōu)勢。OFTBP協(xié)議包含消息頭和消息主體兩個局部。消息頭對消息主體進展描述，包括文件名稱、大小、文件屬性集合、傳輸算法等字段;消息主體存放需要傳輸?shù)臄?shù)據(jù)包。為減少不必要的傳輸量，在編碼時可對數(shù)據(jù)包進展壓縮;為確保在傳輸過程中的一致性和準(zhǔn)確性，必需對數(shù)據(jù)包進展傳輸一致性校驗。校驗碼是根據(jù)傳輸數(shù)據(jù)按特定摘要算法生成，附在數(shù)據(jù)包后。鏡像效勞器收到數(shù)據(jù)包再按照摘要算法生成一個校驗碼，與傳送來的校驗碼進展比擬，從而確定數(shù)據(jù)的一致性和準(zhǔn)

9、確性。如果不匹配，那么要求重傳。OFTBP協(xié)議與算法必需滿足這樣的需求： 網(wǎng)絡(luò)傳輸緩沖區(qū)自適應(yīng)管理能力，根據(jù)文件大小自動調(diào)節(jié)網(wǎng)絡(luò)傳輸窗口大小。 多連接并行傳輸，可支持多個連接傳輸。 增量傳輸，兩端一樣的文件不需要傳輸，僅傳輸不同文件塊。 網(wǎng)絡(luò)連接重連技術(shù)，當(dāng)網(wǎng)絡(luò)連接失敗時重新連接。 智能分塊技術(shù)，使得傳輸流量均分到每個連接上。 文件分塊傳輸(局部文件傳輸)，可支持并行傳輸和斷點續(xù)傳。 文件滑動摘要計算技術(shù)，使計算負荷和文件I/O符合降到最低。 文件完整性校驗，保證傳輸完成后兩端文件一致。2. 并行優(yōu)化增量傳輸技術(shù)(POIT)文件傳輸采用復(fù)雜的并行優(yōu)化增量傳輸算法實現(xiàn)大規(guī)模的文件系統(tǒng)復(fù)制。該算法

10、對傳輸任務(wù)智能分解成更小的任務(wù)，然后并行控制傳輸，最大限度的利用可利用的網(wǎng)絡(luò)帶寬;其次，對于已經(jīng)鏡像過的文件在以后鏡像時，將采用優(yōu)化增量傳輸，僅復(fù)制不同的數(shù)據(jù)塊，盡量降低網(wǎng)絡(luò)流量，極大的提升傳輸速度。增量傳輸算法采用基于文件塊的比擬，即在滑動窗口控制下對文件分塊和對塊作摘要運算，然后逐塊比擬摘要，只傳輸不同文件塊。增量傳輸示意圖增量傳輸算法主要的過程如下：分塊checksum將目標(biāo)端的數(shù)據(jù)按照定量分塊，比方512字節(jié)一塊。并且對每一塊分別進展checksum。然后將所有checksum傳回到源端。哈希checksum查找比對源端將目標(biāo)端傳輸過來的checksum放入哈希 Table。并且同樣開

11、場進展分塊checksum，在每一塊checksum結(jié)果產(chǎn)生后在哈希Table中查找。如果找到對應(yīng)記錄，那么說明這一塊數(shù)據(jù)兩邊完全一致，無需傳輸。反之說明這一塊數(shù)據(jù)中有不一樣的數(shù)據(jù)，需要傳輸。3. 文件變化實時感知檢測(FRP)鏡像代理內(nèi)嵌各種操作系統(tǒng)的虛擬文件系統(tǒng)驅(qū)動程序。在Winows操作系統(tǒng)上根據(jù)WDM驅(qū)動程序模型實現(xiàn)文件系統(tǒng)過濾驅(qū)動程序;在Linux、AIX、Solaris等操作系統(tǒng)上通過內(nèi)核模塊實現(xiàn)虛擬文件系統(tǒng)過濾驅(qū)動程序。在運行時，鏡像代理向操作系統(tǒng)注冊并請求加載該驅(qū)動程序。在載入操作系統(tǒng)后，該驅(qū)動程序?qū)崟r捕獲文件系統(tǒng)的操作動作，從而使得文件鏡像可以實時感知文件的變化，而無需極耗資

12、源的輪詢文件系統(tǒng)來獲取變化。4. 支持功能并行傳輸對于文件或目錄均可實現(xiàn)傳輸任務(wù)智能分解，然后并行控制傳輸。增量傳輸采用基于文件塊的優(yōu)化增量傳輸技術(shù)，僅傳輸和目標(biāo)文件不同的文件塊，盡量減少在網(wǎng)絡(luò)上的傳輸流量。重復(fù)數(shù)據(jù)刪除在數(shù)據(jù)傳輸之前或之后對數(shù)據(jù)進展分析，將傳輸或存儲一份一樣的數(shù)據(jù)。減少數(shù)據(jù)傳輸量以及數(shù)據(jù)存儲占用量。斷點續(xù)傳支持?jǐn)帱c續(xù)傳功能，當(dāng)傳輸某文件失敗，下一次重新傳輸時，在優(yōu)化增量傳輸控制下，將從上一次的傳輸點開場傳輸后續(xù)的文件塊。文件變化實時感知檢測鏡像代理內(nèi)嵌各種文件系統(tǒng)的驅(qū)動程序。在運行時，該驅(qū)動程序?qū)崟r捕獲文件系統(tǒng)的操作動作，從而使得文件備份可以實時感知文件的變化，而無需極耗資源

13、的輪詢文件系統(tǒng)來獲取變化?？蛇x定文件或目錄來復(fù)制或移動系統(tǒng)支持僅備份指定的文件或目錄;也可采用修改時間、大小、文件或目錄名組成正那么表達式進展過濾。并可過濾指定的文件動作，例如過濾刪除動作，不刪除目標(biāo)文件或目錄。支持各種文件格式支持Office文檔格式、HTML、TXT、PDF;支持音視頻文件格式;支持其他二進制文件格式;支持大文件備份系統(tǒng)采用64位表達文件長度尺寸，支持超過2GB的大文件傳輸備份，例如500GB大小的文件。支持異構(gòu)操作系統(tǒng)平臺之間的傳輸備份系統(tǒng)支持在不同操作系統(tǒng)之間的傳輸備份和存儲。例如，將Windows的Office文檔傳輸備份至AIX;或?qū)olaris的二進制數(shù)據(jù)文件傳

14、輸備份至AIX。數(shù)據(jù)傳輸一致性和準(zhǔn)確性校驗確保文件在傳輸后與源端的文件一致一樣。5. 應(yīng)用場合 擁有TB級別以上數(shù)據(jù)的醫(yī)療系統(tǒng)(如PACS) 檔案文檔中心 互聯(lián)網(wǎng)的非構(gòu)造化數(shù)據(jù)(NOSQL)移動三、 動態(tài)的構(gòu)造化數(shù)據(jù)(數(shù)據(jù)庫)的實時復(fù)制、移動動態(tài)變化的數(shù)據(jù)通常指在線業(yè)務(wù)系統(tǒng)的存儲數(shù)據(jù)，例如，證券交易的數(shù)據(jù)、社交網(wǎng)絡(luò)的聊天數(shù)據(jù)、電信的計費數(shù)據(jù)、醫(yī)療的HIS數(shù)據(jù)、電子商務(wù)的交易數(shù)據(jù)等等。這些業(yè)務(wù)系統(tǒng)都非常關(guān)鍵，支撐國民經(jīng)濟的正常運行，因此要保障其自身的平安與穩(wěn)定。但是，這些業(yè)務(wù)系統(tǒng)的要求非常苛刻，必需要有適合這些用戶群體的技術(shù)才能滿足其需求。浪擎科技的雙活數(shù)據(jù)復(fù)制技術(shù)正是滿足這樣的需求。一般而言，

15、這些關(guān)鍵業(yè)務(wù)系統(tǒng)都把數(shù)據(jù)放到后臺的關(guān)系數(shù)據(jù)庫中，因此可以稱這些數(shù)據(jù)為構(gòu)造化數(shù)據(jù)。浪擎科技的雙活數(shù)據(jù)復(fù)制技術(shù)其實質(zhì)就是動態(tài)的、實時的從一個關(guān)系數(shù)據(jù)庫復(fù)制或遷移到另外一個關(guān)系數(shù)據(jù)庫。當(dāng)然，目標(biāo)關(guān)系數(shù)據(jù)庫可以放置到異地。關(guān)系數(shù)據(jù)庫的數(shù)據(jù)復(fù)制、移動必需滿足這樣的要求： 適應(yīng)業(yè)務(wù)系統(tǒng)7×24小時不連續(xù)運行的特點; 必須保證源端數(shù)據(jù)庫與目標(biāo)端數(shù)據(jù)庫的一致性和完整性; 無需停頓業(yè)務(wù)、無需申請停機時間; 數(shù)據(jù)的喪失控制在60秒以內(nèi); 必須支持兩端硬件環(huán)境的異構(gòu)，目標(biāo)端的效勞器選型、磁盤陣列選型不受現(xiàn)有源端的限制; 可實現(xiàn)分布復(fù)制，即多對一的復(fù)制、移動;數(shù)據(jù)庫復(fù)制采用ACA(應(yīng)用捕獲與分析)引擎，實時

16、捕獲源端生產(chǎn)系統(tǒng)的生產(chǎn)數(shù)據(jù)，然后解析成數(shù)據(jù)庫記錄，然后再通過目標(biāo)端存儲進程保存到目標(biāo)數(shù)據(jù)庫中，且保持目標(biāo)數(shù)據(jù)庫實例的可用性。6. 浪擎科技的核心技術(shù)ACA引擎工作原理1)復(fù)制引擎架構(gòu)數(shù)據(jù)庫復(fù)制引擎包括代理、復(fù)制效勞器軟件兩大部件。代理包含操作系統(tǒng)驅(qū)動程序、事務(wù)日志實時捕獲器、事務(wù)日志分析器、傳輸控制器和任務(wù)隊列等;復(fù)制效勞器包含接收隊列、SQL應(yīng)用機構(gòu)等。2)復(fù)制流程事務(wù)日志實時捕獲器通過操作系統(tǒng)內(nèi)核驅(qū)動驅(qū)動程序?qū)崟r監(jiān)控源數(shù)據(jù)庫事務(wù)日志文件和捕獲其變化數(shù)據(jù);事務(wù)日志分析器通過數(shù)據(jù)字典將日志數(shù)據(jù)解析復(fù)原成數(shù)據(jù)庫記錄，并過濾不需要復(fù)制的表或其他數(shù)據(jù)庫對象;傳輸控制器從任務(wù)隊列中取出記錄數(shù)據(jù)傳輸至復(fù)

17、制效勞器。復(fù)制效勞器接收隊列將記錄數(shù)據(jù)保存至事務(wù)隊列和Snapshot文件中;SQL應(yīng)用機構(gòu)掃描事務(wù)隊列，將提交事務(wù)應(yīng)用到目標(biāo)實例。如下列圖所示。數(shù)據(jù)庫復(fù)制原理示意圖3)傳輸控制傳輸控制器記錄當(dāng)前傳輸成功的事務(wù)序列號。當(dāng)連接中斷等因素導(dǎo)致傳輸失敗，傳輸控制那么停頓傳輸工作，嘗試連接直到連接成功，然后從上一次傳輸成功點接著傳輸。4)全量復(fù)制全量同步采用全量復(fù)制技術(shù)(參見后續(xù)說明)實現(xiàn)，將源數(shù)據(jù)庫備份出來，復(fù)原至目標(biāo)數(shù)據(jù)庫，實現(xiàn)源和目標(biāo)數(shù)據(jù)庫基準(zhǔn)一致。5)目標(biāo)數(shù)據(jù)庫狀態(tài)目標(biāo)數(shù)據(jù)庫處于運行狀態(tài)，可讀可查詢，運行的目標(biāo)系統(tǒng)保證了系統(tǒng)的一致性。7. 浪擎科技的核心技術(shù)追逐式全量復(fù)制在實時增量復(fù)制之前，需

18、要保障主、備數(shù)據(jù)庫之間的數(shù)據(jù)同步，才能進展后續(xù)實時增量復(fù)制。追逐式復(fù)制定義：追逐式復(fù)制：在完全無需停頓業(yè)務(wù)數(shù)據(jù)庫的條件下，極快的將源數(shù)據(jù)庫全量復(fù)制或遷移到目標(biāo)容災(zāi)效勞器。追逐式復(fù)制技術(shù)把源數(shù)據(jù)庫所有事務(wù)，包括緩存數(shù)據(jù)全部復(fù)制到目標(biāo)端，并且對全量復(fù)制過程中新增的數(shù)據(jù)做增量復(fù)制，以到達源與目標(biāo)效勞器數(shù)據(jù)完全一致的容災(zāi)要求。數(shù)據(jù)庫追逐式復(fù)制有以下技術(shù)特性：1)復(fù)制速度快 追逐式復(fù)制相當(dāng)于兩個數(shù)據(jù)庫之間直接傳輸數(shù)據(jù)，經(jīng)測試追逐式復(fù)制速度比使用DTS導(dǎo)入/導(dǎo)出或快照發(fā)布的復(fù)制技術(shù)至少快20倍，可有效的提高復(fù)制效率，節(jié)省系統(tǒng)資源。2)源數(shù)據(jù)庫無需停頓，在線式直接復(fù)制 比傳統(tǒng)的數(shù)據(jù)庫復(fù)制技術(shù)更據(jù)優(yōu)勢，傳統(tǒng)的數(shù)據(jù)庫復(fù)制方式都需要先停頓數(shù)據(jù)庫再進展復(fù)制操作，當(dāng)進展全量復(fù)制操作時，業(yè)務(wù)系統(tǒng)要停頓工作，可能會對用戶使用造成很大麻煩，而追逐式復(fù)制就防止了這種情況，它在做全量復(fù)制時數(shù)據(jù)庫無需停頓，有效保證業(yè)務(wù)系統(tǒng)持續(xù)運行，不會對用戶造成損失。3)保證源效勞器數(shù)據(jù)與目標(biāo)效勞器數(shù)據(jù)完全一致 全量復(fù)制技術(shù)結(jié)合增量復(fù)制技術(shù)可實現(xiàn)在做全量復(fù)制的同時也可把新增的數(shù)據(jù)內(nèi)容復(fù)制到目標(biāo)端，確保源效勞器和目標(biāo)效勞器數(shù)據(jù)完全一致。追逐式復(fù)制技術(shù)原理：1) 在源數(shù)據(jù)庫端全量備份數(shù)據(jù)庫2)將全量備份數(shù)據(jù)傳輸至目標(biāo)效勞器3)復(fù)原全量備份至目標(biāo)數(shù)據(jù)庫4