云存儲總體設(shè)計方案

1、云存儲總體設(shè)計方案編號：10 HOM 2102 0002擬稿審核批準(zhǔn)簽名覃永才日期2013-09-091. 目的42. 適用范圍43. 定義44. 系統(tǒng)總體部分 54.1 系統(tǒng)概述54.2 系統(tǒng)功能、性能 54.3 系統(tǒng)總體結(jié)構(gòu) 64.4 關(guān)鍵技術(shù) 84.5 系統(tǒng)配置 94.6 外包、外購子系統(tǒng)規(guī)格 94.7 產(chǎn)品升級104.8 用戶支持（可選） 104.9 可靠性規(guī)格 105. 軟件設(shè)計105.1 功能設(shè)計 106. 測試系統(tǒng)設(shè)計146.1 單元測試設(shè)計 146.2 集成測試設(shè)計 146.3 系統(tǒng)測試設(shè)計 14修訂履歷序號版本號修訂內(nèi)容修訂人修訂日期AV1.00.000初稿覃永才2013-0

2、9-09BCDEFGHIJKLMNOPQR1.目的云存儲設(shè)計方案用來存儲 RCU-U(車云平臺)終端設(shè)備所采集的數(shù)據(jù)，以及對采集數(shù)據(jù)簡 單的查詢功能，是對軟件及測試概要設(shè)計和詳細(xì)設(shè)計的約束。2.適用范圍對于此設(shè)計方案設(shè)計多方面的內(nèi)容，使用范圍：軟件代表、測試代表、設(shè)計代表。3.定義縮略語央文中文描述HadoopHadoopApache基金會卜面的一 個開源項目，這個項目包 含很多子項目ZookeeperZookeeperHadoop子項目之一，大 型分布式系統(tǒng)的可靠協(xié) 調(diào)系統(tǒng)HBaseHBaseHadoop子項目之一，分 布式的、面向列的開源數(shù) 據(jù)庫HDFSHadoop Distributed

3、 File System是一個分布式文件系統(tǒng)。HDFS有著高容錯性(fault-tolerant)的特點(diǎn)，并且設(shè)計用來部署在 低廉的(low-cost )硬件 上VINVehicle Identification Number車輛識別碼UBIUsage-Based Insurance基于駕駛行為的保險GPSGlobal Position System全球定位系統(tǒng)GSMGlobal System for Mobile Communication全球移動通訊系統(tǒng)GISGeography Information System地理信息系統(tǒng)GPRSGeneral Packet Radio Service

4、)通用分組無線服務(wù)3G3rd-generation第三代移動通信技術(shù)G-SensorGravity-sensor重力傳感器GYROGyroscope陀螺儀4.系統(tǒng)總體部分4.1 系統(tǒng)概述4.1.1 名稱、型號、版本、保密代號此項目為云存儲，簡稱LaunchCloud,云存儲，版本V1.00.000。4.1.2 版本描述4.1.3 云存儲主要是設(shè)計一個存儲億級記錄的分布式云存儲系統(tǒng)，整個系統(tǒng) 大 致包含2大部分：（1）云存儲：RCU-終端采集行駛數(shù)據(jù)的存儲，RCU-弊端部分 分析后的數(shù)據(jù)存儲，MapReduc分析后的結(jié)果存儲。（2）云存儲門戶網(wǎng)站：設(shè)備 管理，用戶管理，用戶操作日志記錄，第三方應(yīng)

5、用的API（預(yù)留）。該系統(tǒng)存儲的數(shù)據(jù)主要是為以后的業(yè)務(wù)應(yīng)用（如：UBI、汽車租賃等）提供原始的數(shù)據(jù)，以及提供大數(shù)據(jù)分析的技術(shù)擴(kuò)展4.2 系統(tǒng)功能、性能4.2.1 功能特性4.2.1.1 云存儲功能有以下幾個方面系統(tǒng)部分：1 .使用業(yè)內(nèi)比較成熟的，開源的Hadoop+Zookeeper+Hbas云存儲來存儲汽車原始 的行駛記錄，2 .設(shè)備資料，用戶資料等億級以下的數(shù)據(jù)使用開源的數(shù)據(jù)庫mysql來存儲3 .基于Linux操作系統(tǒng)具體業(yè)務(wù)部分：1 . GPS!息存儲2 . G-SENSO防（速/減速）信息存儲3 .陀螺儀信息存儲4 .速度信息存儲5 .發(fā)動機(jī)轉(zhuǎn)速信息存儲6 .安全帶指示信息存儲7 .

6、氣囊信息存儲8 .胎壓信息存儲9 .里程計信息存儲10 .車門信息存儲11 .油耗信息存儲12 .點(diǎn)火信息存儲13 .轉(zhuǎn)向信息存儲14 .遠(yuǎn)程診斷信息存儲15 .超速信息存儲16 .急剎信息存儲17 .急加速信息存儲18 .旅程行駛距離信息存儲19 .碰撞事故信息存儲20 .意外事故信息存儲21 .用戶操作日志記錄存儲22 .設(shè)備信息存儲23 .用戶信息存儲24 .用戶汽車閥值存儲（電子欄柵，超速閥值，各種數(shù)據(jù)采集的頻度等）25 .軟件下載26 .系統(tǒng)日志27 .第三方應(yīng)用的API（預(yù)留）4.3系統(tǒng)總體結(jié)構(gòu)4.4.1 云存儲系統(tǒng)方框圖4.4.1.1 云存儲功能性系統(tǒng)方框圖.頁腳GPG -陀 螺

7、速度發(fā)動安 全氣囊胎壓里程車 門油耗點(diǎn)火轉(zhuǎn) 向SS儀信機(jī)帶信信計信信信信信E信息轉(zhuǎn)指息息信息息息息息N息存速示存存息存存存存存儲S OR 信 息 存 儲存儲儲信 息 存 儲信 息 存 儲儲儲存儲儲儲儲儲設(shè)用用軟備戶戶件信信汽下息息車載存存閥儲儲值存儲第 三 方 應(yīng) 用A PI系 統(tǒng) 日 志Hbase集群Zookeeper 集群Nginx主備熱切換動/靜分離負(fù)載均衡Tomcat集群數(shù)據(jù)高速緩存Hadoop集群Mysql開源數(shù)據(jù)庫Linux服務(wù)器集群4.4.1.2RCU-U物理性系統(tǒng)方框圖4.4.1.3對應(yīng)關(guān)系云存儲層：GPS言息存儲、G-SENSOR(速/減速)信息存儲、陀螺儀信息存儲、速 度信

8、息存儲、發(fā)動機(jī)轉(zhuǎn)速信息存儲、安全帶指示信息存儲、氣囊信息存儲、胎壓 信息存儲、里程計信息存儲、車門信息存儲、油耗信息存儲、點(diǎn)火信息存儲、轉(zhuǎn) 向信息存儲、遠(yuǎn)程診斷信息存儲、超速信息存儲、急剎信息存儲、急加速信息存 儲、旅程行駛距離信息存儲、碰撞事故信息存儲、意外事故信息存儲、用戶操作 日志記錄存儲云存儲門戶網(wǎng)站：設(shè)備信息存儲、用戶信息存儲、用戶汽車閥值存儲(電子欄柵，超速閥值，各種數(shù)據(jù)采集的頻度等)、軟件下載、系統(tǒng)日志、第三方應(yīng)用的 API(預(yù) 留)4.4.2 可測性設(shè)計的整體結(jié)構(gòu)描述：測試過程一般按3個步驟進(jìn)行，即單元測試、組裝(集成)測試，系統(tǒng)測試， 為了支持這些測試在下面的軟件設(shè)計中作了如

9、下考慮：軟件模塊以及內(nèi)部子模塊的對外接口標(biāo)準(zhǔn)化，整個軟件流程系統(tǒng)化，以支持 單元測試中的模塊接口測試、出錯處理測試，并使測試用例測試，同時使集成測 試方便容易；軟件模塊內(nèi)部采用清晰明了的判斷分支結(jié)構(gòu)。以方便白盒方式的路 徑測試；軟件模塊保證可理解性。使用有意義的數(shù)據(jù)名和函數(shù)名，充分的注釋。 以方便測試用例的生成、以及走查等軟件評審。在關(guān)鍵的地方增加LOG&息，以方便出問題的時候知道問題出在哪里。4.4 關(guān)鍵技術(shù)1 . 高可靠性云存儲底層的HDFS1 一個分布式文件系統(tǒng)。HDFSt著高容錯性 (fault-tolerant)的特點(diǎn)，并且設(shè)計用來部署在低廉的(low-cost )硬件上。而

10、且它提供高吞吐量(high throughput )來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超 大數(shù)據(jù)集(large data set )的應(yīng)用程序2 .高擴(kuò)展性Hadoop1在可用的計算機(jī)集簇間分配數(shù)據(jù)并完成計算任務(wù)的，這些集簇可以 方便地擴(kuò)展到數(shù)以千計的節(jié)點(diǎn)中。假如想擴(kuò)展云存儲系統(tǒng)中的存儲容量，運(yùn)算能 力，直接水平添加機(jī)器，修改配置即可實現(xiàn)，上層程序不需要做任何修改。云存儲門戶網(wǎng)站前端采用高性能的nginx服務(wù)器做負(fù)載均衡，動靜分離，靜態(tài)資源緩存，經(jīng)典的master-slave熱備切換，不間斷提供服務(wù)；Welft群層同樣也可以按照集群的負(fù)擔(dān)情況動態(tài)添加物理機(jī)器；數(shù)據(jù)緩存層是提供快速響應(yīng)的重要保障

11、；數(shù)據(jù)庫Mysql存儲層可以隨著訪問量的增大，按照業(yè)務(wù)垂直切分3 .高效性Hadoo甫旨夠在節(jié)點(diǎn)之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點(diǎn)的動態(tài)平衡，因此 處理速度非?？??；旧舷到y(tǒng)的關(guān)鍵點(diǎn)上都采用分布式部署，當(dāng)系統(tǒng)訪問量增大時，可以通過 添加服務(wù)器來持續(xù)保證整個集群的高效性。4 .高容錯性Had。甫旨夠自動保存數(shù)據(jù)的多個副本，并且能夠智能地將失敗的任務(wù)重新分配?；旧舷到y(tǒng)的關(guān)鍵點(diǎn)上都采用分布式部署，即使有部分服務(wù)器可能因為網(wǎng)絡(luò)、 硬盤、cpu、主板等物理損壞，也不會導(dǎo)致整個集群不可用4.5 系統(tǒng)配置4.5.1 硬件配置（比較節(jié)省的配置）5臺服務(wù)器（1臺served : 24G的存+2TBM盤7200

12、 RPM,其他4臺：8G的 存+2TEBM盤7200 RPM）,其他千兆交換機(jī)把這5臺服務(wù)器連接起來4.5.2 軟件配置Linux 操作系統(tǒng)、Nginx軟件、Tomcat、Hadoop Zookeeper、Hbasa Mysql4.5.3 具體部署serveri: NameNode+DataNode+HRegionserver2: DataNode+Zookeeper+HMaster+HRegionserver3: NameNodeSecondary+DataNode+HMasterSlave+Zookeeper+HRegion server4: DataNode+Zookeeper+HReg

13、ion+NginxSIave+Tomcat+MysqlSlave server5: DataNode+HRegion+NginxMaster+Tomcat+MysqlMaster4.6 外包、外購子系統(tǒng)規(guī)格無4.7 產(chǎn)品升級4.7.1 版本升級規(guī)格由于整個系統(tǒng)都是運(yùn)行在我們的服務(wù)器上，直接按照升級步驟來升級即可4.7.2 系統(tǒng)可擴(kuò)充性設(shè)計整個系統(tǒng)都是分成多個小模塊，多層架構(gòu)來開發(fā)。方便產(chǎn)品的有效的維護(hù)和 升級。4.8 用戶支持（可選）4.8.1 資料提供可以在存儲門戶網(wǎng)站明顯的位置放使用快速入門，在需要用戶填寫的表單位置有提示行說明4.8.2 聯(lián)機(jī)幫助暫無要求4.9 可靠性規(guī)格無5.軟件設(shè)計5

14、.1 功能設(shè)計5.1.1 軟件基本設(shè)計思想云存儲系統(tǒng)要求工作穩(wěn)定，性能達(dá)到相關(guān)標(biāo)準(zhǔn)規(guī)定。程序架構(gòu)多層分模塊設(shè) 計，分布式、高可靠、高可用、高擴(kuò)展架構(gòu)。5.1.2 軟件開發(fā)平臺Linux開源穩(wěn)定高性能的開源服務(wù)器操作系統(tǒng)；Hadoo近大數(shù)據(jù)存儲分析的事 實上的標(biāo)準(zhǔn)，開源免費(fèi)，目前仍然在快速的發(fā)展；Nginx是一個高性能的HTT前 反 向代理服務(wù)器，同樣是免費(fèi)開源的；Mysql是目前最流行的開源免費(fèi)數(shù)據(jù)庫5.1.3 軟件系統(tǒng)描述I軟件系統(tǒng)結(jié)構(gòu)描述、總體軟件框圖II功能實現(xiàn)原理通訊集群通過云存儲系統(tǒng)提供的 API接口把RCU-樂集的實時業(yè)務(wù)白數(shù)據(jù)插入到 HBase；云存 儲門戶采用經(jīng)典的MVCE層結(jié)

15、構(gòu)，有時改變其中的一層就能滿足應(yīng)用的改變。 一個應(yīng)用的業(yè) 務(wù)流程或者業(yè)務(wù)規(guī)則的改變只需改動 MVCJ模型層，它實現(xiàn)了顯示模塊與功能模塊的分離。提高了程序的可維護(hù)性、可移植性、可擴(kuò)展性與可重用性，降低了程序的開發(fā)難度?？刂茖拥母拍钜埠苡行?，由于它把不同的模型和不同的視圖組合在一起完成不同的請求，因此，控制層可以說是包含了用戶請求權(quán)限的概念。最后，它還有利于軟件工程化管理。由于不同的層各司其職，每一層不同的應(yīng)用具有某些相同的特征，有利于通過工程化、工具化產(chǎn)生管理程序代碼。根據(jù)用戶的請求，決定是從數(shù)據(jù)庫獲取數(shù)據(jù)還是從 Hbase集群獲取數(shù)據(jù)或 者2者都有。III模塊規(guī)格、設(shè)計描述在各功能模塊中需要注

16、意有關(guān)數(shù)據(jù)精度的優(yōu)化，達(dá)到提高網(wǎng)絡(luò)傳輸速度，減少云存儲的存儲空間，方便以后根據(jù)第三方業(yè)務(wù)快速的數(shù)據(jù)分析。表1:詳細(xì)功能模塊說明廳P模塊名稱說明1公共工具模塊整個系統(tǒng)的字符處理，數(shù)值轉(zhuǎn)換，獲取日期等2GPS!息存儲模塊根據(jù)可能的業(yè)務(wù)需求來設(shè)置 HbaseBRowKey提 高海量數(shù)據(jù)的檢索速度，保存的數(shù)據(jù)可以在地 圖上重現(xiàn)行駛軌跡，基本參數(shù)有：RCU-U SN經(jīng)緯度、海拔、時間、精度等。3G-SENSORp 速/ 減速）信息存儲基本參數(shù)有：RCU-USN當(dāng)前具體的加速/減 速數(shù)字、采集時間、系統(tǒng)時間等。4陀螺儀信息存儲模塊基本參數(shù)有：水平向角度，垂直向角度、米集 時間、系統(tǒng)時間等。5速度信息存儲模

17、塊基本參數(shù)有：速度、采集時間、系統(tǒng)時間等。6發(fā)動機(jī)轉(zhuǎn)速信息存儲模塊基本參數(shù)有： 發(fā)動機(jī)轉(zhuǎn)速、米集時間、系統(tǒng)時 問等。7安全帶指示信息存儲模塊基本參數(shù)有： 主駕駛安全帶指示、米集時間、 系統(tǒng)時間等。8氣囊信息存儲模塊基本參數(shù)有： 氣囊狀態(tài)、米集時間、系統(tǒng)時間 等。9胎壓信息存儲模塊基本參數(shù)有：胎壓數(shù)據(jù)、采集時間、系統(tǒng)時間 等。10里程計信息存儲模塊基本參數(shù)有：里程數(shù)據(jù)、采集時間、系統(tǒng)時間 等。11車門信息存儲模塊基本參數(shù)有：車門狀態(tài)數(shù)據(jù)、采集時間、系統(tǒng) 時間等。12油耗信息存儲模塊基本參數(shù)有：油耗數(shù)據(jù)、采集時間、系統(tǒng)時間 等。13點(diǎn)火信息存儲模塊基本參數(shù)有：點(diǎn)火數(shù)據(jù)、采集時間、系統(tǒng)時間等。14轉(zhuǎn)

18、向信息存儲模塊基本參數(shù)有：轉(zhuǎn)向數(shù)據(jù)、采集時間、系統(tǒng)時間 等。15遠(yuǎn)程診斷信息存儲模塊存儲RCU-IM端診斷后，自動把診斷結(jié)果上傳， 基本參數(shù)有：遠(yuǎn)程診斷結(jié)果、采集時間、系統(tǒng) 時間等。16超速信息存儲模塊存儲RCU-U終端根據(jù)用戶所設(shè)定的閥值，來判 斷當(dāng)前是否超速，如果超速，就上傳超速信息， 基本參數(shù)有：速度閥值、當(dāng)前速度、采集時間、 系統(tǒng)時間等。17急剎信息存儲模塊存儲RCU-U終端根據(jù)用戶所設(shè)定的閥值，來判 斷當(dāng)前是否急剎，如果急剎，就上傳急剎信息， 基本參數(shù)有：急剎閥值、當(dāng)前速度、采集時間、 系統(tǒng)時間等。18急加速信息存儲模塊存儲RCU-U終端根據(jù)用戶所設(shè)定的閥值，來判 斷當(dāng)前是否急加速，

19、如果急加速，就上傳急加 速信息，基本參數(shù)有：急加速閥值、當(dāng)前速度、 采集時間、系統(tǒng)時間等。19旅程行駛跑離信息存儲模塊RCU-IM端在一個旅程結(jié)束的時候，上傳該旅程 的數(shù)據(jù)。20碰撞事故信息存儲模塊RCU-IM端判斷是否是碰撞，然后上傳碰撞事故 信息。21意外事故信息存儲模塊RCU-IM端判斷是否是意外事故，然后上傳意外 事故信息。22用戶操作日志記錄存儲記錄云存儲門戶中用戶更新數(shù)據(jù)的操作23設(shè)備信息模塊記錄汽車與RCU-IM端的對應(yīng)美系24用戶信息模塊包括用戶的注冊，登錄驗證，修改密碼，找回 密碼，注冊設(shè)備，修改設(shè)備對應(yīng)關(guān)系25用戶汽布閥值存儲 （電子欄柵，超速閥 值,各種數(shù)據(jù)采集的 頻度等）模塊用戶汽車閥值記錄的