云存儲總體設計方案

1、云存儲總體設計方案編號：10 HOM 2102 0002擬稿審核批準簽名覃永才日期2013-09-091. 目的42. 適用范圍43. 定義44. 系統(tǒng)總體部分 54.1 系統(tǒng)概述54.2 系統(tǒng)功能、性能 54.3 系統(tǒng)總體結構 64.4 關鍵技術 84.5 系統(tǒng)配置 94.6 外包、外購子系統(tǒng)規(guī)格 94.7 產品升級104.8 用戶支持（可選） 104.9 可靠性規(guī)格 105. 軟件設計105.1 功能設計 106. 測試系統(tǒng)設計146.1 單元測試設計 146.2 集成測試設計 146.3 系統(tǒng)測試設計 14修訂履歷序號版本號修訂內容修訂人修訂日期AV1.00.000初稿覃永才2013-0

2、9-09BCDEFGHIJKLMNOPQR1.目的云存儲設計方案用來存儲 RCU-U(車云平臺)終端設備所采集的數(shù)據(jù)，以及對采集數(shù)據(jù)簡 單的查詢功能，是對軟件及測試概要設計和詳細設計的約束。2.適用范圍對于此設計方案設計多方面的內容，使用范圍：軟件代表、測試代表、設計代表。3.定義縮略語央文中文描述HadoopHadoopApache基金會卜面的一 個開源項目，這個項目包 含很多子項目ZookeeperZookeeperHadoop子項目之一，大 型分布式系統(tǒng)的可靠協(xié) 調系統(tǒng)HBaseHBaseHadoop子項目之一，分 布式的、面向列的開源數(shù) 據(jù)庫HDFSHadoop Distributed

3、 File System是一個分布式文件系統(tǒng)。HDFS有著高容錯性(fault-tolerant)的特點，并且設計用來部署在 低廉的(low-cost )硬件 上VINVehicle Identification Number車輛識別碼UBIUsage-Based Insurance基于駕駛行為的保險GPSGlobal Position System全球定位系統(tǒng)GSMGlobal System for Mobile Communication全球移動通訊系統(tǒng)GISGeography Information System地理信息系統(tǒng)GPRSGeneral Packet Radio Service

4、)通用分組無線服務3G3rd-generation第三代移動通信技術G-SensorGravity-sensor重力傳感器GYROGyroscope陀螺儀4.系統(tǒng)總體部分4.1 系統(tǒng)概述4.1.1 名稱、型號、版本、保密代號此項目為云存儲，簡稱LaunchCloud,云存儲，版本V1.00.000。4.1.2 版本描述4.1.3 云存儲主要是設計一個存儲億級記錄的分布式云存儲系統(tǒng)，整個系統(tǒng) 大 致包含2大部分：（1）云存儲：RCU-終端采集行駛數(shù)據(jù)的存儲，RCU-弊端部分 分析后的數(shù)據(jù)存儲，MapReduc分析后的結果存儲。（2）云存儲門戶網站：設備 管理，用戶管理，用戶操作日志記錄，第三方應

5、用的API（預留）。該系統(tǒng)存儲的數(shù)據(jù)主要是為以后的業(yè)務應用（如：UBI、汽車租賃等）提供原始的數(shù)據(jù)，以及提供大數(shù)據(jù)分析的技術擴展4.2 系統(tǒng)功能、性能4.2.1 功能特性4.2.1.1 云存儲功能有以下幾個方面系統(tǒng)部分：1 .使用業(yè)內比較成熟的，開源的Hadoop+Zookeeper+Hbas云存儲來存儲汽車原始 的行駛記錄，2 .設備資料，用戶資料等億級以下的數(shù)據(jù)使用開源的數(shù)據(jù)庫mysql來存儲3 .基于Linux操作系統(tǒng)具體業(yè)務部分：1 . GPS!息存儲2 . G-SENSO防（速/減速）信息存儲3 .陀螺儀信息存儲4 .速度信息存儲5 .發(fā)動機轉速信息存儲6 .安全帶指示信息存儲7 .

6、氣囊信息存儲8 .胎壓信息存儲9 .里程計信息存儲10 .車門信息存儲11 .油耗信息存儲12 .點火信息存儲13 .轉向信息存儲14 .遠程診斷信息存儲15 .超速信息存儲16 .急剎信息存儲17 .急加速信息存儲18 .旅程行駛距離信息存儲19 .碰撞事故信息存儲20 .意外事故信息存儲21 .用戶操作日志記錄存儲22 .設備信息存儲23 .用戶信息存儲24 .用戶汽車閥值存儲（電子欄柵，超速閥值，各種數(shù)據(jù)采集的頻度等）25 .軟件下載26 .系統(tǒng)日志27 .第三方應用的API（預留）4.3系統(tǒng)總體結構4.4.1 云存儲系統(tǒng)方框圖4.4.1.1 云存儲功能性系統(tǒng)方框圖.頁腳GPG -陀 螺

7、速度發(fā)動安 全氣囊胎壓里程車 門油耗點火轉 向SS儀信機帶信信計信信信信信E信息轉指息息信息息息息息N息存速示存存息存存存存存儲S OR 信 息 存 儲存儲儲信 息 存 儲信 息 存 儲儲儲存儲儲儲儲儲設用用軟備戶戶件信信汽下息息車載存存閥儲儲值存儲第 三 方 應 用A PI系 統(tǒng) 日 志Hbase集群Zookeeper 集群Nginx主備熱切換動/靜分離負載均衡Tomcat集群數(shù)據(jù)高速緩存Hadoop集群Mysql開源數(shù)據(jù)庫Linux服務器集群4.4.1.2RCU-U物理性系統(tǒng)方框圖4.4.1.3對應關系云存儲層：GPS言息存儲、G-SENSOR(速/減速)信息存儲、陀螺儀信息存儲、速 度信

8、息存儲、發(fā)動機轉速信息存儲、安全帶指示信息存儲、氣囊信息存儲、胎壓 信息存儲、里程計信息存儲、車門信息存儲、油耗信息存儲、點火信息存儲、轉 向信息存儲、遠程診斷信息存儲、超速信息存儲、急剎信息存儲、急加速信息存 儲、旅程行駛距離信息存儲、碰撞事故信息存儲、意外事故信息存儲、用戶操作 日志記錄存儲云存儲門戶網站：設備信息存儲、用戶信息存儲、用戶汽車閥值存儲(電子欄柵，超速閥值，各種數(shù)據(jù)采集的頻度等)、軟件下載、系統(tǒng)日志、第三方應用的 API(預 留)4.4.2 可測性設計的整體結構描述：測試過程一般按3個步驟進行，即單元測試、組裝(集成)測試，系統(tǒng)測試， 為了支持這些測試在下面的軟件設計中作了如

9、下考慮：軟件模塊以及內部子模塊的對外接口標準化，整個軟件流程系統(tǒng)化，以支持 單元測試中的模塊接口測試、出錯處理測試，并使測試用例測試，同時使集成測 試方便容易；軟件模塊內部采用清晰明了的判斷分支結構。以方便白盒方式的路 徑測試；軟件模塊保證可理解性。使用有意義的數(shù)據(jù)名和函數(shù)名，充分的注釋。 以方便測試用例的生成、以及走查等軟件評審。在關鍵的地方增加LOG&息，以方便出問題的時候知道問題出在哪里。4.4 關鍵技術1 . 高可靠性云存儲底層的HDFS1 一個分布式文件系統(tǒng)。HDFSt著高容錯性 (fault-tolerant)的特點，并且設計用來部署在低廉的(low-cost )硬件上。而

10、且它提供高吞吐量(high throughput )來訪問應用程序的數(shù)據(jù)，適合那些有著超 大數(shù)據(jù)集(large data set )的應用程序2 .高擴展性Hadoop1在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務的，這些集簇可以 方便地擴展到數(shù)以千計的節(jié)點中。假如想擴展云存儲系統(tǒng)中的存儲容量，運算能 力，直接水平添加機器，修改配置即可實現(xiàn)，上層程序不需要做任何修改。云存儲門戶網站前端采用高性能的nginx服務器做負載均衡，動靜分離，靜態(tài)資源緩存，經典的master-slave熱備切換，不間斷提供服務；Welft群層同樣也可以按照集群的負擔情況動態(tài)添加物理機器；數(shù)據(jù)緩存層是提供快速響應的重要保障

11、；數(shù)據(jù)庫Mysql存儲層可以隨著訪問量的增大，按照業(yè)務垂直切分3 .高效性Hadoo甫旨夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此 處理速度非?？臁；旧舷到y(tǒng)的關鍵點上都采用分布式部署，當系統(tǒng)訪問量增大時，可以通過 添加服務器來持續(xù)保證整個集群的高效性。4 .高容錯性Had。甫旨夠自動保存數(shù)據(jù)的多個副本，并且能夠智能地將失敗的任務重新分配?；旧舷到y(tǒng)的關鍵點上都采用分布式部署，即使有部分服務器可能因為網絡、 硬盤、cpu、主板等物理損壞，也不會導致整個集群不可用4.5 系統(tǒng)配置4.5.1 硬件配置（比較節(jié)省的配置）5臺服務器（1臺served : 24G的存+2TBM盤7200

12、 RPM,其他4臺：8G的 存+2TEBM盤7200 RPM）,其他千兆交換機把這5臺服務器連接起來4.5.2 軟件配置Linux 操作系統(tǒng)、Nginx軟件、Tomcat、Hadoop Zookeeper、Hbasa Mysql4.5.3 具體部署serveri: NameNode+DataNode+HRegionserver2: DataNode+Zookeeper+HMaster+HRegionserver3: NameNodeSecondary+DataNode+HMasterSlave+Zookeeper+HRegion server4: DataNode+Zookeeper+HReg

13、ion+NginxSIave+Tomcat+MysqlSlave server5: DataNode+HRegion+NginxMaster+Tomcat+MysqlMaster4.6 外包、外購子系統(tǒng)規(guī)格無4.7 產品升級4.7.1 版本升級規(guī)格由于整個系統(tǒng)都是運行在我們的服務器上，直接按照升級步驟來升級即可4.7.2 系統(tǒng)可擴充性設計整個系統(tǒng)都是分成多個小模塊，多層架構來開發(fā)。方便產品的有效的維護和 升級。4.8 用戶支持（可選）4.8.1 資料提供可以在存儲門戶網站明顯的位置放使用快速入門，在需要用戶填寫的表單位置有提示行說明4.8.2 聯(lián)機幫助暫無要求4.9 可靠性規(guī)格無5.軟件設計5

14、.1 功能設計5.1.1 軟件基本設計思想云存儲系統(tǒng)要求工作穩(wěn)定，性能達到相關標準規(guī)定。程序架構多層分模塊設 計，分布式、高可靠、高可用、高擴展架構。5.1.2 軟件開發(fā)平臺Linux開源穩(wěn)定高性能的開源服務器操作系統(tǒng)；Hadoo近大數(shù)據(jù)存儲分析的事 實上的標準，開源免費，目前仍然在快速的發(fā)展；Nginx是一個高性能的HTT前 反 向代理服務器，同樣是免費開源的；Mysql是目前最流行的開源免費數(shù)據(jù)庫5.1.3 軟件系統(tǒng)描述I軟件系統(tǒng)結構描述、總體軟件框圖II功能實現(xiàn)原理通訊集群通過云存儲系統(tǒng)提供的 API接口把RCU-樂集的實時業(yè)務白數(shù)據(jù)插入到 HBase；云存 儲門戶采用經典的MVCE層結

15、構，有時改變其中的一層就能滿足應用的改變。 一個應用的業(yè) 務流程或者業(yè)務規(guī)則的改變只需改動 MVCJ模型層，它實現(xiàn)了顯示模塊與功能模塊的分離。提高了程序的可維護性、可移植性、可擴展性與可重用性，降低了程序的開發(fā)難度?？刂茖拥母拍钜埠苡行?，由于它把不同的模型和不同的視圖組合在一起完成不同的請求，因此，控制層可以說是包含了用戶請求權限的概念。最后，它還有利于軟件工程化管理。由于不同的層各司其職，每一層不同的應用具有某些相同的特征，有利于通過工程化、工具化產生管理程序代碼。根據(jù)用戶的請求，決定是從數(shù)據(jù)庫獲取數(shù)據(jù)還是從 Hbase集群獲取數(shù)據(jù)或 者2者都有。III模塊規(guī)格、設計描述在各功能模塊中需要注

16、意有關數(shù)據(jù)精度的優(yōu)化，達到提高網絡傳輸速度，減少云存儲的存儲空間，方便以后根據(jù)第三方業(yè)務快速的數(shù)據(jù)分析。表1:詳細功能模塊說明廳P模塊名稱說明1公共工具模塊整個系統(tǒng)的字符處理，數(shù)值轉換，獲取日期等2GPS!息存儲模塊根據(jù)可能的業(yè)務需求來設置 HbaseBRowKey提 高海量數(shù)據(jù)的檢索速度，保存的數(shù)據(jù)可以在地 圖上重現(xiàn)行駛軌跡，基本參數(shù)有：RCU-U SN經緯度、海拔、時間、精度等。3G-SENSORp 速/ 減速）信息存儲基本參數(shù)有：RCU-USN當前具體的加速/減 速數(shù)字、采集時間、系統(tǒng)時間等。4陀螺儀信息存儲模塊基本參數(shù)有：水平向角度，垂直向角度、米集 時間、系統(tǒng)時間等。5速度信息存儲模

17、塊基本參數(shù)有：速度、采集時間、系統(tǒng)時間等。6發(fā)動機轉速信息存儲模塊基本參數(shù)有： 發(fā)動機轉速、米集時間、系統(tǒng)時 問等。7安全帶指示信息存儲模塊基本參數(shù)有： 主駕駛安全帶指示、米集時間、 系統(tǒng)時間等。8氣囊信息存儲模塊基本參數(shù)有： 氣囊狀態(tài)、米集時間、系統(tǒng)時間 等。9胎壓信息存儲模塊基本參數(shù)有：胎壓數(shù)據(jù)、采集時間、系統(tǒng)時間 等。10里程計信息存儲模塊基本參數(shù)有：里程數(shù)據(jù)、采集時間、系統(tǒng)時間 等。11車門信息存儲模塊基本參數(shù)有：車門狀態(tài)數(shù)據(jù)、采集時間、系統(tǒng) 時間等。12油耗信息存儲模塊基本參數(shù)有：油耗數(shù)據(jù)、采集時間、系統(tǒng)時間 等。13點火信息存儲模塊基本參數(shù)有：點火數(shù)據(jù)、采集時間、系統(tǒng)時間等。14轉

18、向信息存儲模塊基本參數(shù)有：轉向數(shù)據(jù)、采集時間、系統(tǒng)時間 等。15遠程診斷信息存儲模塊存儲RCU-IM端診斷后，自動把診斷結果上傳， 基本參數(shù)有：遠程診斷結果、采集時間、系統(tǒng) 時間等。16超速信息存儲模塊存儲RCU-U終端根據(jù)用戶所設定的閥值，來判 斷當前是否超速，如果超速，就上傳超速信息， 基本參數(shù)有：速度閥值、當前速度、采集時間、 系統(tǒng)時間等。17急剎信息存儲模塊存儲RCU-U終端根據(jù)用戶所設定的閥值，來判 斷當前是否急剎，如果急剎，就上傳急剎信息， 基本參數(shù)有：急剎閥值、當前速度、采集時間、 系統(tǒng)時間等。18急加速信息存儲模塊存儲RCU-U終端根據(jù)用戶所設定的閥值，來判 斷當前是否急加速，

19、如果急加速，就上傳急加 速信息，基本參數(shù)有：急加速閥值、當前速度、 采集時間、系統(tǒng)時間等。19旅程行駛跑離信息存儲模塊RCU-IM端在一個旅程結束的時候，上傳該旅程 的數(shù)據(jù)。20碰撞事故信息存儲模塊RCU-IM端判斷是否是碰撞，然后上傳碰撞事故 信息。21意外事故信息存儲模塊RCU-IM端判斷是否是意外事故，然后上傳意外 事故信息。22用戶操作日志記錄存儲記錄云存儲門戶中用戶更新數(shù)據(jù)的操作23設備信息模塊記錄汽車與RCU-IM端的對應美系24用戶信息模塊包括用戶的注冊，登錄驗證，修改密碼，找回 密碼，注冊設備，修改設備對應關系25用戶汽布閥值存儲 （電子欄柵，超速閥 值,各種數(shù)據(jù)采集的 頻度等）模塊用戶汽車閥值記錄的