平安城市建設(shè)技術(shù)解決方案

平安城市建設(shè)技術(shù)解決方案1概述 31.1建設(shè)背景 3 3 32云存儲系統(tǒng)平臺設(shè)計 42.1項目需求 42.2設(shè)計思想 52.3云存儲系統(tǒng)方案 62.4系統(tǒng)優(yōu)勢和特點(diǎn) 63系統(tǒng)架構(gòu) 93.1系統(tǒng)基本組成 93.2系統(tǒng)功能描述 174.1數(shù)據(jù)寫入機(jī)制 4.2數(shù)據(jù)讀出機(jī)制 5關(guān)鍵技術(shù) 5.1負(fù)載自動均衡技術(shù) 5.2高速并發(fā)訪問技術(shù) 5.3高可靠性保證技術(shù) 5.4高可用技術(shù) 6接口描述 6.1POSIX通用文件系統(tǒng)接口訪問 6.2應(yīng)用程序API接口調(diào)用 7本地容錯與診斷技術(shù) 7.1cStor高可靠性 21 217.3cStor快照技術(shù) 228異地容災(zāi)與恢復(fù)技術(shù) 228.2cStor異地文件恢復(fù) 9部署方案 數(shù)據(jù)是業(yè)務(wù)系統(tǒng)核心應(yīng)用的最終保障，不但要保證整套系統(tǒng)能夠7X24運(yùn)行，而且在進(jìn)行系統(tǒng)設(shè)計時，充分考慮數(shù)據(jù)高可靠存儲，采用高度可靠的軟硬件容錯設(shè)計，維護(hù)和平滑擴(kuò)展，系統(tǒng)服務(wù)7×24小時不間斷。系統(tǒng)采cStor云存儲系統(tǒng)是一套軟件與硬件相結(jié)合的系統(tǒng)，其中專有技術(shù)和軟件是高附加銀行等領(lǐng)域);該系統(tǒng)相比傳統(tǒng)存儲系統(tǒng)有如下技術(shù)優(yōu)勢：存儲系統(tǒng)采用云架構(gòu)，數(shù)據(jù)被分塊存儲在不同的存儲節(jié)點(diǎn)上，數(shù)據(jù)采用先進(jìn)的1:1重啟服務(wù)后，它則成為新的備管理節(jié)點(diǎn)，保障系統(tǒng)的7×24小時不間斷服務(wù)。cStor采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲或讀取實(shí)際上是與各個存儲節(jié)r個數(shù)可以有多個，它的數(shù)目直接決定了cStor云存儲系服務(wù)器對外提供數(shù)據(jù)存儲和訪問服務(wù)的窗口，通常情況下，客戶端可以部署在Chunk由一對元數(shù)據(jù)服務(wù)器及其管理的存儲服務(wù)器節(jié)點(diǎn)所提供的存儲空間稱為一個卷空1.9系統(tǒng)功能描述cStor提供符合POSIX規(guī)范的文件系統(tǒng)訪問接口，通過cStor訪問掛接程序可將云存儲空間掛接為本地目錄或磁盤。同時可提供專用的API接口，支持業(yè)務(wù)應(yīng)主備雙機(jī)高可用，切保7×24小時不間斷服務(wù)。塊數(shù)據(jù)是指文件數(shù)據(jù)被按照一定大小(默認(rèn)64MB)分割而成的多個數(shù)據(jù)塊，分布由一對主備元數(shù)據(jù)服務(wù)器及其所管理的塊數(shù)據(jù)服務(wù)器管理節(jié)點(diǎn)設(shè)備及其所提供的卷管理服服務(wù)器負(fù)責(zé)將多個卷虛擬化整合，對外提供統(tǒng)一的整體訪問云存儲空間。指指指指山admin山時時莊莊莊莊莊止止止程山出以山456[(2)客戶端進(jìn)行文件切塊寫入有塊數(shù)據(jù)服務(wù)(3)客戶端每寫入一定量的塊數(shù)據(jù)后，通知元數(shù)據(jù)服務(wù)器，由元數(shù)據(jù)服務(wù)器啟動一(2)客戶端進(jìn)行數(shù)據(jù)塊讀出；(3)客戶端進(jìn)行數(shù)據(jù)塊校驗；(4)對未能讀出的數(shù)據(jù)塊或無效塊通過同編碼組內(nèi)其它數(shù)據(jù)塊進(jìn)行解碼，獲得完整對于節(jié)點(diǎn)服務(wù)器，采用編解碼的方式實(shí)現(xiàn)容錯。分布存儲在不同的節(jié)點(diǎn)服務(wù)器上。系統(tǒng)中的所有服務(wù)節(jié)點(diǎn)均是通過網(wǎng)絡(luò)連接在一起，由于不停止；存儲節(jié)點(diǎn)采用編解碼冗余備份機(jī)制，如采用4:2編碼容錯，,任意損失文件系統(tǒng)接口訪問；②通過專用API訪問。具體描述如下。通常情況下，可以通過在客戶端的基礎(chǔ)上部署FTP、NFS等服務(wù)器的方式，對外提供基于FTP和NFS的數(shù)據(jù)存儲訪問。1.17應(yīng)用程序API接口調(diào)用cStor云存儲系統(tǒng)對外提供應(yīng)用程序API訪問接口，可以根據(jù)實(shí)際應(yīng)用的需要編寫應(yīng)用程序，通過調(diào)用相應(yīng)的接口直接訪問cStor云存儲系統(tǒng)。不管如何終止服務(wù)，元數(shù)據(jù)服務(wù)器和存儲服務(wù)器都會在幾秒鐘內(nèi)恢復(fù)狀態(tài)和運(yùn)行。實(shí)際上，我們不對正常終止和不正常終止進(jìn)行區(qū)分，服務(wù)器進(jìn)程都會被切斷而終止。客戶機(jī)和其他的服務(wù)器會經(jīng)歷一個小小的中斷，然后它們的特定請求超時，重新連接重啟的服務(wù)器，重新請求。每個數(shù)據(jù)塊都會被備份到放到的不同存儲服務(wù)器上。對不同的目錄和文件，用戶可以設(shè)置不同的備份級別。在存儲服務(wù)器掉線或是數(shù)據(jù)被破壞時，元數(shù)據(jù)服務(wù)器會按照需要來復(fù)制數(shù)據(jù)塊。元數(shù)據(jù)服務(wù)器采用雙機(jī)熱備技術(shù)，在主元數(shù)據(jù)服務(wù)器發(fā)生異常中斷時，能夠在秒級內(nèi)切換到備元數(shù)據(jù)服務(wù)器，而不會中斷業(yè)務(wù)。另外還可以采用冷備份機(jī)制，單獨(dú)將元數(shù)據(jù)備份到另外第3臺機(jī)器中，從而確保萬每個存儲服務(wù)器都利用校驗和來檢驗存儲數(shù)據(jù)的完整性。在讀數(shù)據(jù)時，存儲服務(wù)器首先檢查與被讀內(nèi)容相關(guān)部分的校驗和，因此，服務(wù)器不會傳播錯誤的數(shù)據(jù)。如果所檢查的內(nèi)容和校驗和不符，服務(wù)器就會給數(shù)據(jù)請求者返回一個錯誤的信息，并把這個情況報告給元數(shù)據(jù)服務(wù)器?？蛻魴C(jī)就會讀其他的服務(wù)器來獲取數(shù)據(jù)，而元數(shù)據(jù)服務(wù)器則會