CESA-2020-2-017 分布式平臺技術(shù)規(guī)范 編制說明_第1頁
CESA-2020-2-017 分布式平臺技術(shù)規(guī)范 編制說明_第2頁
CESA-2020-2-017 分布式平臺技術(shù)規(guī)范 編制說明_第3頁
CESA-2020-2-017 分布式平臺技術(shù)規(guī)范 編制說明_第4頁
CESA-2020-2-017 分布式平臺技術(shù)規(guī)范 編制說明_第5頁
已閱讀5頁,還剩4頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

中國電子工業(yè)標準化技術(shù)協(xié)會

一、工作簡況

(一)編制背景

本標準按照GB/T1.1-2020《標準化工作導(dǎo)則第1部分:標準化文件的結(jié)構(gòu)

和起草規(guī)則》的規(guī)定起草。

本標準由神州數(shù)碼融信軟件有限公司提出。

本標準由中國電子工業(yè)標準化技術(shù)協(xié)會歸口。

互聯(lián)網(wǎng)跟各行業(yè)的結(jié)合已是必然趨勢,其給行業(yè)帶來新的機遇的同時,也給

系統(tǒng)帶來巨大挑戰(zhàn),最主要的體現(xiàn)就是大并發(fā)、大數(shù)據(jù)量以及瞬時集中爆發(fā)。目

前大部分行業(yè)的系統(tǒng)架構(gòu)還是集中式架構(gòu),處理能力有限,已經(jīng)嚴重制約了生產(chǎn)

力的快速發(fā)展。經(jīng)過不斷探索,分布式已經(jīng)被認為是解決上述問題的有效手段,

同時考慮到盡可能減少對業(yè)務(wù)的影響,以及提供更加全面的分布式支撐能力,所

以,獨立的分布式平臺就非常重要,但目前行業(yè)內(nèi)分布式平臺參差不齊,急需一

套標準指導(dǎo)大家進行分布式平臺的建設(shè),從而更好的為上層業(yè)務(wù)系統(tǒng)提供全面的

基礎(chǔ)設(shè)施的能力,為我國的互聯(lián)網(wǎng)轉(zhuǎn)型提供強勁的動力。本標準是根據(jù)產(chǎn)業(yè)發(fā)展

需求,對協(xié)會已發(fā)布的團體標準《金融行業(yè)分布式聯(lián)機交易系統(tǒng)技術(shù)規(guī)范》進行

修訂,形成了本標準《分布式平臺技術(shù)規(guī)范》征求意見稿。

(二)參編單位

本標準起草單位:神州數(shù)碼融信軟件有限公司、金稅信息技術(shù)服務(wù)股份有限

公司、上海計算機軟件技術(shù)開發(fā)中心、上海軟中信息技術(shù)有限公司。

(三)編制范疇

分布式平臺的主要目標是為不同行業(yè)采用分布式技術(shù)建設(shè)聯(lián)機交易系統(tǒng)

提供平臺級的支持,所以,分布式平臺需要提供全面的分布式能力,具體的

系統(tǒng)在建設(shè)的時候可以按需靈活選擇。本標準主要從平臺的視角確定都包含

哪些范圍,以及相關(guān)的基礎(chǔ)功能。具體包括:

a)微服務(wù)平臺:提供應(yīng)用層的分布式能力,將一個復(fù)雜系統(tǒng)拆分為多個

微服務(wù),每個微服務(wù)可同時運行多個實例,不僅提升了系統(tǒng)的擴展性、

中國電子工業(yè)標準化技術(shù)協(xié)會

可用性,還可以快速靈活的應(yīng)對業(yè)務(wù)變化;

b)分布式數(shù)據(jù):將大數(shù)據(jù)量表中的數(shù)據(jù)進行水平拆分,用多個物理庫來

承載,不僅降低了單表的數(shù)據(jù)量,還增加了可用的物理資源;

c)分布式緩存:對于大量的數(shù)據(jù)查詢請求,采用分布式緩存進行存儲,

降低對數(shù)據(jù)庫的交互次數(shù),縮短服務(wù)的響應(yīng)時間;

d)全局序列:提供跨多個微服務(wù)實例的序列服務(wù),以防止不同實例中的

序列重復(fù);

e)分布式調(diào)度:提供統(tǒng)一的分布式調(diào)度機制,協(xié)調(diào)多個微服務(wù)節(jié)點及數(shù)

據(jù)庫節(jié)點共同參與運行,充分利用物理資源,將批量處理的時間控制

在有效范圍內(nèi);

f)分布式事務(wù):由于微服務(wù)和分布式數(shù)據(jù),就會帶來分布式事務(wù)的問題,

所以需提供跨數(shù)據(jù)庫、跨微服務(wù)的事務(wù)一致性保證機制。

(四)編制過程

標準編制過程分為:籌備階段、工作組成立、標準調(diào)研、標準起草、征求意

見、標準修改六個階段。

1、籌備階段

2020年4月與神州信息工程院院長、神州數(shù)碼融信軟件有限公司產(chǎn)品中心

總經(jīng)理溝通,形成建立“分布式平臺技術(shù)規(guī)范”的想法和規(guī)范,并形成負責(zé)人。

2、工作組成立

2020年4月,組建此次工作組成員:

姓名電話職務(wù)

于宏負責(zé)人

薛春布式規(guī)范負責(zé)人

潘紫協(xié)調(diào)人

3、標準調(diào)研

2020年4月開始,分布式規(guī)范負責(zé)人組織“分布式平臺技術(shù)規(guī)范”的工作

組成員對國內(nèi)重點企業(yè)的平臺系統(tǒng)的現(xiàn)狀進行了充分調(diào)研,尤其關(guān)注分布式涉及

的范圍,以及在一些重點領(lǐng)域行業(yè)的實現(xiàn)現(xiàn)狀。

神州數(shù)碼融信軟件有限公司產(chǎn)品中心副總經(jīng)理薛春雨組織相關(guān)人員,研究了

分布式平臺技術(shù)規(guī)范的特征差異、發(fā)展情況、市場需求和現(xiàn)狀等方面,形成了調(diào)

中國電子工業(yè)標準化技術(shù)協(xié)會

研報告。

4、標準起草

2020年5月“分布式平臺技術(shù)規(guī)范”提交立項專家評審會評審,最終通過

批準立項。

2020年7月13日完成了“分布式平臺技術(shù)規(guī)范”工作組的組建,發(fā)布了工

作組章程,確定了細分方向及相關(guān)負責(zé)人。發(fā)布規(guī)范編寫模板、并通過小組討論

的方式形成統(tǒng)一的編寫思路,討論并確定了規(guī)范的總體思路和框架設(shè)計,完成了

標準文本的初稿。

二、標準編制原則和確定主要內(nèi)容的論據(jù)及解決的主要問題

(一)編制原則

本標準的制定主要參考了承辦單位及協(xié)作單位在分布式領(lǐng)域多年的實戰(zhàn)經(jīng)

驗,同時兼顧行業(yè)的最新發(fā)展趨勢及行業(yè)的整體發(fā)展水平,保證了該標準的全面

性、先進性和可落地性。

1.全面性

本標準覆蓋了聯(lián)機交易系統(tǒng)所涉及的多個維度,主要體現(xiàn)在:服務(wù)層、數(shù)據(jù)

層、緩存層和批處理計算,以及分布式系統(tǒng)特有的分布式事務(wù)。

2.先進性

本標準中部分內(nèi)容結(jié)合了行業(yè)最新發(fā)展趨勢,雖然有些技術(shù)對部分企業(yè)還是

有一定難度的,但其又是行業(yè)分布式所必須面對的問題,其對整個行業(yè)有著積極

的推進作用。

3.可落地性

本標準編制過程中,在保證全面性和先進性的同時,也重點關(guān)注可落地性,

對一些比較前沿的實現(xiàn)機制采用推薦的模式,并未做強制要求。保證該標準可以

在行業(yè)內(nèi)大部分企業(yè)中推廣。

(二)確定主要內(nèi)容的論據(jù)

本標準的定位是面向聯(lián)機交易系統(tǒng)的分布式平臺的技術(shù)規(guī)范,所以,不僅需

要考慮聯(lián)機交易系統(tǒng)的需求,同時還需要兼顧不同行業(yè)的差異。

對于聯(lián)機交易系統(tǒng),首先面對的就是服務(wù)的分布式,因為其是外部請求進入

后的第一個環(huán)節(jié),所以在這個層面必須具備橫向擴展的能力;

中國電子工業(yè)標準化技術(shù)協(xié)會

其次,如果上述服務(wù)層不是系統(tǒng)的瓶頸的話,壓力就會持續(xù)往后傳遞,勢必

會到達數(shù)據(jù)庫,如果某個數(shù)據(jù)庫的表有幾千萬甚至上億的數(shù)據(jù)量,其性能就比較

低,就會成為系統(tǒng)的瓶頸,所以就必須對數(shù)據(jù)進行分布存儲,減少每個節(jié)點上的

數(shù)據(jù)量;

再者,雖然分布式理論上來說可以無限擴展,但真實的生產(chǎn)環(huán)境中增加節(jié)點

都存在不同程度的衰減,所以要提升系統(tǒng)的整體處理能力,還要考慮單個系統(tǒng)的

貢獻度。有些領(lǐng)域的聯(lián)機交易系統(tǒng)跟數(shù)據(jù)庫的訪問次數(shù)都比較高,但大部分都是

查詢,如果將這些查詢數(shù)據(jù)庫的操作都通過緩存命中的話,對交易的單筆響應(yīng)時

間將是一個非常高的貢獻,當(dāng)然,在分布式體系下,就必須依賴一個獨立在具體

的實例之外的緩存,同時考慮到對緩存的使用量比較大,所以,就必須提供分布

式的緩存訪問機制。

另外,對于有些行業(yè)還存在大量的批處理場景,這些操作都是計算密集型的

任務(wù),所以就必須提供一個分布式的統(tǒng)一調(diào)用平臺,把所有的應(yīng)用節(jié)點和數(shù)據(jù)庫

節(jié)點都充分利用起來,才可以把批處理的時間控制在一個合適的時間范圍。

最后,由于應(yīng)用和數(shù)據(jù)分布式之后,就會產(chǎn)生分布式事務(wù)的問題,并且有些

行業(yè)對事務(wù)的一致性要求還比較高,所以平臺還必須提供完備的分布式事務(wù)控制

機制。

(三)解決的主要問題

本標準主要解決如下兩個問題:

1)傳統(tǒng)集中式的系統(tǒng)架構(gòu)已經(jīng)嚴重制約了行業(yè)的互聯(lián)網(wǎng)轉(zhuǎn)型

互聯(lián)網(wǎng)正在深刻的影響著整個社會,各行各業(yè)跟互聯(lián)網(wǎng)的對接已經(jīng)成為必然

趨勢,其給行業(yè)帶來新的機遇的同時也帶來巨大的挑戰(zhàn),主要體現(xiàn)在:

-大并發(fā):由于基于互聯(lián)網(wǎng)上的用戶沒有地域的限制,所以系統(tǒng)的并發(fā)用

戶數(shù)將大大超過傳統(tǒng)業(yè)務(wù);

-大數(shù)據(jù)量:用戶在任何時間、任何地方都可以進行交易,這些大量交易

背后又會產(chǎn)生大量的數(shù)據(jù);

-浪涌現(xiàn)象:一些熱門的互聯(lián)網(wǎng)產(chǎn)品,會造成客戶交易的過度集中,最典

型的就是秒殺或者是雙十一這類活動;

-快速靈活:互聯(lián)網(wǎng)加速了行業(yè)競爭,企業(yè)要快速占領(lǐng)市場就需要自身快

中國電子工業(yè)標準化技術(shù)協(xié)會

速靈活。

上述挑戰(zhàn)在傳統(tǒng)架構(gòu)下很難解決,單純的依賴云計算、大數(shù)據(jù)也不能解決。

經(jīng)過不斷的探索,分布式被認為是解決上述問題的有效手段,但如何運用分布式

技術(shù)解決聯(lián)機交易系統(tǒng)遇到的問題,各行業(yè)內(nèi)缺乏統(tǒng)一的認識,急需一個規(guī)范來

指導(dǎo)該領(lǐng)域的持續(xù)發(fā)展,從而帶動行業(yè)的互聯(lián)網(wǎng)轉(zhuǎn)型。

2)系統(tǒng)安全可控的挑戰(zhàn)

隨著前幾年棱鏡門事件的爆發(fā),網(wǎng)絡(luò)安全受到前所未有的關(guān)注。中央網(wǎng)絡(luò)安

全和信息化領(lǐng)導(dǎo)小組的成立,習(xí)主席“沒有網(wǎng)絡(luò)安全就沒有國家安全”等指示的

提出,無不表明網(wǎng)絡(luò)安全已經(jīng)上升到國家層面。目前我國一些行業(yè)主要軟硬件設(shè)

施大多由外資廠商提供,關(guān)鍵設(shè)備及軟件不能自主生產(chǎn)存在安全隱患,尤其是對

IOE的過度依賴非常突出。這個現(xiàn)狀也是有著復(fù)雜的歷史原因,其中一個重要因

素就是之前的系統(tǒng)架構(gòu)都是集中式的,在集中式的前提下就要求主機及數(shù)據(jù)庫都

必須非常的穩(wěn)定可靠,由于多年的積累,IBM和Oracle具有非常強的優(yōu)勢。所以,

如果要改變這種情況,就必須在整體設(shè)計的時候考慮一些自主可控的技術(shù),分布

式本身就是相對于集中式產(chǎn)生的技術(shù),所以其先天具備優(yōu)勢,并且相關(guān)的一些技

術(shù)也是開源的,非常適合基于其建立基礎(chǔ)架構(gòu)。

三、主要試驗[或驗證]情況分析

無。

四、知識產(chǎn)權(quán)情況說明

本標準第7章第c)條實施可能會涉及“一種防止臟數(shù)據(jù)產(chǎn)生的方法”專利、

第10.2章第c)條實施可能會涉及“分布式事務(wù)處理方法及裝置”專利的使用。

五、產(chǎn)業(yè)化情況、推廣應(yīng)用論證和預(yù)期達到的經(jīng)濟效果

無。

六、轉(zhuǎn)化國際標準和國外先進標準情況

無。

七、與現(xiàn)行相關(guān)法律、法規(guī)、規(guī)章及相關(guān)標準的協(xié)調(diào)性

無。

八、重大分歧意見的處理經(jīng)過和依據(jù)

無。

中國電子工業(yè)標準化技術(shù)協(xié)會

九、貫徹標準的要求和措施建議

雖然各行業(yè)對采用分布式技術(shù)來應(yīng)對互聯(lián)網(wǎng)轉(zhuǎn)型基本達成共識,也在積極的

進行探索,但國家政府部門暫時還沒有非常正式的發(fā)文來推進分布式技術(shù)在各個

行業(yè)的應(yīng)用。同時考慮到國內(nèi)各行業(yè)聯(lián)機交易系統(tǒng)分布式的能力參差不齊,為了

貫徹標準有以下建議:

1)推進國家相關(guān)政府部門相關(guān)政策的推出。由于本標準是推薦性標準,如

果沒有大的政策導(dǎo)向,相關(guān)機構(gòu)對該標準的重視度將會受比較大的影

響,進而影響到該項標準的貫徹。

2)對有些行業(yè)已經(jīng)在使用分布式的機構(gòu)積極引導(dǎo)。在該領(lǐng)域中已經(jīng)有很多

機構(gòu)在嘗試使用分布式去解決局部問題,但很多并沒有進行全面的思

考,可以引導(dǎo)機構(gòu)往該標準上靠攏,并可以實實在在的體現(xiàn)出給其帶來

的價值。然后再進行適當(dāng)?shù)氖袌鲂麄鳎云鸬揭欢ǖ氖痉缎?yīng)。

3)推動標準的深度執(zhí)行。對于標準中一些建議類的功能,可以嘗試在2)中

做的比較好的機構(gòu)中進一步貫徹執(zhí)行,一方面可以切實的解決機構(gòu)在分

布式落地過程中遇到的問題,另一方面也可以提升這些機構(gòu)在市場上的

影響力。

十、替代或廢止現(xiàn)行相關(guān)標準的建議

無。

十一、其它應(yīng)予說明的事項

無。

《分布式平臺技術(shù)規(guī)范》團體標準編制工作組

2020-07-27

中國電子工業(yè)標準化技術(shù)協(xié)會

一、工作簡況

(一)編制背景

本標準按照GB/T1.1-2020《標準化工作導(dǎo)則第1部分:標準化文件的結(jié)構(gòu)

和起草規(guī)則》的規(guī)定起草。

本標準由神州數(shù)碼融信軟件有限公司提出。

本標準由中國電子工業(yè)標準化技術(shù)協(xié)會歸口。

互聯(lián)網(wǎng)跟各行業(yè)的結(jié)合已是必然趨勢,其給行業(yè)帶來新的機遇的同時,也給

系統(tǒng)帶來巨大挑戰(zhàn),最主要的體現(xiàn)就是大并發(fā)、大數(shù)據(jù)量以及瞬時集中爆發(fā)。目

前大部分行業(yè)的系統(tǒng)架構(gòu)還是集中式架構(gòu),處理能力有限,已經(jīng)嚴重制約了生產(chǎn)

力的快速發(fā)展。經(jīng)過不斷探索,分布式已經(jīng)被認為是解決上述問題的有效手段,

同時考慮到盡可能減少對業(yè)務(wù)的影響,以及提供更加全面的分布式支撐能力,所

以,獨立的分布式平臺就非常重要,但目前行業(yè)內(nèi)分布式平臺參差不齊,急需一

套標準指導(dǎo)大家進行分布式平臺的建設(shè),從而更好的為上層業(yè)務(wù)系統(tǒng)提供全面的

基礎(chǔ)設(shè)施的能力,為我國的互聯(lián)網(wǎng)轉(zhuǎn)型提供強勁的動力。本標準是根據(jù)產(chǎn)業(yè)發(fā)展

需求,對協(xié)會已發(fā)布的團體標準《金融行業(yè)分布式聯(lián)機交易系統(tǒng)技術(shù)規(guī)范》進行

修訂,形成了本標準《分布式平臺技術(shù)規(guī)范》征求意見稿。

(二)參編單位

本標準起草單位:神州數(shù)碼融信軟件有限公司、金稅信息技術(shù)服務(wù)股份有限

公司、上海計算機軟件技術(shù)開發(fā)中心、上海軟中信息技術(shù)有限公司。

(三)編制范疇

分布式平臺的主要目標是為不同行業(yè)采用分布式技術(shù)建設(shè)聯(lián)機交易系統(tǒng)

提供平臺級的支持,所以,分布式平臺需要提供全面的分布式能力,具體的

系統(tǒng)在建設(shè)的時候可以按需靈活選擇。本標準主要從平臺的視角確定都包含

哪些范圍,以及相關(guān)的基礎(chǔ)功能。具體包括:

a)微服務(wù)平臺:提供應(yīng)用層的分布式能力,將一個復(fù)雜系統(tǒng)拆分為多個

微服務(wù),每個微服務(wù)可同時運行多個實例,不僅提升了系統(tǒng)的擴展性、

中國電子工業(yè)標準化技術(shù)協(xié)會

可用性,還可以快速靈活的應(yīng)對業(yè)務(wù)變化;

b)分布式數(shù)據(jù):將大數(shù)據(jù)量表中的數(shù)據(jù)進行水平拆分,用多個物理庫來

承載,不僅降低了單表的數(shù)據(jù)量,還增加了可用的物理資源;

c)分布式緩存:對于大量的數(shù)據(jù)查詢請求,采用分布式緩存進行存儲,

降低對數(shù)據(jù)庫的交互次數(shù),縮短服務(wù)的響應(yīng)時間;

d)全局序列:提供跨多個微服務(wù)實例的序列服務(wù),以防止不同實例中的

序列重復(fù);

e)分布式調(diào)度:提供統(tǒng)一的分布式調(diào)度機制,協(xié)調(diào)多個微服務(wù)節(jié)點及數(shù)

據(jù)庫節(jié)點共同參與運行,充分利用物理資源,將批量處理的時間控制

在有效范圍內(nèi);

f)分布式事務(wù):由于微服務(wù)和分布式數(shù)據(jù),就會帶來分布式事務(wù)的問題,

所以需提供跨數(shù)據(jù)庫、跨微服務(wù)的事務(wù)一致性保證機制。

(四)編制過程

標準編制過程分為:籌備階段、工作組成立、標準調(diào)研、標準起草、征求意

見、標準修改六個階段。

1、籌備階段

2020年4月與神州信息工程院院長、神州數(shù)碼融信軟件有限公司產(chǎn)品中心

總經(jīng)理溝通,形成建立“分布式平臺技術(shù)規(guī)范”的想法和規(guī)范,并形成負責(zé)人。

2、工作組成立

2020年4月,組建此次工作組成員:

姓名電話職務(wù)

于宏負責(zé)人

薛春布式規(guī)范負責(zé)人

潘紫協(xié)調(diào)人

3、標準調(diào)研

2020年4月開始,分布式規(guī)范負責(zé)人組織“分布式平臺技術(shù)規(guī)范”的工作

組成員對國內(nèi)重點企業(yè)的平臺系統(tǒng)的現(xiàn)狀進行了充分調(diào)研,尤其關(guān)注分布式涉及

的范圍,以及在一些重點領(lǐng)域行業(yè)的實現(xiàn)現(xiàn)狀。

神州數(shù)碼融信軟件有限公司產(chǎn)品中心副總經(jīng)理薛春雨組織相關(guān)人員,研究了

分布式平臺技術(shù)規(guī)范的特征差異、發(fā)展情況、市場需求和現(xiàn)狀等方面,形成了調(diào)

中國電子工

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論