版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
中國電子工業(yè)標準化技術(shù)協(xié)會
一、工作簡況
(一)編制背景
本標準按照GB/T1.1-2020《標準化工作導(dǎo)則第1部分:標準化文件的結(jié)構(gòu)
和起草規(guī)則》的規(guī)定起草。
本標準由神州數(shù)碼融信軟件有限公司提出。
本標準由中國電子工業(yè)標準化技術(shù)協(xié)會歸口。
互聯(lián)網(wǎng)跟各行業(yè)的結(jié)合已是必然趨勢,其給行業(yè)帶來新的機遇的同時,也給
系統(tǒng)帶來巨大挑戰(zhàn),最主要的體現(xiàn)就是大并發(fā)、大數(shù)據(jù)量以及瞬時集中爆發(fā)。目
前大部分行業(yè)的系統(tǒng)架構(gòu)還是集中式架構(gòu),處理能力有限,已經(jīng)嚴重制約了生產(chǎn)
力的快速發(fā)展。經(jīng)過不斷探索,分布式已經(jīng)被認為是解決上述問題的有效手段,
同時考慮到盡可能減少對業(yè)務(wù)的影響,以及提供更加全面的分布式支撐能力,所
以,獨立的分布式平臺就非常重要,但目前行業(yè)內(nèi)分布式平臺參差不齊,急需一
套標準指導(dǎo)大家進行分布式平臺的建設(shè),從而更好的為上層業(yè)務(wù)系統(tǒng)提供全面的
基礎(chǔ)設(shè)施的能力,為我國的互聯(lián)網(wǎng)轉(zhuǎn)型提供強勁的動力。本標準是根據(jù)產(chǎn)業(yè)發(fā)展
需求,對協(xié)會已發(fā)布的團體標準《金融行業(yè)分布式聯(lián)機交易系統(tǒng)技術(shù)規(guī)范》進行
修訂,形成了本標準《分布式平臺技術(shù)規(guī)范》征求意見稿。
(二)參編單位
本標準起草單位:神州數(shù)碼融信軟件有限公司、金稅信息技術(shù)服務(wù)股份有限
公司、上海計算機軟件技術(shù)開發(fā)中心、上海軟中信息技術(shù)有限公司。
(三)編制范疇
分布式平臺的主要目標是為不同行業(yè)采用分布式技術(shù)建設(shè)聯(lián)機交易系統(tǒng)
提供平臺級的支持,所以,分布式平臺需要提供全面的分布式能力,具體的
系統(tǒng)在建設(shè)的時候可以按需靈活選擇。本標準主要從平臺的視角確定都包含
哪些范圍,以及相關(guān)的基礎(chǔ)功能。具體包括:
a)微服務(wù)平臺:提供應(yīng)用層的分布式能力,將一個復(fù)雜系統(tǒng)拆分為多個
微服務(wù),每個微服務(wù)可同時運行多個實例,不僅提升了系統(tǒng)的擴展性、
中國電子工業(yè)標準化技術(shù)協(xié)會
可用性,還可以快速靈活的應(yīng)對業(yè)務(wù)變化;
b)分布式數(shù)據(jù):將大數(shù)據(jù)量表中的數(shù)據(jù)進行水平拆分,用多個物理庫來
承載,不僅降低了單表的數(shù)據(jù)量,還增加了可用的物理資源;
c)分布式緩存:對于大量的數(shù)據(jù)查詢請求,采用分布式緩存進行存儲,
降低對數(shù)據(jù)庫的交互次數(shù),縮短服務(wù)的響應(yīng)時間;
d)全局序列:提供跨多個微服務(wù)實例的序列服務(wù),以防止不同實例中的
序列重復(fù);
e)分布式調(diào)度:提供統(tǒng)一的分布式調(diào)度機制,協(xié)調(diào)多個微服務(wù)節(jié)點及數(shù)
據(jù)庫節(jié)點共同參與運行,充分利用物理資源,將批量處理的時間控制
在有效范圍內(nèi);
f)分布式事務(wù):由于微服務(wù)和分布式數(shù)據(jù),就會帶來分布式事務(wù)的問題,
所以需提供跨數(shù)據(jù)庫、跨微服務(wù)的事務(wù)一致性保證機制。
(四)編制過程
標準編制過程分為:籌備階段、工作組成立、標準調(diào)研、標準起草、征求意
見、標準修改六個階段。
1、籌備階段
2020年4月與神州信息工程院院長、神州數(shù)碼融信軟件有限公司產(chǎn)品中心
總經(jīng)理溝通,形成建立“分布式平臺技術(shù)規(guī)范”的想法和規(guī)范,并形成負責(zé)人。
2、工作組成立
2020年4月,組建此次工作組成員:
姓名電話職務(wù)
于宏負責(zé)人
薛春布式規(guī)范負責(zé)人
潘紫協(xié)調(diào)人
3、標準調(diào)研
2020年4月開始,分布式規(guī)范負責(zé)人組織“分布式平臺技術(shù)規(guī)范”的工作
組成員對國內(nèi)重點企業(yè)的平臺系統(tǒng)的現(xiàn)狀進行了充分調(diào)研,尤其關(guān)注分布式涉及
的范圍,以及在一些重點領(lǐng)域行業(yè)的實現(xiàn)現(xiàn)狀。
神州數(shù)碼融信軟件有限公司產(chǎn)品中心副總經(jīng)理薛春雨組織相關(guān)人員,研究了
分布式平臺技術(shù)規(guī)范的特征差異、發(fā)展情況、市場需求和現(xiàn)狀等方面,形成了調(diào)
中國電子工業(yè)標準化技術(shù)協(xié)會
研報告。
4、標準起草
2020年5月“分布式平臺技術(shù)規(guī)范”提交立項專家評審會評審,最終通過
批準立項。
2020年7月13日完成了“分布式平臺技術(shù)規(guī)范”工作組的組建,發(fā)布了工
作組章程,確定了細分方向及相關(guān)負責(zé)人。發(fā)布規(guī)范編寫模板、并通過小組討論
的方式形成統(tǒng)一的編寫思路,討論并確定了規(guī)范的總體思路和框架設(shè)計,完成了
標準文本的初稿。
二、標準編制原則和確定主要內(nèi)容的論據(jù)及解決的主要問題
(一)編制原則
本標準的制定主要參考了承辦單位及協(xié)作單位在分布式領(lǐng)域多年的實戰(zhàn)經(jīng)
驗,同時兼顧行業(yè)的最新發(fā)展趨勢及行業(yè)的整體發(fā)展水平,保證了該標準的全面
性、先進性和可落地性。
1.全面性
本標準覆蓋了聯(lián)機交易系統(tǒng)所涉及的多個維度,主要體現(xiàn)在:服務(wù)層、數(shù)據(jù)
層、緩存層和批處理計算,以及分布式系統(tǒng)特有的分布式事務(wù)。
2.先進性
本標準中部分內(nèi)容結(jié)合了行業(yè)最新發(fā)展趨勢,雖然有些技術(shù)對部分企業(yè)還是
有一定難度的,但其又是行業(yè)分布式所必須面對的問題,其對整個行業(yè)有著積極
的推進作用。
3.可落地性
本標準編制過程中,在保證全面性和先進性的同時,也重點關(guān)注可落地性,
對一些比較前沿的實現(xiàn)機制采用推薦的模式,并未做強制要求。保證該標準可以
在行業(yè)內(nèi)大部分企業(yè)中推廣。
(二)確定主要內(nèi)容的論據(jù)
本標準的定位是面向聯(lián)機交易系統(tǒng)的分布式平臺的技術(shù)規(guī)范,所以,不僅需
要考慮聯(lián)機交易系統(tǒng)的需求,同時還需要兼顧不同行業(yè)的差異。
對于聯(lián)機交易系統(tǒng),首先面對的就是服務(wù)的分布式,因為其是外部請求進入
后的第一個環(huán)節(jié),所以在這個層面必須具備橫向擴展的能力;
中國電子工業(yè)標準化技術(shù)協(xié)會
其次,如果上述服務(wù)層不是系統(tǒng)的瓶頸的話,壓力就會持續(xù)往后傳遞,勢必
會到達數(shù)據(jù)庫,如果某個數(shù)據(jù)庫的表有幾千萬甚至上億的數(shù)據(jù)量,其性能就比較
低,就會成為系統(tǒng)的瓶頸,所以就必須對數(shù)據(jù)進行分布存儲,減少每個節(jié)點上的
數(shù)據(jù)量;
再者,雖然分布式理論上來說可以無限擴展,但真實的生產(chǎn)環(huán)境中增加節(jié)點
都存在不同程度的衰減,所以要提升系統(tǒng)的整體處理能力,還要考慮單個系統(tǒng)的
貢獻度。有些領(lǐng)域的聯(lián)機交易系統(tǒng)跟數(shù)據(jù)庫的訪問次數(shù)都比較高,但大部分都是
查詢,如果將這些查詢數(shù)據(jù)庫的操作都通過緩存命中的話,對交易的單筆響應(yīng)時
間將是一個非常高的貢獻,當(dāng)然,在分布式體系下,就必須依賴一個獨立在具體
的實例之外的緩存,同時考慮到對緩存的使用量比較大,所以,就必須提供分布
式的緩存訪問機制。
另外,對于有些行業(yè)還存在大量的批處理場景,這些操作都是計算密集型的
任務(wù),所以就必須提供一個分布式的統(tǒng)一調(diào)用平臺,把所有的應(yīng)用節(jié)點和數(shù)據(jù)庫
節(jié)點都充分利用起來,才可以把批處理的時間控制在一個合適的時間范圍。
最后,由于應(yīng)用和數(shù)據(jù)分布式之后,就會產(chǎn)生分布式事務(wù)的問題,并且有些
行業(yè)對事務(wù)的一致性要求還比較高,所以平臺還必須提供完備的分布式事務(wù)控制
機制。
(三)解決的主要問題
本標準主要解決如下兩個問題:
1)傳統(tǒng)集中式的系統(tǒng)架構(gòu)已經(jīng)嚴重制約了行業(yè)的互聯(lián)網(wǎng)轉(zhuǎn)型
互聯(lián)網(wǎng)正在深刻的影響著整個社會,各行各業(yè)跟互聯(lián)網(wǎng)的對接已經(jīng)成為必然
趨勢,其給行業(yè)帶來新的機遇的同時也帶來巨大的挑戰(zhàn),主要體現(xiàn)在:
-大并發(fā):由于基于互聯(lián)網(wǎng)上的用戶沒有地域的限制,所以系統(tǒng)的并發(fā)用
戶數(shù)將大大超過傳統(tǒng)業(yè)務(wù);
-大數(shù)據(jù)量:用戶在任何時間、任何地方都可以進行交易,這些大量交易
背后又會產(chǎn)生大量的數(shù)據(jù);
-浪涌現(xiàn)象:一些熱門的互聯(lián)網(wǎng)產(chǎn)品,會造成客戶交易的過度集中,最典
型的就是秒殺或者是雙十一這類活動;
-快速靈活:互聯(lián)網(wǎng)加速了行業(yè)競爭,企業(yè)要快速占領(lǐng)市場就需要自身快
中國電子工業(yè)標準化技術(shù)協(xié)會
速靈活。
上述挑戰(zhàn)在傳統(tǒng)架構(gòu)下很難解決,單純的依賴云計算、大數(shù)據(jù)也不能解決。
經(jīng)過不斷的探索,分布式被認為是解決上述問題的有效手段,但如何運用分布式
技術(shù)解決聯(lián)機交易系統(tǒng)遇到的問題,各行業(yè)內(nèi)缺乏統(tǒng)一的認識,急需一個規(guī)范來
指導(dǎo)該領(lǐng)域的持續(xù)發(fā)展,從而帶動行業(yè)的互聯(lián)網(wǎng)轉(zhuǎn)型。
2)系統(tǒng)安全可控的挑戰(zhàn)
隨著前幾年棱鏡門事件的爆發(fā),網(wǎng)絡(luò)安全受到前所未有的關(guān)注。中央網(wǎng)絡(luò)安
全和信息化領(lǐng)導(dǎo)小組的成立,習(xí)主席“沒有網(wǎng)絡(luò)安全就沒有國家安全”等指示的
提出,無不表明網(wǎng)絡(luò)安全已經(jīng)上升到國家層面。目前我國一些行業(yè)主要軟硬件設(shè)
施大多由外資廠商提供,關(guān)鍵設(shè)備及軟件不能自主生產(chǎn)存在安全隱患,尤其是對
IOE的過度依賴非常突出。這個現(xiàn)狀也是有著復(fù)雜的歷史原因,其中一個重要因
素就是之前的系統(tǒng)架構(gòu)都是集中式的,在集中式的前提下就要求主機及數(shù)據(jù)庫都
必須非常的穩(wěn)定可靠,由于多年的積累,IBM和Oracle具有非常強的優(yōu)勢。所以,
如果要改變這種情況,就必須在整體設(shè)計的時候考慮一些自主可控的技術(shù),分布
式本身就是相對于集中式產(chǎn)生的技術(shù),所以其先天具備優(yōu)勢,并且相關(guān)的一些技
術(shù)也是開源的,非常適合基于其建立基礎(chǔ)架構(gòu)。
三、主要試驗[或驗證]情況分析
無。
四、知識產(chǎn)權(quán)情況說明
本標準第7章第c)條實施可能會涉及“一種防止臟數(shù)據(jù)產(chǎn)生的方法”專利、
第10.2章第c)條實施可能會涉及“分布式事務(wù)處理方法及裝置”專利的使用。
五、產(chǎn)業(yè)化情況、推廣應(yīng)用論證和預(yù)期達到的經(jīng)濟效果
無。
六、轉(zhuǎn)化國際標準和國外先進標準情況
無。
七、與現(xiàn)行相關(guān)法律、法規(guī)、規(guī)章及相關(guān)標準的協(xié)調(diào)性
無。
八、重大分歧意見的處理經(jīng)過和依據(jù)
無。
中國電子工業(yè)標準化技術(shù)協(xié)會
九、貫徹標準的要求和措施建議
雖然各行業(yè)對采用分布式技術(shù)來應(yīng)對互聯(lián)網(wǎng)轉(zhuǎn)型基本達成共識,也在積極的
進行探索,但國家政府部門暫時還沒有非常正式的發(fā)文來推進分布式技術(shù)在各個
行業(yè)的應(yīng)用。同時考慮到國內(nèi)各行業(yè)聯(lián)機交易系統(tǒng)分布式的能力參差不齊,為了
貫徹標準有以下建議:
1)推進國家相關(guān)政府部門相關(guān)政策的推出。由于本標準是推薦性標準,如
果沒有大的政策導(dǎo)向,相關(guān)機構(gòu)對該標準的重視度將會受比較大的影
響,進而影響到該項標準的貫徹。
2)對有些行業(yè)已經(jīng)在使用分布式的機構(gòu)積極引導(dǎo)。在該領(lǐng)域中已經(jīng)有很多
機構(gòu)在嘗試使用分布式去解決局部問題,但很多并沒有進行全面的思
考,可以引導(dǎo)機構(gòu)往該標準上靠攏,并可以實實在在的體現(xiàn)出給其帶來
的價值。然后再進行適當(dāng)?shù)氖袌鲂麄鳎云鸬揭欢ǖ氖痉缎?yīng)。
3)推動標準的深度執(zhí)行。對于標準中一些建議類的功能,可以嘗試在2)中
做的比較好的機構(gòu)中進一步貫徹執(zhí)行,一方面可以切實的解決機構(gòu)在分
布式落地過程中遇到的問題,另一方面也可以提升這些機構(gòu)在市場上的
影響力。
十、替代或廢止現(xiàn)行相關(guān)標準的建議
無。
十一、其它應(yīng)予說明的事項
無。
《分布式平臺技術(shù)規(guī)范》團體標準編制工作組
2020-07-27
中國電子工業(yè)標準化技術(shù)協(xié)會
一、工作簡況
(一)編制背景
本標準按照GB/T1.1-2020《標準化工作導(dǎo)則第1部分:標準化文件的結(jié)構(gòu)
和起草規(guī)則》的規(guī)定起草。
本標準由神州數(shù)碼融信軟件有限公司提出。
本標準由中國電子工業(yè)標準化技術(shù)協(xié)會歸口。
互聯(lián)網(wǎng)跟各行業(yè)的結(jié)合已是必然趨勢,其給行業(yè)帶來新的機遇的同時,也給
系統(tǒng)帶來巨大挑戰(zhàn),最主要的體現(xiàn)就是大并發(fā)、大數(shù)據(jù)量以及瞬時集中爆發(fā)。目
前大部分行業(yè)的系統(tǒng)架構(gòu)還是集中式架構(gòu),處理能力有限,已經(jīng)嚴重制約了生產(chǎn)
力的快速發(fā)展。經(jīng)過不斷探索,分布式已經(jīng)被認為是解決上述問題的有效手段,
同時考慮到盡可能減少對業(yè)務(wù)的影響,以及提供更加全面的分布式支撐能力,所
以,獨立的分布式平臺就非常重要,但目前行業(yè)內(nèi)分布式平臺參差不齊,急需一
套標準指導(dǎo)大家進行分布式平臺的建設(shè),從而更好的為上層業(yè)務(wù)系統(tǒng)提供全面的
基礎(chǔ)設(shè)施的能力,為我國的互聯(lián)網(wǎng)轉(zhuǎn)型提供強勁的動力。本標準是根據(jù)產(chǎn)業(yè)發(fā)展
需求,對協(xié)會已發(fā)布的團體標準《金融行業(yè)分布式聯(lián)機交易系統(tǒng)技術(shù)規(guī)范》進行
修訂,形成了本標準《分布式平臺技術(shù)規(guī)范》征求意見稿。
(二)參編單位
本標準起草單位:神州數(shù)碼融信軟件有限公司、金稅信息技術(shù)服務(wù)股份有限
公司、上海計算機軟件技術(shù)開發(fā)中心、上海軟中信息技術(shù)有限公司。
(三)編制范疇
分布式平臺的主要目標是為不同行業(yè)采用分布式技術(shù)建設(shè)聯(lián)機交易系統(tǒng)
提供平臺級的支持,所以,分布式平臺需要提供全面的分布式能力,具體的
系統(tǒng)在建設(shè)的時候可以按需靈活選擇。本標準主要從平臺的視角確定都包含
哪些范圍,以及相關(guān)的基礎(chǔ)功能。具體包括:
a)微服務(wù)平臺:提供應(yīng)用層的分布式能力,將一個復(fù)雜系統(tǒng)拆分為多個
微服務(wù),每個微服務(wù)可同時運行多個實例,不僅提升了系統(tǒng)的擴展性、
中國電子工業(yè)標準化技術(shù)協(xié)會
可用性,還可以快速靈活的應(yīng)對業(yè)務(wù)變化;
b)分布式數(shù)據(jù):將大數(shù)據(jù)量表中的數(shù)據(jù)進行水平拆分,用多個物理庫來
承載,不僅降低了單表的數(shù)據(jù)量,還增加了可用的物理資源;
c)分布式緩存:對于大量的數(shù)據(jù)查詢請求,采用分布式緩存進行存儲,
降低對數(shù)據(jù)庫的交互次數(shù),縮短服務(wù)的響應(yīng)時間;
d)全局序列:提供跨多個微服務(wù)實例的序列服務(wù),以防止不同實例中的
序列重復(fù);
e)分布式調(diào)度:提供統(tǒng)一的分布式調(diào)度機制,協(xié)調(diào)多個微服務(wù)節(jié)點及數(shù)
據(jù)庫節(jié)點共同參與運行,充分利用物理資源,將批量處理的時間控制
在有效范圍內(nèi);
f)分布式事務(wù):由于微服務(wù)和分布式數(shù)據(jù),就會帶來分布式事務(wù)的問題,
所以需提供跨數(shù)據(jù)庫、跨微服務(wù)的事務(wù)一致性保證機制。
(四)編制過程
標準編制過程分為:籌備階段、工作組成立、標準調(diào)研、標準起草、征求意
見、標準修改六個階段。
1、籌備階段
2020年4月與神州信息工程院院長、神州數(shù)碼融信軟件有限公司產(chǎn)品中心
總經(jīng)理溝通,形成建立“分布式平臺技術(shù)規(guī)范”的想法和規(guī)范,并形成負責(zé)人。
2、工作組成立
2020年4月,組建此次工作組成員:
姓名電話職務(wù)
于宏負責(zé)人
薛春布式規(guī)范負責(zé)人
潘紫協(xié)調(diào)人
3、標準調(diào)研
2020年4月開始,分布式規(guī)范負責(zé)人組織“分布式平臺技術(shù)規(guī)范”的工作
組成員對國內(nèi)重點企業(yè)的平臺系統(tǒng)的現(xiàn)狀進行了充分調(diào)研,尤其關(guān)注分布式涉及
的范圍,以及在一些重點領(lǐng)域行業(yè)的實現(xiàn)現(xiàn)狀。
神州數(shù)碼融信軟件有限公司產(chǎn)品中心副總經(jīng)理薛春雨組織相關(guān)人員,研究了
分布式平臺技術(shù)規(guī)范的特征差異、發(fā)展情況、市場需求和現(xiàn)狀等方面,形成了調(diào)
中國電子工
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五年度爆炸物運輸安全協(xié)議書3篇
- 服務(wù)行業(yè)安全管理工作總結(jié)
- 二零二五年度個人停車位使用權(quán)投資分紅協(xié)議4篇
- 二零二五年度離婚協(xié)議流程指導(dǎo)與婚姻登記服務(wù)合同2篇
- 二零二五年度智慧家居個人工程承包合同范本2篇
- 【培訓(xùn)教材】醫(yī)院消毒供應(yīng)中心(CSSD)技術(shù)操作規(guī)范解讀
- 通訊行業(yè)銷售總監(jiān)工作總結(jié)
- 二零二五年個人合伙清算協(xié)議書(清算后續(xù)合作)3篇
- 二零二五年度內(nèi)陸淡水水庫漁業(yè)開發(fā)承包合同3篇
- 二零二五年度家政服務(wù)銷售返利合同范本
- 婚介公司紅娘管理制度
- 煤礦電氣試驗規(guī)程
- DL∕T 547-2020 電力系統(tǒng)光纖通信運行管理規(guī)程
- 種子輪投資協(xié)議
- 物業(yè)客服培訓(xùn)課件PPT模板
- 員工工資條模板
- 執(zhí)行依據(jù)主文范文(通用4篇)
- 浙教版七年級數(shù)學(xué)下冊全冊課件
- 華為攜手深圳國際會展中心創(chuàng)建世界一流展館
- 2023版思想道德與法治專題2 領(lǐng)悟人生真諦 把握人生方向 第3講 創(chuàng)造有意義的人生
- 全過程工程咨詢服務(wù)技術(shù)方案
評論
0/150
提交評論