電力行業(yè)PaaS云建設(shè)實(shí)踐

1、電力行業(yè)PaaS云建設(shè)實(shí)踐某電網(wǎng)PaaS平臺(tái)-PCF目前深圳供電局有限公司已經(jīng)部署了基礎(chǔ)計(jì)算資源虛擬化平臺(tái)，實(shí)現(xiàn)了集中管控的資源池化的IT基礎(chǔ)架構(gòu)。私有云技術(shù)的導(dǎo)入使深圳供電局有限公司在IT系統(tǒng)的高可用、資源自動(dòng)交付并快速響應(yīng)業(yè)務(wù)需求等方面得到了極大的提升。1、隨著虛擬化平臺(tái)的建立，物理服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)資源都被池化并運(yùn)行在云平臺(tái)中，運(yùn)行在平臺(tái)之上的業(yè)務(wù)應(yīng)用、相關(guān)設(shè)備和服務(wù)穩(wěn)定性以及故障的可恢復(fù)能力將直接的關(guān)系到IT系統(tǒng)的穩(wěn)定性及業(yè)務(wù)的連續(xù)性。通過PaaS云進(jìn)一步提升業(yè)務(wù)的連續(xù)性。2、通過PaaS云，進(jìn)一步提升平臺(tái)性能，提供資源利用率3、通過PaaS云建設(shè)，提高運(yùn)維自動(dòng)化，實(shí)現(xiàn)云平臺(tái)的自愈，實(shí)

2、現(xiàn)一種基于業(yè)務(wù)應(yīng)用云平臺(tái)自愈機(jī)制，以提升云服務(wù)管理平臺(tái)在大規(guī)模系統(tǒng)故障發(fā)生的情況下的自愈能力。具體工作包括PaaS/IaaS運(yùn)行狀況的實(shí)時(shí)監(jiān)控、基于PaaS和虛擬機(jī)的調(diào)度優(yōu)化、性能的彈性伸縮機(jī)制、云服務(wù)的自動(dòng)遷移調(diào)度和服務(wù)自動(dòng)恢復(fù)、以及在異常出現(xiàn)情況下的預(yù)警和告警的機(jī)制。在實(shí)際運(yùn)營中進(jìn)行優(yōu)化及調(diào)整，一期遷移的應(yīng)用網(wǎng)站和網(wǎng)廳應(yīng)用全部在內(nèi)網(wǎng)，中間通過Nginx多次轉(zhuǎn)發(fā)網(wǎng)上營業(yè)廳應(yīng)用部署在兩臺(tái)Weblogic 10.3應(yīng)用服務(wù)器上，數(shù)據(jù)庫為單節(jié)點(diǎn)的Oracle 11g, Weblogic有Session復(fù)制，一天的PV 2萬左右。一個(gè)月要更新好幾次，主要是Weblogic的應(yīng)用更新，數(shù)據(jù)庫的更新只是

3、增加表或是字段。應(yīng)用采用了CXF, Java框架，應(yīng)用間的調(diào)用主要通過HTTP,但是繳費(fèi)是通過TCP/IP調(diào)用，繳費(fèi)是一個(gè)Java程序，Java實(shí)現(xiàn)TCP/IP的調(diào)用，繳費(fèi)和支付通過TCP/IP調(diào)用統(tǒng)一接口。以Web Service的方式調(diào)用其他系統(tǒng)，在Weblogic還有發(fā)Email的接口前端是Nginx服務(wù)器，一臺(tái)X86虛機(jī)，做靜態(tài)頁面和分發(fā)，有一些靜態(tài)頁面，內(nèi)置一個(gè)FTP文件服務(wù)器，存放頁面、圖片等。還有一個(gè)銀聯(lián)的對賬文件，通過專線和第三方相連，也是一個(gè)虛機(jī)。調(diào)用外部應(yīng)用是通過Nginx中轉(zhuǎn)，Nginx上做了一些中轉(zhuǎn)配置網(wǎng)站應(yīng)用部署在兩臺(tái)Tomcat 6.08的應(yīng)用服務(wù)器上，數(shù)據(jù)庫為單節(jié)

4、點(diǎn)的Oracle 11g。PV大概一天是1000左右。Oracle數(shù)據(jù)庫1-2G的數(shù)據(jù)。好幾個(gè)月才更新一次。Spring/Struts/Ibatis框架。數(shù)據(jù)庫和應(yīng)用服務(wù)器均是基于vSphere的X86虛擬化，OS為Windows 2003/2008,PCF PaaS高可用性區(qū)2外接Oracle數(shù)據(jù)庫服務(wù)池PCF PaaS高可用性區(qū)1服務(wù)池應(yīng)用池ORACLE數(shù)據(jù)庫ORACLE數(shù)據(jù)庫深圳電力PaaS云生產(chǎn)系統(tǒng)架構(gòu)MySQL數(shù)據(jù)庫服務(wù)池Tomcat分布式應(yīng)用池Warden容器Weblogic/C/C+分布式應(yīng)用池DockerPCF部件池動(dòng)態(tài)路由器應(yīng)用監(jiān)控服務(wù)池彈性伸縮服務(wù)池系統(tǒng)監(jiān)控服務(wù)池.Net分

5、布式應(yīng)用池IronFoundry云控制器健康管理NATSUAA登錄日志聚合資源池化，提高共享度資源分群，提升安全隔離性2022/8/115上線應(yīng)用彈性伸縮測試測試方法一用最大并發(fā)量去壓測CF外網(wǎng)網(wǎng)站的應(yīng)用； 驗(yàn)證大并發(fā)的彈性伸縮能力； 測試方法二在CF上逐步加大并發(fā)量去壓測應(yīng)用驗(yàn)證壓力和資源占用的線性關(guān)系測試方法三對比測試資源相近，性能對比，性能相近，資源對比遷移前后性能對比測試門戶應(yīng)用TomcatMemcached緩存Oracle DB32G內(nèi)存8核CPU1.5G內(nèi)存共享2核CPU門戶應(yīng)用850M/TomcatMemCached1G內(nèi)存共享1vCPU1G內(nèi)存共享1vCPUOracle DB同

6、等性能資源對比：遷移前是32G內(nèi)存，8vCPU。遷移后，之用到1.5G應(yīng)用+1G MemCache+1GOracleDB，只有3.5G，CPU只有3vCPU，內(nèi)存資源只是原來的1/8，CPU是1/3左右資源同等對比：遷移前是32G內(nèi)存遷移后10個(gè)1.5G容器+2G數(shù)據(jù)庫，總共是17G內(nèi)存TPS提升23倍并發(fā)量提升6.4倍壓力測試效果比較功能完全一樣3.5G內(nèi)存,節(jié)省資源81%,3vCPU,節(jié)省資源62%140并發(fā)，TPS為1.79實(shí)際使用內(nèi)存為876M，原有門戶系統(tǒng)遷移到PCF的門戶系統(tǒng)功能完全一樣32G內(nèi)存，8vCPU140并發(fā)為最大吞吐量TPS,為1.818vCPU，壓力狀態(tài)下CPU 10

7、0%150并發(fā)出錯(cuò)性能類似節(jié)省資源功能完全一樣10個(gè)應(yīng)用容器，21G內(nèi)存，900并發(fā)，是原來140并發(fā)的6.4倍900并發(fā)是TPS是43，性能是原來的23倍原有門戶系統(tǒng)遷移到PCF的門戶系統(tǒng)功能完全一樣32G內(nèi)存，8vCPU140并發(fā)為最大吞吐量TPS,為1.818vCPU，壓力狀態(tài)下CPU 100%150并發(fā)出錯(cuò)同等資源性能大幅提升2022/8/11實(shí)測效果-性能伸縮與并發(fā)數(shù)情況測試數(shù)據(jù)之平均反應(yīng)時(shí)間實(shí)測：線性彈性伸縮2022/8/11性能伸縮情況近線性伸縮2022/8/11彈性伸縮的結(jié)論應(yīng)用遷移到PCF后性能大幅提升，主要受益于PCF更小的容器顆粒度，應(yīng)用運(yùn)行時(shí)Buildpack的自身優(yōu)化

8、應(yīng)用可以彈性伸縮，考慮到資源情況，我們設(shè)置了最大伸縮實(shí)例數(shù)為20個(gè)，在3500并發(fā)時(shí)伸縮到20個(gè)實(shí)例。如果再增加并發(fā)量，還會(huì)增加伸縮實(shí)例在業(yè)務(wù)量(并發(fā)量)增大的情況下，通過應(yīng)用實(shí)例的彈性擴(kuò)展，確保反應(yīng)時(shí)間不會(huì)變慢，確保客戶的體驗(yàn)。在業(yè)務(wù)量(并發(fā)量)增大的情況下，應(yīng)用實(shí)例的彈性擴(kuò)展可以達(dá)到線性，也即業(yè)務(wù)量再大，系統(tǒng)也能通過自動(dòng)擴(kuò)展資源實(shí)現(xiàn)業(yè)務(wù)的持續(xù)運(yùn)行。PaaS平臺(tái)的價(jià)值體現(xiàn)1、提高應(yīng)用和系統(tǒng)的整體可用性，支持業(yè)務(wù)連續(xù)性基于PCF內(nèi)置的四重高可用性實(shí)現(xiàn)整體的高可用性基于PCF的灰度發(fā)布和路由切換功能實(shí)現(xiàn)應(yīng)用在線升級(jí)基于PCF的內(nèi)在部件集群和金絲雀型升級(jí)實(shí)現(xiàn)PaaS平臺(tái)在線升級(jí)基于PCF內(nèi)置的金絲

9、雀型升級(jí)實(shí)現(xiàn)服務(wù)在線升級(jí)(mySQL服務(wù))2、簡化運(yùn)維基于PCF內(nèi)置的Tomcat/Java Buildpack實(shí)現(xiàn)應(yīng)用一鍵部署(自動(dòng)化部署)。基于PCF內(nèi)置的自動(dòng)彈性伸縮服務(wù)實(shí)現(xiàn)了根據(jù)業(yè)務(wù)量(CPU)的應(yīng)用硬件資源自動(dòng)分配?；赑CF內(nèi)置的Health Manager實(shí)現(xiàn)故障自動(dòng)恢復(fù)基于PCF的應(yīng)用生命周期管理，自動(dòng)化的供應(yīng)開發(fā)、測試環(huán)境，簡化安裝虛機(jī)、安裝操作系統(tǒng)、安裝中間件等工作。3、安全性隔離基于PCF的多網(wǎng)絡(luò)隔離實(shí)現(xiàn)運(yùn)維和生產(chǎn)網(wǎng)絡(luò)的隔離基于PCF的多網(wǎng)絡(luò)隔離實(shí)現(xiàn)應(yīng)用和服務(wù)網(wǎng)絡(luò)的隔離基于PCF的應(yīng)用安全性功能實(shí)現(xiàn)應(yīng)用和應(yīng)用之間的安全隔離分別部署兩套PCF，實(shí)現(xiàn)生產(chǎn)系統(tǒng)和測試系統(tǒng)的隔離P

10、aaS平臺(tái)的價(jià)值體現(xiàn)4、性能大幅提升，節(jié)省硬件成本基于PCF的輕量級(jí)容器技術(shù)和商業(yè)的Tomcat應(yīng)用平臺(tái)實(shí)現(xiàn)了同等硬件下性能提升20倍同等業(yè)務(wù)處理速度和吞吐量下，硬件只需要原來的1/3或更少5、通過基于平臺(tái)實(shí)現(xiàn)應(yīng)用共同的功能，減少應(yīng)用開發(fā)成本和工作量基于PCF的Loggregator實(shí)現(xiàn)日志集中，通過Splunk實(shí)現(xiàn)日志的集中處理基于PCF的p-insight應(yīng)用監(jiān)控服務(wù)實(shí)現(xiàn)應(yīng)用統(tǒng)一監(jiān)控基于PCF的Service Broker機(jī)制解耦應(yīng)用和配置，應(yīng)用從開發(fā)環(huán)境到測試環(huán)境到生產(chǎn)環(huán)境無需修改代碼和配置6、應(yīng)對高峰業(yè)務(wù)并發(fā)，確保客戶體驗(yàn)業(yè)務(wù)量增大的情況下，保持應(yīng)用的反應(yīng)時(shí)間不增加，確?？蛻趔w驗(yàn)通過統(tǒng)一應(yīng)用監(jiān)控