傳統(tǒng)企業(yè)核心系統(tǒng)架構(gòu)優(yōu)化行動(dòng)指南

傳統(tǒng)企業(yè)核心系統(tǒng)架構(gòu)優(yōu)化行動(dòng)指南

【摘要】很多企業(yè)的核心系統(tǒng)隨著業(yè)務(wù)的快速發(fā)展，一段時(shí)間后會(huì)出現(xiàn)運(yùn)行緩慢、運(yùn)行卡頓等非正常情況。對(duì)于這類性能問(wèn)題的解決大多受系統(tǒng)本身架構(gòu)限制，除了對(duì)資源進(jìn)行優(yōu)化外，大多處于被動(dòng)狀態(tài)。資金和技術(shù)雄厚的傳統(tǒng)企業(yè)可以采取比較激進(jìn)的做法，進(jìn)行服務(wù)化重構(gòu)，或升級(jí)系統(tǒng)的當(dāng)前版本，但激進(jìn)的做法往往面臨的高風(fēng)險(xiǎn)，本文將結(jié)合實(shí)際優(yōu)化過(guò)案例，從整體解決方案的角度剖析該類問(wèn)題的優(yōu)化經(jīng)驗(yàn)及技巧。很多傳統(tǒng)企業(yè)的核心應(yīng)用系統(tǒng)大多是單體應(yīng)用：1-2臺(tái)APP應(yīng)用，后端1個(gè)數(shù)據(jù)庫(kù)實(shí)例，如下圖：稍微好一點(diǎn)的可能會(huì)有一臺(tái)單獨(dú)的服務(wù)器用來(lái)部署報(bào)表類應(yīng)用（報(bào)表業(yè)務(wù)與應(yīng)用實(shí)現(xiàn)應(yīng)用層面的解耦），但數(shù)據(jù)方面大多還是與APP共用統(tǒng)一數(shù)據(jù)庫(kù)，如下圖：這實(shí)際上是由于企業(yè)的業(yè)務(wù)實(shí)際情況和行業(yè)屬性導(dǎo)致的，該類核心應(yīng)用系統(tǒng)大多為外采的、成熟的商業(yè)產(chǎn)品（迭代較慢，1~2年可能才有新版本推出），可以滿足企業(yè)的正常業(yè)務(wù)系統(tǒng)，但大多會(huì)隨著企業(yè)自身業(yè)務(wù)的快速發(fā)展，一段時(shí)間后會(huì)出現(xiàn)系統(tǒng)運(yùn)行緩慢、運(yùn)行卡頓等非正常情況。相信很多傳統(tǒng)企業(yè)的IT工程師都會(huì)面臨該類問(wèn)題（就我本人隨機(jī)與幾家不同區(qū)域的傳統(tǒng)企業(yè)信息負(fù)責(zé)人溝通后，全部面臨或是曾經(jīng)面臨過(guò)），對(duì)于這類性能問(wèn)題的解決大多受系統(tǒng)本身架構(gòu)限制，除了對(duì)資源進(jìn)行優(yōu)化外，大多處于被動(dòng)狀態(tài)。另外對(duì)該類應(yīng)用系統(tǒng)的性能問(wèn)題進(jìn)行分析后，大多的問(wèn)題點(diǎn)也都集中在了數(shù)據(jù)庫(kù)層面，誠(chéng)然，即使中大型傳統(tǒng)企業(yè)的核心系統(tǒng)其使用人數(shù)和并發(fā)量也基本上處于一個(gè)較低的值，單體應(yīng)用、一臺(tái)Tomcat可以滿足應(yīng)用層面的并發(fā)（有一些情況除外，另外，據(jù)簡(jiǎn)單訪談，使用Tomcat的也相對(duì)少一點(diǎn)）。當(dāng)然，資金和技術(shù)雄厚的傳統(tǒng)企業(yè)可以采取比較激進(jìn)的做法，即對(duì)現(xiàn)有核心系統(tǒng)進(jìn)行服務(wù)化重構(gòu)，或是冒高風(fēng)險(xiǎn)、花大價(jià)錢升級(jí)系統(tǒng)的當(dāng)前版本（因?yàn)閭鹘y(tǒng)企業(yè)信息化建設(shè)相對(duì)閉塞滯后，同時(shí)也處于求穩(wěn)的出發(fā)點(diǎn)，系統(tǒng)版本幾年不更新很常見(jiàn)），激進(jìn)的做法往往面臨的高風(fēng)險(xiǎn)，也見(jiàn)過(guò)太多傳統(tǒng)企業(yè)在所謂互聯(lián)網(wǎng)轉(zhuǎn)型和核心系統(tǒng)重構(gòu)方面全面失敗的案例。結(jié)合實(shí)際優(yōu)化過(guò)的幾個(gè)企業(yè)案例，從整體解決方案的角度剖析一下該類問(wèn)題的優(yōu)化經(jīng)驗(yàn)及技巧?？偟膩?lái)說(shuō)，可以分為技術(shù)優(yōu)化和業(yè)務(wù)優(yōu)化。其中技術(shù)優(yōu)化包括硬件升級(jí)、參數(shù)類優(yōu)化；業(yè)務(wù)優(yōu)化是指結(jié)合業(yè)務(wù)細(xì)節(jié)，對(duì)數(shù)據(jù)庫(kù)的sql、程序代碼以及架構(gòu)等方面進(jìn)行優(yōu)化工作，具體如下。

一、技術(shù)優(yōu)化技術(shù)優(yōu)化可以分為對(duì)硬件進(jìn)行升級(jí)和對(duì)各類操作系統(tǒng)、中間件等進(jìn)行參數(shù)優(yōu)化兩類。其中在系統(tǒng)部署上線前，就應(yīng)該對(duì)系統(tǒng)響應(yīng)的用戶量、并發(fā)量、數(shù)據(jù)量等進(jìn)行評(píng)估，選擇適合的硬件配置、操作系統(tǒng)、中間件等并對(duì)其進(jìn)行相應(yīng)的安全加固和參數(shù)優(yōu)化。實(shí)際上當(dāng)系統(tǒng)出現(xiàn)性能問(wèn)題時(shí)，大多第一時(shí)間想到的是對(duì)硬件進(jìn)行升級(jí)，如：增加內(nèi)存、升級(jí)存儲(chǔ)（如HDD升級(jí)到SSD等）、升級(jí)網(wǎng)絡(luò)交換機(jī)擴(kuò)大帶寬、升級(jí)服務(wù)器等。這是一種簡(jiǎn)單有效但不治本的方法，甚至在治標(biāo)方面也難以得到持久，因?yàn)橄到y(tǒng)的性能問(wèn)題在硬件和應(yīng)用之間，還有操作系統(tǒng)、中間件等，需要與之相互配套，之前也遇到過(guò)32位操作系統(tǒng)跑64G內(nèi)存的情況（實(shí)則真的有一些老舊的應(yīng)用真實(shí)地運(yùn)行在32位操作系統(tǒng)上）。在對(duì)硬件資源進(jìn)行升級(jí)的同時(shí)，還應(yīng)配套對(duì)操作系統(tǒng)、中間件、數(shù)據(jù)庫(kù)等的參數(shù)進(jìn)行優(yōu)化，確保最大化、最合理地使用硬件資源，從而做到在吞吐量、并發(fā)量以及響應(yīng)速度、處理速度等方面得到顯著的提升。參數(shù)類優(yōu)化整體可以分為如下：（1）OS級(jí)別的優(yōu)化：包括操作系統(tǒng)類型選擇（Windows/Linux）、內(nèi)核更新升級(jí)（如需）、內(nèi)核參數(shù)、網(wǎng)絡(luò)參數(shù)、安全參數(shù)等（如：系統(tǒng)打開(kāi)文件最大數(shù)、最大進(jìn)程數(shù)、關(guān)閉路由包轉(zhuǎn)發(fā)、處理無(wú)源路由包、優(yōu)化消息隊(duì)列長(zhǎng)度、設(shè)置最大內(nèi)存共享大小、Timewait數(shù)量、優(yōu)化swap、最小化安裝操作系統(tǒng)關(guān)閉無(wú)用軟件服務(wù)和端口等），另外OS級(jí)別的優(yōu)化還可以根據(jù)業(yè)務(wù)類型將日志類、備份類的存儲(chǔ)硬盤(pán)與業(yè)務(wù)盤(pán)隔離劃分，降低讀寫(xiě)壓力，提高存儲(chǔ)的IOPS。（2）中間件參數(shù)優(yōu)化：主要是應(yīng)用系統(tǒng)所運(yùn)行的中間件環(huán)境，如Weblogic、Tomcat等。選型方面在這里不對(duì)Weblogic和Tomcat進(jìn)行詳細(xì)對(duì)比，但大多情況下，可以使用Tomcat對(duì)Weblogic進(jìn)行替代（切身經(jīng)驗(yàn)，一般更換起來(lái)不難），省錢，維護(hù)且方便。以Tomcat為例，主要參數(shù)優(yōu)化有：對(duì)線程池、最大線程數(shù)、JVM、連接器方式（bio、nio和apr，三種方式性能有差別，一般來(lái)說(shuō)apr的性能相對(duì)最優(yōu)）、日志優(yōu)化（減少debug日志輸出等）、日志切割（日志如未優(yōu)化切割，單文件較大，超過(guò)10幾G時(shí)，寫(xiě)入讀取會(huì)降低）等。（3）數(shù)據(jù)庫(kù)參數(shù)優(yōu)化：在OS參數(shù)優(yōu)化的前提下，對(duì)數(shù)據(jù)庫(kù)參數(shù)進(jìn)行優(yōu)化，主要包括（以O(shè)racle為例）sga、pga、shared_pool_size、db_cache_size、sort_area_size、processes、session等。另外還需要對(duì)密碼大小寫(xiě)、密碼失效次數(shù)、動(dòng)靜態(tài)監(jiān)聽(tīng)、數(shù)據(jù)庫(kù)備份等方面進(jìn)行相應(yīng)的優(yōu)化設(shè)置。實(shí)際上，技術(shù)方面的優(yōu)化多在系統(tǒng)部署上線前進(jìn)行的，與業(yè)務(wù)方面關(guān)系不是很大，切多為通用的最佳實(shí)踐，按照相應(yīng)的官方手冊(cè)文檔結(jié)合自身實(shí)際經(jīng)驗(yàn)，大多可以調(diào)整優(yōu)化為一個(gè)相對(duì)不錯(cuò)的環(huán)境。但在日常工作中，當(dāng)出現(xiàn)性能問(wèn)題的時(shí)候，很多人會(huì)選擇優(yōu)化硬件升級(jí)而忽略參數(shù)方面優(yōu)化，導(dǎo)致硬件升級(jí)的成效不大，這一點(diǎn)是要額外注意的，需要通過(guò)操作系統(tǒng)、中間件和數(shù)據(jù)庫(kù)等方面的參數(shù)優(yōu)化，最大化、最合理的挖掘和使用硬件資源，為應(yīng)用系統(tǒng)和數(shù)據(jù)提供最佳、最優(yōu)運(yùn)行環(huán)境。

二、業(yè)務(wù)優(yōu)化業(yè)務(wù)優(yōu)化是指在業(yè)務(wù)人員和業(yè)務(wù)場(chǎng)景的配合下，提供相關(guān)技術(shù)手段對(duì)應(yīng)用系統(tǒng)、數(shù)據(jù)庫(kù)等進(jìn)行優(yōu)化，整個(gè)優(yōu)化過(guò)程與業(yè)務(wù)邏輯規(guī)則聯(lián)系密不可分。大致可以有：sql優(yōu)化、代碼優(yōu)化、架構(gòu)優(yōu)化等幾個(gè)方面。1、sql優(yōu)化sql方面的優(yōu)化除了監(jiān)控?cái)?shù)據(jù)庫(kù)運(yùn)行緩慢的sql對(duì)其進(jìn)行索引優(yōu)化外，還包括sql改寫(xiě)、hint函數(shù)等方面的優(yōu)化。對(duì)sql進(jìn)行監(jiān)控（慢查詢、AWR等）和優(yōu)化索引（索引的添加、重建或刪除等，索引的類型選擇等）可以獨(dú)立持續(xù)進(jìn)行，但也要避免單表索引太多（單標(biāo)超過(guò)5個(gè)）、索引類型濫用（B-tree索引和位圖索引）、索引失效未及時(shí)重建等情況。另外可以在開(kāi)發(fā)的配合下，對(duì)慢sql進(jìn)行優(yōu)化改寫(xiě)、拆分以及hint函數(shù)（特別是并發(fā)函數(shù)/*+parallel(t,4)*/，但也注意不要濫用）的調(diào)試，這一塊實(shí)際上在運(yùn)行時(shí)間較久的傳統(tǒng)企業(yè)核心系統(tǒng)上比較難以實(shí)現(xiàn)，正如對(duì)于運(yùn)行的系統(tǒng)，對(duì)數(shù)據(jù)庫(kù)的庫(kù)、表設(shè)計(jì)方面的優(yōu)化設(shè)計(jì)已難以實(shí)現(xiàn)。所以，大多sql層面的優(yōu)化在索引優(yōu)化處即截停。2、代碼優(yōu)化代碼優(yōu)化主要指在系統(tǒng)研發(fā)人員的主導(dǎo)配合下進(jìn)行，包括兩個(gè)方面的優(yōu)化：一個(gè)是配合上述sql優(yōu)化對(duì)代碼中的sql進(jìn)行優(yōu)化改寫(xiě)，提高sql執(zhí)行的效率，獲得優(yōu)化收益；另外一個(gè)是對(duì)代碼中的邏輯架構(gòu)進(jìn)行優(yōu)化，包括復(fù)雜邏輯架構(gòu)拆分、串行業(yè)務(wù)并行執(zhí)行、代碼類型簡(jiǎn)潔等等。代碼層面的優(yōu)化如數(shù)據(jù)庫(kù)的庫(kù)表設(shè)計(jì)優(yōu)化一樣，就多數(shù)傳統(tǒng)企業(yè)來(lái)說(shuō)，在系統(tǒng)產(chǎn)品進(jìn)行部署上線后，改變較難。3、架構(gòu)優(yōu)化架構(gòu)優(yōu)化包括兩方面：業(yè)務(wù)架構(gòu)優(yōu)化和系統(tǒng)架構(gòu)優(yōu)化，是標(biāo)本兼治的方法，但也正如前面所言，對(duì)于業(yè)務(wù)量和業(yè)務(wù)方向變化不大、且無(wú)明顯可帶來(lái)贏利創(chuàng)新的大多傳統(tǒng)企業(yè)而言，架構(gòu)優(yōu)化應(yīng)該是一種較為激進(jìn)的做法，激進(jìn)之處在于對(duì)傳統(tǒng)企業(yè)的業(yè)務(wù)架構(gòu)和系統(tǒng)架構(gòu)進(jìn)行了全面的推翻重構(gòu)，尤其是在業(yè)務(wù)人員尚能接受系統(tǒng)緩慢、卡頓的前提下，對(duì)業(yè)務(wù)和系統(tǒng)進(jìn)行大規(guī)模的優(yōu)化和重構(gòu)，大多會(huì)帶來(lái)不穩(wěn)定的因素。如果剝離業(yè)務(wù)優(yōu)化只是對(duì)系統(tǒng)架構(gòu)方面進(jìn)行優(yōu)化，特別是盲目推崇微服務(wù)對(duì)傳統(tǒng)企業(yè)進(jìn)行重構(gòu)變革的，大多可能會(huì)以失敗告終。可能是由于自身幾次工作經(jīng)驗(yàn)和所處行業(yè)有關(guān)，對(duì)系統(tǒng)的架構(gòu)優(yōu)化、重構(gòu)和升級(jí)多以保守、謹(jǐn)慎的態(tài)度，見(jiàn)過(guò)太多傳統(tǒng)企業(yè)欲憑借IT進(jìn)行業(yè)務(wù)重構(gòu)，最終業(yè)務(wù)和技術(shù)雙失敗的案例。業(yè)務(wù)和系統(tǒng)是圍繞企業(yè)健康發(fā)展相輔相成的兩個(gè)緊密元素，任何一個(gè)方面的超速發(fā)展，都將對(duì)另一個(gè)方面造成重大的影響。本著嚴(yán)謹(jǐn)?shù)膽B(tài)度，如果要對(duì)架構(gòu)（包括業(yè)務(wù)架構(gòu)和系統(tǒng)架構(gòu)）進(jìn)行優(yōu)化，那么有如下幾個(gè)問(wèn)題建議優(yōu)先考慮清楚：（1）此次架構(gòu)優(yōu)化或重構(gòu)的目的是什么，要獲得一個(gè)什么樣的收益。即建議結(jié)果為導(dǎo)向，結(jié)果指導(dǎo)思路和方法。（2）為完成此次架構(gòu)的優(yōu)化或重構(gòu)，達(dá)到預(yù)定目標(biāo)，優(yōu)化或重構(gòu)的方案是什么，需要投入的成本是多少，時(shí)間成本、人力成本、學(xué)習(xí)成本等。（3）結(jié)合IT發(fā)展規(guī)律和生命周期，此次架構(gòu)的優(yōu)化或是重構(gòu)，可以滿足企業(yè)多久的發(fā)展需要。（4）結(jié)合投入成本和預(yù)定目標(biāo)，是否有一個(gè)科學(xué)、合理，對(duì)企業(yè)有益的投入產(chǎn)出比。其實(shí)架構(gòu)的優(yōu)化重構(gòu)也不是很難，在牛逼的業(yè)務(wù)專家配合下，理清各個(gè)業(yè)務(wù)邏輯和相互之間關(guān)系，再由研發(fā)工程師根據(jù)積木式的業(yè)務(wù)塊進(jìn)行服務(wù)化改造，為進(jìn)一步降耦、提高系統(tǒng)并發(fā)，輔之以緩存、消息隊(duì)列、前后端分離和動(dòng)靜分離等常規(guī)手段進(jìn)行，一套分布式、服務(wù)化的架構(gòu)也就基本完成了對(duì)經(jīng)典單體應(yīng)用的重構(gòu)，如果后續(xù)業(yè)務(wù)變化較頻繁，系統(tǒng)更新發(fā)布頻率較高，還可以進(jìn)一步完善微服務(wù)基礎(chǔ)設(shè)施，如：配置中心、鏈路監(jiān)控、基于Jenkins的持續(xù)發(fā)布以及容器化等。綜上所述，就大多傳統(tǒng)企業(yè)核心系統(tǒng)優(yōu)化的業(yè)務(wù)優(yōu)化方面而言，除了在慢sql上加加索引外，其代碼優(yōu)化、架構(gòu)優(yōu)化等相對(duì)較為復(fù)雜、可執(zhí)行性較低，且存在一定風(fēng)險(xiǎn)。實(shí)則，還有一種基于數(shù)據(jù)庫(kù)方面的優(yōu)化辦法，該方法是在一定業(yè)務(wù)規(guī)則條件下，持續(xù)地保持生產(chǎn)數(shù)據(jù)“瘦身”，不斷壓縮生產(chǎn)數(shù)據(jù)庫(kù)的數(shù)據(jù)量，達(dá)到在小數(shù)據(jù)量下的快速查詢響應(yīng)，具體如下：對(duì)數(shù)據(jù)庫(kù)進(jìn)行兩步拆分，第一步實(shí)現(xiàn)數(shù)據(jù)庫(kù)的主備同步（Oracle可使用DG，Mysql可使用Replication），主庫(kù)實(shí)現(xiàn)讀寫(xiě)（R+W）功能，備庫(kù)或從庫(kù)主要實(shí)現(xiàn)讀的功能；第二步通過(guò)ETL的方式，將主庫(kù)中的歷史數(shù)據(jù)、可按時(shí)間或按業(yè)務(wù)規(guī)則進(jìn)行歸檔的數(shù)據(jù)抽取至數(shù)據(jù)歷史庫(kù)中。通過(guò)兩步實(shí)現(xiàn)數(shù)據(jù)庫(kù)的讀寫(xiě)分離和數(shù)據(jù)歸檔，將主庫(kù)的數(shù)據(jù)量減少降低，實(shí)現(xiàn)數(shù)據(jù)“瘦身”，兩個(gè)方面來(lái)有效地提升數(shù)據(jù)庫(kù)的響應(yīng)速度。在落地實(shí)施方面，正如前面介紹的，第一步搭建數(shù)據(jù)庫(kù)的同步備庫(kù)，相應(yīng)搭建部署方式可以參考附件；第二步實(shí)施需要分為三步：ETL的部署，抽取規(guī)則執(zhí)行，ETL定時(shí)執(zhí)行。相信在業(yè)務(wù)規(guī)則配合下，可以快速的完成數(shù)據(jù)的抽取和數(shù)據(jù)處理，將原來(lái)龐大的主庫(kù)在較短時(shí)間內(nèi)瘦身成敏捷的小庫(kù)，在業(yè)務(wù)量發(fā)展較為穩(wěn)定的情況下，可以使得系統(tǒng)快速運(yùn)行2-3年。在上述基礎(chǔ)上，還可以對(duì)數(shù)據(jù)庫(kù)方面在做文章，如將主庫(kù)改造為Cluster集群（Oracle為RAC，MySQL為Cluster）的方式，實(shí)現(xiàn)讀寫(xiě)負(fù)載均衡，在集群的基礎(chǔ)上搭建同步備庫(kù)，實(shí)現(xiàn)讀寫(xiě)分離，特別是mysql的情況下，可以充分利用數(shù)據(jù)庫(kù)中間件進(jìn)行讀寫(xiě)分離、負(fù)載均衡等，同時(shí)也可以在數(shù)據(jù)庫(kù)層面進(jìn)行分庫(kù)分表。歷史庫(kù)也可以再次剝離歷史數(shù)據(jù)，形成歷史庫(kù)的歷史庫(kù)。具體架構(gòu)可參考如下：基于數(shù)據(jù)瘦身的優(yōu)化思路，其優(yōu)化演進(jìn)路線可參考如下：該優(yōu)化思路主要在一定業(yè)務(wù)規(guī)則下，對(duì)主數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行持續(xù)的數(shù)據(jù)瘦身，同時(shí)結(jié)合數(shù)據(jù)庫(kù)的主備同步實(shí)現(xiàn)數(shù)據(jù)的讀寫(xiě)分離，有效地減緩主庫(kù)的讀寫(xiě)壓力，進(jìn)而達(dá)到系統(tǒng)優(yōu)化的目標(biāo)。嚴(yán)格來(lái)說(shuō)，這也不是一種治根的方法，但就優(yōu)化過(guò)的幾起案例來(lái)看，行之有效，其實(shí)一家傳統(tǒng)企業(yè)基于該模式，系統(tǒng)正常運(yùn)行已經(jīng)超過(guò)3年（前提是其業(yè)務(wù)未有大的增長(zhǎng)）。

三、總結(jié)系統(tǒng)優(yōu)化從來(lái)都是一個(gè)持續(xù)漸進(jìn)的過(guò)程，而且往往難以衡量，有的時(shí)候一個(gè)sql索引的添加，系統(tǒng)就變得飛速，也有的時(shí)候用盡一