性能優(yōu)化技術(shù)在WEB應(yīng)用系統(tǒng)中的探討

1、    性能優(yōu)化技術(shù)在web應(yīng)用系統(tǒng)中的探討    鄭林芳【摘要】 web應(yīng)用系統(tǒng)目前作為信息化建設(shè)的主要模式，在各行各業(yè)得到廣泛應(yīng)用。某市存量房網(wǎng)簽交易系統(tǒng)是服務(wù)于市民的二手房網(wǎng)上合同簽訂的交易平臺(tái)。通過對(duì)網(wǎng)簽平臺(tái)的硬件層面、應(yīng)用部署層面、數(shù)據(jù)庫(kù)層面和應(yīng)用系統(tǒng)層面對(duì)系統(tǒng)的性能瓶頸進(jìn)行了分析，通過集群應(yīng)用服務(wù)器、負(fù)載均衡、oracle預(yù)編譯等技術(shù)對(duì)系統(tǒng)進(jìn)行性能優(yōu)化，改善系統(tǒng)性能，以滿足系統(tǒng)全面應(yīng)用的性能要求?！娟P(guān)鍵詞】 性能優(yōu)化 數(shù)據(jù)庫(kù) sql本人在企業(yè)實(shí)踐過程中，有幸參于了某市存量房網(wǎng)簽交易系統(tǒng)性能優(yōu)化的工作。web應(yīng)用系統(tǒng)目前作為政府信息化建設(shè)的主要

2、工作模式，在國(guó)內(nèi)各工作場(chǎng)合都得到廣泛的應(yīng)用。作為服務(wù)于市民的二手房網(wǎng)上簽訂合同的服務(wù)平臺(tái)，系統(tǒng)通過產(chǎn)權(quán)即時(shí)驗(yàn)證、網(wǎng)簽即時(shí)鎖定、二手交易資金監(jiān)管等手段，對(duì)市民之間的二手房買賣進(jìn)行監(jiān)督管理，有效地保障了市民的權(quán)益。系統(tǒng)推廣應(yīng)用到全市后，漸漸出現(xiàn)了系統(tǒng)性能下降，請(qǐng)求超時(shí)等一些問題，因此對(duì)關(guān)系民生的網(wǎng)簽系統(tǒng)進(jìn)行性能優(yōu)化的工作迫在眉睫。該存量房網(wǎng)簽系統(tǒng)采用java的web應(yīng)用技術(shù)開發(fā)，應(yīng)用服務(wù)器和核心數(shù)據(jù)庫(kù)分別采用 weblogic10.0和oracle10g。通過用戶反饋情況，高峰時(shí)期到現(xiàn)場(chǎng)對(duì)系統(tǒng)應(yīng)用的前臺(tái)體驗(yàn)以及詳細(xì)的調(diào)研情況，項(xiàng)目組深入分析系統(tǒng)了系統(tǒng)硬件層面、應(yīng)用系統(tǒng)層面、數(shù)據(jù)庫(kù)層面可能存在性能瓶

3、頸問題，最終從以下方面對(duì)此應(yīng)用平臺(tái)進(jìn)行了優(yōu)化。一、硬件服務(wù)器及應(yīng)用部署層面的優(yōu)化web應(yīng)用在服務(wù)器及應(yīng)用部署層面上的性能優(yōu)化，首先是確認(rèn)服務(wù)器配置是否能承當(dāng)?shù)闷饝?yīng)用的性能要求，是否需要進(jìn)行更換升級(jí)。但同時(shí)必須考慮到，雖更換服務(wù)器短期內(nèi)能解決部分問題，但是隨著時(shí)間的推移，問題可能還會(huì)繼續(xù)出現(xiàn)，仍需要深入分析服務(wù)器及應(yīng)用部署可能存在的瓶頸和出現(xiàn)系統(tǒng)不穩(wěn)定的潛在因素，因而從web服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器和網(wǎng)絡(luò)環(huán)境等方面進(jìn)行詳細(xì)分析和探討：1.1 web服務(wù)器的優(yōu)化web服務(wù)器主要以事務(wù)處理為主，需提供不間斷的服務(wù)，對(duì)可靠性的要求較高，故需要高性能的cpu處理和內(nèi)存緩存能力，但對(duì)磁盤的性能要求不高。目前保

4、障服務(wù)的可靠性，可對(duì)應(yīng)用級(jí)和主機(jī)級(jí)采用多點(diǎn)冗余，同時(shí)提供對(duì)外服務(wù)的方式來保證系統(tǒng)平臺(tái)的可用性。在配置應(yīng)用服務(wù)器時(shí)還應(yīng)考慮應(yīng)用的架構(gòu)，對(duì)于采用.net開發(fā)的系統(tǒng)，必須配置運(yùn)行于windows server服務(wù)器上，而對(duì)于使用java框架開發(fā)的業(yè)務(wù)系統(tǒng)，建議配置unix或者linux作為應(yīng)用服務(wù)器的操作系統(tǒng)，使穩(wěn)定性達(dá)到最優(yōu)。針對(duì)存量房網(wǎng)簽系統(tǒng)，在服務(wù)器上做了以下優(yōu)化：第一：原系統(tǒng)采用java技術(shù)開發(fā)，為了使應(yīng)用效果達(dá)到最佳，調(diào)配了兩臺(tái)性能較強(qiáng)的sun小型機(jī)作為應(yīng)用服務(wù)器。第二：對(duì)提供對(duì)外服務(wù)的web應(yīng)用來說，每個(gè)服務(wù)配備過多內(nèi)存并不能使內(nèi)存處理能力達(dá)到最優(yōu)，在實(shí)際應(yīng)用測(cè)試中發(fā)現(xiàn)內(nèi)存設(shè)置為4g時(shí)系

5、統(tǒng)運(yùn)行效率比較理想。根據(jù)兩臺(tái)服務(wù)器都配備有64g內(nèi)存的現(xiàn)狀，項(xiàng)目組利用weblogic cluster技術(shù)在每臺(tái)機(jī)器上部署8個(gè)相同的對(duì)外服務(wù)，使每個(gè)對(duì)外服務(wù)都配置4g內(nèi)存，由weblogic admin服務(wù)器統(tǒng)一管理兩臺(tái)服務(wù)器。同時(shí)對(duì)外服務(wù)時(shí)可達(dá)到16個(gè)對(duì)外服務(wù)端口，大大增加了處理能力，而且多線程的對(duì)外服務(wù)也大大增加了系統(tǒng)的可維護(hù)性，可對(duì)各線程分別進(jìn)行更新維護(hù)。第三：在實(shí)際應(yīng)用中，對(duì)外web應(yīng)用的優(yōu)化還可以與云技術(shù)相結(jié)合。對(duì)多臺(tái)應(yīng)用服務(wù)器進(jìn)行虛擬化，根據(jù)需要虛擬主機(jī)，再將虛擬主機(jī)配備給不同的系統(tǒng)，達(dá)到服務(wù)器資源共享功用，減少主機(jī)配備的浪費(fèi)，在本次優(yōu)化中由于應(yīng)用服務(wù)器為專用服務(wù)器并未使用虛擬化技

6、術(shù)。最后：為使對(duì)節(jié)點(diǎn)服務(wù)得到更有效配置，還通過硬件負(fù)載均衡將收到的服務(wù)請(qǐng)求用負(fù)載均衡設(shè)備進(jìn)行轉(zhuǎn)發(fā)，本優(yōu)化項(xiàng)目中采用了f5鏈路負(fù)載均衡設(shè)備來實(shí)現(xiàn)，比利用apache實(shí)現(xiàn)的軟件負(fù)載均衡更為有效。在web服務(wù)器硬件設(shè)備進(jìn)行調(diào)優(yōu)后，系統(tǒng)平臺(tái)僅在電路檢修、大型系統(tǒng)補(bǔ)丁上線等情況下才暫停對(duì)外服務(wù)外，其余時(shí)間都能正?？煽刻峁┓?wù)，沒有出現(xiàn)系統(tǒng)崩潰宕機(jī)等情況。整體優(yōu)化后平臺(tái)結(jié)構(gòu)如圖1所示，在應(yīng)用服務(wù)器和應(yīng)用部署層面實(shí)現(xiàn)了多點(diǎn)冗余、負(fù)載均衡。1.2數(shù)據(jù)庫(kù)服務(wù)器方面的優(yōu)化數(shù)據(jù)庫(kù)在系統(tǒng)中的應(yīng)用越來越廣，其存儲(chǔ)的數(shù)據(jù)量也越來越大，存量房網(wǎng)簽系統(tǒng)其數(shù)據(jù)存儲(chǔ)量達(dá)到500g。網(wǎng)簽系統(tǒng)在提供服務(wù)時(shí)，很大一部分時(shí)間是耗費(fèi)在數(shù)據(jù)

7、庫(kù)操作方面，故數(shù)據(jù)庫(kù)的優(yōu)化工作至關(guān)重要。數(shù)據(jù)庫(kù)服務(wù)器的主要任務(wù)是處理大量的數(shù)據(jù)操作，其中最影響系統(tǒng)性能的其中一個(gè)因素是磁盤的i/o讀寫速度，要解決好這個(gè)問題先要對(duì)磁盤進(jìn)行硬件優(yōu)化處理。第一：采用磁盤陣列，把數(shù)據(jù)庫(kù)系統(tǒng)的磁盤進(jìn)行條帶化處理，讓磁盤讀寫操作分布在raid5的不同的磁盤中，減少集中讀寫單個(gè)磁盤的現(xiàn)象，從而增強(qiáng)i/o處理能力。第二：為了增加可靠性，采用oracle rac雙機(jī)負(fù)載均衡系統(tǒng)，提供強(qiáng)而有力的數(shù)據(jù)庫(kù)保障。第三：在預(yù)算充分的情況下，采購(gòu)配置固態(tài)硬盤，提高硬盤的讀寫速度。為了保持系統(tǒng)的可用性，項(xiàng)目使用了兩臺(tái)數(shù)據(jù)服務(wù)器并配置為oracle rac雙機(jī)負(fù)載，同時(shí)為了兼顧經(jīng)濟(jì)性，采用了

8、固態(tài)硬盤和普通磁盤混搭的方式來部署存儲(chǔ)，將附件、大字段等容量大但讀寫頻率較少的數(shù)據(jù)表存儲(chǔ)在普通磁盤上，而把經(jīng)常進(jìn)行讀寫和查詢操作的多記錄數(shù)據(jù)表存儲(chǔ)于固態(tài)硬盤之中，以達(dá)到優(yōu)化數(shù)據(jù)庫(kù)對(duì)外服務(wù)的效率。項(xiàng)目采用數(shù)據(jù)庫(kù)負(fù)載均衡后，應(yīng)用配置采用圖2的方式實(shí)現(xiàn)數(shù)據(jù)庫(kù)連接，以達(dá)到雙機(jī)負(fù)載均衡的效果。1.3網(wǎng)絡(luò)帶寬方面的優(yōu)化基于web的存量房網(wǎng)簽系統(tǒng)對(duì)外提供的服務(wù)性能高低還與網(wǎng)絡(luò)的帶寬有直接的影響。系統(tǒng)優(yōu)化前，服務(wù)只提供100m帶寬，為了提高服務(wù)性能，優(yōu)化方案里采用了1000m的對(duì)外服務(wù)光纖，對(duì)網(wǎng)絡(luò)進(jìn)行升級(jí)處理。二、數(shù)據(jù)庫(kù)應(yīng)用程序?qū)用娴膬?yōu)化由于優(yōu)化時(shí)存量房網(wǎng)簽平臺(tái)已投入使用了較長(zhǎng)一段時(shí)間，業(yè)務(wù)邏輯已基本符合業(yè)務(wù)

9、要求，所以此次性能優(yōu)化，沒有將精力放在業(yè)務(wù)流程的優(yōu)化上，而是放在硬件和數(shù)據(jù)庫(kù)的優(yōu)化方面，因?yàn)閿?shù)據(jù)庫(kù)的訪問速度直接影響著交易平臺(tái)的性能。數(shù)據(jù)庫(kù)硬件方面的優(yōu)化上文中已進(jìn)行討論，現(xiàn)將從數(shù)據(jù)庫(kù)應(yīng)用程序方面來探討一下系統(tǒng)平臺(tái)的數(shù)據(jù)庫(kù)優(yōu)化方案。數(shù)據(jù)庫(kù)在應(yīng)用程序優(yōu)化通?？煞譃閮蓚€(gè)方面：sql語句和源代碼。對(duì)于源代碼，因涉及到對(duì)程序邏輯的改變，時(shí)間成本和風(fēng)險(xiǎn)上代價(jià)很高，并且對(duì)數(shù)據(jù)庫(kù)系統(tǒng)性能的提升收效有限；所以系統(tǒng)平臺(tái)在數(shù)據(jù)庫(kù)應(yīng)用程序方面的優(yōu)化主要以優(yōu)化sql語句為主。其原因有：第一：sql語句消耗了70%至90%的數(shù)據(jù)庫(kù)資源；第二：sql語句是對(duì)數(shù)據(jù)庫(kù)進(jìn)行操作的惟一途徑，對(duì)數(shù)據(jù)庫(kù)系統(tǒng)的性能起著決定性的作用；第

10、三：sql語句獨(dú)立于程序設(shè)計(jì)邏輯，對(duì)sql語句進(jìn)行優(yōu)化不會(huì)影響程序邏輯；第四：不同的sql語句寫法有不同的性能，且差異非常大。項(xiàng)目組在對(duì)平臺(tái)系統(tǒng)全面掃描分析過程中，發(fā)現(xiàn)數(shù)據(jù)庫(kù)并沒有處于最優(yōu)水平。其問題主要集中在以下方面：第一：系統(tǒng)數(shù)據(jù)庫(kù)部分頻繁調(diào)用的數(shù)據(jù)庫(kù)操作語句，未采用cache技術(shù)，未充分利用oracle的預(yù)編譯技術(shù)，使頻繁使用的語句僅因?yàn)閭€(gè)別參數(shù)不同而被數(shù)據(jù)庫(kù)服務(wù)器頻繁編譯，耗費(fèi)大量的cpu工作時(shí)間。第二：數(shù)據(jù)統(tǒng)計(jì)工作直接基于業(yè)務(wù)庫(kù)進(jìn)行操作，在統(tǒng)計(jì)工作周期內(nèi)數(shù)據(jù)讀取爭(zhēng)取資源嚴(yán)重。通過數(shù)據(jù)庫(kù)檢測(cè)，在統(tǒng)計(jì)周期內(nèi)由于統(tǒng)計(jì)工作進(jìn)行大量的數(shù)據(jù)讀取運(yùn)算，使數(shù)據(jù)庫(kù)的讀寫性能嚴(yán)重降低，有時(shí)甚至影響到應(yīng)用

11、對(duì)外提供服務(wù)。第三：由于產(chǎn)權(quán)認(rèn)證的產(chǎn)權(quán)信息分別部署在各區(qū)分局，且各區(qū)分局的數(shù)據(jù)環(huán)境和數(shù)據(jù)基礎(chǔ)不統(tǒng)一，使整體性能得不到保證。針對(duì)以上情況，使在不改變整體業(yè)務(wù)邏輯的情況，項(xiàng)目組在數(shù)據(jù)庫(kù)應(yīng)用層面采取了多項(xiàng)措施來提高了系統(tǒng)平臺(tái)性能。1、優(yōu)化weblogic的數(shù)據(jù)連接配置。在實(shí)際應(yīng)用中數(shù)據(jù)庫(kù)連接配置過大將導(dǎo)致資源浪費(fèi)，過低即導(dǎo)致資源的頻繁申請(qǐng)，影響效率，項(xiàng)目組根據(jù)weblogic的jdbc連接池機(jī)制來管理，將jdbc連接緩沖池設(shè)置為“常用均值+常用均值*50%”，分析得到常用均值設(shè)置為20個(gè)左右，即jdbc連接緩沖池個(gè)數(shù)設(shè)置為30個(gè)，同時(shí)將最大值設(shè)置為50，超出設(shè)置值后允許每次增加10個(gè)，這樣既保證了系

12、統(tǒng)正常使用，同時(shí)運(yùn)用連接池機(jī)制，將提高系統(tǒng)的效率。2、查詢操作在各種數(shù)據(jù)庫(kù)操作中所占比重較大，而查詢操作所基于的select語句在sql語句中是代價(jià)最大的語句。因此優(yōu)質(zhì)的sql語句和高效的查詢優(yōu)化技術(shù)，可以幫助提高應(yīng)用系統(tǒng)的性能。在優(yōu)化工作中檢查sql語句，對(duì)select查詢語句，盡量避免使用select *的操作，字段提取按照“需要多少， 提取多少”的原則，查詢結(jié)果應(yīng)返回給應(yīng)用程序所需要的最少數(shù)量的行和列；如果系統(tǒng)確實(shí)需要每一列，最好在sql語句中顯式呈現(xiàn)每一列名稱，這樣可以避免了服務(wù)器替換*所花費(fèi)的時(shí)間，因?yàn)檫@個(gè)工作是通過查詢數(shù)據(jù)字典完成的。3、采取逐步優(yōu)化的方式對(duì)可以采取預(yù)編譯的數(shù)據(jù)庫(kù)操

13、作語句，引入預(yù)編譯技術(shù)，提高cache的命中率。在充分利用數(shù)據(jù)庫(kù)的預(yù)編譯技術(shù)下，對(duì)重復(fù)使用的數(shù)據(jù)庫(kù)語句使用變量注入的方式，減少sql語句不必要的編譯，如“select a from t1 where l1=3”和“select a from t1 where l1=4”這類查詢語句，在數(shù)據(jù)庫(kù)中被認(rèn)為是兩個(gè)不同語法的語句，會(huì)被重復(fù)編譯，如采用“select a from t1 where l1=x”，通過x的賦值來得查詢結(jié)果，數(shù)據(jù)庫(kù)系統(tǒng)僅會(huì)對(duì)第一次調(diào)用進(jìn)行預(yù)編譯，后續(xù)的語句將不再做編譯，從而提高了數(shù)據(jù)庫(kù)的處理效率。4、對(duì)于目前不便修改（多為對(duì)系統(tǒng)框架修改較大）的sql語句進(jìn)行登記造冊(cè)，作為下次系

14、統(tǒng)進(jìn)一步優(yōu)化或升級(jí)的建議進(jìn)行記錄。5、對(duì)統(tǒng)計(jì)工作進(jìn)行分類，在優(yōu)化統(tǒng)計(jì)邏輯的同時(shí)，對(duì)時(shí)效性要求不是很高的統(tǒng)計(jì)工作，建立專用于統(tǒng)計(jì)的物化視圖。通過網(wǎng)絡(luò)業(yè)務(wù)不繁忙時(shí)段的同步，為統(tǒng)計(jì)工作提供物化視圖，以有效減少了同時(shí)工作對(duì)業(yè)務(wù)產(chǎn)生影響三、應(yīng)用系統(tǒng)層面的優(yōu)化項(xiàng)目在應(yīng)用系統(tǒng)層面上優(yōu)化主要考慮以下兩方面：第一：將系統(tǒng)的頁面處理和事務(wù)處理分離，對(duì)事務(wù)進(jìn)行封裝，部署時(shí)采用apache處理靜態(tài)頁面，weblogic處理業(yè)務(wù)邏輯的技術(shù)，使頁面處理和事務(wù)處理分離。第二：對(duì)各區(qū)的數(shù)據(jù)認(rèn)證充分利用oracle的數(shù)據(jù)同步技術(shù)，將原來的產(chǎn)權(quán)一次認(rèn)證方式調(diào)整為二次認(rèn)證的方式進(jìn)行數(shù)據(jù)認(rèn)證。產(chǎn)權(quán)認(rèn)證數(shù)據(jù)庫(kù)每天晚上從各區(qū)的數(shù)據(jù)庫(kù)中同

15、步產(chǎn)權(quán) 數(shù)據(jù)，市民在簽約時(shí)采用同步數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行第一次產(chǎn)權(quán)認(rèn)證，由于采用了已集中的產(chǎn)權(quán)數(shù)據(jù)，數(shù)據(jù)庫(kù)索引齊備、數(shù)據(jù)庫(kù)部署在應(yīng)用服務(wù)器的同網(wǎng)段，使整個(gè)簽約操作受數(shù)據(jù)庫(kù)性能影響降到最低。在市民間簽約提交時(shí)應(yīng)用服務(wù)器提請(qǐng)第二次產(chǎn)權(quán)認(rèn)證，第二次認(rèn)證雖需讀取分局?jǐn)?shù)據(jù)，但只需查證當(dāng)天是否發(fā)生過數(shù)據(jù)改變即可，數(shù)據(jù)發(fā)生改變的認(rèn)證不通過，數(shù)據(jù)無改變的驗(yàn)證有效。此項(xiàng)應(yīng)用層面的優(yōu)化措施有效提高了應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器的交互效率，從而提高了系統(tǒng)性能。但是在最終實(shí)施中由于考慮到存量房網(wǎng)簽系統(tǒng)單純的靜態(tài)頁面不多，并且測(cè)試發(fā)現(xiàn)使用apache不能實(shí)質(zhì)性提高系統(tǒng)性能，所有沒有實(shí)施。反而將業(yè)務(wù)邏輯調(diào)整為二次驗(yàn)證后，利用數(shù)據(jù)集

16、中的優(yōu)勢(shì)，提升應(yīng)用性能，提高市民的現(xiàn)場(chǎng)應(yīng)用滿意度。四、總結(jié)在本次項(xiàng)目?jī)?yōu)化中，通過以上措施的逐步實(shí)施，使存量房網(wǎng)簽系統(tǒng)數(shù)據(jù)庫(kù)服務(wù)器的負(fù)荷得到有效的減負(fù)，且沒有因?yàn)閼?yīng)用的全面推廣而出現(xiàn)超負(fù)荷宕機(jī)的現(xiàn)象發(fā)生；結(jié)合應(yīng)用服務(wù)器的重新部署，服務(wù)器的響應(yīng)速度明顯加快，基本實(shí)現(xiàn)了服務(wù)操作3秒內(nèi)響應(yīng)的優(yōu)化目標(biāo)，服務(wù)器整體性能運(yùn)行正常，在近段時(shí)間市民購(gòu)房熱潮中能沉穩(wěn)應(yīng)對(duì)，達(dá)到預(yù)期效果。但是在本次優(yōu)化中，仍有部分問題尚未解決，首先是部分頻繁調(diào)用的sql語句由于對(duì)系統(tǒng)修改較大未能優(yōu)化，加大了數(shù)據(jù)庫(kù)編譯壓力；再次對(duì)關(guān)系民生的產(chǎn)權(quán)數(shù)據(jù)未能全面集中認(rèn)證，設(shè)計(jì)二次認(rèn)證也只不過是一個(gè)權(quán)宜之計(jì)，分布式存儲(chǔ)無法對(duì)實(shí)時(shí)的認(rèn)證提供有效的、準(zhǔn)確的認(rèn)證，下一步數(shù)據(jù)遷移工作將會(huì)是一項(xiàng)重點(diǎn)；第三，因?yàn)橄到y(tǒng)已試運(yùn)行一年，基本業(yè)務(wù)邏輯已確