包頭社保系統(tǒng)問題全面診斷報告(一)

1、精品資料包頭社保系統(tǒng)問題全面診斷報告工程師：趙欣報告生成日期 :2010-4-8可編輯修改一系統(tǒng)整體架構(gòu)描述:包頭社保中間件應(yīng)用服務(wù)器系統(tǒng)存儲陣列包頭社保數(shù)據(jù)中心包頭社保數(shù)據(jù)中心主要有3個主要的邏輯子系統(tǒng)組成，分別是：中間件應(yīng)用集群服務(wù)器子系統(tǒng)，數(shù)據(jù)庫集群子系統(tǒng)，存儲子系統(tǒng)。這3個子系統(tǒng)的功能及實施配置情況如下：(1)中間件應(yīng)用集群服務(wù)器子系統(tǒng)：由兩臺IBM P 5 7 0組成應(yīng)用集群，應(yīng)用服務(wù)器為We b 1 o g i c 9 ,其中在 應(yīng)用服務(wù)器S 1和S 2上分別同時部署運(yùn)行醫(yī)保結(jié)算系統(tǒng)和中心端業(yè)務(wù)系統(tǒng)，該子系統(tǒng)的 主要功能是提供應(yīng)用業(yè)務(wù)系統(tǒng)的運(yùn)行環(huán)境，支撐客戶端使用業(yè)務(wù)系統(tǒng)。(2)數(shù)

2、據(jù)庫集群子系統(tǒng)：由兩臺IBM P570組成Oracle數(shù)據(jù)庫RAC集群，數(shù)據(jù)庫版本為“ Oracle Database10g Enterprise Edition Release .0 - 64bi ” ,該子系統(tǒng)的主要功能是提 供業(yè)務(wù)數(shù)據(jù)的7*24的操作與管理以及保證業(yè)務(wù)數(shù)據(jù)安全。(3)存儲子系統(tǒng)：由IBM DS-8000存儲設(shè)備組成，主要功能是提供數(shù)據(jù)的存儲以及高效的數(shù)據(jù)讀寫。二 中間件應(yīng)用集群服務(wù)器子系統(tǒng)問題排查：(1)問題分析：影響中間件服務(wù)器性能參數(shù)：參數(shù)名稱原先設(shè)置分析結(jié)果JVM heap Size1G滿足應(yīng)用需要，沒有問題數(shù)據(jù)庫連接池初始連接數(shù)1太低，不滿足應(yīng)用需

3、要數(shù)據(jù)庫連接池最大連接數(shù)15太低，不滿足應(yīng)用需要數(shù)據(jù)庫連接池連接增長數(shù)1太低，不滿足應(yīng)用需要根據(jù)以上對影響中間件服務(wù)器性能參數(shù)的分析，可以看出JAVA虛擬機(jī)內(nèi)存參數(shù)配置(JVM heapSize)沒有問題，并且可以滿足應(yīng)用需要；數(shù)據(jù)庫連接池相關(guān)參數(shù)的配置太小，不滿實際應(yīng)用需要，建議要 根據(jù)實際情況進(jìn)行調(diào)整。(2)問題解決方案：通過分析實際應(yīng)用情況以及業(yè)務(wù)高峰期的并發(fā)用戶數(shù)，對數(shù)據(jù)庫連接池參數(shù)作出了如下調(diào)整：數(shù)據(jù)庫連接池初始連接數(shù)調(diào)整為：50數(shù)據(jù)庫連接池最大連接數(shù)調(diào)整為：100數(shù)據(jù)庫連接池連接增長數(shù)調(diào)整為：5三數(shù)據(jù)庫集群子系統(tǒng)問題排查：(1 )內(nèi)存使用問題分析與排查：基本內(nèi)存使用參數(shù)配置：參數(shù)名

4、稱參數(shù)作用參數(shù)值分析結(jié)果sga_target決定系統(tǒng)全局區(qū) SGA的大小，由于大部分操作 都要在SGA中完成，所以該參數(shù)對數(shù)據(jù)庫的 性能起到?jīng)Q定性的作用。5G略顯小sga_max_size決定SGA最大可以設(shè)置為多少5G略顯小Pga_aggregate_target決定用戶全局區(qū) PGA的大小，該參數(shù)決定是否用戶的大量計算可在內(nèi)存中完成，因此該參數(shù)對數(shù)據(jù)庫性能也起到非常關(guān)鍵的作用。1G可以滿足需要，建議再調(diào)些基本內(nèi)存使用情況指標(biāo):指標(biāo)項檢查該指標(biāo)所依據(jù)的腳本檢查結(jié)果分析結(jié)果建議操作命令Data BufferCache命中select 1 - (phy. VALUE -98%以上基本滿足要求，理

5、想狀態(tài) 應(yīng)該達(dá)到99%以上。主由系統(tǒng)集成人員適 當(dāng)調(diào)整SGA大lob .VALUE - dir. VALUE)/ses. VALUE "Buffer Cache Hit率Ratio"from v$sysstat ses,v$sysstat lob , v$sysstat dir, v$sysstat phywhere ses. NAME = 'sessioi logical reads'and dir. NAME = 'physicaln要的原因可能是由于 SGA大小略顯小的緣 故。小。調(diào)整時要參考 最大可用內(nèi)存數(shù)， 建議該參數(shù)值應(yīng)該 在8G以上。r

6、eads direct'and lob .NAME = 'physical reads direct (lob)'and phy. NAME = 'physicalreads'SharePool 中 liberary cache命中率SELECT SUM(PINHITS - RELOADS) / SUM(PINS) "HIT RADIO",SUM(RELOADS) / SUM(PINS) "RELOAD PERCENT"FROM V$LIBRARYCACHE;98%以上滿足要求，不過重載率為 0.26%略顯高，可能

7、會 影響系統(tǒng)SQL語句軟解 析度系統(tǒng)SQL語句 軟解析度select (t1.value - t2.value) / t1.value) * 100from (select value from v$sysstatwhere name like 'parse%'and name in('parse count (total)') t1, (select valuefrom v$sysstat where name like'parse%' and name in('parse count (hard)') t2;93%過低，作升-

8、個具有高 并發(fā)訪問量的聯(lián)機(jī)在線 事務(wù)系統(tǒng)來說，SQL語 句的軟解析度應(yīng)該在 98%以上，最低不能低 于 97%。建議排查頻繁被使 用功能的程序代 碼，看一下是否合 理使用了綁定變 量。查詢PGA工作 狀態(tài)信息select name profile , cnt, decode(total,0, 0,round(cnt *100 / total)percentagefrom (select name , value cnt, ( sum (value ) over() totalfrom v$sysstat .where name like 'workarea exec%');10

9、0%工作 于 optimal 狀態(tài)滿足要求查看內(nèi)存與硬 盤的排序比例select d. VALUE Disk , m. VALUE Mem, (d. VALUE / m. VALUE ) Ratiofrom v$sysstat m, v$sysstat dwhere m. NAME = 'sorts基本全部 屬于內(nèi)存 排序滿足要求(memory)' and d. name = 'sorts (disk)'(2) I/O問題分析與排查:基本I/O參數(shù)配置:參數(shù)名稱參數(shù)作用參數(shù) 值分析結(jié)果db_file_multiblock_read_count控制數(shù)據(jù)庫多塊讀取時

10、一次 最多讀多少數(shù)據(jù)塊16建議調(diào)整到32log_archive_max_processes控制歸檔進(jìn)程最大數(shù)3滿足要求db_writer_processes控制數(shù)據(jù)庫寫操作進(jìn)程數(shù)量2根據(jù)當(dāng)前數(shù)據(jù)庫數(shù)據(jù)文件數(shù)量，該 值顯得略低，建議調(diào)高disk_asynch_io控制數(shù)據(jù)庫是否使用異步I/Otrue滿足要求數(shù)據(jù)庫I/O使用指標(biāo):指標(biāo)項檢查該指標(biāo)所依據(jù)的腳本命令檢查結(jié)果分析結(jié)果建議操作檢查數(shù) 否存在 磁盤 I/O瓶 頸select event, total_waits, time_waited ,total_timeouts,average_wait from$system_event twher

11、e event in('log file switch completion','log file switch (checkpoint incomplete)','log file switch (archiving needed)','control file parallel write','log file parallel write' );系統(tǒng)中存在比較 頻繁的引發(fā)增量 檢查點的操作， 致使CKPT進(jìn)程 過于繁忙，引發(fā) 了一定I/O壓力基本滿足 要求，但 增量檢查 點引發(fā)過 于頻繁檢查頻繁使用的程序，

12、是否存在頻繁執(zhí)行 Commit的情況。Commit操作要盡量使 用批量提交，本著以事 務(wù)單元為提交的準(zhǔn)則。(3)資源競爭問題分析與排查:資源競爭相關(guān)基本參數(shù)設(shè)置參數(shù)名稱參數(shù)作用參數(shù) 值分析 結(jié)果log_checkpoint_timeout指定距下一個檢查點出現(xiàn)的最大時間間隔(秒數(shù))。1800滿足 要求Undo_retention用來指定要在數(shù)據(jù)庫中保留的已提交的撤消信息的時間900滿足 要求Processes指定可同時連接到一個Oracle Server 上的操作系統(tǒng)用戶進(jìn)程的最大數(shù)量1000滿足 要求Open_cursors指定一個會次可以打開的游標(biāo)（環(huán)境區(qū)域）的最大數(shù)量，并且限制PL/SQ

13、L 使用的PL/SQL 游標(biāo)高速緩存的大小，以避免用戶再次執(zhí)行語句時重新進(jìn)行語法 分析。3000滿足 要求Dml_locks所有用戶獲取的表鎖的最大數(shù)量4860滿足 要求檢查該指標(biāo)所依據(jù)的 腳本命令SELECT T1.*,T2.SQL_TEXT, T2.SQL_FULLTEXTFROM (SELECT B.SQL_ID,B.SID,B.MACHINE,C.OBJECT_NAME,A.ORACLE_USERNAME,A.LOCKED_MODE, B.OSUSER, 'alter system kill session '''| B.SID| ','

14、 | B.SERIAL# |'，.， ;FROM V$LOCKED_OB V$SESSION B, ALL_OBJECTSWHERE A.SESSION_IDJECT A,C=B.SIDANDA.OBJECT_ID =C.OBJECT_ID)'V$SQLARE1,A T2WHERE T1.SQL_ID =T2.SQL_ID;檢查結(jié)果KC04、KC21、KC22、KC23、KC24、KC29事 務(wù) 鎖 情 況指 標(biāo) 項在數(shù)據(jù)庫中長時間存在事務(wù)鎖，在等待事件中長時間存在 件。長時間存在事務(wù)鎖定的表為：操作上述表并引起鎖的 SQL語句如下:enq: TX - row lock con

15、tUPDATE KC04 SET AKC317 = :B3 , OAE300 =PKG_A_COMM.FUN_GETOAE300, OAE301 = OAE3WHERE AAC001 = :B2 AND AAE001 = :B1UPDATE KC04 SET AKC317 = :B3 , OAE300 =PKG_A_COMM.FUN_GETOAE300, OAE301 = OAE3WHERE AAC001 = :B2 AND AAE001 = :B1UPDATE KC21 SET AAE100 = '0', AAE011 = :B6 , A SYSDATE, AKC384 =

16、:B5 , AKC380 = :B4 , AKC381 AKC319 = '0', OAE300 = PKG_A_COMM.FUN_GETO OAE301 = OAE300 WHERE AKB020 = :B2 AND AK二：B1 AND AKA135 = 1' AND AAE100 = 1BEGINPKG_K_SIINTERFACE.PRC_K_SIINTERFACE(:1,:2,: END;BEGINPKG_K_SIINTERFACE.PRC_K_SIINTERFACE(:1,:2,: END;BEGINPKG_K_SIINTERFACE.PRC_K_SIINTE

17、RFACE(:1,:2,:數(shù)據(jù)庫事務(wù)鎖問題:END;BEGINPKG_K_SIINTERFACE.PRC_K_SIINTERFACE(:1,:2,: END;BEGINPKG_K_SIINTERFACE.PRC_K_SIINTERFACE(:1,:2,: END;BEGINPKG_K_SIINTERFACE.PRC_K_SIINTERFACE(:1,:2,: END;UPDATE KC04 SET AKC317 = :B3 , OAE300 =PKG_A_COMM.FUN_GETOAE300, OAE301 = OAE3 WHERE AAC001 = :B2 AND AAE001 = :B1U

18、PDATE KC04 SET AKC317 = :B3 , OAE300 =PKG_A_COMM.FUN_GETOAE300, OAE301 = OAE3 WHERE AAC001 = :B2 AND AAE001 = :B1UPDATE KC04 SET AKC317 = :B3 , OAE300 =PKG_A_COMM.FUN_GETOAE300, OAE301 = OAE3 WHERE AAC001 = :B2 AND AAE001 = :B1UPDATE KC04 SET AKC317 = :B3 , OAE300 =PKG_A_COMM.FUN_GETOAE300, OAE301 =

19、 OAE3 WHERE AAC001 = :B2 AND AAE001 = :B1(4 ) Oracle RAC 節(jié)點間通訊及競爭監(jiān)控：指標(biāo)項檢查該指標(biāo)所依據(jù)的腳本命令檢查結(jié)果分析 結(jié)果建議 操作Clobal Cache Service等待事件SELECT INST_ID, EVENT,P1 FILE_NUMBE ,P2 BLOCK_NUMBER,WAIT_TIMEFROM GV$SESSION_WAITWHERE EVENT IN ('gc buffer busy', 'global cache busy');沒有發(fā)生滿足 要求節(jié)點間一致性讀(CR)效率，Or

20、acle 建議如果avg receive time 小于 10ms ,說明CR效率止常SELECT B1.INSTB2. VALUEB1. VALUE (B1. VALUE "avg receive time(ms FROM GV$SYS GV$SYSSTAT B2 WHERE B1. NA receive time'AND B2. NAME received'AND B1.INST_I_ID,"received", "received time",/ B2. VALUE ) *)"STAT B1,ME = '

21、gc cr block='gc cr blocksD = B2.INST_ID;10)avg receive time 為0.6ms滿足 要求節(jié)點間Current 讀效率，Oracle建議 avg receive time 小于 15ms ,貝U Current Read效率止常SELECT B1.INST_ID,B2. VALUE "received",B1. VALUE "received time", (B1. VALUE / B2. VALUE ) * 10)avg receivetime 為 1ms滿足 要求"avg rece

22、ive time(msFROM GV$SYSSGV$SYSSTAT B2 WHERE B1. NAM)"TAT EE =“，'gc current blockreceive time'AND B2. NAME = 'gc current blocks received'AND B1.INST_ID = B2.INST_ID;(5)其他一些影響數(shù)據(jù)庫性能參數(shù)的設(shè)置:參數(shù)名稱參數(shù)作用參數(shù)值分析結(jié)果optimizer_index_cost_adj在成本優(yōu)化情況不的 SQL 執(zhí)行時轉(zhuǎn)化成使用索引訪問 的百分比100值過高可能會引發(fā)索引被棄用，建議設(shè)為 25op

23、timizer_index_caching在緩沖區(qū)高速緩存中期望用 于嵌套循環(huán)聯(lián)接的索引塊的 百分比0對于聯(lián)機(jī)事務(wù)系統(tǒng)值過 低，應(yīng)該調(diào)局，建議調(diào) 整到90query_rewrite_enabled啟用或禁用對實體化視圖的 查詢重與true滿足要求optimizer_mode成本優(yōu)化器模式ALL_ROWS滿足要求四、存儲子系統(tǒng)問題排查：個數(shù)據(jù)表空間使用情況檢查：檢查依據(jù)的命令腳本：select b.file_id 文件 ID 號, b.tablespace_name 表空間名,b.bytes /1024 / 1024 | 'M'字節(jié)數(shù),(b.bytes - sum (nvl(a.

24、bytes, 0)/ 1024 / 1024 |'M'已使用,sum (nvl(a.bytes, 0)/ 1024 / 1024 | 'M'剩余空間, 100 - sum (nvl(a.bytes, 0) / (b.bytes) *100 已使用空間 百分比from dba_free_space a, dba_data_files bwhere a.file_id = b.file_idgroup by b.tablespace_name, b.file_id, b.bytesorder by b.file_id;表空間名字節(jié)數(shù)已使用剩余空間已使用白分比SYST

25、EM1020M1001.875M18.125M98.22303922UNDOTBS110235M191.0625M10043.9375M1.866756229SYSAUX1020M956.0625M63.9375M93.73161765USERS4095M4078M17M99.58485958EXAMPLE150M77.6875M72.3125M51.79166667UNDOTBS26809.0625M42.9375M6766.125M0.630593419USER_PUB2000M.0625M1999.9375M0.003125USER_A10100M9363.625M736.375M92.

26、70915842USER_I10100M10024M76M99.24752475USER_I10100M9444M656M93.5049505USER_I10100M9852M248M97.54455446USER_K10100M9742.0625M357.9375M96.45606436USER_K10100M10049.0625M50.9375M99.49566832USER_R10100M8167.0625M1932.9375M80.86200495USER_KC2110100M1538.1875M8561.8125M15.22957921USER_KC2210100M10041.437

27、5M58.5625M99.42017327USER_KC2210100M8963.8125M1136.1875M88.75061881USER_KC2210100M10040.5M59.5M99.41089109USER_KC2310100M600.25M9499.75M5.943069307USER_KC2410100M2604.5625M7495.4375M25.78774752USER_DRM10100M13.6875M10086.3125M0.135519802HNLMDATA10100M1.0625M10098.9375M0.010519802HNLMDATA10100M1.0625

28、M10098.9375M0.010519802HNLMDATA10100M2.0625M10097.9375M0.020420792INDX_PUB2000M.0625M1999.9375M0.003125INDX_SIMIS4040M.3125M4039.6875M0.007735149INDX_A4040M419.4375M3620.5625M10.38211634INDX_F10100M10051M49M99.51485149INDX_I10100M9557M543M94.62376238INDX_I10100M9586.0625M513.9375M94.9115099INDX_K405

29、0M1297.5625M2752.4375M32.03858025INDX_R950M.5625M949.4375M0.059210526INDX_AC1310100M10042.875M57.125M99.43440594INDXKC2110100M680.3125M9419.6875M6.735767327INDX_KC2210100M2178.25M7921.75M21.56683168INDX_KC2210100M6657.4375M3442.5625M65.91522277INDX_KC2210100M6673.9375M3426.0625M66.07858911INDX_KC231

30、0100M576.125M9523.875M5.704207921INDX_KC2410100M640.375M9459.625M6.340346535HNLMINDEX10100M.0625M10099.9375M0.000618812HNLMINDEX10100M.0625M10099.9375M0.000618812HNLMINDEX10100M.0625M10099.9375M0.000618812INDX_DRM2000M8.6875M1991.3125M0.434375UNDOTBS110100M138.5M9961.5M1.371287129UNDOTBS210100M27.43

31、75M10072.5625M0.271658416UNDOTBS210100M27.0625M10072.9375M0.267945545INDX_AC2010100M7350.5M2749.5M72.77722772INDX_AC2010100M7413.0625M2686.9375M73.39665842INDX_AC2010100M7415.1875M2684.8125M73.41769802USER_AC1310100M10086M14M99.86138614INDX_AC1310100M9770.0625M329.9375M96.73329208USER_SIMIS10100M100

32、97.5M2.5M99.97524752USER_F9800M9795.0625M4.9375M99.94961735USER_F9800M5253.875M4546.125M53.61096939INDX_AC209800M8397.0625M1402.9375M85.68431122INDX_AC209800M8340.0625M1459.9375M85.10267857SYSTEM2800M76.0625M2723.9375M2.716517857INDX_AC139800M9662.9375M137.0625M98.60140306PERFSTAT900M145.8125M754.18

33、75M16.20138889USER_SIMIS10100M10057M43M99.57425743USER_SIMIS10100M10099.5M.5M99.9950495USER_AC139800M9799.9375M.0625M99.99936224USER_AC139800M9651.9375M148.0625M98.48915816INDX_AC1310100M8750.375M1349.625M86.63737624INDX_AC1310100M8527.25M1572.75M84.42821782USER_I10100M8386M1714M83.02970297USER_I101

34、00M10059.9375M40.0625M99.60334158USER_K10100M3002.0625M7097.9375M29.72339109USER_K10100M2940.125M7159.875M29.11014851USER_SIMIS10100M9547.5M552.5M94.52970297USER_SIMIS10100M9808M292M97.10891089USER_AC1310100M7972.875M2127.125M78.93935644USER_AC1310100M6001.8125M4098.1875M59.42388614SYSAUX1023M518.06

35、25M504.9375M50.6414956INDX_AC1310238M.0625M10237.9375M0.000610471USER_AC1310238M6904.875M3333.125M67.4435925USER_I USER_KC22 INDX_I USER_SIMIS INDX_F USERS USER_I10238M3420.25M10238M2265.0625M10100M3102.0625M10100M2586.0625M10100M321.0625M4000M229.75M10100M1081.0625M6817.75M7972.9375M6997.9375M7513.

36、9375M9778.9375M3770.25M9018.9375M33.4074037922.1240720830.713490125.604579213.1788366345.7437510.70358911從查詢結(jié)果來看，每個表空間都存在多個數(shù)據(jù)文件，有很多的數(shù)據(jù)文件已使用空間百分比已經(jīng)占到了 99% ,通過與現(xiàn)場人員溝通了解到由于進(jìn)行數(shù)據(jù)轉(zhuǎn)換因此生成了大量的垃圾數(shù)據(jù)，這些垃圾數(shù)據(jù)大量占 用存儲空間，而且有時還會影響到數(shù)據(jù)庫性能。通過與現(xiàn)場人員溝通，并經(jīng)過認(rèn)真排查，最終確定要刪 除800張存放垃圾數(shù)據(jù)的表來釋放存儲空間，由于要刪除的表過多這里就不一一列出這些表了，但是建 議要盡快做數(shù)據(jù)清理

37、的相關(guān)工作。五、之前出現(xiàn)的應(yīng)用中斷問題原因分析及解決辦法：通過上述對中間件集群服務(wù)器子系統(tǒng)、數(shù)據(jù)庫集群子系統(tǒng)、存儲子系統(tǒng)的綜合分析可以得出，數(shù)據(jù)庫在相關(guān)性能問題的參數(shù)配置上存在一些問題，但是這些問題屬于不會造成重大影響的問題，更不會引發(fā)應(yīng)用系 統(tǒng)中斷。同時通過分析終端發(fā)生時的應(yīng)用服務(wù)器日志，可以發(fā)現(xiàn)中斷的發(fā)生是由于數(shù)據(jù)庫連接池中的連接被 耗盡造成的。而且用戶反映在應(yīng)用終端時還出現(xiàn)了應(yīng)用系統(tǒng)對應(yīng)的數(shù)據(jù)庫用被鎖定的情況，這個情況在應(yīng)用服務(wù)器日志當(dāng)中也有記錄，即發(fā)生了ORA-28000 錯誤，經(jīng)過與 Oracle發(fā)布的錯號對比，發(fā)現(xiàn) ORA-28000錯誤是當(dāng)從客戶端連接數(shù)據(jù)庫失敗次數(shù)超"FAILED_LOGIN_ATTEMPTS ”參數(shù)所限定的次數(shù)時，Oracle認(rèn)為這個連接可能是一個潛在的攻擊行為，為了保護(hù)相關(guān)的數(shù)據(jù)庫用戶，Oracle就會采取將該用戶賬戶鎖定的做法來保護(hù)這個用戶。FAILED_LOGIN_ATTEMPT