營銷業(yè)務(系統(tǒng))、優(yōu)化實施步驟及回退方案

目目 錄錄 1.引言引言 .5 1.1.編寫目的.5 1.2.使用范圍.5 1.3.內(nèi)容及格式要求.5 1.4.相關(guān)資料.5 2.概述概述 .6 3.項目影響范圍項目影響范圍 .7 3.1.工程實施時間.7 3.2.工程影響.7 4.項目實施原則項目實施原則 .8 5.項目實施方案項目實施方案 .9 5.1.項目實施準備工作（11 月 21 日 09：00-11 月 22 日 18：00）.9 5.1.1.發(fā)布系統(tǒng)維護公告（11 月 21 日 09：00）.9 5.1.2.操作系統(tǒng)級參數(shù)備份（11 月 22 日：09：10）.9 5.1.3.數(shù)據(jù)庫系統(tǒng)級參數(shù)備份（11 月 22 日：09：20）.10 5.1.4.業(yè)務數(shù)據(jù)備份（11 月 22 日：18：00）.10 5.2.操作系統(tǒng)級性能調(diào)整（11 月 23 日 00：00-11 月 19 日 00：15）.11 5.2.1.調(diào)整 VMM 參數(shù).11 5.2.2.詳細實施計劃.11 5.3.數(shù)據(jù)庫服務器性能調(diào)整（11 月 23 日 00：15-11 月 23 日 03：30）.11 5.3.1.調(diào)整前工作.11 5.3.2.數(shù)據(jù)庫實例參數(shù)調(diào)整.13 5.3.3.數(shù)據(jù)庫實例 parallel 相關(guān)參數(shù)調(diào)整.13 5.3.4.調(diào)整表的 buffer_pool 屬性.14 5.3.5.整理表碎片.15 5.3.6.整理索引碎片.15 5.3.7.表分析.15 5.3.8.重啟數(shù)據(jù)庫，使修改的配置生效.16 5.3.9.調(diào)整后工作.16 5.3.10.詳細實施計劃.17 6.驗證測試驗證測試 .19 7.應急回退預案（應急回退預案（11 月月 23 日日 0：00-04：00）.20 7.1.調(diào)整操作系統(tǒng)參數(shù).20 7.2.調(diào)整數(shù)據(jù)庫參數(shù).20 7.3.調(diào)整實例PARALLEL相關(guān)參數(shù).21 2 7.4.調(diào)整內(nèi)存 CACHE(DEFALULT/KEEP/RECYCLE).21 7.4.1.將經(jīng)常使用的表放入 keep 池 .21 7.5.調(diào)整對象.22 7.5.1.整理表碎片.22 7.5.2.增加/調(diào)整索引.22 7.5.3.整理索引碎片.22 8.項目影響范圍項目影響范圍 .23 8.1.工程實施期間(11 月 22 日 22:00-11 月 23 日 6：00).23 3 1. 引言引言 1.1.編寫目的編寫目的 本文檔的目的是描述黑龍江電力公司營銷業(yè)務系統(tǒng)調(diào)優(yōu)項目實施步驟及應用程序配合調(diào) 整。 1.2.使用范圍使用范圍 本文檔僅適用于黑龍江電力公司信息系統(tǒng)優(yōu)化實施項目中匯報材料和項目組中相關(guān)的項 目管理人員和技術(shù)人員使用。 1.3.內(nèi)容及格式要求內(nèi)容及格式要求 本文檔的內(nèi)容包括： 1)項目影響范圍 2)項目實施原則 3)項目實施方案 4)驗證測試 5)應急回退預案 1.4.相關(guān)資料相關(guān)資料 黑龍江電力公司營銷業(yè)務系統(tǒng)分析報告。 4 2. 概述概述 節(jié)點節(jié)點主機名主機名IP 地址地址實例名實例名 是否重啟數(shù)是否重啟數(shù) 據(jù)庫據(jù)庫 是否重啟操是否重啟操 作系統(tǒng)作系統(tǒng) 營銷數(shù)據(jù)庫服 務器 1 PMLJPDBA10.166.2.196epmlj1是否 營銷數(shù)據(jù)庫服 務器 2 PMLJPDBB10.166.2.198epmlj2是否 5 3. 項目影響范圍項目影響范圍 3.1.工程實施時間工程實施時間 黑龍江電網(wǎng)營銷系統(tǒng)優(yōu)化實施工作定于 2013 年 11 月 23 日凌晨進行。 3.2.工程影響工程影響 1) 實施期間營銷數(shù)據(jù)庫將停止服務。 2) 實施期間會營銷系統(tǒng)用戶正常的使用。 3) 檢修時間：2013-11-23 00：00 至 2013-11-23 03:00 4) 實施參與人員明細： 優(yōu)化實施參與人員優(yōu)化實施參與人員角色角色所屬單位所屬單位 聯(lián)系方聯(lián)系方 式式 現(xiàn)場還是遠程支持現(xiàn)場還是遠程支持 王浩項目經(jīng)理 北京中電普華 信息技術(shù)有限 公司 現(xiàn)場 劉勤明項目成員 北京中電普華 信息技術(shù)有限 公司 現(xiàn)場 張闊宇項目成員 北京中電普華 信息技術(shù)有限 公司 現(xiàn)場 張宇項目成員 北京中電普華 信息技術(shù)有限 公司 現(xiàn)場 李林信通運維信通運維現(xiàn)場 5) 涉及數(shù)據(jù)庫和服務器列表： 節(jié)點節(jié)點主機名主機名IP 地址地址實例名實例名 是否重啟數(shù)是否重啟數(shù) 據(jù)庫據(jù)庫 是否重啟操是否重啟操 作系統(tǒng)作系統(tǒng) 營銷數(shù)據(jù)庫服 務器 1 PMLJPDB110.166.2.196epmlj1是否 6 營銷數(shù)據(jù)庫服 務器 2 PMLJPDB210.166.2.198epmlj2是否 7 4. 項目實施原則項目實施原則 1)工程實施必須提前通知影響用戶，并得到用戶應允。 2)工程實施時間窗遵從國家電網(wǎng)公司規(guī)定。 3)工程實施詳細步驟已經(jīng)在測試環(huán)境充分測試論證。 4)工程實施方案提前提交國網(wǎng)總部優(yōu)化專家組評審通過。 8 5. 項目實施方案項目實施方案 5.1. 項目實施準備工作（項目實施準備工作（11 月月 23 日日 00：00-11 月月 23 日日 03：00） 5.1.1. 發(fā)布系統(tǒng)維護公告（發(fā)布系統(tǒng)維護公告（11 月月 23 日日 00：00） 時間2013 年 11 月 22 日 09：00 地點黑龍江電力公司 操作內(nèi)容說明提前通知受影響的用戶、監(jiān)控中心和數(shù)據(jù)庫所屬項目 組級用戶 操作步驟發(fā)布系統(tǒng)維護公告 執(zhí)行單位信通運維，營銷 執(zhí)行人員信通運維 確認信通運維 備注 5.1.2. 數(shù)據(jù)庫系統(tǒng)級參數(shù)備份（數(shù)據(jù)庫系統(tǒng)級參數(shù)備份（11 月月 23 日：日：00：00） 時間2013 年 11 月 23 日 00：00 地點黑龍江電力公司 操作內(nèi)容說明備份數(shù)據(jù)庫級參數(shù) 操作步驟1.主機 PMLJPDBA 節(jié)點，oracle 用戶登錄操作系統(tǒng)， 執(zhí)行： sqlplus “/ as sysdba” create pfile=/oracle/init2013.ora from spfile; 2.主機 PMLJPDBB 節(jié)點，oracle 用戶登錄操作系統(tǒng)， 執(zhí)行： sqlplus “/ as sysdba” create pfile=/oracle/init2013.ora from spfile; 執(zhí)行單位中電北京中電普華信息技術(shù)有限公司 執(zhí)行人員王浩 確認劉勤明 備注 9 5.1.3. 業(yè)務數(shù)據(jù)備份（業(yè)務數(shù)據(jù)備份（11 月月 23 日：日：00：00） 時間2013 年 11 月 23 日 00：00 地點黑龍江國家電網(wǎng)容災中心 操作內(nèi)容說明 通知存儲備份部門在優(yōu)化實施前兩天及實施當 天 18：00 前對營銷數(shù)據(jù)庫全備一次。 rman target / log=/u03/rmanbak/rman_full.log append alter system set instance_groups=epmlj,EPMLJ2 scope=spfile sid=EPMLJ2; SQL alter system set parallel_instance_group=EPMLJ1 scope=spfile sid=EPMLJ1; SQL alter system set parallel_instance_group=EPMLJ2 scope=spfile sid=EPMLJ2; SQL exit 執(zhí)行單位中電北京中電普華信息技術(shù)有限公司 執(zhí)行人員王浩 確認劉勤明 備注 5.3.4. 調(diào)整表的調(diào)整表的 buffer_pool 屬性屬性 時間2013 年 11 月 23 日 00：30 地點黑龍江電力公司 操作內(nèi)容說明 開啟部分頻繁訪問的表 cache 屬性，將頻繁訪 問的索引 keep 至緩沖區(qū) 操作步驟以 oracle 用戶在 PMLJPDBA 執(zhí)行： sqlplus / as sysdba alter table EPM_HLJ.P_CODE_EXTEND storage(buffer_pool keep); alter table EPM_HLJ.P_CODE_SORT_EXTEND storage(buffer_pool keep); alter table EPM_HLJ.P_CODE storage(buffer_pool keep); alter table EPM_HLJ.P_CODE_SORT storage(buffer_pool keep); alter table EPM_HLJ.SA_USER storage(buffer_pool keep); alter table EPM_HLJ.SA_ORG storage(buffer_pool keep); 13 alter index EPM_HLJ.SA_DEPT storage(buffer_pool keep); alter index SGPS_DATA_TRANS.SA_DEPT storage(buffer_pool keep); alter index SGPS_DATA_TRANS.SA_ORG storage(buffer_pool keep); alter index SGPS_DATA_TRANS.SA_USER storage(buffer_pool keep); 執(zhí)行單位中電北京中電普華信息技術(shù)有限公司 執(zhí)行人員王浩 確認劉勤明 備注 5.3.5. 整理表碎片整理表碎片 時間2013 年 11 月 23 日 00：50 地點黑龍江電力公司 操作內(nèi)容說明 整理部分碎片較大的表 操作步驟以 oracle 用戶在 PMLJPDBA 執(zhí)行： sqlplus / as sysdba 執(zhí)行以下腳本 執(zhí)行單位中電北京中電普華信息技術(shù)有限公司 執(zhí)行人員王浩 確認劉勤明 備注 5.3.6. 整理索引碎片整理索引碎片 時間2013 年 11 月 23 日 01：50 地點黑龍江電力公司 操作內(nèi)容說明 整理部分碎片較大的索引 操作步驟以 oracle 用戶在 PMLJPDBA 執(zhí)行： sqlplus / as sysdba 執(zhí)行以下腳本 14 執(zhí)行單位中電北京中電普華信息技術(shù)有限公司 執(zhí)行人員王浩 確認劉勤明 備注 5.3.7. 表分析表分析 時間2013 年 11 月 23 日 02：40 地點黑龍江電力公司 操作內(nèi)容說明 收集表和相關(guān)索引的統(tǒng)計信息 操作步驟以 oracle 用戶在 PMLJPDBA 執(zhí)行： sqlplus / as sysdba 執(zhí)行以下腳本 執(zhí)行單位中電北京中電普華信息技術(shù)有限公司 執(zhí)行人員王浩 確認劉勤明 5.3.8. 重啟數(shù)據(jù)庫，使修改的配置生效重啟數(shù)據(jù)庫，使修改的配置生效 時間2013 年 11 月 23 日 03：20 地點黑龍江電力公司 操作內(nèi)容說明重啟數(shù)據(jù)庫，使修改的配置生效 操作步驟以 oracle 用戶在 PMLJPDBA 執(zhí)行： srvctl stop database -d EPMLJ -i EPMLJ1, EPMLJ2 -o immediate srvctl start database -d EPMLJ 執(zhí)行單位中電北京中電普華信息技術(shù)有限公司 執(zhí)行人員王浩 確認劉勤明 備注 15 5.3.9. 調(diào)整后工作調(diào)整后工作 時間2013 年 11 月 23 日 03：30 地點黑龍江電力公司 操作內(nèi)容說明 1. 檢查無效對象 2. 啟動數(shù)據(jù)庫監(jiān)聽，檢查集群狀態(tài) 3. 恢復 crontab 中涉及數(shù)據(jù)庫的任務 4. 檢查恢復作業(yè)隊列進程 5. 啟動業(yè)務應用 操作步驟 以 oracle 用戶登錄操作系統(tǒng)，在 PMLJPDBA 節(jié)點執(zhí)行下列步驟 1. 檢查無效對象 sqlplus / as sysdba 執(zhí)行以下腳本 2. 啟動監(jiān)聽、檢查集群狀態(tài) 使用 oracle 用戶在 PMLJPDBA 和 PMLJPDBB 兩臺主 機分別執(zhí)行： srvctl start listener crs_stat t 3. 通知專責啟動中間件 執(zhí)行單位中電北京中電普華信息技術(shù)有限公司 執(zhí)行人員王浩 確認劉勤明 備注由信通運維人員負責啟動業(yè)務應用 5.3.10.詳細實施計劃詳細實施計劃 編號編號 實施項目實施項目操作時間操作時間風險等級風險等級 1.停止中間件5 分鐘一般 16 2.備份操作系統(tǒng)參數(shù)5 分鐘一般 3.備份數(shù)據(jù)庫參數(shù)5 分鐘一般 4.停止監(jiān)聽10 分鐘一般 5.修改操作系統(tǒng)參數(shù)5 分鐘一般 6.修改數(shù)據(jù)庫參數(shù)10 分鐘一般 7.重啟數(shù)據(jù)庫15 分鐘一般 8.整理表碎片60 分鐘一般 9.整理索引碎片50 分鐘一般 10.收集表和對象的統(tǒng)計信息40 分鐘一般 11.將 PL/SQL 對象 keep 至共享池20 分鐘一般 12.調(diào)整業(yè)務用戶表空間限額10 分鐘一般 13.啟動監(jiān)聽5 分鐘一般 14.啟動 OGG 服務2 分鐘一般 15.確認系統(tǒng)正常訪問5 分鐘一般 17 6. 驗證測試驗證測試 編號編號項目項目監(jiān)控內(nèi)容監(jiān)控內(nèi)容監(jiān)控方法監(jiān)控方法 1操作系統(tǒng)性能監(jiān)控CPU、IO、Memory 使用情況 通過開啟 glance 監(jiān)控,使用 topas、iostat、vmstat 工具察看 2數(shù)據(jù)庫性能監(jiān)控數(shù)據(jù)庫響應時間、等 待事件以及執(zhí)行時間 較長的 SQL 語句的 執(zhí)行計劃等 執(zhí)行 sql 語句 3業(yè)務系統(tǒng)性能監(jiān)控業(yè)務處理情況登陸業(yè)務系統(tǒng)驗證 18 7. 應急回退預案（應急回退預案（11 月月 23 日日 00：00-04：00） 在系統(tǒng)調(diào)整后，第二天業(yè)務運行過程中發(fā)現(xiàn)，頁面打開緩慢，頁面一直處 于讀取狀態(tài)，卻不顯示結(jié)果。進行表碎片和索引碎片的回退處理。 7.1.調(diào)整操作系統(tǒng)參數(shù)調(diào)整操作系統(tǒng)參數(shù) 調(diào)整調(diào)整 VMM 空間空間 操作內(nèi)容說明 調(diào)整 VM maxperm%、minperm%、maxclient%相關(guān)參 數(shù)。 操作步驟 1. 主機 PMLJPDB1，PMLJPDB2 節(jié)點，root 用戶登錄操作系 統(tǒng)，執(zhí)行： kctune nproc=4200 kctune nkthread=8416 kctune filecache_max= kctune filecache_min= kctune maxfiles=10000 kctune maxfiles_lim=10000 回退方式 將系統(tǒng)參數(shù)修改回調(diào)整前值 或者使用備份文件 /oracle/init2013.ora 來啟動，并更新 spfile 7.2.調(diào)整數(shù)據(jù)庫參數(shù)調(diào)整數(shù)據(jù)庫參數(shù) 操作內(nèi)容說明數(shù)據(jù)庫初始化參數(shù)調(diào)整，其中 EPMLJ1, EPMLJ2 是數(shù)據(jù)庫實 例名。 操作步驟修改初始化參數(shù)，并重啟數(shù)據(jù)庫 在 PMLJPDBA 節(jié)點，oracle 用戶登錄操作系統(tǒng)，執(zhí)行： export ORACLE_SID= EPMLJ1 sqlplus “/ as sysdba” alter system set session_cached_cursors =200 scope=spfile sid=*; SQL exit srvctl stop database -d EPM_HLJ -i EPMLJ1,EPMLJ2 -o 19 immediate srvctl start database -d EPM_HLJ 回退方式如果參數(shù)調(diào)整出現(xiàn)問題，則將參數(shù)調(diào)整為原來的值 7.3.調(diào)整實例調(diào)整實例 parallel 相關(guān)參數(shù)相關(guān)參數(shù) 操作內(nèi)容說明調(diào)整實例并行相關(guān)參數(shù) 操作步驟以 oracle 用戶在 PMLJPDBA 執(zhí)行如下命令 sqlplus / as sysdba SQL alter system reset instance_groups scope=spfile sid=snbcdb1; SQL alter system reset instance_groups scope=spfile sid=snbcdb2; SQL alter system reset parallel_instance_group scope=spfile sid=snbcdb1; SQL alter system reset parallel_instance_group scope=spfile sid=snbcdb2; SQL exit srvctl stop database -d EPM_HLJ -i EPMLJ1,EPMLJ2 -o immediate srvctl start database -d EPM_HLJ 回退方式將數(shù)據(jù)庫參數(shù)修改回調(diào)整前值，然后重啟數(shù)據(jù)庫 7.4.調(diào)整內(nèi)存調(diào)整內(nèi)存 Cache(defalult/keep/recycle) 7.4.1. 將經(jīng)常使用的表放入將經(jīng)常使用的表放入 keep 池池 操作內(nèi)容說明開啟部分頻繁訪問的表 cache 屬性，將頻繁訪問的索引 keep 至緩沖區(qū) 操作步驟以 oracle 用戶在 PMLJPDBA 執(zhí)行如下命令 sqlplus / as sysdba alter table EPM_HLJ.P_CODE_EXTEND storage(buffer_pool default); alter table EPM_HLJ.P_CODE_SORT_EXTEND storage(buffer_pool default); alter table EPM_HLJ.P_CODE storage(buffer_pool default