黑龍江移動(dòng)中間件系統(tǒng)健康檢查報(bào)告2013

內(nèi)容概 服務(wù)記 基本情 評估結(jié)果綜 故 業(yè)務(wù)系統(tǒng) 評估結(jié) 配置檢 主機(jī)配置檢 中間件產(chǎn)品版本檢 TUX域配置檢 WLS域配置檢 hlj 日志排 5其他支撐業(yè)務(wù)系統(tǒng) 評估結(jié) 配置檢 主機(jī)配置檢 中間件產(chǎn)品版本檢 WLS域配置檢 日志排 6綜合接口 評估結(jié) 配置檢 主機(jī)配置檢 中間件產(chǎn)品版本檢 WLS域配置檢 日志排 7一級 評估結(jié) 配置檢 主機(jī)配置檢 中間件產(chǎn)品版本檢 TUX域配置檢 WLS域配置檢 日志排 8 評估結(jié) 配置檢 主機(jī)配置檢 中間件產(chǎn)品版本檢 WLS域配置檢 日志排 9 評估結(jié) 配置檢 主機(jī)配置檢 中間件產(chǎn)品版本檢 WLS域配置檢 日志排 10 評估結(jié) 配置檢 主機(jī)配置檢 中間件產(chǎn)品版本檢 WLS域配置檢 日志排 評估結(jié) 配置檢 主機(jī)配置檢 中間件產(chǎn)品版本檢 WLS域配置檢 日志排 案例分 營業(yè)系統(tǒng)wls實(shí)例 線程掛起(stuck 附 TUXEDO8.1RP320~375 服務(wù)記錄現(xiàn)場日期：20130115~1問題分類：HealthChec（中間件）工程師：( dolin.swen.sun@客戶聯(lián)系人：(基本情況2013.01.15~2013.01.17對黑龍江移動(dòng)基于中間件產(chǎn)品的相關(guān)業(yè)務(wù)系統(tǒng)進(jìn)行系統(tǒng)健康檢查。同時(shí)對場期間可能存在的系統(tǒng)運(yùn)行配置問題和運(yùn)行故障進(jìn)行分析診斷。本次檢查的主要目標(biāo)系統(tǒng)為：業(yè)務(wù)系統(tǒng)(營業(yè))，一級boss，與其他支撐系統(tǒng)總體檢查情況：系統(tǒng)近期運(yùn)行穩(wěn)定，目前最主要的問題是產(chǎn)品版本問題，大部分系統(tǒng)包括營業(yè)系統(tǒng)使用的中間件產(chǎn)品版本已經(jīng)生命周期結(jié)束，且停止了標(biāo)準(zhǔn)產(chǎn)品服務(wù)支持。主要建議如下：2012.04巡檢中相關(guān)的大多數(shù)參數(shù)配置建議并未有效實(shí)施，建議在后續(xù)運(yùn)維中逐步實(shí)施啟用。產(chǎn)品版本；當(dāng)前系統(tǒng)使用的中間件產(chǎn)品版本普遍較低，且已結(jié)束產(chǎn)品支持服務(wù)，建議及時(shí)更新至當(dāng)前版本。建議的產(chǎn)品版本如下：wls:10.3mp5/mp6；對應(yīng)的JDK版本，建議使用1.6主版本系列下 版本tux:10gR3RP089/11gR1PS1RP039配置改進(jìn)建議；部分系統(tǒng)配置參數(shù)存在改進(jìn)空間，建議根據(jù)各系統(tǒng)配置分的結(jié)果酌情調(diào)整系統(tǒng)主要使用wls8.1，目前配置符合最佳實(shí)踐的是esb 1@2.77(除了web應(yīng)用的更新檢查項(xiàng))，建議參考。tuxedo服務(wù)進(jìn)程問題；建議排查代碼實(shí)現(xiàn)wls部分實(shí)例存在OOM故障；故障主要為內(nèi)存碎片問題，可參考巡檢報(bào)告(2012.08)措施處理wls部分實(shí)例存程掛起現(xiàn)象；建議參考案例分析相關(guān)部分進(jìn)行后續(xù)的排查或調(diào)整故障

fixesappliedissue jvmjvm 業(yè)務(wù)系統(tǒng)(0.121~124,2.155~158)業(yè)務(wù)系統(tǒng)使用中間件產(chǎn)品TUXEDO，WebLogicServer。分布于55~2.158 101100121~01248臺(tái)主機(jī)。TUX：55~2.158。使用iboss*，i *用戶分別運(yùn)行兩個(gè)tuxedo運(yùn)行域。各主機(jī)配置基本相同，巡檢目標(biāo)為2.155；其他主機(jī)可直接參考。(*iboss1/2/3/4，i 1/2/3/4)。WLS101100121~0124。使用webappkfweb運(yùn)行多個(gè)wls域，各主機(jī)配置類似，0122，其他主機(jī)可直接參考。評估結(jié)果總體運(yùn)行正常：當(dāng)前使用的TUXEDO產(chǎn)品版本8.1已經(jīng)處于產(chǎn)品生命周期狀態(tài)，已停止后續(xù)的產(chǎn)品支持服務(wù)(2010.02)(包括擴(kuò)展支持服務(wù)2011.02)也已結(jié)束，為獲得更好的產(chǎn)品穩(wěn)定性，性能、功能和支持服務(wù)，建議評估升級使用當(dāng)前的 版本。當(dāng)前使用RP319，TUXEDO8.1/最終RP版本為RP375當(dāng)前使用的WebLogicServer產(chǎn)品版本8.1已經(jīng)處于產(chǎn)品生命周期狀態(tài)，已停止后續(xù)的產(chǎn)品支持服務(wù)200909包括擴(kuò)展支持服務(wù)201109，為獲得更好的產(chǎn)品穩(wěn)定性，性能、功能和支持服務(wù)，建議評估升當(dāng)前使用8.1sp4，8.1/最終版本為8.1sp6資源使用基本正常，CPU空閑60%；但是在wls部分，存在內(nèi)存碎片導(dǎo)致的內(nèi)存溢出現(xiàn)象，建議根據(jù)案例分析部分進(jìn)行參數(shù)調(diào)整。無明顯的排隊(duì)現(xiàn)象部分服務(wù)存在進(jìn)程異?，F(xiàn)象(有對應(yīng)的core文件生成)；由于有自動(dòng)重啟機(jī)制，在業(yè)務(wù)端可能無明顯的影響；基于系統(tǒng)穩(wěn)定性要求，建議對此類故障進(jìn)行排查(dbx*)，確認(rèn)并進(jìn)行更正。core文件數(shù)量較多，可能造成較高的磁盤占用，建議故障排查后及時(shí)進(jìn)行歸檔整理。*1filecorecoredump2dbxcore文件進(jìn)入提示符后where指令列印導(dǎo)致進(jìn) 的方法調(diào)用棧；3.根據(jù)調(diào)用棧排查應(yīng)用代碼實(shí)現(xiàn)。后續(xù)建議如下：產(chǎn)品版本較低，建議及時(shí)更新升級，以獲得更好的性能和穩(wěn)定性，配置參數(shù)存在改進(jìn)空間。配置檢查配置檢查主要針對中間件產(chǎn)品基本配置，所在環(huán)境的操作系統(tǒng)參數(shù)情況進(jìn)行檢查和評估，根據(jù)產(chǎn)品配置最佳實(shí)踐給出改進(jìn)調(diào)整的建議。主機(jī)配置檢查目標(biāo)系統(tǒng)均使用IBMAIXTUX53_09WLS53_06，其參數(shù)自適應(yīng)配置基本滿足ORACLE中間件產(chǎn)品的常規(guī)運(yùn)行要求。AIX主機(jī)的性能優(yōu)化參數(shù)配置通常適用于中間件產(chǎn)品的運(yùn)行，可參考OS廠商相關(guān)說明。建議：基于產(chǎn)品運(yùn)行的穩(wěn)定性、性能表現(xiàn)和可性，建議升級/更新至推薦的產(chǎn)品版本(10.3mp5/mp6)；如考慮用的可移植性，至少應(yīng)使用8.1中 版本8.1sp6對于wls使用的JDK版本，建議使用滿足驗(yàn)證平臺(tái)的主版本中的 版本。產(chǎn)品版本：WLS：當(dāng)前使用8.1sp4withCR237198，其版本為8.1sp6；當(dāng)前推薦使用的產(chǎn)品版本wls103mp5mp6JDK(forWLS)：當(dāng)前使用1.4.2sr8；滿足當(dāng)前WLS產(chǎn)品運(yùn)行要求。加以使用/最終版本為1.4.2sr1參考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmTUX：當(dāng)前使用8.1PL319，版本為RP375；當(dāng)前推薦產(chǎn)品版本為TUX10gR3TUX域配置檢查配置檢查目標(biāo)：iboss1 1@155滿足maxaccessors>maxserver+ s+ s=local s+wsh(max)+1(tmadmin)iboss1:(/iboss1/run/cfg/tuxconfig) servers:services: 1:(/i LDBALY servers:services:*2、 NO_XAxa配置可關(guān)閉相關(guān)服務(wù)減少管理開銷。OPTIONS*3、對于多CPU主機(jī)系統(tǒng)應(yīng)適當(dāng)設(shè)置sp ount(>=10000)如： OUNT=80000；具體數(shù)值根據(jù)業(yè)務(wù)吞吐量變化酌情設(shè)置。當(dāng)前配置：SP 滿足*1、可能使用mssq提高系統(tǒng)處理效率對于mssq單組服務(wù)數(shù)量應(yīng)控制在10個(gè)左右MSSQ8個(gè)左右避免>10；如因并發(fā)需要可2mssq模式下盡量使用REPLYQ=Y3、類服務(wù)如WSLJSL 應(yīng)在業(yè)務(wù)服務(wù)啟動(dòng)后再啟動(dòng)避免不必要的服務(wù)錯(cuò)誤 時(shí)動(dòng)重啟服務(wù)以減少對業(yè)務(wù)的影響on_startupWLS域配置檢查以域作為配置檢查目標(biāo)，章節(jié)命名：(admin_addr:admin_port10wlswebapp5個(gè)實(shí)例admin4managedkfweb用戶配置有213實(shí)例域和一個(gè)2實(shí)例域，201208分別為2實(shí)例域admin+1managed和一個(gè)單實(shí)例域。hlj(0.121/2/3/4:10000) ：/webapp/hl滿足admin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。admin*server：1024m(svr110001536m)~1536mXk10000IBMJDKmx-ms>=512mkp參數(shù)。通常的初始設(shè)置可為-Xk22000-Xp64k,16k并根據(jù)應(yīng)用運(yùn)行情況適當(dāng)調(diào)整。adminserverwls生產(chǎn)環(huán)境150=>wls實(shí)例線程數(shù)>=50HljRptQueueLoginQueueweblogickernel.Defaultsvr11000QueryQueue50005wlscpu使用情況包括cpusysusr的比例關(guān)系通常情況下sys相對于usr越小則cpu資源使用越有效率。建議更新*testonreserve避免同時(shí)開啟多個(gè)檢測選項(xiàng)可能導(dǎo)致的死鎖。當(dāng)前配置開啟了所有3個(gè)測試選項(xiàng)statemantcache請根據(jù)實(shí)際運(yùn)行狀況酌情調(diào)整通常10～20wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表滿足當(dāng)前文件更新檢查(jsp/servlet*對于量較大的應(yīng)用5s間隔仍會(huì)對系統(tǒng)性能造成一定影響建議適當(dāng)增加該值如>=60s生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）閉文件更新檢查(-1)如使用包部署(war)情況下。滿足當(dāng)前連接策略為缺省on_demand存在負(fù)載均衡配置(應(yīng)用特定實(shí)現(xiàn) svc_*1on_startup確保連接可用性。(tuxon_startup此種情況下本項(xiàng)不做要求建議明確設(shè)置地址提高可管理性減少不必要的性能開銷。kf(0.121/2/3/4:15020) ：/kfweb s/k滿足admin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。admin1536m~1536m-Xk10000-IBMJDKmx-ms>=512mkp參數(shù)。通常的初始設(shè)置可為-Xk22000-Xp64k,16k并根據(jù)應(yīng)用運(yùn)行情況適當(dāng)調(diào)整。-生產(chǎn)環(huán)境150=>wls實(shí)例線程數(shù)>=50wlscpu使用情況包括cpusysusr的比例關(guān)系通常情況下sys相對于usr越小則cpu資源使用越有效率。建議更新*testonreserve避免同時(shí)開啟多個(gè)檢測選項(xiàng)可能導(dǎo)致的死鎖。當(dāng)前配置開啟了所有3個(gè)測試選項(xiàng)size將增加堆內(nèi)存占用和數(shù)據(jù)庫端的資源開銷。wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表當(dāng)前文件更新檢查(jsp/servlet生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）閉文件更新檢查(-1)如使用包部署(war)情況下。滿足當(dāng)前連接策略為缺省on_demand存在負(fù)載均衡配置(應(yīng)用特定實(shí)現(xiàn) svc_*1on_startup確保連接可用性。(tuxon_startup此種情況下本項(xiàng)不做要求建議明確設(shè)置地址提高可管理性減少不必要的性能開銷。kfreport (0.121/2/3/4:16000) ：/kfweb s/kfreporadmin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。admin(server)1024m~2048mXk10000IBMJDKmx-ms>=512mkp參數(shù)。通常的初始設(shè)置可為-Xk22000-Xp64k,16k并根據(jù)應(yīng)用運(yùn)行情況適當(dāng)調(diào)整。 -生產(chǎn)環(huán)境150=>wls實(shí)例線程數(shù)>=50wlscpu使用情況包括cpusysusr的比例關(guān)系通常情況下sys相對于usr越小則cpu資源使用越有效率。滿足size將增加堆內(nèi)存占用和數(shù)據(jù)庫端的資源開銷。wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表當(dāng)前文件更新檢查(配置文件無權(quán)限查看生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）閉文件更新檢查(-1)如使用包部署(war)情況下。建議明確設(shè)置地址提高可管理性減少不必要的性能開銷。 日志排查tuxedo(iboss/) 的方法調(diào)用棧；3.根據(jù)調(diào)用棧排查應(yīng)用代碼實(shí)現(xiàn)。)tpcallerrno=6(wsh)&noentry 日志中存在tpcall失敗，errno=6，和gwt cmd_tux764cannotattachtotmadmin-r進(jìn)入管理界面，避免可能的管理權(quán)限占用 如kfwebserver@0.122access.log。 其他支撐業(yè)務(wù)系統(tǒng)(0.125,0.126)目標(biāo)主機(jī)為：101100125101100126本次巡檢期間的實(shí)例分布情況：101100125共運(yùn)行有48wls實(shí)例11個(gè)被管，其他均為admin；0126運(yùn)行有43wls實(shí)例10個(gè)被管，其他均為admin；此兩主機(jī)上存在較多的單實(shí)例wls域。本次巡檢的wls配置檢查針對KmsDom012557100)進(jìn)行，其他域配置請酌情參考使用。評估結(jié)果系統(tǒng)總體運(yùn)行正常。 系統(tǒng)存在較多OOM的javacore記錄，建議根據(jù)案例分析部分適當(dāng)調(diào)整內(nèi)存參數(shù)CPU內(nèi)存資源占用較高，0801進(jìn)行了內(nèi)存擴(kuò)容，占用情況均有明顯改善；運(yùn)行系統(tǒng)較多，wls實(shí)例數(shù)中間件產(chǎn)品版本存在多個(gè)，8.1sp4，10.3.0；均非版本，其中8.1sp4生命周期已；建議更新級，對于8.1，至少應(yīng)使用/最終版本8.1sp6；對于10.3建議使用當(dāng)前較新的版103mp5mp6配置檢查主機(jī)配置檢查使用操作系統(tǒng)為IBMAIX53_11ORACLE中間件產(chǎn)品在該環(huán)境下對系統(tǒng)參數(shù)無特別要求。建議：基于產(chǎn)品運(yùn)行的穩(wěn)定性、性能表現(xiàn)和可性，建議升級/更新至推薦的產(chǎn)品版本(10.3mp5/mp6)；如考慮用的可移植性，至少應(yīng)使用8.1中 版本8.1sp6對于wls使用的JDK版本，建議使用滿足驗(yàn)證平臺(tái)的主版本中的 版本。產(chǎn)品版本：WLS：當(dāng)前使用8.1sp4withCR237198和10.3.0，其中8 版本為8.1sp6，10.3推薦103mp5mp6JDK(forWLS)：8.1使用1.4.2sr8和sr13兩種版本；滿足當(dāng)前WLS產(chǎn)品運(yùn)行要求，其/最終發(fā)行版本為：1.4.2sr13；10.3使用1.6sr5，非版本。參考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmWLS域配置檢查KmsDom(0.125:57100) ：/kms s/KmsDo滿足admin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。IBMJDKmx-ms>=512mkp參數(shù)。通常的初始設(shè)置可為-Xk22000-Xp64k,16k并根據(jù)應(yīng)用運(yùn)行情況適當(dāng)調(diào)整。應(yīng)用上存在OOM故障(2011.11)近期無相關(guān)故障分析從略生產(chǎn)環(huán)境150=>wls實(shí)例線程數(shù)>=50100部分為缺省連接測試功能；建議僅開啟testonreserve避免同時(shí)開啟多個(gè)檢測選項(xiàng)可能導(dǎo)致的死鎖。size將增加堆內(nèi)存占用和數(shù)據(jù)庫端的資源開銷。wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表kmsweb(jsp/servlet1800/-1） work(jsp/servlet1/-1)生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）閉文件更新檢查(-1)如使用包部署(war)情況下。當(dāng)前連接策略為缺省on_demand存在負(fù)載均衡配置(應(yīng)用特定實(shí)現(xiàn) svc_*1on_startup確保連接可用性。(tuxon_startup此種情況下本項(xiàng)不做要求建議明確設(shè)置地址提高可管理性減少不必要的性能開銷。ngmktdom(0.125:47100) ：/ngmkt/mktweb s/ngmktdo滿足通常admin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。具 OOM故障詳見案例分析部分80-150/15~10testonreservesize將增加堆內(nèi)存占用和數(shù)據(jù)庫端的資源開銷。wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表建議更新*jsp/servlet/resource生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）閉文件更新檢查(-1)如使用包部署(war)情況下。當(dāng)前連接策略為缺省on_demand存在負(fù)載均衡配置(應(yīng)用特定實(shí)現(xiàn) svc_*1on_startup確保連接可用性。(tuxon_startup此種情況下本項(xiàng)不做要求建議明確設(shè)置地址提高可管理性減少不必要的性能開銷。日志排查 綜合接口目標(biāo)主機(jī)為：101102222。該主機(jī)運(yùn)行一個(gè)單實(shí)例wls域。評估結(jié)果系統(tǒng)總體運(yùn)行正常。并發(fā)相對較低，系統(tǒng)CPU資源占用較低，80%左右空閑中間件產(chǎn)品版本8.1sp4，非版本，且生命周期已；建議更新升級至10.3mp5/mp6，對于8.1，至少應(yīng)使用/最終版本8.1sp6。配置檢查主機(jī)配置檢查使用操作系統(tǒng)為IBMAIX53_11ORACLE中間件產(chǎn)品在該環(huán)境下對系統(tǒng)參數(shù)無特別要求。建議：基于產(chǎn)品運(yùn)行的穩(wěn)定性、性能表現(xiàn)和可性，建議升級/更新至推薦的產(chǎn)品版本(10.3mp5/mp6)；如考慮用的可移植性，至少應(yīng)使用8.1中 版本8.1sp6對于wls使用的JDK版本，建議使用滿足驗(yàn)證平臺(tái)的主版本中的 版本。產(chǎn)品版本：WLS：當(dāng)前使用8.1sp4withCR237198，其版本為8.1sp6；當(dāng)前推薦使用的產(chǎn)品版本wls103mp5mp6JDK(forWLS)：8.1使用1.4.2sr13；滿足當(dāng)前WLS產(chǎn)品運(yùn)行要求，其/最終版本為：1.4.2sr13。參考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmWLS域配置檢查iag (2.222:8800 ：/interface s/iag滿足admin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。IBMJDKmx-ms>=512mkp參數(shù)。通常的初始設(shè)置可為-Xk22000-Xp64k,16k并根據(jù)應(yīng)用運(yùn)行情況適當(dāng)調(diào)整。生產(chǎn)環(huán)境150=>wls實(shí)例線程數(shù)>=50缺省建議更新*testonreserve避免同時(shí)開啟多個(gè)檢測選項(xiàng)可能導(dǎo)致的死鎖。當(dāng)前同時(shí)開啟了3個(gè)測試選項(xiàng)。size將增加堆內(nèi)存占用和數(shù)據(jù)庫端的資源開銷。40wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表建議更新缺省*生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）關(guān)閉文件更新檢查(-1)如使用包部署(war)情況下。滿足當(dāng)前連接策略為缺省on_demand存在負(fù)載均衡配置(應(yīng)用特定實(shí)現(xiàn) svc_*1on_startup確保連接可用性。(tuxon_startup此種情況下本項(xiàng)不做要求建議明確設(shè)置地址提高可管理性減少不必要的性能開銷。日志排查atcom.sitech.dsmp.servlet.BossRes.doPost(BossRes.java(CompiledCode))atjavax.servlet.http.HttpServlet.service(HttpServlet.java(CompiledCode))atweblogic.security.service.SecurityManager.runAs(SecurityManager.java(InlinedCompiledCode))aternal.ServletRequestImpl.execute(ServletRequestImpl.java(CompiledCode))atweblogic.kernel.ExecuteThread.run(ExecuteThread.java(CompiledCode))> 目標(biāo)主機(jī)為：101102223101102224各主機(jī)獨(dú)立運(yùn)行4個(gè)單實(shí)例WLS1tuxedoSHM域。本次巡檢的配置檢查針對2223進(jìn)行，其他域配置請酌情參考使用。評估結(jié)果系統(tǒng)總體運(yùn)行正常。并發(fā)相對較低，系統(tǒng)CPU資源占用較低中間件產(chǎn)品版本8.1sp4和10.3mp3；建議更新升級至10.3mp5/mp6，對于8.1，至少應(yīng)使用/最終版本8.1sp6。配置檢查主機(jī)配置檢查使用操作系統(tǒng)為IBMAIX53_11ORACLE中間件產(chǎn)品在該環(huán)境下對系統(tǒng)參數(shù)無特別要求。建議：基于產(chǎn)品運(yùn)行的穩(wěn)定性、性能表現(xiàn)和可性，建議升級/更新至推薦的產(chǎn)品版本(10.3mp5/mp6)；如考慮用的可移植性，至少應(yīng)使用8.1中 版本8.1sp6對于wls使用的JDK版本，建議使用滿足驗(yàn)證平臺(tái)的主版本中的 版本。產(chǎn)品版本：WLS：當(dāng)前使用10.3mp3(onebossDom1)，和8.1sp4withCR237198(bbossDom)，其發(fā)JDK(forWLS)：當(dāng)前使用1.4.2sr13；滿足當(dāng)前WLS產(chǎn)品運(yùn)行要求。/最終版本為：1.4.2sr13TUX：當(dāng)前使用8.1PL319，版本為RP375；當(dāng)前推薦產(chǎn)品版本為TUX10gR3TUX域配置檢查/tbm/boss/run/cf滿足maxaccessors>maxserver+ s+ s=local s+wsh(max)+1(tmadmin) *2、 NO_XAxa配置可關(guān)閉相關(guān)服務(wù)減少管理開銷。OPTIONS*3、對于多CPU主機(jī)系統(tǒng)應(yīng)適當(dāng)設(shè)置sp ount(>=10000)如： OUNT=80000；具體數(shù)值根據(jù)業(yè)務(wù)吞吐量變化酌情設(shè)置。當(dāng)前配置：SP 滿足*1、可能使用mssq提高系統(tǒng)處理效率對于mssq單組服務(wù)數(shù)量應(yīng)控制在10個(gè)左右MSSQ8個(gè)左右避免>10；如因并發(fā)需要可2mssq模式下盡量使用REPLYQ=Y3、類服務(wù)如WSLJSL 應(yīng)在業(yè)務(wù)服務(wù)啟動(dòng)后再啟動(dòng)避免不必要的服務(wù)錯(cuò)誤 時(shí)動(dòng)重啟服務(wù)以減少對業(yè)務(wù)的影響滿足on_startupWLS域配置檢查主機(jī)上獨(dú)立運(yùn)行4wls域（bbossnboss12實(shí)例weblogic）onebossSvr1onebossDom1(2.223:7001 ：/bea/weblogic81 s/onebossDom滿足admin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。512m~2048m-Xk15000-IBMJDKmx-ms>=512mkp參數(shù)。通常的初始設(shè)置可為-Xk22000-Xp64k,16k并根據(jù)應(yīng)用運(yùn)行情況適當(dāng)調(diào)整。生產(chǎn)環(huán)境150=>wls實(shí)例線程數(shù)>=50當(dāng)前配置160~3005~101提高效率。testonreservesize將增加堆內(nèi)存占用和數(shù)據(jù)庫端的資源開銷。wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表jsp/servlet-1/-生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）閉文件更新檢查(-1)如使用包部署(war)情況下。滿足*1on_startup確保連接可用性。(tuxon_startup此種情況下本項(xiàng)不做要求建議明確設(shè)置地址提高可管理性減少不必要的性能開銷。日志排查 。2012.12.12onebossDom1@223 nbus(2.229)目標(biāo)主機(jī)為：101102229。8wls實(shí)例：smspus 用戶運(yùn) 個(gè)實(shí)例( 個(gè)獨(dú)立的 wl 實(shí)例域，均 wl 10.3)custseluipechnsms1chnjsp各運(yùn)行一個(gè)單實(shí)例wlsechnsms1wls103wls81sp4。本次配置檢查針對shortMsgNe (wls10.3)，uip(wls8.1)評估結(jié)果系統(tǒng)總體運(yùn)行正常。并發(fā)相對較低，系統(tǒng)CPU資源占用較低中間件產(chǎn)品存在多個(gè)版本，8.1sp4和10.3.0，均非版本，且8.1sp4生命周期已；建議更新升至10.3mp5/mp6；對于8.1，至少應(yīng)使用/最終版本8.1sp6配置檢查主機(jī)配置檢查使用操作系統(tǒng)為IBMAIX53_11ORACLE中間件產(chǎn)品在該環(huán)境下對系統(tǒng)參數(shù)無特別要求。建議：基于產(chǎn)品運(yùn)行的穩(wěn)定性、性能表現(xiàn)和可性，建議升級/更新至推薦的產(chǎn)品版本(10.3mp5/mp6)；如考慮用的可移植性，至少應(yīng)使用8.1中 版本8.1sp6對于wls使用的JDK版本，建議使用滿足驗(yàn)證平臺(tái)的主版本中的 版本。產(chǎn)品版本：WLS81sp4withCR2371981030；當(dāng)前推薦使用的產(chǎn)品版本為wls103mp5mp6。JDKforWLS81142sr1310316sr5WLS產(chǎn)品運(yùn)行要求，其中14新/最終版本為：1.4.2sr13；1.6非當(dāng)前版本參考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmWLS域配置檢查 ：/nbus1/uip

uip(2.229:6655)滿足admin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。*IBMJDKmx-ms>=512mkp參數(shù)。通常的初始設(shè)置可為-Xk22000-Xp64k,16k并根據(jù)應(yīng)用運(yùn)行情況適當(dāng)調(diào)整。建議更新100~200testonreserve1s*對于最小值與最大值不同的場景建議適當(dāng)提高增加連接的步進(jìn)值(5～10)size將增加堆內(nèi)存占用和數(shù)據(jù)庫端的資源開銷。wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表建議更新缺省*生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）關(guān)閉文件更新檢查(-1)如使用包部署(war)情況下。滿足*on_demand*1on_startup確保連接可用性。(tuxon_startup此種情況下本項(xiàng)不做要求*2、根據(jù)需要配置域連接的高可用性。(容錯(cuò)建議明確設(shè)置地址提高可管理性減少不必要的性能開銷。日志文件較多建議根據(jù)實(shí)際情況歸檔或限制日志文件數(shù)量shortMsgNew(2.229:9005) ：/smspush s/shortMsgNe滿足admin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。*IBMJDKmx-ms>=512mkp參數(shù)。通常的初始設(shè)置可為-Xk22000-Xp64k,16k并根據(jù)應(yīng)用運(yùn)行情況適當(dāng)調(diào)整。如存在突發(fā)的高并發(fā)應(yīng)適當(dāng)增加初始線程數(shù).啟動(dòng)中添加參-；具體數(shù)值請參考并發(fā)數(shù)和資源酌情調(diào)整單實(shí)例不宜>200當(dāng)前2~155~15size將增加堆內(nèi)存占用和數(shù)據(jù)庫端的資源開銷。wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表建議更新缺省*生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）關(guān)閉文件更新檢查(-1)如使用包部署(war)情況下。當(dāng)前連接策略為缺省on_demand存在負(fù)載均衡配置(應(yīng)用特定實(shí)現(xiàn) svc_*1on_startup確保連接可用性。(tuxon_startup此種情況下本項(xiàng)不做要求建議明確設(shè)置地址提高可管理性減少不必要的性能開銷。日志排查:: dsmp(2.24)目標(biāo)主機(jī)為：10110224。1wls實(shí)例。評估結(jié)果系統(tǒng)總體運(yùn)行正常。并發(fā)相對較低，中間件應(yīng)用系統(tǒng)對CPU資源的占用較低(當(dāng)前的CPU負(fù)載主要由其他應(yīng)用造成)中間件產(chǎn)品使用8.1sp4版本，非版本，且生命周期已；建議更新升級至10.3mp5/mp6；對8.1，至少應(yīng)使用/最終版本8.1sp6配置檢查主機(jī)配置檢查使用操作系統(tǒng)為IBMAIX53_09ORACLE中間件產(chǎn)品在該環(huán)境下對系統(tǒng)參數(shù)無特別要求。建議：基于產(chǎn)品運(yùn)行的穩(wěn)定性、性能表現(xiàn)和可性，建議升級/更新至推薦的產(chǎn)品版本(10.3mp5/mp6)；如考慮用的可移植性，至少應(yīng)使用8.1中 版本8.1sp6對于wls使用的JDK版本，建議使用滿足驗(yàn)證平臺(tái)的主版本中的 版本。產(chǎn)品版本：WLS81sp4withCR237198；當(dāng)前推薦使用的產(chǎn)品版本為wls103mp5mp6JDK(forWLS)：使用1.4.2sr11，滿足當(dāng)前WLS產(chǎn)品運(yùn)行要求，其中1.4/最終版本為142sr13參考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmWLS域配置檢查dsm (2.24:21000 ：/dsmp s/dsm滿足admin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。*IBMJDKmx-ms>=512mkp參數(shù)。通常的初始設(shè)置可為-Xk22000-Xp64k,16k并根據(jù)應(yīng)用運(yùn)行情況適當(dāng)調(diào)整。生產(chǎn)環(huán)境150=>wls實(shí)例線程數(shù)>=50當(dāng)前配置建議更新100~150*testonreserve避免同時(shí)開啟多個(gè)檢測選項(xiàng)可能導(dǎo)致的死鎖。當(dāng)前同時(shí)開啟了3個(gè)測試選項(xiàng)。size將增加堆內(nèi)存占用和數(shù)據(jù)庫端的資源開銷。wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表建議更新缺省*生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）關(guān)閉文件更新檢查(-1)如使用包部署(war)情況下。滿足on_demand*1on_startup確保連接可用性。(tuxon_startup此種情況下本項(xiàng)不做要求建議明確設(shè)置地址提高可管理性減少不必要的性能開銷。日志排查當(dāng)前系統(tǒng)運(yùn)行日志中無重大故障信息。存在與故障記錄類似的線程掛起和連接池容量不足問題，業(yè)務(wù)端暫時(shí)未有明顯影響，建議適當(dāng)關(guān)注。 chnesb(2.77,2.78)目標(biāo)主機(jī)為：10110277278；兩臺(tái)主機(jī)應(yīng)用配置類似，各自運(yùn)行四個(gè)獨(dú)立的單wls實(shí)例域上次巡檢為3個(gè)獨(dú)立域)。巡檢目標(biāo)主機(jī)為2.77；wls域配置檢查目標(biāo)為es 1@2.77(*巡檢時(shí)主機(jī)地址使用0.77，0.78評估結(jié)果系統(tǒng)總體運(yùn)行正常。并發(fā)相對較低，中間件應(yīng)用系統(tǒng)對CPU資源的占用較低中間件產(chǎn)品使用8.1sp6版本，為8.1的/最終版本，該產(chǎn)品版本生命周期已；建議更新升級103mp5mp6配置檢查主機(jī)配置檢查使用操作系統(tǒng)為IBMAIX53_11ORACLE中間件產(chǎn)品在該環(huán)境下對系統(tǒng)參數(shù)無特別要求。中間件產(chǎn)品版本檢查建議：基于產(chǎn)品運(yùn)行的穩(wěn)定性、性能表現(xiàn)和可性，建議升級/更新至推薦的產(chǎn)品版本(10.3mp5/mp6)。產(chǎn)品版本：WLS81sp6；當(dāng)前推薦使用的產(chǎn)品版本為wls103mp5mp6JDK(forWLS)：使用1.4.2sr13，滿足當(dāng)前WLS產(chǎn)品運(yùn)行要求，其中1.4/最終版本為142sr13參考：httpwwwibmcomdeveloperworksjavajdkaix142fixeshtmWLS域配置檢查es 1(2.77:57300 ：/chnesb s/es admin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。IBMJDKmx-ms>=512mkp參數(shù)。通常的初始設(shè)置可為-Xk22000-Xp64k,16k并根據(jù)應(yīng)用運(yùn)行情況適當(dāng)調(diào)整。生產(chǎn)環(huán)境150=>wls實(shí)例線程數(shù)>=50當(dāng)前配置20~50testonreservesize將增加堆內(nèi)存占用和數(shù)據(jù)庫端的資源開銷。wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表建議更新缺省*生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）關(guān)閉文件更新檢查(-1)如使用包部署(war)情況下。on_startup存在負(fù)載均衡和容錯(cuò)配置(高可用性1on_startup確保連接可用性。(tuxon_startup此種情況下本項(xiàng)不做要求建議明確設(shè)置地址提高可管理性減少不必要的性能開銷日志排查當(dāng)前系統(tǒng)運(yùn)行日志中無重大故障信息。 umcapacityofpool"chnesblogDS",making"0"newresourceinstancesinsteadof HLJPortal (67.4,67.5)目標(biāo)主機(jī)為：101116746757wls域admin+6managedadmin6757000。評估結(jié)果系統(tǒng)總體運(yùn)行正常。并發(fā)相對較低，CPU資源空閑在60%左右。中間件產(chǎn)品使用10.3.3版本，非版本，建議更新升級至10.3mp5/mp6配置檢查主機(jī)配置檢查使用操作系統(tǒng)為HP1131iTCPIP參數(shù)：中間件產(chǎn)品版本檢查建議：基于產(chǎn)品運(yùn)行的穩(wěn)定性、性能表現(xiàn)和可性，建議升級/更新至推薦的產(chǎn)品版本(10.3mp5/mp6)。對于wls使用的JDK版本，建議使用滿足驗(yàn)證平臺(tái)的主版本中的 版本。產(chǎn)品版本：WLS103mp3；當(dāng)前推薦使用的產(chǎn)品版本為wls103mp5mp6JDK(forWLS)：使用HP1.6_05(2009.10)，滿足當(dāng)前WLS產(chǎn)品運(yùn)行要求，非版本，建議升級WLS域配置檢查HLJPorta (67.5:7000 ：/home/HLJPortal/HLJPortaadmin僅作管理用途內(nèi)存參數(shù)不做具體要求可使用缺省值。14096m~4096mmaxpermsize如存在突發(fā)的高并發(fā)應(yīng)適當(dāng)增加初始線程數(shù).啟動(dòng)中添加參-；具體數(shù)值請參考并發(fā)數(shù)和資源酌情調(diào)整單實(shí)例不宜>200150~150*testonreservesize將增加堆內(nèi)存占用和數(shù)據(jù)庫端的資源開銷。wls集群配置中要求同一網(wǎng)段內(nèi)的不同集群設(shè)置唯一的多播地址如應(yīng)用存在RMI集群地址應(yīng)為集群中所有server地址的列表建議更新*jsp/servlet/resource0/-1/-*生產(chǎn)環(huán)境下應(yīng)適當(dāng)延長文件更新檢查(jsp/servlet/resource)120（1s）關(guān)閉文件更新檢查(-1)如使用包部署(war)情況下。on_startup存在負(fù)載均衡和容錯(cuò)配置(高可用性1on_startup確保連接可用性。(tuxon_startup此種情況下本項(xiàng)不做要求建議明確設(shè)置地址提高可管理性減少不必要的性能開銷日志排查當(dāng)前系統(tǒng)運(yùn)行日志中無重大故障信息。營業(yè)系統(tǒng)wls實(shí)例Crash本次巡檢中，仍然存在jvmcrash故障記錄20121104@121core文件不完整，如需后續(xù)排查，需要增加corefilesize以生成完整core文件；2012.11.19@122)?；赾rash記錄，建議及時(shí)更新JDK。08.2113:25wls實(shí)例(122:12000)，生成了core文件和javacore文件。javacore顯示進(jìn)程收到信號4(Signal4,SIGILL)，當(dāng)前線程203nostack。dbxcoredbxusrjava14binjavacore):Illegalinstruction(illegalopcode)in.at0x4f80098c(dbx)where.(internalerror:assertionfailedatline3650infileframe....+++reflink/support/docview.wss?uid=swg21181068#2.1.1SIGILLThisistheequivalentofakill-4command.Thismeansanillegalinstructionwasexecuted.Thiscanmeanacorruptionofthecodesegmentoranbranchthatisnotvalidwithinthenativecode.ThissignaloftenindicatesaproblemcausedbyJIT-compiledcode.建議：在對應(yīng)的wls啟動(dòng)中添加JVM運(yùn)行參數(shù)-Dpiler=NONE關(guān)閉JIT優(yōu)化編譯同時(shí)在IBMJDK1.4.2的故障解決列表中存在多個(gè)crash的記錄，建議更新JDK至1.4.2的 本（*JDK版本升級通常會(huì)要求特定OS補(bǔ)丁，升級JDK時(shí)務(wù)必按其要求安裝可能的OS補(bǔ)丁）線程掛起(stuckthreads)線程執(zhí)行特定業(yè)務(wù)請求過長的現(xiàn)象稱為線程掛起，此種情況下線程無法接受執(zhí)行新的業(yè)務(wù)請求。通常為資源或特定耗時(shí)業(yè)務(wù)操作導(dǎo)致；某些情況下，當(dāng)資源得到滿足或耗時(shí)操作完成后，線程能夠恢復(fù)正常并響應(yīng)新的請求；而如果資源和耗時(shí)操作（包括錯(cuò)誤的代碼實(shí)現(xiàn)）無法得到滿足或完成時(shí)，線程將持續(xù)維持在掛起stuckwl實(shí)例重啟。多個(gè)系統(tǒng)中存程掛起警告信息，部分線程能夠在后續(xù)運(yùn)行中恢復(fù)正常(unstuck)，此種掛起主要為耗時(shí)的業(yè)務(wù)操作，需要開發(fā)人員對相關(guān)的業(yè)務(wù)場景進(jìn)行必要的排查，確認(rèn)是否為正常的業(yè)務(wù)所需。對于特定耗時(shí)較長的業(yè)務(wù)場景，建議對此種操作分配單獨(dú)的執(zhí)行隊(duì)列81或工作管理器90，以避免相關(guān)操作對業(yè)務(wù)系統(tǒng)整體的影響。*僅支持jspservletejb，即相關(guān)場景必須在此三種具體實(shí)現(xiàn)中是可區(qū)分的。(…后續(xù)措施：出現(xiàn)server線程掛起或響應(yīng)慢時(shí)獲取threaddump以供更進(jìn)一步的排查分析；確認(rèn)是否為正常的業(yè)務(wù)場景耗時(shí)。(kill-3wls_java_pid，ibmjvm會(huì)在運(yùn)行 產(chǎn)生類似javacore<pid>.(…TUXEDO8.1RP320~375relnotesCR326196[Mentoring]Tuxedo8.1RP135 memoryCR328503Tx8.1RP278tpchkauthby failswithTMTRACE=onand321.CR330272TUXEDO8.1RP317Solaris10-ISHdumpscorewhenhandlingserviceCR313125TUX8.1-Inter-operationwithJDK1.5failedifthemethodhasnoCR332234Jolt8.1-CR015768shouldbeoptionaltosupportload-CR333616TUX8.1:TMQUEUECRASHinheavyCR334618Tx8.1[propagation] mayfailtopropagateABORTCR339271TUXEDO8.1-[idltojava]cannotre-opennon-innermostCR303073Reached100%ofTUXEDOSystemBinaryLicensedUserCountCR342392TUX8.1-TuxedocrashesasULOGhitssystemfilesizeCR342473TUX8.1- statusiswrongandWkQueuedcannotbeCR341498AIX5.232bitExcessiveCPU(System)UsageinCR340988TUX8.1:JSHwillbehighCPUwhenFMLdataislargethanCR343914Tuxedo8.1Application sisdownitcauseshangsforallother sinsteadofthroughingTPESYSTEMCR338786Jolt8.1:JoebugpatchneededforDESkeygeneratedCR349734TUX8.1tmshutdownfailswith"CMDTUX_CAT:766:ERROR:mustrunonmasternode"onHPUXCR351564TUX8.1:PleasepropagateCR347646fromCR345960TUX8.1:LIBWSC_CAT:1032occurswhenusingtpchkunsol()underchildCR347783SupportingTSAM1.1inTuxedoCR352735Tuxedo8.1"LIBTUX_CAT:579:ERROR:Unabletoobtaintheregistryslotownedbyprocess"Restart/CleanupserverCR355549TUX8.1:TMIBcannotgetserviceexecutionstatisticsonMPwithLDBAL=NbuttmadmCR355558tuxedo8.1:jolt8.1callfailedwhenfmlfieldnumberexceedCR356695TUXEDO8.1-servercoreswithSEGV_ACCERRintpadvertise()whenservicename>=16CR357076TUX8.1:JSHrefusesomerequestwhenuseCR358511TUXEDO8.1-LinuxItaniumtest-and-setimplementationnotCR359976Tuxedo8.1-backportreq ludedinTux9.1CR362611TUXEDO8.1-[TMFFNAME]CORBAInteroperabilityissuewithIBMJDK5.0(WebSphereCR362787TUX8.1-patchinstalleroverwritefailsafterCR352735Tuxedo8.1"LIBTUX_CAT:579:ERROR:Unabletoobtaintheregistryslotownedbyprocess"Restart/CleanupserverCR363382JoltSessionPooldoesnotseemtothrowany342.CR360257TUX8.1/HPUX(64bit):MHSCACHE=0closewrongfile342.CR363030TUX8.1[PatchRequest]-LoadBalancingonJoltConnection342.CR361519TUX8.1-TuxedoCORBAinfrastructurewithCORBADIIhandlestheoutput orrectlywiththeuserdefined343.CR363760TUX9.0:CMDTUX_CAT:4846/LIBTUX_CAT:669outputswhen sdisconenctand343.CR367321TUXEDO8.1-[ISH]memoryleakwheninvokingtransactionsusing343.CR366342TUX8.1:PleasepropagateCR355736fromTuxedo9.1(Bug8148516:TUX9.1:LIBWSC_CAT:1512WHENCALLINGTPINIT()/TPTERM()INMULTIPLETHREADS)CR359921TX8.1Tpenqueueon6.5/WSto failstosenduseridtoTMACR369510Tuxedo8.1:pleasebackport crashonslavenodeifitcannotCR369931TUX8.1:multipleLIBTUX_CAT:216outputswhenWSHCR369920TUXEDO8.1[/]EvenwithTM_GW_TRAN_ROUTE/Joltor/WScallsdon'tusethesame/CR373324TUX8.1:propagateCR040831:qmadminloopswhenparentprocessisCR368875Tux8.1/Tux9.1SMCTfeatureisnotCR373179TUX8.1:transactionerrorwhenthecustomerconfigureMAXDISPATCHTHREADSforsinglethreadCR379408Tux8.1:TheselConnectionmethodwillhangwhenusingJoltSessionPoolwithmulti-CR379735ICUCR374626TUX8.1-tpbegin()withinfinitetimeoutdoesnotworkwhenTM__KEEPTRissetonremote advertisedservicecalledCR378954TUX9.1-Multicontext unsolicitedmessagefailureatCR381548TUX8.1:mkfldhdr32willfailedonHPCR381997TUX8.1:CORBA.INTERNALExcpetionraisedwhentmshutdown-kKILLtheCR379524TUX8.1:xa_start(