EMCVPLEX容災(zāi)系統(tǒng)實施方案

年4月19日EMCVPLEX容災(zāi)系統(tǒng)實施方案文檔僅供參考VPLEX容災(zāi)系統(tǒng)實施方案12月目 錄TOC\o"1-4"\u1. 項目介紹 8\h41.1 VPLEX架構(gòu)圖 9\h41.2 本項目設(shè)備配置 0\h42. 存儲規(guī)劃 1\h52.1 規(guī)劃目標 4\h52.2 VPLEX端口的使用 5\h53. SAN網(wǎng)絡(luò)規(guī)劃 6\h63.1 現(xiàn)有拓撲示意圖 0\h63.2 VPLEX實施拓撲示意圖 1\h73.3 設(shè)備IP規(guī)劃 2\h83.4 Zone規(guī)劃 3\h84. VPLEXWitness實施規(guī)劃 4\h105. 版本控制 6\h115.1 ODM版本的要求 8\h115.2 PowerHA版本的要求 9\h115.3 Powerpath版本的要求 0\h126. 與數(shù)據(jù)遷移相關(guān)的VPLEX配置 1\h136.1 應(yīng)用系統(tǒng)數(shù)據(jù)遷移方式論述 8\h136.1.1 主機層面的遷移 9\h136.1.2 存儲層面的遷移 0\h136.2 應(yīng)用系統(tǒng)數(shù)據(jù)遷移實施步驟簡述 1\h136.2.1 主機層面在線數(shù)據(jù)遷移方式實施步驟簡述 2\h136.2.2 VPLEX層面的離線數(shù)據(jù)轉(zhuǎn)移方式實施步驟簡述 3\h146.2.3 應(yīng)用系統(tǒng)從VPLEX-Metro回退到DS4800存儲系統(tǒng)實施步驟簡述 4\h157. VPLEXMetro實施步驟 5\h157.1 VPLEX前期準備 3\h157.1.1 systemvolumes 4\h157.1.2 metadatavolumes 5\h157.1.3 loggingvolumes 6\h167.2 Switchzoning 7\h177.3 Backendstorageprovisionq 8\h177.4 VPLEXinitialsetup 9\h187.4.1 ConfigipaddressandhostnameofVPLEX 0\h Connecttomanagementserver 1\h enteringtheVPLEXCLI 2\h setthemanagementserveripaddress 3\h changethehostnameofVPLEX 4\h checksoftwareversion 5\h197.4.2 useEZ-setuptoinitializetheVPLEX1 6\h StartEZ-setup 7\h Configurethefirstcluster 8\h Chosethelocalauthentication 9\h Configureeventnotification 0\h ConfiguresendsystemreporttoEMC 1\h Configureperformancestatisticscollector 2\h Generatethecertificate 3\h Backendstoragediscovery 4\h createmeta-datavolume 5\h0 verifyifmeta-datavolumeissuccessfullycreated 6\h1 createmeta-datavolumebackups 7\h2 enableFEport 8\h227.4.3 useEZ-setuptoinitializetheVPLEX2 9\h ConnecttoVPLEX2 0\h Sychronizethetimeontheclusters 1\h StartEZ-setuponcluster2 2\h ConfiguretheMeta-datavolumeandbackupofVPLEX2 3\h Completeconfigurationofcluster1 4\h Completeconfigurationofcluster2 5\h237.4.4 Jointheclusters 6\h237.4.5 Createloggingvolumes 7\h247.5 Checktheclusterhealth 8\h257.6 VPLEXbackendstorageconnectivityverify 9\h257.7 Claimthedatavolume 0\h258. 設(shè)備的使用 1\h288.1 Vplex的使用 3\h289. 系統(tǒng)測試 4\h299.1 Vplex高可用測試 6\h299.2 數(shù)據(jù)庫高可用測試 7\h30

項目介紹XXX災(zāi)備項目采用EMCVPLEXMETRO解決方案，實現(xiàn)院區(qū)主機房和災(zāi)備機房容災(zāi)，結(jié)合實際情況本項目規(guī)劃如下。VPLEX架構(gòu)圖本項目設(shè)備配置本次規(guī)劃的EMCVPLEX配置簡要描述如下：1個處理器引擎兩個控制器，8個8Gb的FC前端口，8個8Gb的FC后端口72GBCacheVPLEXMETRO20TB本次規(guī)劃的EMCDS-300BSAN交換機配置簡要描述如下：兩臺交換機，每臺激活24個8Gb端口。存儲規(guī)劃規(guī)劃目標HP3PAR和IBMDS4800存儲使用VPLEXMETRO架構(gòu)，而且滿足VPLEXMETRO雙活的解決方案規(guī)劃如下。VPLEX端口的使用本項目中vplex版本為vs2，每臺vplex有1個引擎每個引擎有兩個控制器。每臺主機配置了2張雙口HBA卡用于連接VPLEX，每張卡使用一個端口，VPLEX的后端口用于連接HP3PAR和IBMDS4800。所有VPLEX端口的使用如下表所示：命名規(guī)則VPLEX的端口命名規(guī)則：E1D0F0代表引擎1的directorA的A0模塊的第0口HP3PAR的端口命名規(guī)則：3PAR_A_F0代表控制器A的FC第0口Zone的命名規(guī)則：VPLEXA_E1B2F2_3PAR_A_F0代表VPLEXA的引擎1的directorB的B2模塊的2口到3PAR控制器A的第0光纖口的zonevplex連接交換機端口EngineNo.1DirctorNo.B

DirctorNo.AFESWBESWWANSWFESWBESWWANSWB0F3B1F3B3F3A0F3A1F3A3F3B0F2B1F2B3F2A0F2A1F2A3F2B0F1B1F1B3F1A0F1A1F1A3F1B0F0B1F0B3F0A0F0A1F0A3F0注：此圖為一臺VPLEX的端口連接圖。SAN網(wǎng)絡(luò)規(guī)劃本項目使用主機房的SAN交換機及新增的兩臺DS-300BSAN交換機，vplex到一臺交換機需要至少4個FE，4個BE，4個Wancom，每臺存儲至少需要4個端口。如情況允許，建議在生產(chǎn)機房搭建同機房的vplexmetro環(huán)境，便于下一步的數(shù)據(jù)遷移。在數(shù)據(jù)遷移完成后，災(zāi)備機房環(huán)境準備好后，把vplexmetro的cluster-2和DS4800搬運到災(zāi)備機房。此時生產(chǎn)機房和災(zāi)備機房vplexmetro正常運行，不影響原有系統(tǒng)的運行。現(xiàn)有拓撲示意圖

VPLEX實施拓撲示意圖Vplex在生產(chǎn)中心運行 災(zāi)備中心準備好后vplex在生產(chǎn)中心和災(zāi)備中心運行注：線只代表路徑，不代表實際數(shù)量。

設(shè)備IP規(guī)劃光纖需求（滿配最高帶寬設(shè)計）FromTo光纖數(shù)量（至少數(shù)量）類型VPLEX_A生產(chǎn)中心SAN交換機12條多模HP3PAR生產(chǎn)中心SAN交換機4條多模VPLEX_B災(zāi)備中心SAN交換機12條多模IBMDS4800災(zāi)備中心SAN交換機4條多模網(wǎng)線需求設(shè)備名網(wǎng)線數(shù)量IP地址備注VPLEX_A11個生產(chǎn)機房VPLEX管理地址VPLEX_B11個容災(zāi)機房VPLEX管理地址DS-300BSAN222個管理IP注：IP需求由客戶工程師規(guī)劃Zone規(guī)劃生產(chǎn)中心VPLEX與第一路SAN交換機端口的連接PortVPLEXport備注VPLEX_0001_E1D01F0VPLEX_0001的前端端口，連接主機的HBAVPLEX_0001_E1D02F0VPLEX_0001的前端端口，連接主機的HBAVPLEX_0001_E1D01B0VPLEX_0001的后端端口，連接后端存儲系統(tǒng)的前端端口VPLEX_0001_E1D02B0VPLEX_0001的后端端口，連接后端存儲系統(tǒng)的前端端口VPLEX_0001_E1D01W0VPLEX_0001的WAN端口VPLEX_0001_E1D02W0VPLEX_0001的WAN端口生產(chǎn)中心VPLEX與第二路SAN交換機端口的連接PortVPLEXport備注VPLEX_0001_E1D01F1VPLEX_0001的前端端口，連接主機的HBAVPLEX_0001_E1D02F1VPLEX_0001的前端端口，連接主機的HBAVPLEX_0001_E1D01B1VPLEX_0001的后端端口，連接后端存儲系統(tǒng)的前端端口VPLEX_0001_E1D02B1VPLEX_0001的后端端口，連接后端存儲系統(tǒng)的前端端口VPLEX_0001_E1D01W1VPLEX_0001的WAN端口VPLEX_0001_E1D02W1VPLEX_0001的WAN端口

災(zāi)備中心VPLEX與第一路SAN交換機端口的連接PortVPLEXport備注VPLEX_0002_E1D01F0VPLEX_0002的前端端口，連接主機的HBAVPLEX_0002_E1D02F0VPLEX_0002的前端端口，連接主機的HBAVPLEX_0002_E1D01B0VPLEX_0002的后端端口，連接后端存儲系統(tǒng)的前端端口VPLEX_0002_E1D02B0VPLEX_0002的后端端口，連接后端存儲系統(tǒng)的前端端口VPLEX_0002_E1D01W0VPLEX_0002的WAN端口VPLEX_0002_E1D02W0VPLEX_0002的WAN端口災(zāi)備中心VPLEX與第二路SAN交換機端口的連接PortVPLEXport備注VPLEX_0002_E1D01F1VPLEX_0002的前端端口，連接主機的HBAVPLEX_0002_E1D02F1VPLEX_0002的前端端口，連接主機的HBAVPLEX_0002_E1D01B1VPLEX_0002的后端端口，連接后端存儲系統(tǒng)的前端端口VPLEX_0002_E1D02B1VPLEX_0002的后端端口，連接后端存儲系統(tǒng)的前端端口VPLEX_0002_E1D01W1VPLEX_0002的WAN端口VPLEX_0002_E1D02W1VPLEX_0002的WAN端口

VPLEXWitness實施規(guī)劃VPLEXWitness是對VPLEX集群和集群間鏈路故障的仲裁判斷和管理機制。如果認可VPLEX故障概率大大低于DWDM鏈路，能夠考慮不使用仲裁機Witness。代價是如果生產(chǎn)VPLEX不可用，需要手工激活容災(zāi)VPLEX并重啟生產(chǎn)端業(yè)務(wù)。如有VPLEXWitness，則對生產(chǎn)端VPLEX的故障有更完善的容災(zāi)處理機制，此情況下無需手工重新激活災(zāi)備端VPLEX，業(yè)務(wù)可無縫繼續(xù)維持運行。若實施VPLEXWitness，需要以下需求：冗余的DWDM鏈路Witness安裝在區(qū)別于生產(chǎn)和災(zāi)備的第三機房Witness和Vplex通訊，使用區(qū)別于DWDM的IP鏈路需要安裝在VMwareFT上面同時，建議增加一條容災(zāi)鏈路（與當前鏈路不同的運營商提供），保證整個雙活架構(gòu)的穩(wěn)定性，避免意外停機的風(fēng)險。而且Witness安裝環(huán)境達到最佳實踐要求。

版本控制ODM版本的要求PowerHA版本的要求Powerpath版本的要求

與數(shù)據(jù)遷移相關(guān)的VPLEX配置應(yīng)用系統(tǒng)數(shù)據(jù)遷移方式論述應(yīng)用系統(tǒng)從傳統(tǒng)的存儲系統(tǒng)遷移到VPLEX環(huán)境下，有兩種方式能夠考慮，第一種遷移方式為主機層面的數(shù)據(jù)遷移方式，第二種遷移方式為VPLEX層面的數(shù)據(jù)轉(zhuǎn)移方式。主機層面的遷移主機層面的在線數(shù)據(jù)遷移方式一般采用LVMMirror作為數(shù)據(jù)遷移手段，將應(yīng)用系統(tǒng)不中斷（在線）地從傳統(tǒng)存儲系統(tǒng)上遷移到VPLEX環(huán)境中，可是VPLEX環(huán)境需要有足夠的存儲空間，遷移步驟簡述如下：VPLEX分配存儲空間給主機主機經(jīng)過LVMMirror方式將數(shù)據(jù)從傳統(tǒng)的存儲系統(tǒng)上同步到VPLEX的存儲空間上主機釋放傳統(tǒng)的存儲系統(tǒng)空間存儲層面的遷移VPLEX層面的離線數(shù)據(jù)轉(zhuǎn)移方式將應(yīng)用系統(tǒng)從傳統(tǒng)的存儲系統(tǒng)上轉(zhuǎn)移到VPLEX環(huán)境中，在轉(zhuǎn)移期間，應(yīng)用系統(tǒng)需要停止運行，遷移步驟簡述如下：應(yīng)用系統(tǒng)停止運行存儲系統(tǒng)回收應(yīng)用系統(tǒng)使用的存儲空間，然后將其分配給VPLEXVPLEX將存儲空間進行“封裝”后創(chuàng)立分布式LUN分配給主機恢復(fù)應(yīng)用系統(tǒng)的運行應(yīng)用系統(tǒng)數(shù)據(jù)遷移實施步驟簡述主機層面在線數(shù)據(jù)遷移方式實施步驟簡述在主機上，安裝支持VPLEX的EMCODM軟件在SANSwitch上，增加主機與VPLEX前端端口之間的ZONE在VPLEX上，將磁盤設(shè)備分配給主機在主機上，識別VPLEX的磁盤設(shè)備，并將其加入到相應(yīng)的VG中在主機上，經(jīng)過LVMMirror將數(shù)據(jù)遷移到VPLEX使用的磁盤空間上在主機上，將DS4800的磁盤設(shè)備從VG中分離出來在unisphere上，回收主機釋放出來的磁盤設(shè)備（可選）在SANSwitch上，刪除主機與DS4800前端端口之間的ZONE在unisphere上DS4800將回收的磁盤空間分配給VPLEX在VPLEX上，將DS4800的磁盤設(shè)備“封裝”成VPLEX的磁盤設(shè)備安裝支持VPLEX的EMCODM軟件#uncompressEMC.AIX..tar.Z#tar-xvfEMC.AIX..tar#installp-ac-gX-d.EMC.Invista.aix.rte#installp-ac-gX-d.EMC.Invista.fcp.rte#installp-ac-gX-d.EMC.Symmetrix.aix.rte ；如果已經(jīng)安裝，則忽略#installp-ac-gX-d.EMC.Symmetrix.fcp.rte ；如果已經(jīng)安裝，則忽略安裝EMCPowerPath軟件如果主機沒有安裝PowerPath軟件，請參照“PowerPathforAIXInstallationandAdministrationGuide.pdf”，安裝和配置PowerPath軟件。SANSwitch上增加主機與VPLEX前端端口之間的ZONE在SANSwitch上，創(chuàng)立主機HBA與VPLEX前端端口之間的ZONE。VPLEX分配磁盤空間給主機根據(jù)應(yīng)用系統(tǒng)所使用的磁盤設(shè)備的數(shù)量和大小，在VPLEX上創(chuàng)立相應(yīng)數(shù)量和大小的DistributedDevice（由來自于HP3PAR和DS4800的磁盤設(shè)備組合成RAID1類型），而且創(chuàng)立包含這些DistributedDevice的ConsistencyGroup，然后分配給主機。主機識別和配置VPLEX磁盤設(shè)備運行“/usr/lpp/EMC/INVISTA/bin/emc_cfgmgr–v”命令，識別和配置VPLEX磁盤設(shè)備確認已經(jīng)正確識別和配置VPLEX磁盤設(shè)備#lsdev-Ccdisk...hdisk2Available2V-08-01EMCINVISTAFCPDiskhdisk3Available2K-08-01EMCINVISTAFCPDisk運行“powermtconfig”命令，配置PowerPath設(shè)備，而且確認VPLEX磁盤設(shè)備的policy是Adaptive在主機上經(jīng)過LVMMirror將數(shù)據(jù)同步到VPLEX磁盤設(shè)備上系統(tǒng)管理員經(jīng)過LVMMirror，將數(shù)據(jù)同步到VPLEX磁盤設(shè)備上在主機上將舊的磁盤設(shè)備清除，保留VPLEX磁盤設(shè)備系統(tǒng)管理員將舊的存儲系統(tǒng)磁盤設(shè)備清除，保留VPLEX磁盤設(shè)備回收舊的磁盤設(shè)備在unisphere上，回收之前分配給主機使用的DS4800的磁盤設(shè)備，然后重新分配給VPLEX。VPLEX層面的離線數(shù)據(jù)轉(zhuǎn)移方式實施步驟簡述在VPLEX環(huán)境中，對后端存儲系統(tǒng)的磁盤設(shè)備采用整盤封裝的方式下，能夠?qū)?yīng)用系統(tǒng)完整的遷移到VPLEX環(huán)境中。在主機上，停止應(yīng)用系統(tǒng)的運行在主機上，刪除相應(yīng)的后端存儲系統(tǒng)的磁盤設(shè)備在主機上，安裝支持VPLEX的EMCODM軟件在后端存儲系統(tǒng)上，取消主機對磁盤設(shè)備的訪問（可選）在SANSwitch上，刪除主機HBA與后端存儲系統(tǒng)前端之間的ZONE在SANSwitch上，增加VPLEX后端端口與后端存儲系統(tǒng)前端之間的ZONE在SANSwitch上，增加主機HBA與VPLEX前端端口之間的ZONE在后端存儲系統(tǒng)上，賦予VPLEX對磁盤設(shè)備的訪問在VPLEX上，對后端存儲系統(tǒng)的磁盤設(shè)備進行整盤封裝，以及增加鏡像的操作在VPLEX上，將封裝后的VPLEX磁盤設(shè)備分配給主機在主機上，識別和配置VPLEX的磁盤設(shè)備在主機上，啟動應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)從VPLEX-Metro回退到DS4800存儲系統(tǒng)實施步驟簡述在客戶環(huán)境中，VPLEX對后端存儲系統(tǒng)的磁盤設(shè)備采用整盤封裝的方式，因此，應(yīng)用系統(tǒng)能夠回退到傳統(tǒng)的直接訪問后端存儲系統(tǒng)的磁盤設(shè)備的工作方式。主機刪除相應(yīng)的VPLEX的磁盤設(shè)備VPLEX上刪除相應(yīng)的StorageView，取消主機對VPLEX磁盤設(shè)備的訪問（可選）在SANSwitch上刪除主機HBA與VPLEX前端之間的ZONE（可選）在SANSwitch上刪除VPLEX后端與后端存儲系統(tǒng)前端之間的ZONE在后端存儲系統(tǒng)上取消VPLEX對后端后端存儲系統(tǒng)的磁盤設(shè)備的訪問在SANSwitch上增加主機HBA與后端存儲系統(tǒng)前端之間的ZONE在后端存儲系統(tǒng)上分配磁盤設(shè)備給主機主機識別后端存儲系統(tǒng)的磁盤設(shè)備，啟動應(yīng)用系統(tǒng)在VPLEX上，清除后端存儲系統(tǒng)磁盤設(shè)備的配置信息VPLEXMetro實施步驟VPLEX前期準備systemvolumesVPLEX的systemvolumes分為兩種：metadatavolumes和loggingvolumesmetadatavolumesmetadatavolumes里包含VPLEXcluster的系統(tǒng)配置信息，主要為：virtual-to-physicalmappinginformationdataaboutthedevicesandvirtualvolumessystemconfigurationsettingsMetadatavolume建議為Raid1或者Raid5保護的卷，其對I/O性能的要求不高。每個VPLEXMetrocluster安裝需要4個78GB的volume，分別用于meta-volume,mirroredcopyofmeta-volume,backupsofmeta-volumeandmirrored-meta-volume.ClusterMetaVolumeStorageRAIDGroupLUNIDRAIDSize備注VPLEX_0001Mirror1800RAID578GBBackup1801RAID578GB與HP3PAR的系統(tǒng)共享磁盤Mirror2800RAID578GBBackup2801RAID578GB與HP3PAR的系統(tǒng)共享磁盤VPLEX_0002Mirror1900RAID578GBBackup1901RAID578GB與DS4800系統(tǒng)共享磁盤Mirror2900RAID578GBBackup2901RAID578GB與DS4800的系統(tǒng)共享磁盤loggingvolumesLogggingvolume用于在inter-link斷開時，記錄Site之間的數(shù)據(jù)差異索引。建議loggingvolumes為10GB的volume，10GB的loggingvolume一般能夠支持約320TB的分布式卷。ClusterLogVolumeStorageRAIDGroupLUNIDRAIDSize備注VPLEX_0001Mirror1802RAID510GB與HP3PAR的系統(tǒng)共享磁盤Mirror2802RAID510GB與HP3PAR的系統(tǒng)共享磁盤VPLEX_0002Mirror1902RAID510GB與DS4800系統(tǒng)共享磁盤Mirror2902RAID510GB與DS4800系統(tǒng)共享磁盤Switchzoning按照規(guī)劃完成VPLEXbackendzoningBackendstorageprovisionqRegisterVPLEXBEportonHP3PARAssignvolumetoVPLEXVPLEXinitialsetupConfigipaddressandhostnameofVPLEXConnecttomanagementserverconnectEthernetcabletotheserviceportofmgmtserver.ConfigyourNICuseDHCP,ipaddresswillbeassignedintherange128.221.252.<23-30>Defaultuser/password:service/Mi@Dim7TServiceportIP:SSHclient:SecureCRTorPUTTYenteringtheVPLEXCLIsetthemanagementserveripaddresschangethehostnameofVPLEXchecksoftwareversionuseEZ-setuptoinitializetheVPLEX1StartEZ-setupConfigurethefirstclusterChosethelocalauthenticationConfigureeventnotificationConfiguresendsystemreporttoEMCConfigureperformancestatisticscollectorGeneratethecertificateBackendstoragediscoverydisplayeligiblemetadatavolumescreatemeta-datavolumeverifyifmeta-datavolumeissuccessfullycreatedcreatemeta-datavolumebackupsenableFEportuseEZ-setuptoinitializetheVPLEX2ConnecttoVPLEX2UseSSHtoconnecttomanagementIPofcluster2,SychronizethetimeontheclustersStartEZ-setuponcluster2ConfiguretheMeta-datavolumeandbackupofVPLEX2UsethesamemethodtoconfiguretheVPLEX2meta-datavolumesandbackupsCompleteconfigurationofcluster1Completeconfigurationofcluster2JointheclustersFromVplexclioncluster2console,runthefollowingcommand,Createloggingvolumes ChecktheclusterhealthVPLEXbackendstorageconnectivityverifyClaimthedatavolumecheckifVPLEXcanseethebackendarraysVPlexcli:/>ls-al/clusters/cluster-1/storage-elements/storage-arrays//clusters/cluster-1/storage-elements/storage-arrays:NameConnectivityAutoPortsLogicalStatusSwitchUnitCountEMC-CLARiiON-FNMoktrue0x19f5,2520x19f5,0x19f5,0x5006016f446019f5checkbackendvolumesVPlexcli:/>ls–al/clusters/cluster-1/storage-elements/storage-volumes//clusters/cluster-1/storage-elements/storage-volumes/:NameVPD83IDCapacityUseVendorIOStatusTypeThinRebuildVPD83T3:60060d4991c2f7d50e011VPD83T3:60060d4991c2f7d50e0115GunclaimedDGCalivetraditionalfalseifcannotseethevolumes,usecommandtore-discoverVPlexcli:/>cd/clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNMVPlexcli:/clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNM/>arrayre-discoverWARNING:ThiscommandcannotdetectLUN-swappingconditionsonthearray(s)beingre-discovered.LUNswappingistheswappingofLUNsontheback-end.ThiscommandcannotdetectLUNswappingconditionswhenthenumberofLUNsremainsthesame,buttheunderlyingactuallogicalunitschange.I/OwillnotbedisruptedontheLUNSthatdonotchange.Continue?(Yes/No)yclaimthedatavolumesClaimbyuseparameter“--appc”toensureapplicationconsistency,becausewehavedataononelegofthemirror.VPlexcli:/>storage-volumeclaim-dVPD83T3:60060d4991c2f7d50e011-nlun_1--appcThiscanbeconfirmedbycheckingtheTypeofthestorage-volumewhichshoulddisplayasdata-protected.VPlexcli:/>ls–al/clusters/cluster-1/storage-elements/storage-volumes/NameVPD83IDCapacityUseVendorIOStatusTypeThinRebuildlun_1VPD83T3:60060d4991c2f7d50e0115GusedDGCalivedata-protectedfalse設(shè)備的使用Vplex的使用使用英文版的Webbrowser:Firefoxv3.5.5orv3.5.7,orInternetExplorer7（安裝AdobeFlashPlayer