NFV Orchestrator網(wǎng)絡(luò)平臺維護手冊

1、H3C NFV Orchestrator網(wǎng)絡(luò)平臺維護手冊 0102NFV Orchestrator日常維護介紹NFV Orchestrator常見問題處理22目錄NFV Orchestrator日常維護要求23NFV Orchestrator日常維護檢查要求（每周/天檢查項）包括但不限于以下內(nèi)容：服務(wù)器CPU利用率情況服務(wù)器內(nèi)存利用率情況服務(wù)器磁盤空間使用情況處理系統(tǒng)日志中新增的“提示”、“告警”、“錯誤”、“嚴重”和“致命” 的日志檢查集群狀況檢查物理網(wǎng)絡(luò)狀態(tài)檢查虛擬網(wǎng)絡(luò)狀態(tài)運維監(jiān)控系統(tǒng)介紹通過運維監(jiān)控系統(tǒng)可以查看NFV Orchestrator的運維信息，如下圖所示:24運維監(jiān)控系統(tǒng)介紹運

2、維概覽：通過圖示的方式展現(xiàn)了當前NFV Orchestrator的概要信息。通過運維概覽可以直觀地了解當前NFV Orchestrator的運行狀態(tài)以及日志統(tǒng)計信息。運維概覽還提 供了解各部分詳細信息的入口。如下圖：25運維監(jiān)控系統(tǒng)介紹系統(tǒng)信息：用于查看NFV Orchestrator的集群配置信息。26運維監(jiān)控系統(tǒng)介紹如果成員狀態(tài)為down，在“備注”欄會給出提示信息，提示信息說明了成員“down”的原因， 提示信息及說明如下：27常用信息收集診斷信息收集：單擊系統(tǒng)/系統(tǒng)管理/診斷信息菜單項，進入診斷信息頁面，單擊右上角的 按鈕，彈出“診斷信息導出”對話框。在彈出的對話框中選擇需要導出診斷信

3、息的NFV Orchestrator，單擊按鈕，將導出的診斷日志信息保存到本地。28常用信息收集操作日志：記錄用戶進行的系統(tǒng)操作、配置更改等事件，例如集群配置等。系統(tǒng)日志：用于通知用戶NFV Orchestrator運行的內(nèi)部事件。 收集方法：單擊按鈕，將日志信息標記為已讀狀態(tài)。單擊按鈕，將日志信息標記為未讀狀態(tài)。單擊按鈕，可以將當前日志導出到本地。單擊按鈕，在彈出的對話框中單擊按鈕完成刪除當前所有日志信息的操作。在操作單擊“日期/時間（起）”和“日期/時間（止）”日歷框，可以按照時間段篩選操作日志。在搜索框輸入字符串（區(qū)分大小寫），可以查詢業(yè)務(wù)名稱、主題、內(nèi)容任一字段信息中包含該字符串的系統(tǒng)

4、日志。日志說明請參照“日志手冊”，其中包括NFVO操作日志和系統(tǒng)日志的說明29異常日志信息舉例1010集群成員退出集群日志內(nèi)容MEMBER_LEAVE，ID $1，IP $2 from team $3 team IP $4.參數(shù)解釋$1：成員NFVO ID$2：成員NFVO IP地址$3：集群名稱$4：集群IP地址（可能為空）日志等級提示舉例MEMBER_LEAVE, ID 467cd899-062b-4b61-b191-db398d00e41f, IP8 from team team1111 team IP .日志說明集群成員退出集群處理建議請排查集群成員是否異常退出。如果是，請檢查網(wǎng)絡(luò)是否

5、連通或成員NFVO是否正常運行。常用信息收集NFVO后臺日志收集：登錄NFV Orchestrator所在操作系統(tǒng)命令行界面，導出后臺日志，路徑：/opt/sdn/virgo/serviceability/logs/vBRAS/log.log文件。收集Openstack后臺日志：收集Openstack日志可使用Remote Export OpsLogs.jar小工具獲取：在小 工具UI界面輸入對應節(jié)點的IP地址、用戶名、密碼，設(shè)置好本地下載路徑，點 擊“Export Logs”按鈕。1011系統(tǒng)日志監(jiān)控用戶可以通過監(jiān)控NFVO系統(tǒng)日志實現(xiàn)實時感知系統(tǒng)狀態(tài)。 NFVO提供兩種系統(tǒng)日志監(jiān)控手段：S

6、yslog方式進入“系統(tǒng)”“系統(tǒng)管理” “配置管理”，在“系統(tǒng)日志”的配置欄配置syslog server的IP地址和端口號。用戶可以進一步在syslog server上進行日志分析，critical日志進行短信預警等。1012系統(tǒng)日志監(jiān)控1013RESTful API方式通過NFVO提供的RESTful API向NFVO注冊需要監(jiān)聽的日志主題名。當完成注冊后，當有用戶注冊的日志類型生成時，REST Server上將會接收到NFVO上報的JSON格式 的系統(tǒng)日志。支持注冊的系統(tǒng)日志主題舉例如下：subject相關(guān)告警team集群狀態(tài)信息，例如集群分裂、無法建立等controller_role_

7、changeNFVO team角色變化事件（leader角色和member角色變化）system系統(tǒng)事件：線程或進程異常停止進行；死鎖情況發(fā)生；與數(shù)據(jù)庫連接異常等sessionnetconf session建立連接/斷開連接01NFV Orchestrator日常維護介紹NFV Orchestrator常見問題處理目錄021014NFV Orchestrator常見問題類型1015NFV Orchestrator安裝授權(quán)類問題NFV Orchestrator集群類問題NFV Orchestrator診斷信息及NETCONF問題vBRASSO功能問題安裝時依賴檢查故障問題現(xiàn)象：安裝NFV Orc

8、hestrator時，提示“Please install JRE-headless java-1.8.0- openjdk-amd64 or java-1.7.0-openjdk-amd64 before you install the controller.”處理思路：故障的原因可能為未正確安裝NFV Orchestrator依賴的OpenJDK軟件包。處理步驟：1、檢查離線依賴包安裝版本使用是否正確1016安裝時依賴檢查故障10172、參考H3C NFV Orchestrator安裝指導-CentOS重新安裝依賴包 3、檢查依賴包安裝是否正確安裝依賴包的過程中會自動執(zhí)行關(guān)閉防火墻的命令。通

9、過systemctl status firewalld.service命令檢查防火墻是否關(guān)閉。通過virsh version命令驗證Libvirt軟件包是否安裝成功。通過/usr/lib/jvm/java-1.8.0/bin/java -version命令驗證OpenJDK 1.8.0軟件包是 否安裝成功。通過lsb_release -help命令驗證Redhat-lsb-core軟件包是否安裝成功。通過unzip -v命令驗證Unzip軟件包是否安裝成功。重啟后無法獲取遠端License信息問題現(xiàn)象：NFV Orchestrator重啟后，與License Server成功建立連接，并且在L

10、icense Server上顯示License已安裝，NFV Orchestrator獲取不到遠端License的授權(quán)信息。處理思路：NFV Orchestrator或集群重啟后，與License Server的連接中斷，而License Server上會等待老化時間結(jié)束后再回收授權(quán)數(shù)據(jù)。在老化時間結(jié)束前，即使與License Server成功建立連接也不會獲取到授權(quán)信息。處理步驟：1、檢查NFV Orchestrator是否重啟過2、License Server上強制下線客戶端1018重啟后無法獲取遠端License信息3、NFV Orchestrator上重連License Server1

11、019NFV Orchestrator常見問題類型1020NFV Orchestrator安裝授權(quán)類問題NFV Orchestrator集群類問題NFV Orchestrator診斷信息及NETCONF問題vBRASSO功能問題創(chuàng)建集群或Region時失敗報錯問題現(xiàn)象：創(chuàng)建集群時，失敗報錯。創(chuàng)建Region時，提示配置失敗。 處理流程：開始表示上一步結(jié)果正常 表示上一步結(jié)果出現(xiàn)問題撥打熱線400-810-0504尋求幫助提示網(wǎng)卡配置不正確檢查網(wǎng)卡狀態(tài)是 否正常重啟網(wǎng)卡服務(wù)是否選擇了正確 網(wǎng)卡重新選擇網(wǎng)卡檢查集群token是否一致修改集群token提示集群成員token 不一致提示不能在Memb

12、er上 創(chuàng)建集群 查看系統(tǒng)報錯信 息設(shè)置當前NFVO角色為 leader，繼續(xù)創(chuàng)建1021創(chuàng)建集群或Region時失敗報錯1022處理步驟：1、查看系統(tǒng)具體的報錯信息“網(wǎng)卡配置不正確，集群創(chuàng)建失敗”、 “集群創(chuàng)建失敗，集群成員集群Token不一致”、 “不能在當前角色為Member的集群成員NFV Orchestrator上創(chuàng)建集群”2、提示“網(wǎng)卡配置不正確，集群創(chuàng)建失敗處理步驟”檢查服務(wù)器或者虛擬機網(wǎng)卡是否正常，如果網(wǎng)卡已禁用，通過命令行啟動網(wǎng)卡；如果 是硬件故障，請更換網(wǎng)卡，然后重新創(chuàng)建集群。如果是網(wǎng)卡輸入錯誤，從“增加NFV Orchestrator”頁的NFV Orchestrator

13、列表中刪 除網(wǎng)卡錯誤的NFV Orchestrator，重新添加NFV Orchestrator并通過下拉框方式選擇正 確網(wǎng)卡，然后重新創(chuàng)建集群。如果通過下拉框方式無法顯示遠端Leader NFV Orchestrator的網(wǎng)卡列表，檢查網(wǎng)絡(luò)是 否連通，如果網(wǎng)絡(luò)連通正常，則進一步檢查各Leader NFV Orchestrator的集群Token是 否一致。創(chuàng)建集群或Region時失敗報錯1023(4) 如果各Leader 集群Token不一致，需修改集群Token后重新創(chuàng)建集群。3、提示“集群創(chuàng)建失敗，集群成員集群Token不一致”該問題是各LeaderNFV Orchestrator的集群

14、Token不一致造成的。解決方法如下： (1)查看集群中各Leader NFV Orchestrator的集群Token。修改Leader NFV Orchestrator的集群Token，使得各Leader NFV Orchestrator的集 群Token一致。待集群Token修改完畢后，重新創(chuàng)建集群。4、提示“不能在當前角色為Member的集群成員NFV Orchestrator上創(chuàng)建集群”將當前NFV Orchestrator設(shè)置為Leader角色，或者登錄到角色為Leader的NFV Orchestrator上創(chuàng)建集群。NFV Orchestrator無法成功加入集群問題現(xiàn)象：向集群

15、中動態(tài)添加集群成員時，成員NFV Orchestrator無法成功加入。處理流程：開始表示上一步結(jié)果正常 表示上一步結(jié)果出現(xiàn)問題 檢查NFVO成員與 Leader之間 HTTPS連接排查成員與 Leader底層連通 性撥打熱線400-810-0504尋求幫助檢查NFVO地址名 稱配置修改NFVO地址名 稱配置查看集群成員數(shù)量重新規(guī)劃集群成員數(shù)量檢查集群token是否一致修改集群token配置1024NFV Orchestrator無法成功加入集群處理步驟：1、檢查成員NFV Orchestrator和當前Leader之間HTTPS連接是否正常 2、檢查成員NFV Orchestrator配置是

16、否存在錯誤如果是成員NFV Orchestrator的IP地址、名稱重復等錯誤，請根據(jù)提示修改相應配置信息。1025NFV Orchestrator無法成功加入集群10263、查看集群成員數(shù)量否已經(jīng)達到規(guī)格上限4、檢查待加入集群的NFV Orchestrator和當前Leader 的集群Token是否一致如果不一致，請修改待加入集群的NFV Orchestrator的集群Token，具體方法如下： 方法一：登錄NFV Orchestrator的GUI界面后，單擊系統(tǒng)/系統(tǒng)配置菜單項，然后單擊“單機配置”鏈接進入單機配置頁面，如果當前集群Token未創(chuàng)建，則在集群Token輸入框中輸入集群Tok

17、en后單擊按鈕；如果當前集群Token已創(chuàng)建，則單擊按 鈕刪除當前集群Token，然后在輸入框中輸入新的集群Token，再單擊按鈕。方法二：將需要修改集群Token的NFV Orchestrator卸載后重裝，在安裝過程提示輸入集群Token時，輸入新的集群Token。集群主備成員數(shù)據(jù)不同步問題現(xiàn)象：登錄集群主Leader成員和Member成員查看NFVO相關(guān)信息，顯示不一致。 處理流程：開始表示上一步結(jié)果正常 表示上一步結(jié)果出現(xiàn)問題登錄Leader查看成員備注信息是 否正常解決成員備注信 息異常問題撥打熱線400-810-0504尋求幫助重啟Member成員 的NFVO應用查看數(shù)據(jù)是否已 重

18、啟Leader的 同步NFVO應用查看數(shù)據(jù)是否已 同步1027集群主備成員數(shù)據(jù)不同步處理步驟：1、檢查成員NFV Orchestrator狀態(tài)是否正常如下圖，紅色圈出的為備注信息1028集群主備成員數(shù)據(jù)不同步10292、解決成員NFV Orchestrator備注信息異常問題備注信息處理方法如下：連接超時：Down狀態(tài)的NFV Orchestrator發(fā)生了宕機或者網(wǎng)絡(luò)中斷，請查看對應成 員所在的服務(wù)器狀態(tài)及排除網(wǎng)絡(luò)故障。NFV Orchestrator IP不可達：Down狀態(tài)的NFV Orchestrator可能發(fā)生宕機、網(wǎng)絡(luò) 中斷、未安裝NFV Orchestrator軟件或安裝完NFV

19、 Orchestrator軟件后未完成啟動。 網(wǎng)絡(luò)中斷需要檢查成員NFV Orchestrator所在服務(wù)器或虛擬機是否存在NFV Orchestrator對應的IP地址，如果不存在或者被禁用，則正確配置NFV Orchestrator IP地址后重啟NFV Orchestrator 。集群token認證失?。褐匦律塏FV Orchestrator ，且更新Token配置。集群主備成員數(shù)據(jù)不同步3、重啟NFV Orchestrator應用進入“系統(tǒng)/系統(tǒng)管理/應用管理”，重啟H3C NFV Orchestrator應用：1030NFV Orchestrator常見問題類型1031NFV Or

20、chestrator安裝授權(quán)類問題NFV Orchestrator集群類問題NFV Orchestrator診斷信息及NETCONF問題vBRASSO功能問題虛機的運行數(shù)據(jù)無法顯示問題現(xiàn)象：在虛機摘要信息頁面，虛機設(shè)備的部分信息顯示為“-”。 處理流程：開始表示上一步結(jié)果正常 表示上一步結(jié)果出現(xiàn)問題撥打熱線400-810-0504尋求幫助檢查虛機和NFVO 連通性 排查底層連通性確認虛機和NFVO NETCONF配置是 否一致 修改NETCONF配置檢查虛機的NETCONF連接是 否到達上限清理多余的 NETCONF會話1032虛機的運行數(shù)據(jù)無法顯示1033處理步驟：1、確認虛機與NFV Or

21、chestrator通信是否正常2、確認虛機與NFV Orchestrator NETCONF連接配置是否一致確認虛機設(shè)備和NFV Orchestrator的NETCONF相關(guān)配置是否一致。3、確認VNF設(shè)備和其它設(shè)備建立的NETCONF會話數(shù)是否已達上限VNF設(shè)備能夠建立的NETCONF會話數(shù)有限，如果虛機設(shè)備和其它設(shè)備建立的NETCONF會 話已達上限，就無法再與NFV Orchestrator建立會話，此時需要刪除虛機設(shè)備和其它設(shè)備 建立的NETCONF會話或調(diào)整網(wǎng)絡(luò)設(shè)備的NETCONF會話上限。NFV Orchestrator常見問題類型1034NFV Orchestrator安裝授權(quán)

22、類問題NFV Orchestrator集群類問題NFV Orchestrator診斷信息及NETCONF問題vBRASSO功能問題NFVO創(chuàng)建vBRAS失敗問題現(xiàn)象：創(chuàng)建vBRAS時，NFV Orchestrator界面提示在“在主機上創(chuàng)建vBRAS失敗” 或者創(chuàng)建出的vBRAS在NFV編排/vBRASSO頁面上的服務(wù)實例一欄摘要頁面虛擬機狀態(tài)為 “ERROR”。1035處理流程：1036NFVO創(chuàng)建vBRAS失敗處理步驟：1、檢查創(chuàng)建vBRAS時是否有Flavour選項如果沒有，可能原因為部署NFV Orchestrator時沒有創(chuàng)建集群Token，需要手工創(chuàng)建。1037NFVO創(chuàng)建vBRA

23、S失敗2、查看Openstack控制節(jié)點和計算節(jié)點主機的連接是否建立如果連接未建立，需要排查控制節(jié)點和計算節(jié)點的連通性。rootctrl1 # nova hypervisor-list+| ID | Hypervisor hostname | State | Status|+| 1| compute1| up| enabled |+1038NFVO創(chuàng)建vBRAS失敗3、查看添加Host主機時是否提示“主機認證失敗”如果提示失敗，可能是舔加Host主機的用戶名、密碼、租戶等參數(shù)填寫錯誤。1039NFVO創(chuàng)建vBRAS失敗4、檢查NFV Orchestrator上主機狀態(tài)是否正常如果主機狀態(tài)為Ab

24、normal，可能原因為未正常安裝 Openstack控制或計算節(jié)點，或主機 節(jié)點與NFV Orchestrator連通性不正常。rootctrl1 # systemctl | grep novaopenstack-nova-api.serviceloaded active running OpenStack Nova API Server openstack-nova-cert.serviceloaded active running OpenStack Nova Cert Serveropenstack-nova-conductor.serviceloaded active running

25、 OpenStack Nova Conductor Server openstack-nova-consoleauth.serviceloaded active running OpenStack Nova VNC console auth Serveropenstack-nova-novncproxy.serviceloaded active running OpenStack Nova NoVNC Proxy Server openstack-nova-scheduler.serviceloaded active running OpenStack Nova Scheduler Serve

26、rrootctrl1 # systemctl | grep neutron neutron-server.serviceloaded active running OpenStack Neutron Server1040NFVO創(chuàng)建vBRAS失敗1041rootctrl1 # dateTue Jan 31 17:21:34 CST 2017rootcompute1 #date -s Tue Jan 31 17:21:34 CST 2017 Tue Jan 31 17:21:34 CST 20175、查看Openstack控制節(jié)點和計算節(jié)點主機的系統(tǒng)時間是否一致如果時間不一致，手動修改控制節(jié)點和

27、計算節(jié)點主機系統(tǒng)時間一致或配置NTP服務(wù)器。 查看系統(tǒng)時間修改系統(tǒng)時間同步硬件時間rootcompute1 # clock w rootcompute1 # clockTue 31 Jan 2017 05:21:34 PM CST-0.641119 secondsrootcompute1 # reboot4242NFVO創(chuàng)建vBRAS失敗6、查看Openstack控制節(jié)點租戶配額的實例數(shù)、CPU內(nèi)核數(shù)、內(nèi)存、Server groups剩 余的數(shù)量是否滿足vBRAS創(chuàng)建使用的flavor大小| floating_ips| 50| fixed_ips| -1| metadata_items| 25

28、6| injected_files| 2| injected_file_content_bytes | 10240| injected_file_path_bytes| 255| key_pairs| 10| security_groups| 15| security_group_rules| 20| server_groups| 20| server_group_members| 10|+ + + + + + + + + rootctrl1 # nova quota-show+| Quota| Limit|+| instances| 25| cores| 250| ram| 204800 |

29、MariaDB nova select * from quota_usages;+ | id | project_id| resource| in_use | reserved| until_refresh|+ |1 | 26975ace82564da3b24f873754a9cb94 | instances|13 |0|NULL|2 | 26975ace82564da3b24f873754a9cb94 | ram|16384 |0|NULL|3 | 26975ace82564da3b24f873754a9cb94 | cores|22 |0|NULL|4 | 26975ace82564da3

30、b24f873754a9cb94 | security_groups |1 |0|NULL+ 4 rows in set (0.00 sec)NFVO創(chuàng)建vBRAS失敗7、查看Openstack控制節(jié)點和計算節(jié)點的網(wǎng)絡(luò)映射關(guān)系配置是否一致保證控制節(jié)點的物理網(wǎng)絡(luò)在計算節(jié)點上有配置對應的物理網(wǎng)絡(luò)和網(wǎng)卡的映射關(guān)系，如果不 一致，手動修改計算節(jié)點上物理網(wǎng)絡(luò)和網(wǎng)卡的映射關(guān)系。| status| ACTIVE| subnets| tenant_id| 26975ace82564da3b24f873754a9cb94|rootctrl1 # neutron net-show network1+| Field

31、| Value|+| admin_state_up| True| id| 78c0a395-9e02-441a-8c33-9d6af1bdfb02 | mtu| 0| name| network1| provider:network_type| flat| provider:physical_network | provider1| provider:segmentation_id| router:external| True| shared| True|rootcompute1 # vi /etc/neutron/plugins/linuxbridge/linuxbridge_con phy

32、sical_interface_mappings= provider1:ens160,phy_ens192:ens192f.ini+4343NFVO創(chuàng)建vBRAS失敗8、查看Openstack控制節(jié)點和計算節(jié)點的Neutron代理服務(wù)狀態(tài)是否正常如果不正常，需要收集對應節(jié)點的Openstack相關(guān)日志。rootctrl1 # neutron agent-list+ + + + + + +| id| agent_type| host| alive | admin_state_up | binary|+ + + + + + +| bc312e03-63ec-4e55-a367-7419f327c5

33、54 | NIC Switch agent| ctrl1| :-)| True| neutron-sriov-nic-agent| dddc22f5-3da0-4d98-803d-a520c2d13806 | Linux bridge agent | compute1 | :-)| True| neutron-linuxbridge-agent |+ + + + + + +4344NFVO流量卸載失效問題現(xiàn)象：卸載點交換機上無法正常生成流量卸載流表，導致組播源送往用戶機頂盒的業(yè) 務(wù)流量需要繞行到vBRAS轉(zhuǎn)發(fā)處理。4345處理流程：4346NFVO流量卸載失效處理步驟：1、檢查IPOE接入服務(wù)

34、類型是否為STB:如果服務(wù)類型不為STB，則需要登錄NFV Orchestrator，創(chuàng)建服務(wù)類型為STB的vBRAS模板，并重新創(chuàng)建vBRAS。vBRAS1display domainDomain: iptvCurrent state: ActiveState configuration: Activeauthentication scheme:authorizationscheme:IPoE IPoE IPoEaccountingscheme:Default authentication scheme: Default authorizationscheme:Default account

35、ingscheme:None None None Local Local LocalAccounting start failure action: Online Accounting update failure action: Online Accounting quota out policy: Offline Service type: STBSession time: Exclude idle time4347NFVO流量卸載失效2、檢查IPOE用戶是否已經(jīng)上線如果IPOE用戶未上線，建議先行排查IPOE認證上線失敗的原因。vBRAS1display ip subscriber sessionN-NdrsType: D-DhcpS-Sta