流量透明化-IPFIX流量分析解決方案技術白皮書.doc

流量透明化-IPFIX流量分析解決方案技術白皮書流量透明化-IPFIX流量分析解決方案技術白皮書福建星網銳捷網絡有限公司版權所有 侵權必究目錄1方案背景11.1問題的提出11.2問題的歸納11.3問題的解決21.3.1網管方式21.3.2數據包監(jiān)聽方式21.3.3基于流（Flow）技術的方式21.3.4解決方法的評估32IPFIX技術介紹42.1IPFIX技術概述42.2IPFIX技術價值63網絡透明化解決方案73.1解決方案組成73.2Exporter設備功能83.3Collector設備功能83.4Analyzer設備功能83.5Analyzer設備報表93.6業(yè)務功能展示103.6.1網絡用戶分區(qū)管理103.6.2應用流量分析113.6.3流量目標地址統(tǒng)計133.6.4帶寬使用實時統(tǒng)計143.6.5網內流量趨勢163.6.6高效便捷的流量管理174網絡透明化解決方案組網模式及應用184.1網絡透明化解決方案組網模式184.2網絡透明化解決方案應用195結束語211 方案背景1.1 問題的提出“無法被量化的將無法改進”。管理和優(yōu)化網絡首先要進行測量。隨著 IT、網絡技術的迅猛發(fā)展和企業(yè)信息化程度的不斷提高，各種網絡應用越來越豐富，各種應用時時刻刻都在爭奪有限的網絡帶寬，從而導致網絡管理的難度不斷增大。因此，如何保證網絡的可用性和關鍵業(yè)務的暢通運行，對用戶業(yè)務發(fā)展將起到至關重要的作用。隨著網絡的規(guī)模越來越大，IT服務的完善，網絡管理者也會提出一下問題：1. 當前的上網流量占用多大帶寬？這些帶寬主要誰在占用？這些占用是允許的嗎？在 WWW 訪問之外，是不是有大量的 FTP 等下載？是允許的嗎？2. DMZ 區(qū)的服務器有多少是內網用戶在訪問，有多少是外網用戶在訪問？如果是內網用戶訪問多（比如 DNS），是不是考慮將其遷移到服務器區(qū)？外網用戶的訪問有時間規(guī)律嗎？ 3. 外聯的服務器是提供特定用戶訪問嗎？哪個訪問流量最大？最大流量占用的用戶是合法的嗎？服務器是不是該擴容了？有非法用戶訪問這些服務器嗎？ 4. 這些關鍵的業(yè)務服務器的帶寬夠用嗎？是不是考慮一臺服務器提供多個業(yè)務服務或者多臺服務器提供一個業(yè)務服務？除了生產業(yè)務外， 這些服務器是不是還提供其它無關的業(yè)務， 導致影響性能？誰訪問這些服務器更多一些？這些服務器在哪個時間段最繁忙？ 5. 部門用戶用于工作（訪問業(yè)務服務器）的流量有多大？用于上網的流量有多大？誰更多地使用互聯網？是必要的嗎？誰占用的網絡帶寬最大？這些占用是必要的嗎？哪個用戶在非法掃描網絡？是否有用戶提供非法的下載（WWW/FTP）服務？ 1.2 問題的歸納這些問題都是流量分析問題。歸結起來，所有的流量問題大致包含： 1. 這些寶貴的網絡帶寬誰在占用？一定時間內，誰占用最多？ 2. 這些流量到底包含哪些內容？是數據庫通訊，還是 ping，還是網頁訪問HTTP，還是 FTP 下載？ 3. 這些流量是生產業(yè)務產生的流量嗎？是必要的嗎？ 4. 這些流量中是否包含病毒流量？或者禁止使用的流量 （比如 ftp 下載） ？ 如果把這些問題進一步分析，會發(fā)現，這其實涉及到兩個問題： 1. 流量的分布問題；是指全網中，哪些點流量大，哪些點流量?。?. 流量的構成問題；對于特定的點，流量的組成是什么？由誰發(fā)起的？目的地在哪里？1.3 問題的解決要解決這些流量問題，不是一件容易的事情，常規(guī)的方法有幾種： 1.3.1 網管方式 網管方式通過啟動 SNMP，來獲取流量信息。但是，SNMP 只能獲取流量的字節(jié)數，無法獲取字節(jié)的構成，更無法獲取流量的發(fā)起方。 該方法可以解決流量的分布問題，無法解決流量的構成問題。 該方式主要用于設備的管理，而不適用于精細的流量分析。 1.3.2 數據包監(jiān)聽方式 該方法是將關注的流量串聯到或者鏡像到分析儀器（包括軟件分析，比如sniffer），通過分析儀器來獲取流量的構成和細節(jié)。該方法可以做到流量的精細化分析，做到 27 層的流量分析，但是，缺點也很明顯，只有在部署分析儀器的地方進行流量分析， 如果做到全網多節(jié)點流量監(jiān)控， 必須部署多個分析儀器，導致部署成本急劇上升。 該方式可以很好解決流量的構成問題，但幾乎無法解決流量的分布問題。 該方式適用于對少量關鍵點的監(jiān)控，常用于專業(yè)工程師的故障診斷，不適合大規(guī)模日常使用。 1.3.3 基于流（Flow）技術的方式 該方式是讓網絡設備在轉發(fā)數據流量的同時，生成特定的流量信息，然后將流量信息發(fā)送到特定的分析模塊，進而實現對流量的分析。 該方式的優(yōu)勢是明顯的，理想情況下，如果讓網絡中的每臺網絡設備均發(fā)出流量信息，那么就可以輕松解決流量的分布問題，同時解決流量的構成問題。缺點是各廠商提供的流分析技術都是私有技術無法通用。也正是基于此，國際化流量監(jiān)控標準技術IPFIX（IP Information flow Export）應運而生。1.3.4 解決方法的評估網管方式無法進行流量構成分析，不再討論。 對于數據包監(jiān)聽方式和流（Flow）技術的方式：由于分析儀器的昂貴，監(jiān)聽方式不適用于大規(guī)模部署，而且分析到 7 層應用后，容易使用戶隱私受到侵犯；而流（Flow）技術的分析方式功能均衡而強大，對流量的分析只到業(yè)務字節(jié)，不涉及應用級，無隱私顧慮。如果以監(jiān)控 20 個物理端口為例進行投資估算，監(jiān)聽方式在幾十萬甚至上百萬人民幣數量級，基于流（Flow）技術的流量分析方式成本大大降低。因此，流（Flow）技術方式更適合網絡流量分析。 2 IPFIX技術介紹2.1 IPFIX技術概述基于流的技術被越來越廣泛地用于刻畫網絡傳輸流，它在設置QoS策略、部署應用和進行容量規(guī)劃上都有著巨大的價值。但是，網絡管理員卻缺少一種輸出傳輸流的標準格式。IPFIX全稱為IP Flow Information Export，即IP數據流信息輸出，它是由IETF公布的用于網絡中的流信息測量的標準協(xié)議。該協(xié)議主要在于：l 統(tǒng)一IP數據流的統(tǒng)計、輸出標準，這使得網絡管理員很容易地提取和查看存儲在這些網絡設備中的重要流量統(tǒng)計信息。l 輸出格式具有較強的可擴展性，因此如果流量監(jiān)控的要求發(fā)生改變，網絡管理員也可通過修改相應配置來實現，不必升級網絡設備軟件或管理工具。IPFIX定義的格式以Cisco Netflow Version 9數據輸出格式作為基礎，可使IP流量信息從一個輸出器（Exporter）傳送到收集器（Collector）。因為IPFIX是一種針對數據流特征分析、基于模板的格式輸出的協(xié)議，因此具有很強的可擴展性，對于不同的需求都可以定義不同的數據格式。為了較完整的輸出數據，IPFIX缺省使用網絡設備的七個關鍵域來表示每股網絡流量：l 源 IP 地址l 目的 IP 地址l TCP/UDP 源端口l TCP/UDP 目的端口l 三層協(xié)議類型l 服務類型（Type-of-service）字節(jié)l 輸入邏輯接口如果不同的 IP 報文中所有的七個關鍵域都匹配，那么這些 IP 報文都將被視為屬于同一股流量。通過記錄網絡中這些流量的特征，如流量持續(xù)時間、流量中報文平均長度等， 我們可以了解到當前網絡的應用情況，并根據這些信息對網絡進行優(yōu)化，安全檢測，流量計費。IPFIX記錄除了缺省的記錄流信息，可以基于模板的格式隨意選擇。銳捷交換機IPFIX記錄的流信息非常豐富，基本流輸出如下信息（可隨意調整選擇）：l 流開始時間l 流結束時間l 流的字節(jié)數l 流的報文數l 源IP地址l 目的IP地址l 源端口號l 目的端口號l 入接口l 出接口l 協(xié)議類型l IP TOSl TCP Flagsl 下一跳IP地址l 下一跳BGP地址l 源BGP AS Numberl 目的BGP AS Numberl 最小報文長度l 最大報文長度l 報文最小TTLl 報文最大TTL銳捷交換機IPFIX流信息有如下特點：l 除了基本的流統(tǒng)計信息外，還記錄TCP Flags、最小報文長度、最大報文長度、最小TTL、最大TTL，通過這些信息可以對網絡攻擊和網絡安全進行分析。l 除了基本的流統(tǒng)計信息外，還記錄下一跳IP地址、下一跳BGP地址、源BGP AS Number目的BGP AS Number、出接口，通過這些信息可以對網絡故障和網絡規(guī)劃進行分析。l 流的標識（關鍵字）不只上述規(guī)定的7元素，還包括下一跳IP地址、下一跳BGP地址、源BGP AS Number目的BGP AS Number、出接口，當流的7元素沒有改變時，而是網絡拓撲改變時（比如下一跳地址改變），那么也會作為一個新的流，這些信息有助于分析網絡環(huán)境的改變、或者網絡拓撲抖動等問題。2.2 IPFIX技術價值1. IPFIX統(tǒng)一了流量監(jiān)控標準，通過使用單一的、一致的模型，簡化了流輸出架構。隨著IPFIX標準更廣泛地為網絡設備廠商采用，網絡管理員不用再為支持多個流報告應用而操心，每個應用都有自己的流輸出格式。IPFIX讓他們可以使用一個符合這項標準的流報告應用程序。此外，IPFIX的可擴展性使得網絡管理員不必在傳輸流監(jiān)測或報告需求發(fā)生變化時修改或升級設備配置。2. IPFIX標準關注網絡升級時的流輸出可擴展性。隨著MPLS、IPv6和多播路由等網絡技術的日益普及，管理員也需要更好地了解它們對網絡環(huán)境的影響，這種可擴展性就變得越來越重要。為了確保這種可擴展性的輕松實現，IPFIX兼容設備將輸出模板，這些模板詳細說明那些為輸出而配置的流“特征”。流的采集和報告應用程序可以被用來讀取這些模板，以了解哪些“特征”被輸出，因此網絡管理員不需要調整應用程序配置。3. IPFIX RFC定義了不同的流輸出應用，包括基于使用的統(tǒng)計、傳輸流分布、傳輸流工程、攻擊/入侵檢測和QoS監(jiān)測。例如，支持IPFIX的流報告應用程序通過讀取服務類型字節(jié)流“特征”，可以顯示每一個等級的QoS服務會消費多少網絡傳輸流。此外，流量報告應用還可以顯示應用和用戶如何根據服務類型策略分類。支持IPFIX攻擊/入侵檢測的應用將能夠提供基準協(xié)議（Baseline）和地址數據來確定網絡異常現象。4. IPFIX描述對于流量輸出至關重要的眾多規(guī)則，包括時間戳、時間同步、流終止、數據包分段和多播流行為。例如，傳送多播應用流的IPFIX兼容設備應當輸出反映每一個進入設備接口的流記錄。此外，這類設備應當輸出通過多播傳送給同一臺設備上所有輸出接口每個數據包的流記錄。同使用多播輸出行為一樣，RFC中列出的其他規(guī)則使網絡設備廠商可以更好地了解IPFIX標準的支持要求,以及它如何在已有的技術中實現集成。3 網絡透明化解決方案3.1 解決方案組成IPFIX是基于“流”的概念，一個流是指，來自相同的子接口，有相同的源和目的IP 地址，協(xié)議類型，相同的源和目的協(xié)議端口號，以及相同ToS的報文，通常為5 元組。IPFIX會記錄這個流的統(tǒng)計信息，包括：時間戳，報文數，總的字節(jié)數。網絡透明化解決方案包括：流量采樣設備（Exporter）、流量采集設備（Collector）、數據分析處理設備（Analyser），三個設備之間的關系如下圖所示： 圖：解決方案的組成l Export設備對網絡流進行分析處理，提取符合條件的流統(tǒng)計信息，并將統(tǒng)計信息輸出給Collector設備。l Collector設備負責解析Export的數據報文，把統(tǒng)計數據收集到數據庫中，可供Analyser進行解析。l Analyser設備從Collector中提取統(tǒng)計數據，進行后續(xù)處理，為各種業(yè)務提供依據,以圖形界面的形式顯示出來。Exporter 提供IPFIX技術接口的網絡設備（銳捷網絡公司的路由器和交換機，交換機需要配置高性能的IPFIX 流量分析模塊），負責對設備各個端口進出的網絡報文進行流分類統(tǒng)計，然后封裝成IPFIX報文輸出。 Collector Collector設備可以采集一個或多個Exporter設備輸出的數據，對數據進行過濾和聚合，并將數據存儲在數據庫中供分析處理。 AnalyserAnalyser是一個網絡流量的分析工具，對采集來的流量數據進行分析處理。為便于網絡管理人員的操作，采用基于Web形式訪問，提供直觀的、圖形化的管理界面，所有數據輸出都直接在Web頁面中顯示。 3.2 Exporter設備功能Exporter作為支持IPFIX流量分析技術的網絡設備，首先需要打開網絡設備的偵聽端口，然后配置將IPFIX日志要發(fā)送到哪個IP的哪個端口（即Collerctor設備的監(jiān)聽端口）,也就是配置輸出目的IP地址和目的端口。同時也要配置輸出IPFIX報文的源地址和輸出模板相關參數這樣，設備就會把IPFIX日志以UDP包的形式發(fā)往Collerctor設備，而Collerctor設備NTC則可從偵聽端口源源不斷的接收IPFIX日志。3.3 Collector設備功能IPFIX日志被Collector設備采集到之后，將會做聚合處理；流聚合模式，就是通過其定義的特定關鍵字段，對主模式的流進行重新的聚合產生新的流。系統(tǒng)為這些聚合模式保留一定的緩存，類似于主緩存，這里稱作流聚合緩存。當一個流記錄從主緩存出來后，它包含的流信息將用于對每個使能的流聚合緩存中相應的流聚合記錄進行更新。這樣可減少最終存入數據庫的的數據量，并提高了分析的效率。同時，Collector設備也會對存入數據庫的數據作進一步的統(tǒng)計處理，以便快速產生各類分析報表。例如由于主模式流記錄可能很多，所以銳捷網絡另外提供了一種快速查看的模式，即top-talkers。這是一種將流記錄按一定規(guī)則排序后，只顯示排序前若干位的記錄的模式，便于用戶在大量的數據中抓住重點，提供快速的分析手段。3.4 Analyzer設備功能Analyzer設備 對 Collector設備生成的所有數據進行分析，對數據進行二次聚合、統(tǒng)計分析，獲取網絡的深入可見性，即關于每個鏈路和基于可配置IP的部門/分部的大型主機、應用程序、DSCP、TCP標志和AS信息?；贗P地址的細粒度應用程序分類和識別。分析的結果以非常直觀的圖表、表格等形式展示給用戶，通過這些分析結果，用戶可以監(jiān)控網絡使用狀況、應用使用狀況、用戶網絡訪問行為，通過深入分析特定的應用程序、用戶、端口或通信網絡，用戶可準確識別峰值和爆發(fā)的資源，從而主動監(jiān)控，做出明智的決定。3.5 Analyzer設備報表Analyzer預置了一組豐富的帶寬報表，提供全面的帶寬使用統(tǒng)計數據，幫助用戶查看造成網絡瓶頸的特定主機、應用或對話明細。除快速識別堵塞的鏈路以外，還可以查看不同時間段的帶寬使用趨勢，有助于用戶在帶寬規(guī)劃和加強安全策略方面做出重要決定，從而有效利用帶寬。流量使用報表查看一個接口的當前、平均和峰值流量使用情況。了解某個接口使用多少有效帶寬。歷史報表查看帶寬使用每日、每周、每月的流量報表。查看基于主機、應用和時間的使用趨勢。流量分析查看不同時間段的應用、主機、對話排行，并獲取詳細信息。清楚呈現誰使用最多的帶寬，做什么。自定義報表查看特定主機、應用或對話的帶寬使用情況。利用該報表，用戶可以關聯信息，查看誰在什么時候使用帶寬、用于什么應用、多長時間。 Subnet和基于IP范圍的報表查看通過特定subnet或IP范圍的流量報表。每個網絡或subnet的帶寬使用，確定通過用戶組的高峰時間和典型使用趨勢。接口報表查看不同時間段每個接口的帶寬使用匯總。獲取高峰時間接口使用統(tǒng)計數據，便于解決網絡瓶頸。 可解析的主機地址所有流量報表，包括可解析的資源和目標IP地址，即時查看流入或流出網站或主機的帶寬統(tǒng)計數據。變量顯示查看流量圖表，包括流量(Kb),流量速率(bps)，或鏈路利用百分比。報表輸出輸出并保存PDF文件的圖表和報表3.6 業(yè)務功能展示3.6.1 網絡用戶分區(qū)管理設備分組：能夠按區(qū)域區(qū)分流量，實現分區(qū)管理；IP分組：將流量源IP進行分組，可按組織架構進行流量區(qū)分，以掌握各部門的流量情況。圖：IP分組管理3.6.2 應用流量分析此類報表顯示了每個應用的帶寬使用情況，以便了解哪些應用占用最大帶寬。還可以深入分析使用這些應用的源和目標。只需簡單點擊，這些詳細信息即可呈現誰在使用帶寬以及為什么使用。然后就可以決定是否需要增加可用帶寬或加強安全策略。圖：應用帶寬分布表通過對流量的識別，統(tǒng)計網內流量的占比，知道各種業(yè)務流量的大小、變化趨勢，以規(guī)劃和優(yōu)化網絡。所有流量報表，包括可解析的資源和目標IP地址，即時查看流入或流出網站或主機的帶寬統(tǒng)計數據。能夠實現對一個具體IP應用的深入分析，以便管理員了解IP流量異常時的流量分配，作出判斷，給出相應的安全策略。圖：業(yè)務應用分析圖：具體IP應用的深入分析3.6.3 流量目標地址統(tǒng)計通過流量流向的TOP N統(tǒng)計，能夠識別受歡迎的地址。同時能夠識別這些地址的協(xié)議內容。圖：目的流入排行榜報表圖：具體一個目的IP的流入排行榜3.6.4 帶寬使用實時統(tǒng)計此類報表用來查看每個啟用IPFIX的接口當前、平均和最高的帶寬使用情況。利用這些帶寬使用的統(tǒng)計數據，就可以立刻了解某個接口相關的主機、應用和會話占用了多少帶寬。圖：帶寬使用實時統(tǒng)計圖：基于接口速度、接口利用率、IP組速度、IP組利用率進行排行圖：基于接口的報表統(tǒng)計3.6.5 網內流量趨勢查看帶寬使用每日、每周、每月的流量報表。查看基于主機、應用和時間的使用趨勢。一天、一周、一月和一年內的帶寬使用趨勢，并決定是否需要升級帶寬。從網絡總容量、速度、使用率、數據包四個維度去統(tǒng)計和分析趨勢；根據幾個指標的飽和度，可以考慮是否需要對網絡進行擴容；同時預測負載峰值時間，采取有效措施保證網絡不會過載。圖：內網流量趨勢表3.6.6 高效便捷的流量管理提供基于流量閥值的報警機制，用戶可靈活的定制告警條件，預防網絡流量異常；提供基于WEB的訪問方式，管理員可以“隨時、隨地”的監(jiān)控自己的網絡。圖：流量管理配置報警表4 網絡透明化解決方案組網模式及應用4.1 網絡透明化解決方案組網模式圖：IPFIX在網絡各層中的應用利用IPFIX日志，網絡透明化解決方案提供了一種網絡監(jiān)測、分析的方式，直接從支持IPFIX功能的路由器和交換機中收集流量信息，可以靈活啟動不同層面（接入層、匯聚層、核心層）的網絡設備進行IPFIX流量日志收集，并將收集的內容以IPFIX 格式的日志輸出給Collerctor設備進行分析。 用戶使用Analyser的分析功能， 可以做網絡使用狀況監(jiān)控、 用戶行為追蹤、異常流量檢測等，并且基于功能豐富的報表，用戶可以做網絡規(guī)劃方面的決策。4.2 網絡透明化解決方案應用IPFIX技術定義了一種路由器/交換機向管理系統(tǒng)輸出流量數據的方法， 通過采集和分析流量數據，并將流量數據與管理控制臺中的其他網絡和應用性能指標建立關系，對網絡運行狀態(tài)進行管理。IPFIX技術的IP網絡流量數據報文中包含許多有價值的流量統(tǒng)計數據，這些流信息充分揭示了有關網絡使用的問題l 流量的分布問題；是指全網中，哪些點流量大，哪些點流量?。縧 流量的構成問題；對于特定的點，流量的組成是什么？由誰發(fā)起的？目的地在哪里？利用網絡透明化網流分析系統(tǒng)對這些數據進行統(tǒng)計分析，就能從中提取出網絡流量特征，從而為網絡管理員提供一張豐富而詳盡的網絡利用視圖。 網絡優(yōu)化 網絡透明化解決方案，可以使網絡管理員及時掌握網絡負載狀況，網內應用資源使用情況，對核心網絡的重點鏈路進行統(tǒng)計，各類TOP應用百分比，使用各類應用的網內用戶、服務器的流量趨勢及統(tǒng)計值，迅速發(fā)現網絡當前的使用狀況和不同鏈路的使用率變化趨勢，盡早發(fā)現網絡結構的