金融行業(yè)云環(huán)境下的網絡流量采集建設方案

1、 最佳實踐 金融行業(yè)云環(huán)境下的網絡流量采集建設方案 【摘要】本文內容來自社區(qū)交流分享，由社區(qū)某銀行網絡專家整理，從需求分析、方案設計、工程實施、項目運維四個方面，完整解讀金融行業(yè)網絡流量采集項目建設過程中的重點及難點，希望藉此幫助金融行業(yè)同行解決相關問題。一、需求分析階段1、金融行業(yè)為什么要上云環(huán)境流量采集項目？隨著虛擬化和云技術的不斷發(fā)展，金融行業(yè)數(shù)據(jù)中心越來越多系統(tǒng)從原來的物理機遷移至云平臺，數(shù)據(jù)中心的虛擬化東西流量呈顯著增長。但是傳統(tǒng)物理流量采集網絡無法對虛擬化環(huán)境的流量進行直接采集，導致虛擬化環(huán)境中的業(yè)務流量成為盲區(qū)，使虛擬化環(huán)境中的業(yè)務應用發(fā)生問題時，無法直接提取流量進行分析。面對虛

2、擬化環(huán)境流量采集需求，必須與時俱進引入新的虛擬化流量采集技術，使虛擬化環(huán)境流量可提取可分析。某行已經在云環(huán)境中完成虛擬化流量采集環(huán)境的試點部署工作，虛擬化流量采集架構主要由流量采集管理平臺和部署在云平臺物理機上的采集虛擬機兩部分組成，如圖二。其中流量采集管理平臺負責采集虛擬機的部署、虛擬化流量采集策略的配置下發(fā)及采集虛擬機到采集物理設備的通道建立等管理工作；而采集虛擬機部署在云平臺每臺物理機上，用于采集同一物理機中的虛擬機之間交互的流量，并將流量傳送至流量采集物理設備進行過濾和分配。隨著科技在金融行業(yè)發(fā)展的推力越來越大，很多金融行業(yè)可能面臨如下問題：（1）金融業(yè)的系統(tǒng)承載著眾多重要和關鍵業(yè)務，

3、系統(tǒng)的穩(wěn)定運行是金融業(yè)務迅速發(fā)展的基礎。系統(tǒng)的準確實時的監(jiān)控為系統(tǒng)健康運行提供了有力保障，而基于系統(tǒng)業(yè)務數(shù)據(jù)包的監(jiān)控目前是最能反應業(yè)務真實運行情況的方法，被認為是系統(tǒng)和業(yè)務監(jiān)控的重要環(huán)節(jié)。（2）當金融業(yè)生產網絡發(fā)生大流量傳輸引起帶寬瞬間擁堵丟包、應用系統(tǒng)交易緩慢或系統(tǒng)交易成功率降低，需要用抓包手段來分析原因，但是由于一些網絡部署架構或者交換機產品自身原因，難以及時捕獲到抓包所需的交易全路徑鏡像流量，給故障分析帶來挑戰(zhàn)。（3）隨著金融業(yè)網絡安全、應用性能監(jiān)控以及各類審計系統(tǒng)的流量需求越來越多，如BPC應用交易監(jiān)控、IDS入侵檢測系統(tǒng)、郵件以及客服錄音審計等系統(tǒng)，傳統(tǒng)的網絡設備上沒有足夠的能力提供

4、所需流量，盲目在交換機做大量鏡像可能對生產交換機帶來隱患。而以上需求和問題均通過流量采集網絡解決。網絡流量采集是將數(shù)據(jù)中心生產網絡設備各關鍵節(jié)點的鏡像流量進行采集匯聚，并經過加工處理后發(fā)送給指定分析設備的網絡系統(tǒng)。通過流量采集網絡提取數(shù)據(jù)已經成為各個監(jiān)控和安全系統(tǒng)進行流量分析的必不可少一個環(huán)節(jié)，也是監(jiān)控和安全系統(tǒng)發(fā)揮其檢測防御能力的基礎平臺。流量采集網的功能如下：（1）流量采集網絡進行流量集中采集匯總去重，并按需對采集到的數(shù)據(jù)基于硬件進行L2-L4層靈活過濾后將數(shù)據(jù)分配給各個基于流量分析的后臺系統(tǒng)。（2）流量采集網絡通過集群組網將各中心流量統(tǒng)一匯總，物理網絡流量和虛擬網絡流量也可統(tǒng)一采集，各流

5、量分析系統(tǒng)均從流量采集網絡提取流量即可。（3）流量采集網絡在網絡設備鏡像與流量分析系統(tǒng)增加一個中間層，實現(xiàn)了網絡流量的集中管理和流量分析系統(tǒng)的集約化管理，可以實現(xiàn)工具的彈性擴展。2、如何評估網絡流量采集項目的整體成本？網絡流量采集項目的成本主要包括采購成本和項目實施管理成本。其中項目采購成本是指采購流量采集設備成本。項目實施管理成本是指采購流量采集設備商務流程準備、流量采集需求統(tǒng)計和流量采集網絡新架構設計和流量采集網絡實施和管理的成本。可能關聯(lián)成本是指如果沒有流量采集系統(tǒng)，監(jiān)測系統(tǒng)（網絡性能監(jiān)測、應用性能監(jiān)測、網絡安全監(jiān)測等）的投入將是一個非常巨大的投資，將是無法實現(xiàn)的監(jiān)測，只能監(jiān)測重點區(qū)域，

6、無法實現(xiàn)全網的可視性，這樣的情況出現(xiàn)問題時，有些區(qū)域是無法監(jiān)測的，這樣的損失也是無法估量的。某行之前選擇的流量采集產品，在使用過程中發(fā)現(xiàn)該產品的基于接口進行數(shù)據(jù)包處理性能較低且設備不穩(wěn)定，對各個監(jiān)測系統(tǒng)的數(shù)據(jù)穩(wěn)定性和準確性都帶來了隱患。因此通過對行業(yè)內的同類產品進行的測試和對比分析，后選擇了另一款產品的解決方案，該產品基于背板進行數(shù)據(jù)處理性能較高且設備穩(wěn)定性較強，同時提供流量采集分層架構，分層架構適合于數(shù)據(jù)中心的流量采集設計及擴展，可以較好的控制后期的成本。某行采購流量采集產品中購買物理流量采集產品成本占比89%，虛擬化和軟件流量采集產品占比11%。從流量采集網絡架構上分析，流量采集層產品采購

7、成本占比42%，流量匯聚層產品采購占比16%，流量分配層和高級功能許可采購占比42%。3、金融行業(yè)中上網絡流量采集項目的企業(yè)多嗎？現(xiàn)在是什么形勢？目前四大行和12家股份制銀行均已部署了網絡流量采集。其它大型企業(yè)中國移動、中國聯(lián)通等也都搭建了自己的流量采集系統(tǒng)。隨著金融業(yè)對業(yè)務數(shù)據(jù)質量的要求越來越高，各大企業(yè)對生產數(shù)據(jù)的采集方法和采集的數(shù)據(jù)質量越來越重視。流量采集網絡已經是金融行業(yè)的一種剛性需求。在金融業(yè)均認同需獨立建設一個流量采集網絡，并作為基礎架構來統(tǒng)一管理和分配流量至各流量分析系統(tǒng)。同時隨著數(shù)據(jù)中心推行虛擬化技術，如何在物理和虛擬化環(huán)境中采集正確且穩(wěn)定的流量數(shù)據(jù)也是金融業(yè)共同面臨的課題。二

8、 、方案設計1、在網絡流量采集項目中，如何進行技術路線的選擇？（1）單臺設備部署vs集群部署流量采集技術有單臺設備的解決方案和集群的解決方案，單臺設備的規(guī)則配置都是基于一個一個設備的配置，當規(guī)則過多時，跨設備的流量管理會是運維和排障的難點，而集群部署不僅解決了管理維護和排障的問題，同時提供了對整體流量的管理。（2）高級功能引擎vs高級功能接口高級功能是流量采集中越來越重要的功能，能夠幫助各分析系統(tǒng)實現(xiàn)按需的切包、去除標簽和去除重復包的流量優(yōu)化，提升各分析系統(tǒng)處理效率，目前高級功能實現(xiàn)主要有基于高性能計算的引擎模式和基于固定芯片固定接口的模式，其區(qū)別在于基于接口高級功能處理僅能夠對連接于該接口的

9、工具提供高級功能流量處理，而基于引擎的高級功能處理可以實現(xiàn)對任意接口連接的流量分析系統(tǒng)所需流量均可以實現(xiàn)高級功能處理。簡單的說就是接口的高級功能只能獨占資源，而基于引擎的高級功能處理可以提供共享資源。（3）虛擬化流量采集虛擬化環(huán)境中流量未被物理網絡的監(jiān)測探針捕獲使監(jiān)測虛擬化系統(tǒng)帶來難點，而目前能夠實現(xiàn)虛擬化環(huán)境內流量監(jiān)測的解決方案分為以下三類：(a)基于agent部署，需要在每一個虛擬機上安裝agent代理軟件；(b)在宿主機上針對每個流量分析系統(tǒng)安裝監(jiān)測采集虛擬機；(c)在每臺虛擬化環(huán)境的物理機上安裝統(tǒng)一的采集虛擬機，采集流量匯總至物理流量采集網絡，再分發(fā)至各個流量分析系統(tǒng)；上述三種流量采集

10、方式中，基于agent很難大規(guī)模采用，因為一旦采集進程與虛擬機內的應用沖突將會影響到業(yè)務系統(tǒng)。第二種方式中每個宿主機安裝多個監(jiān)測系統(tǒng)的方式系統(tǒng)資源開銷太大，試想如果有7套流量分析系統(tǒng)，就需要在宿主機上安裝7個監(jiān)測采集虛擬機，這種資源開銷是很難接受的，而且不是所有流量分析系統(tǒng)都有采集虛擬機版本。第三種方式是資源開銷較小的方式，也能夠同物理網絡中的流量合并后發(fā)送至各流量分析系統(tǒng)，這樣在流量分析系統(tǒng)上可以查看到東西南北方向的所有流量。2、如何進行網絡流量采集項目的系統(tǒng)方案設計？有哪些具體的設計內容？流量采集網絡是流量可視化的基礎架構，采集生產網絡中的所有流量，包括物理網絡流量和虛擬化環(huán)境網絡流量。通

11、過流量采集網絡自身的過濾和流量高級功能處理，將加工后的流量分發(fā)至各流量分析系統(tǒng)，因此流量采集網絡方案要實現(xiàn)流量采集與預處理功能，并且要保障流量采集網自身的一致性和可擴展性以滿足各流量分析系統(tǒng)能夠得到實時準確的流量，這些需求落實到方案分為以下三個方面：圖一 流量采集網架構（1）流量采集層設備。在每個數(shù)據(jù)中心各機房模塊均有部署，用于對部署各機房模塊的各區(qū)不同型號網絡設備的鏡像流量進行采集，流量采集層設備會采用10G或40G接口接收每一個網絡設備的鏡像數(shù)據(jù)，并會對不同網絡設備的數(shù)據(jù)打上標簽以對采集點進行染色便于后續(xù)進行定位分析。同時，采集層支持對地址段、地址通訊對等大流量進行初步過濾。（2）流量匯聚

12、層設備。在每個數(shù)據(jù)中心的核心網絡模塊部署，一是匯聚同數(shù)據(jù)中心的各個流量采集層采集的數(shù)據(jù)流，二是流量匯聚分配層設備根據(jù)數(shù)據(jù)標簽將流量按區(qū)域和層次進行匯總，并進行切片、去重等高級功能處理。（3）流量分配層設備。在每個數(shù)據(jù)中心的核心網絡模塊部署，按需將不同的數(shù)據(jù)分配給不同的分析工具系統(tǒng)，同時對數(shù)據(jù)基于MAC地址、Vlan Id、IP地址和端口等2-4層特定條件進行過濾，流量分配設備可以實現(xiàn)對數(shù)據(jù)的末端精細化裁剪和過濾，滿足不同流量分析系統(tǒng)對數(shù)據(jù)采集的不同要求。流量采集網絡已經是一個流量采集與管理的基礎架構，實現(xiàn)對生產網絡數(shù)據(jù)進行了全覆蓋的流量采集和優(yōu)化處理，可追溯任意生產IP在網絡中的訪問過程。在生

13、產事件處置和應用系統(tǒng)架構優(yōu)化改造過程中，流量采集網絡均起到了重要作用。同時流量采集網絡便于各流量采集系統(tǒng)接入并取得所需流量，避免以往各流量分析系統(tǒng)需直接連接網絡交換機以取得流量，滿足各流量分析系統(tǒng)的流量采集需求。3、在網絡流量采集項目中，為進行系統(tǒng)規(guī)格設計，如何進行定量需求分析？需要收集哪些需求數(shù)據(jù)信息？建設流量采集網絡需要前期收集需求信息，根據(jù)需求信息按規(guī)模部署建設流量采集網絡。收集的需求信息數(shù)據(jù)包含以下三方面：（1）各生產區(qū)域網絡交換機設備的鏡像流量采集需求。需要確定各生產網絡交換機設備鏡像流量采集需求，以確定流量采集網絡采集層設備的部署數(shù)量和部署位置，以保證各網絡區(qū)域的鏡像流量都可采集。

14、（2）流量采集網絡各層之間傳送帶寬。需要計算流量采集網絡采集層、匯聚層和分配層之間傳輸流量規(guī)模，以部署配套帶寬線路互聯(lián)。使流量采集網絡各層設備傳輸數(shù)據(jù)時帶寬充足以保證流量采集網絡數(shù)據(jù)質量。（3）各流量分析系統(tǒng)接入和流量采集需求。需要收集各流量分析系統(tǒng)接入流量采集網絡的需求，以保證流量采集網絡分配層具體足夠的接入能力滿足各流量分析的接入需求。同時需要收集各流量分析系統(tǒng)數(shù)據(jù)采集需求，例如BPC監(jiān)控工具對數(shù)據(jù)有去重、去除標簽的高級功能處理需求，科來分析系統(tǒng)對數(shù)據(jù)有切包的高級功能處理需求等。針對不同的流量分析系統(tǒng)的不同流量高級功能處理需求需要統(tǒng)計和梳理，在流量采集網絡按規(guī)模部署高級功能處理板卡，以滿足

15、各流量分析的流量采集需求。4、如何解決網絡流量采集項目的中的某個難點問題？（1）監(jiān)測難點：冗余鏈路環(huán)境中數(shù)據(jù)包檢測在多鏈路的數(shù)據(jù)中心，數(shù)據(jù)流向有多條路徑，隨著中間網絡節(jié)點數(shù)量增加，路徑可能成倍增加，從而故障排查過程中，如何快速有效定位數(shù)據(jù)流所經路徑，是故障快速解決的關鍵。解決方案：在生產區(qū)域進行全覆蓋流量采集點部署，能夠在各采集點跟蹤流量數(shù)據(jù)包，繪制流量所經路徑，可追溯任意生產IP在網絡中的訪問過程，全方位實現(xiàn)數(shù)據(jù)中心內冗余鏈路環(huán)境下數(shù)據(jù)包路徑檢測。（2）監(jiān)測難點：單播泛洪監(jiān)控由于不對稱路由的存在或設備軟件特性等原因，局域網內存在單播泛洪現(xiàn)象。單播泛洪會導致交換機整體的性能下降，造成服務器及交

16、換機的接口堵塞，影響網絡的數(shù)據(jù)的正常通信。解決方案：通過在每個區(qū)域核心交換機上監(jiān)控Trunk接口數(shù)據(jù)信息，制定單播泛洪流量告警基線，能夠有效預警和監(jiān)控局域網VLAN范圍內的單播泛洪隱患和問題，快速定位單播泛洪故障源，保護生產網絡穩(wěn)定。（3）監(jiān)測難點：基于流量的信息系統(tǒng)故障定位分析監(jiān)控應用基于流量采集網絡所采集的鏡像數(shù)據(jù)對應用系統(tǒng)故障進行智能定位分析的專家系統(tǒng)，TCP協(xié)議的應用在出現(xiàn)故障的時候，通常在TCP數(shù)據(jù)傳輸時會表現(xiàn)出某種特征，將這種特征進行提煉、組合、關聯(lián)（算法）并通過軟件自動計算分析后，可在較短時間內準確定位故障發(fā)生的原因和影響。解決方案：在流量采集網絡通過將特定的TCP流量過濾發(fā)送至

17、流量分析系統(tǒng)，由流量分析系統(tǒng)制定符合實際情況的故障分析場景，實現(xiàn)故障智能定位和告警。5、在網絡流量采集項目中，解封裝模塊如何進行設計？在虛擬化環(huán)境流量采集中，解封裝模塊作用比較重要。該模塊通過Gre tunnel將采集虛擬機采集到的虛擬化流量傳送至流量采集物理設備中。該模塊輸入是虛擬化環(huán)境中部署的采集虛擬機采集到的虛擬化環(huán)境流量，輸出是經過Gre tunnel傳輸至物理設備且已解封裝的流量。圖二 虛擬化流量采集架構該模塊主要功能是對通過Gre等封裝格式的數(shù)據(jù)進行封裝剝離。其工作原理：首先，在流量采集設備的物理接口配置IP地址并在該接口內啟用Gre Tunnel解封裝功能，當采集虛擬機采集到虛擬

18、化環(huán)境流量后通過Gre tunnel方式把流量發(fā)送至流量采集物設備配置IP地址的接口。然后，流量采集設備通過解封裝模塊將Gre封裝格式的虛擬化環(huán)境流量包解封裝，這樣流量采集設備即可得到虛擬化環(huán)境采集到的流量。最后，流量采集設備再可通過過濾和高級功能處理將虛擬化環(huán)境流量進行加工后發(fā)送至需要的流量分析系統(tǒng)。通過以上步驟各流量分析系統(tǒng)可以取得所需的虛擬化環(huán)境流量。6、在網絡流量采集項目中，如何進行硬件設備、高級功能和虛擬化采集產品的選型？流量采集網絡產品選型包括是采用支持集群管理的設備還是僅支持單獨管理的設備、在流量高級功能處理上是采用支持可擴展的背板引擎技術還是基于接口的技術以及虛擬化流量采集是基

19、于各個流量分析系統(tǒng)分別獨立部署采集探點的方式還是由流量采集網絡統(tǒng)一采集虛擬化流量再分發(fā)給各個流量分析系統(tǒng)的方式，這些技術都是流量采集網絡產品選型時需要考慮的要素，下面針對這些技術進行詳細對比：（1）集群技術與單臺管理目前市場上流量采集產品部署技術主要有能夠支持集群管理的流量采集產品和獨立部署的流量采集產品，而金融業(yè)的特點是數(shù)據(jù)中心多且同一數(shù)據(jù)中心內也是多個模塊化機房，網絡交換機分布位置較多，因此需要在各數(shù)據(jù)中心各模塊化機房分別部署流量采集產品。在此種應用場景下，支持集群技術的流量采集產品可以實現(xiàn)對整個流量采集網絡的流量統(tǒng)一管理，而獨立部署的流量采集產品需要對每臺流量采集產品進行單獨的管理給流量

20、整體分析和處理帶來不便，所以在產品部署結構方面集群的部署方式相比單臺設備的部署方式更適合數(shù)據(jù)中心流量采集網絡應用場景。（2）基于引擎的高級功能處理技術與基于接口的高級功能處理技術基于引擎的高級功能技術是根據(jù)規(guī)則進行高級功能的調用模式，方便靈活地實現(xiàn)整個設備和集群內任意流量的高級功能處理；基于接口的高級功能技術是針對該接口的流量進行高級功能處理?；谝娴母呒壒δ芗夹g與基于接口的高級功能技術其本質區(qū)別是硬件架構的不同，基于引擎的高級功能技術是采用可編程的高性能處理運算單元實現(xiàn)功能的開放定制，基于接口的高級功能技術是在接口啟用的高性能的處理芯片（功能固化），因此在技術架構上兩者就有本質的區(qū)別?；?/p>

21、引擎的高級功能技術是按需定制的功能，基于接口的高級功能技術都是芯片原有的功能，因此基于引擎的高級功能技術在流量處理上功能更加靈活和細致。例如數(shù)據(jù)包截短的高級功能，基于引擎的高級功能處理可以在輸出接口針對不同的協(xié)議配置不同截短處理，同時截短的數(shù)據(jù)包大小可自定義?；诮涌诘母呒壒δ芴幚碇挥薪囟袒虿唤囟虄煞N處理方式，而且截短的大小也是固定的。面對各流量分析系統(tǒng)不同的流量采集需求，基于引擎的高級功能處理可以提供更加靈活的流量加工和過濾以滿足各流量分析系統(tǒng)的采集需求。（3）虛擬化流量集中采集技術與虛擬化流量獨立采集技術虛擬化流量集中采集技術是指虛擬化流量由部署在虛擬化環(huán)境中的采集虛擬機統(tǒng)一采集后發(fā)送至流

22、量采集網絡物理設備，再由流量采集網絡物理設備對流量進行匯總過濾和高級功能處理后發(fā)送至各流量分析系統(tǒng)的技術。虛擬化流量獨立采集技術是指各流量分析系統(tǒng)各自獨立部署虛擬化流量采集探點進行流量采集和分析的技術。虛擬化流量獨立采集技術隨著流量分析系統(tǒng)的數(shù)量增多在虛擬化環(huán)境部署探點數(shù)量也增加，從而引起各探點在虛擬化環(huán)境資源占用和性能消耗過度的問題。虛擬化流量集中采集技術是一次投入可以服務于多個流量分析系統(tǒng)，既對虛擬化環(huán)境資源進行合理使用同時有效控制投資成本。三、工程實施1、如何規(guī)劃網絡流量采集項目的工程實施步驟？流量采集網絡覆蓋各生產區(qū)域的鏡像流量采集，包括物理網絡區(qū)域流量采集和虛擬化環(huán)境流量采集。由于流

23、量采集網絡采集的數(shù)據(jù)質量直接影響各流量分析設備的監(jiān)控和安全防御準確性，所以流量采集網絡建設需要嚴格把控每一項工程步驟的進度與質量，流量采集網絡項目建設主要包含以下工程步驟：（1）流量采集網絡需求分析。該步驟主要是深入調研流量采集網絡目前面臨的問題，例如互聯(lián)帶寬過載、流量分配層接口數(shù)量資源有限無法滿足各流量分析系統(tǒng)接入需求、虛擬化環(huán)境流量如何采集，同時結合新的系統(tǒng)的監(jiān)測要求及流量采集網絡建設的技術趨勢，找出流量采集網絡現(xiàn)狀與戰(zhàn)略趨勢的差距，提出新的項目建設需求點。（2）流量采集網絡的整體方案及架構設計。該步驟是依據(jù)流量采集網絡目前的需求及未來可預見的擴容計劃進行方案和架構設計，包括流量采集網絡分層可擴展架構和虛擬化環(huán)境流量采集架構設計。（3）流量采集網絡的環(huán)境資源準備。主要做好資源的預留與申請，包括流量采集網絡設備機柜資源和大帶寬布線資源，以及虛擬化環(huán)境的服務器資源的申請與預留。（4）流量采集網絡硬件設備上架部署與軟件設備安裝采集。該步驟主要是流量采集網絡硬件設備的上架與部署和虛擬化環(huán)境采集環(huán)境的搭建安裝。（5）流量采集網絡的上線試運行。該步驟主要確認流量采集網絡采集的物理設備鏡像流量和虛擬化環(huán)境流量的質量是否可用，并能夠按需傳輸至各流量分析系統(tǒng)。（6）流量采集網絡規(guī)則優(yōu)化。該步驟是流量采集網絡對數(shù)據(jù)近一步加工處理的過程，確保流量采集網絡可以按照各流量分析系統(tǒng)的需求對數(shù)