網(wǎng)絡(luò)測(cè)量綜述

網(wǎng)絡(luò)測(cè)量綜述R&D網(wǎng)絡(luò)測(cè)量組陶智勇提綱1網(wǎng)絡(luò)測(cè)量的基礎(chǔ)知識(shí)2網(wǎng)絡(luò)測(cè)量的分類3網(wǎng)絡(luò)測(cè)量的體系結(jié)構(gòu)4被動(dòng)網(wǎng)絡(luò)測(cè)量數(shù)據(jù)采集5網(wǎng)絡(luò)測(cè)量的典型應(yīng)用1網(wǎng)絡(luò)測(cè)量的基礎(chǔ)知識(shí)

1.1網(wǎng)絡(luò)測(cè)量的定義1.2網(wǎng)絡(luò)測(cè)量的動(dòng)機(jī)1.3網(wǎng)絡(luò)測(cè)量的功能1.4網(wǎng)絡(luò)測(cè)量的用途1.5網(wǎng)絡(luò)測(cè)量的難點(diǎn)1.1網(wǎng)絡(luò)測(cè)量的定義網(wǎng)絡(luò)測(cè)量是指遵照一定的方法和技術(shù)，利用軟件和硬件工具來測(cè)試或驗(yàn)證表征網(wǎng)絡(luò)性能的指標(biāo)的一系列活動(dòng)的總和。1.2網(wǎng)絡(luò)測(cè)量的動(dòng)機(jī)（why）Internet是一個(gè)巨大的網(wǎng)絡(luò)的網(wǎng)絡(luò),研究人員喜歡研究/建模這樣一個(gè)系統(tǒng),并測(cè)量緊急出現(xiàn)的一些特征廣域網(wǎng)的行為是不可預(yù)測(cè)的,它在不停地變化許多應(yīng)用有些性能要求:可靠性,可預(yù)見性等1.2網(wǎng)絡(luò)測(cè)量的動(dòng)機(jī)(續(xù))網(wǎng)絡(luò)管理者要根據(jù)條件來調(diào)整系統(tǒng)如果不知道網(wǎng)絡(luò)的結(jié)構(gòu)和行為就不能改進(jìn)它不測(cè)量就無法理解網(wǎng)絡(luò)不測(cè)量就無法建立一個(gè)有效的模型1.3網(wǎng)絡(luò)測(cè)量的功能（what）網(wǎng)絡(luò)的結(jié)構(gòu)拓?fù)?，路由等網(wǎng)絡(luò)的流量特征通信量，端到端的性能用戶和應(yīng)用www，peer-to-peer,streaming,security網(wǎng)絡(luò)的錯(cuò)誤和惡意的行為1.4網(wǎng)絡(luò)測(cè)量的用途網(wǎng)絡(luò)測(cè)量是一種技術(shù)，它通過收集數(shù)據(jù)或分組的蹤跡來顯示和分析在不同網(wǎng)絡(luò)應(yīng)用下網(wǎng)絡(luò)中分組的活動(dòng)情況。從研究的實(shí)質(zhì)上看，網(wǎng)絡(luò)測(cè)量可以把因特網(wǎng)從技術(shù)上升到科學(xué)，并且能夠更好地指導(dǎo)應(yīng)用?？梢哉f，對(duì)因特網(wǎng)的測(cè)量是對(duì)因特網(wǎng)進(jìn)行控制的基礎(chǔ)和前奏1.4網(wǎng)絡(luò)測(cè)量的用途網(wǎng)絡(luò)測(cè)量的具體用途可分為以下幾大類：故障診斷協(xié)議排錯(cuò)網(wǎng)絡(luò)流量特征化性能評(píng)價(jià)其他用途1.4網(wǎng)絡(luò)測(cè)量的用途網(wǎng)絡(luò)測(cè)量可以給從事網(wǎng)絡(luò)工作的人，比如負(fù)責(zé)網(wǎng)絡(luò)日常運(yùn)營(yíng)維護(hù)的ISP、網(wǎng)絡(luò)工程建設(shè)的集成商、網(wǎng)絡(luò)設(shè)備的生產(chǎn)商、互聯(lián)網(wǎng)用戶和網(wǎng)絡(luò)研究人員等帶來益處。1.5網(wǎng)絡(luò)測(cè)量的難點(diǎn)Internet規(guī)模巨大Internet復(fù)雜組成、協(xié)議、應(yīng)用和用戶Internet不停地變化Internet開發(fā)的時(shí)候就不具備測(cè)量的基本屬性:幾乎每個(gè)網(wǎng)絡(luò)運(yùn)行人員都希望自己網(wǎng)絡(luò)上的數(shù)據(jù)是私有的2網(wǎng)絡(luò)測(cè)量的分類2.1根據(jù)測(cè)量方式的不同（how）2.1.1主動(dòng)測(cè)量2.1.2被動(dòng)測(cè)量2.2根據(jù)測(cè)量?jī)?nèi)容的不同2.2.1網(wǎng)絡(luò)拓?fù)錅y(cè)量2.2.2網(wǎng)絡(luò)性能測(cè)量2.2.3網(wǎng)絡(luò)流量測(cè)量2.1.1主動(dòng)測(cè)量主動(dòng)測(cè)量是通過向網(wǎng)絡(luò)中發(fā)送特定分組來研究網(wǎng)絡(luò)的行為.主動(dòng)測(cè)量主動(dòng)性高，能以更加直接的方式來分析網(wǎng)絡(luò)，但是由于需要向網(wǎng)絡(luò)中注入探測(cè)流量，會(huì)增加網(wǎng)絡(luò)負(fù)荷，對(duì)網(wǎng)絡(luò)性能產(chǎn)生影響.主動(dòng)測(cè)量實(shí)例美國(guó)的NIMI（NationalInternetMeasurementInfrastructure）項(xiàng)目里，利用ping、traceroute、mtrace等工具進(jìn)行主動(dòng)測(cè)量（參見http:///nimi/）2.1.2被動(dòng)測(cè)量被動(dòng)測(cè)量通過在網(wǎng)絡(luò)中選定的節(jié)點(diǎn)安裝數(shù)據(jù)采集器收集流經(jīng)節(jié)點(diǎn)的網(wǎng)絡(luò)業(yè)務(wù)流進(jìn)行分析、提取業(yè)務(wù)特征，獲得性能數(shù)據(jù).被動(dòng)測(cè)量主要在一個(gè)特殊點(diǎn)觀察網(wǎng)絡(luò)的行為,不增加和修改通過網(wǎng)絡(luò)的數(shù)據(jù)負(fù)載,因此對(duì)網(wǎng)絡(luò)的行為沒有影響。但是從被動(dòng)捕獲得到的包中難以甚至不可能獲得我們想要的某些信息,測(cè)量的范圍比較小,并且難以獲得對(duì)網(wǎng)絡(luò)的整體理解和網(wǎng)絡(luò)端到端行為的理解。被動(dòng)測(cè)量經(jīng)常用于測(cè)量業(yè)務(wù)量的特征.被動(dòng)測(cè)量實(shí)例美國(guó)應(yīng)用網(wǎng)絡(luò)研究國(guó)家實(shí)驗(yàn)室（NLANR）的測(cè)量項(xiàng)目PMA（PassiveMeasurementandAnalysis），旨在為高級(jí)網(wǎng)絡(luò)提供協(xié)作性的服務(wù)支持。它采用OC3com數(shù)據(jù)搜集系統(tǒng)，包括專門的群機(jī)系統(tǒng)、裝有FOREATMcards和OpticalSplitters，采集ATM的數(shù)據(jù)流，使用CoralReef根據(jù)一定的規(guī)則集進(jìn)行數(shù)據(jù)采集并可使用perl等語言對(duì)數(shù)據(jù)進(jìn)行分析。（參見http:///）2.2.1網(wǎng)絡(luò)拓?fù)錅y(cè)量網(wǎng)絡(luò)拓?fù)錅y(cè)量主要是了解網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，用以指導(dǎo)資源調(diào)節(jié)和流量分配實(shí)例：Skitter(CAIDA)針對(duì)從幾個(gè)源點(diǎn)到成千上萬個(gè)目標(biāo)點(diǎn)收集到的路徑信息進(jìn)行拓?fù)浣Y(jié)構(gòu)和性能屬性的可視化,并且開展了AS的地理信息圖方面的研究.（參見http:///tools/measurement/skitter/）2.2.2網(wǎng)絡(luò)性能測(cè)量網(wǎng)絡(luò)性能測(cè)量主要是通過監(jiān)測(cè)網(wǎng)絡(luò)的端到端的時(shí)延、抖動(dòng)、丟包率等特性，了解網(wǎng)絡(luò)的可達(dá)性、利用率以及網(wǎng)絡(luò)負(fù)荷等

實(shí)例：NPACI（美國(guó)國(guó)家高級(jí)計(jì)算機(jī)基礎(chǔ)設(shè)施聯(lián)盟

）NetworkWeatherService每隔一定的時(shí)間間隔,周期性地監(jiān)視動(dòng)態(tài)地預(yù)報(bào)(各種網(wǎng)絡(luò)及計(jì)算資源)網(wǎng)絡(luò)性能.收集某一時(shí)刻的數(shù)據(jù),通過數(shù)值模型預(yù)測(cè)下一時(shí)段的TCP/IP端到端的吞吐量延遲,主要用于廣域網(wǎng)上的大規(guī)模計(jì)算的調(diào)度,在元計(jì)算軟件平臺(tái)上開發(fā)服務(wù)質(zhì)量保證。（參見http:///）2.2.3網(wǎng)絡(luò)流量測(cè)量網(wǎng)絡(luò)流量測(cè)量主要是對(duì)網(wǎng)絡(luò)數(shù)據(jù)流的特性進(jìn)行監(jiān)測(cè)和分析，以掌握網(wǎng)絡(luò)的流量特性，如協(xié)議的使用情況、應(yīng)用的使用情況、用戶的行為特征等3網(wǎng)絡(luò)測(cè)量的體系結(jié)構(gòu)3.1數(shù)據(jù)采集3.2數(shù)據(jù)管理3.3數(shù)據(jù)分析3.4數(shù)據(jù)顯示3.1數(shù)據(jù)采集（1） 定義

通過向網(wǎng)絡(luò)中發(fā)送特定分組或者在網(wǎng)絡(luò)中選定的節(jié)點(diǎn)安裝數(shù)據(jù)采集器來獲得網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)信息。3.1數(shù)據(jù)采集（2）分類主動(dòng)測(cè)量數(shù)據(jù)采集：通過向網(wǎng)絡(luò)中發(fā)送特定分組來獲得網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)信息。優(yōu)點(diǎn)是易于控制被動(dòng)測(cè)量數(shù)據(jù)采集：通過在網(wǎng)絡(luò)中選定的節(jié)點(diǎn)安裝數(shù)據(jù)采集器來獲得網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)信息。優(yōu)點(diǎn)是不影響系統(tǒng)性能3.1數(shù)據(jù)采集（3）著重要考慮的問題一是數(shù)據(jù)采集時(shí)，盡量照顧到各種性能指標(biāo)；二是提供一個(gè)向第二層統(tǒng)一的訪問接口；三是數(shù)據(jù)采集的粒度要滿足所測(cè)指標(biāo)的需求，盡量減輕網(wǎng)絡(luò)的開銷；四是采樣間隔的選擇，這應(yīng)視具體情況而定。3.2數(shù)據(jù)管理對(duì)于采集到的大量數(shù)據(jù)選取合適的存儲(chǔ)方法和維護(hù)檢索策略將數(shù)據(jù)格式化，以便于分析在數(shù)據(jù)存儲(chǔ)之前做必要的預(yù)處理，以壓縮存儲(chǔ)量3.3數(shù)據(jù)分析(1)主要任務(wù)研究如何定義每個(gè)行為指標(biāo)，分析其包含的因素，如算法、誤差來源、測(cè)量單位等，還要考慮測(cè)量環(huán)境、測(cè)量方法和測(cè)量工具的影響，將所有這些影響因素量化描述，即對(duì)應(yīng)一個(gè)指標(biāo)IETF的IPPM工作組已經(jīng)定義了一些Internet度量的指標(biāo)，并提出了度量框架（RFC2330）常用的分析指標(biāo)有：?jiǎn)蜗驎r(shí)延和往返時(shí)間、丟包率、可連接性、吞吐率、帶寬利用率等。其中最基本的三大指標(biāo)為：時(shí)延、丟包率和帶寬3.3數(shù)據(jù)分析（2）分析方法對(duì)某一指標(biāo)的大量樣本采用統(tǒng)計(jì)學(xué)的方法進(jìn)行分析，得出均值、方差等基本統(tǒng)計(jì)量由一些數(shù)學(xué)模型（如時(shí)間序列預(yù)測(cè)、回歸分析等）作出性能趨勢(shì)預(yù)測(cè)采用數(shù)據(jù)挖掘技術(shù)進(jìn)行關(guān)聯(lián)分析，得出網(wǎng)絡(luò)本質(zhì)的行為規(guī)律數(shù)據(jù)顯示直觀形象地表示出測(cè)量結(jié)果4被動(dòng)網(wǎng)絡(luò)測(cè)量數(shù)據(jù)采集被動(dòng)測(cè)量系統(tǒng)通過軟件捕獲包的方式基本上都是基于pcap構(gòu)架的,而pcap是基于處于內(nèi)核空間的BPF構(gòu)架的:4.1pcap

4.2BPF4.1pcapLibPcap

WinPcap

LibPcap

LibPcap:是勞倫斯伯克利國(guó)家實(shí)驗(yàn)（LBNL）室網(wǎng)絡(luò)研究組開發(fā)的UNIX平臺(tái)上的一個(gè)包捕獲函數(shù)庫.它是一個(gè)獨(dú)立于系統(tǒng)的用戶層包捕獲的API接口，為低層網(wǎng)絡(luò)監(jiān)測(cè)提供了一個(gè)可移植的框架。它的主要特點(diǎn)是:可以從多種不同的網(wǎng)絡(luò)媒介上捕獲包;為每個(gè)平臺(tái)提供統(tǒng)一的編程接口;基于BPF構(gòu)架。詳細(xì)資料參見http://

WinPcapWinPcap:是Politecnico

di

Torino的NetGroup開發(fā)的基于Win32平臺(tái)的包捕獲和網(wǎng)絡(luò)分析的基礎(chǔ)構(gòu)架.

WinPcap與LibPcap兼容.詳細(xì)資料參見http://winpcap.polito.it/基于LibPcap的包捕獲系統(tǒng)框架4.2BPFBPF是BSDPacketFilter的簡(jiǎn)稱.BPF可以作為一個(gè)可加載模塊隨時(shí)加載到內(nèi)核。BPF所做的事情，無非就是讀入數(shù)據(jù)，按照規(guī)則檢查數(shù)據(jù)，符合要求則向上層模塊傳遞數(shù)據(jù)（可指定大小，比如我只對(duì)包的前100字節(jié)感興趣則可讓其只傳前100字節(jié)），不符合要求的數(shù)據(jù)就拋棄。

BPF結(jié)構(gòu)原理BPF結(jié)構(gòu)原理(續(xù))通常網(wǎng)卡驅(qū)動(dòng)程序接收到一個(gè)數(shù)據(jù)包后，將其提交給系統(tǒng)的協(xié)議棧。如果有進(jìn)程用BPF進(jìn)行網(wǎng)絡(luò)偵聽，網(wǎng)卡驅(qū)動(dòng)程序會(huì)先調(diào)用BPF，復(fù)制一份數(shù)據(jù)給BPF的過濾器，過濾器根據(jù)用戶定義的規(guī)則決定是否接收此數(shù)據(jù)包以及需要拷貝該數(shù)據(jù)包的哪些內(nèi)容。然后將過濾后的數(shù)據(jù)提交給過濾器關(guān)聯(lián)的上層應(yīng)用程序。最后鏈路層驅(qū)動(dòng)將從新獲得控制權(quán)，判斷這個(gè)數(shù)據(jù)包是否是發(fā)給本機(jī)的，如果不是發(fā)給本機(jī)的，則網(wǎng)卡驅(qū)動(dòng)程序從中斷返回，繼續(xù)接收數(shù)據(jù)；如果這個(gè)數(shù)據(jù)包是發(fā)給本機(jī)的，驅(qū)動(dòng)程序會(huì)再把它提交給系統(tǒng)的協(xié)議棧，然后返回。5網(wǎng)絡(luò)測(cè)量的典型應(yīng)用(1)網(wǎng)絡(luò)測(cè)量在病毒發(fā)作期間中的應(yīng)用:通過測(cè)量,記錄病毒的傳播及擴(kuò)散情況.DavidMoore生成了一個(gè)動(dòng)畫,記錄了紅色代碼病毒自2001年7月8日上午~9日午夜14個(gè)小時(shí)以內(nèi)的蔓延實(shí)況,詳見http:///analysis/security/code-red/.并對(duì)各國(guó)受災(zāi)面作了統(tǒng)計(jì)分析,見下表:5網(wǎng)絡(luò)測(cè)量的典型應(yīng)用各國(guó)感染紅色代碼病毒的IP數(shù)5網(wǎng)絡(luò)測(cè)量的典型應(yīng)用(2)網(wǎng)絡(luò)測(cè)量在戰(zhàn)爭(zhēng)中的應(yīng)用:

驗(yàn)證核實(shí)戰(zhàn)爭(zhēng)中軍