逆向數(shù)據(jù)分析

1、精選優(yōu)質(zhì)文檔-傾情為你奉上云環(huán)境下逆向數(shù)據(jù)分析的意義及國(guó)內(nèi)外研究現(xiàn)狀1. 逆向工程逆向工程（又稱逆向技術(shù)），是一種產(chǎn)品設(shè)計(jì)技術(shù)再現(xiàn)過(guò)程，即對(duì)一項(xiàng)目標(biāo)產(chǎn)品進(jìn)行逆向分析及研究，從而演繹并得出該產(chǎn)品的處理流程、組織結(jié)構(gòu)、功能特性及技術(shù)規(guī)格等設(shè)計(jì)要素，以制作出功能相近，但又不完全一樣的產(chǎn)品。逆向工程源于商業(yè)及軍事領(lǐng)域中的硬件分析。其主要目的是在不能輕易獲得必要的生產(chǎn)信息的情況下，直接從成品分析，推導(dǎo)出產(chǎn)品的設(shè)計(jì)原理。產(chǎn)生動(dòng)機(jī)1. 接口設(shè)計(jì)。由于互操作性，逆向工程被用來(lái)找出系統(tǒng)之間的協(xié)作協(xié)議。2. 軍事或商業(yè)機(jī)密。竊取敵人或競(jìng)爭(zhēng)對(duì)手的最新研究或產(chǎn)品原型。3. 改善文檔。當(dāng)原有的文檔有不充分處，又當(dāng)系統(tǒng)被

2、更新而原設(shè)計(jì)人員不在時(shí)，逆向工程被用來(lái)獲取所需數(shù)據(jù)，以補(bǔ)充說(shuō)明或了解系統(tǒng)的最新?tīng)顟B(tài)。4. 軟件升級(jí)或更新。出于功能、合規(guī)、安全等需求更改，逆向工程被用來(lái)了解現(xiàn)有或遺留軟件系統(tǒng)，以評(píng)估更新或移植系統(tǒng)所需的工作。5. 制造沒(méi)有許可/未授權(quán)的副本。6. 學(xué)術(shù)/學(xué)習(xí)目的。7. 去除復(fù)制保護(hù)和偽裝的登錄權(quán)限。8. 文件丟失：采取逆向工程的情況往往是在某一個(gè)特殊設(shè)備的文件已經(jīng)丟失了（或者根本就沒(méi)有），同時(shí)又找不到工程的負(fù)責(zé)人。完整的系統(tǒng)時(shí)常需要基于陳舊的系統(tǒng)上進(jìn)行再設(shè)計(jì)，這就意味著想要集成原有的功能進(jìn)行項(xiàng)目的唯一方法，便是采用逆向工程的方法，分析已有的碎片進(jìn)行再設(shè)計(jì)。9. 產(chǎn)品分析：用于調(diào)查產(chǎn)品的運(yùn)作方式

3、，部件構(gòu)成，估計(jì)預(yù)算，識(shí)別潛在的侵權(quán)行為。方法實(shí)現(xiàn)1. 分析通過(guò)信息交換所得的觀察。最常用于協(xié)議逆向工程，涉及使用總線分析器和數(shù)據(jù)包嗅探器。在接入計(jì)算機(jī)總線或網(wǎng)絡(luò)的連接，并成功截取通信數(shù)據(jù)后，可以對(duì)總線或網(wǎng)絡(luò)行為進(jìn)行分析，以制造出擁有相同行為的通信實(shí)現(xiàn)。此法特別適用于設(shè)備驅(qū)動(dòng)程序的逆向工程。有時(shí)，由硬件制造商特意所做的工具，如端口或各種調(diào)試工具，也有助于的逆向工程。對(duì)于微軟的Windows系統(tǒng)，受歡迎的底層調(diào)試器有。2. 反匯編，即使用反匯編器，把程序的原始機(jī)器碼，翻譯成較便于閱讀理解的匯編代碼。這適用于任何的計(jì)算機(jī)程序，對(duì)不熟悉機(jī)器碼的人特別有用。3.反編譯，即使用反編譯器，嘗試從程序的機(jī)器

4、碼或字節(jié)碼，重現(xiàn)高級(jí)語(yǔ)言形式的源代碼。2. 未知協(xié)議逆向分析的研究意義未知協(xié)議逆向分析是在不清楚目標(biāo)協(xié)議的規(guī)范的前提下，逋過(guò)逆向工程跟蹤解析協(xié)議通信過(guò)程的指令級(jí)和函數(shù)級(jí)操作來(lái)重構(gòu)協(xié)議的規(guī)范,從而解析出未知協(xié)議的語(yǔ)法結(jié)構(gòu)和行為語(yǔ)義，是當(dāng)前網(wǎng)絡(luò)安全研宄的一個(gè)熱點(diǎn)和重點(diǎn)。(1)未知協(xié)議逆向分析成為網(wǎng)絡(luò)信息安全研究和防御的重要手段在日常生活和工作中,網(wǎng)絡(luò)通信協(xié)議在計(jì)算機(jī)網(wǎng)絡(luò)和分布式系統(tǒng)的應(yīng)用是不可替代的，比如在電子商務(wù)領(lǐng)域、通信領(lǐng)域、交通領(lǐng)域、金融領(lǐng)域、應(yīng)急服務(wù)領(lǐng)域、電力調(diào)度領(lǐng)域等。在這過(guò)程中,未知協(xié)議不斷的出現(xiàn)和衍生,伴隨而來(lái)的是大量的網(wǎng)絡(luò)安全問(wèn)題的出現(xiàn)。比如，某知名網(wǎng)站客戶個(gè)人信息泄露、某產(chǎn)品系統(tǒng)

5、被非法入侵、某網(wǎng)站被黑客攻擊等。未知協(xié)議逆向分析對(duì)入侵檢測(cè)、漏洞挖掘、網(wǎng)絡(luò)流量分析、網(wǎng)絡(luò)安全策略的制定等起著至關(guān)重要的作用。(2)未知協(xié)議逆向分析為其他安全檢測(cè)產(chǎn)品提供了基礎(chǔ)a)入侵檢測(cè)系統(tǒng)(IDS)是逋過(guò)某種設(shè)備監(jiān)聽(tīng)網(wǎng)絡(luò)上傳輸?shù)脑剂髁?，?duì)捕獲的網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行分析處理,再?gòu)姆治龅慕Y(jié)果中提取有用的信息，最后，為了達(dá)到識(shí)別攻擊事件的目的，需要通過(guò)比較已知攻擊特征和正常網(wǎng)絡(luò)行為特征來(lái)識(shí)別。b)入侵防御系統(tǒng)(IPS)同樣也是通過(guò)監(jiān)視網(wǎng)絡(luò)設(shè)備的傳輸情況，對(duì)網(wǎng)絡(luò)行為判斷是否為攻擊行為，是否會(huì)對(duì)網(wǎng)絡(luò)、數(shù)據(jù)造成危害的惡意行為，從而到達(dá)對(duì)網(wǎng)絡(luò)行為進(jìn)行檢測(cè)和防御的目的,使用者能及時(shí)應(yīng)對(duì)網(wǎng)絡(luò)異常狀況，并以最大限度

6、的降低網(wǎng)絡(luò)處理資源的開(kāi)銷,是一種側(cè)重于風(fēng)險(xiǎn)控制的安全產(chǎn)品。C)防火墻是由服務(wù)訪問(wèn)規(guī)則、驗(yàn)證工具、包過(guò)濾和應(yīng)用網(wǎng)關(guān)4個(gè)部分組成的在內(nèi)網(wǎng)與外網(wǎng)之間、專用網(wǎng)與公共網(wǎng)之間根據(jù)特定的訪問(wèn)規(guī)則建立起的一種過(guò)濾防護(hù)技術(shù)，存在軟件防火墻和硬件防火墻兩種形式。以上幾個(gè)安全產(chǎn)品都涉及到網(wǎng)絡(luò)數(shù)據(jù)包行為分析,對(duì)未知網(wǎng)絡(luò)協(xié)議數(shù)據(jù)的分析是不可避免的，未知網(wǎng)絡(luò)協(xié)議逆向分析技術(shù)為IDS， IPS， Firewall等安全產(chǎn)品分析網(wǎng)絡(luò)數(shù)據(jù)提供了技術(shù)支持，也是對(duì)網(wǎng)絡(luò)流量險(xiǎn)情檢測(cè)能力的一種補(bǔ)強(qiáng)。3.未知協(xié)議逆向分析的國(guó)內(nèi)外研究現(xiàn)狀近年來(lái)，國(guó)內(nèi)外網(wǎng)絡(luò)安全工作者、研究機(jī)構(gòu)在未知協(xié)議逆向分析領(lǐng)域開(kāi)展了大量的研究工作，并取得了豐碩的成果。

7、當(dāng)前協(xié)議逆向分析的方法主要有兩種:基于網(wǎng)絡(luò)報(bào)文序列采樣匹配的靜態(tài)分析方法和基于協(xié)議數(shù)據(jù)在應(yīng)用程序執(zhí)行時(shí)監(jiān)控其指令序列軌跡的動(dòng)態(tài)分析方法。其中，靜態(tài)分析方法是以未知協(xié)議的網(wǎng)絡(luò)報(bào)文序列為分析對(duì)象，釆樣其網(wǎng)絡(luò)數(shù)據(jù)為樣本，通過(guò)概率匹配算法統(tǒng)計(jì)其流量出現(xiàn)的頻率和特征來(lái)識(shí)別未知協(xié)議的格式，特點(diǎn)簡(jiǎn)單、易實(shí)現(xiàn)、不需要協(xié)議解析終端,因此通用性更強(qiáng),但缺點(diǎn)是采樣量的大小是制約協(xié)議識(shí)別準(zhǔn)確率高低的重要因素，同時(shí)不同的協(xié)議因?yàn)閷?shí)現(xiàn)標(biāo)準(zhǔn)的差異,有些甚至是非標(biāo)準(zhǔn)的、混滑加密的私有通信協(xié)議，單純的利用概率匹配網(wǎng)絡(luò)協(xié)議流量很難達(dá)到識(shí)別未知協(xié)議的語(yǔ)法格式和字段語(yǔ)義的目的，已有的研宄成果具有代表性的有PI， Discovere產(chǎn)

8、等，采用的方法包括：通過(guò)統(tǒng)計(jì)網(wǎng)絡(luò)數(shù)據(jù)流中不同協(xié)議字段的出現(xiàn)頻率，利用某種推演算法識(shí)別協(xié)議字段結(jié)構(gòu)的方法;通過(guò)對(duì)網(wǎng)絡(luò)流量的內(nèi)容統(tǒng)計(jì)分析后進(jìn)行建模,最后針對(duì)不同網(wǎng)絡(luò)流量對(duì)應(yīng)的協(xié)議類型進(jìn)行識(shí)別和區(qū)分的方法還有通過(guò)處理自然語(yǔ)言和字符串對(duì)齊算法對(duì)網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行主動(dòng)學(xué)習(xí)，并能對(duì)接收到的網(wǎng)絡(luò)請(qǐng)求進(jìn)行自動(dòng)地應(yīng)答，最后達(dá)到識(shí)別未知協(xié)議的目的動(dòng)態(tài)分析方法是在目標(biāo)協(xié)議數(shù)據(jù)在應(yīng)用程序被處理過(guò)程中動(dòng)態(tài)跟蹤其指令流的軌跡來(lái)解析協(xié)議的格式,與靜態(tài)分析方法相比，該方法能獲得污點(diǎn)源被應(yīng)用程序處理過(guò)程中的指令級(jí)污點(diǎn)擴(kuò)散軌跡和函數(shù)級(jí)語(yǔ)義信息，對(duì)解析協(xié)議語(yǔ)法格式更加準(zhǔn)確、識(shí)別協(xié)議字段語(yǔ)義具有明顯的優(yōu)勢(shì)，主要研宄成果有:Polyglo

9、t, AutoFonnat等。3.1基于網(wǎng)絡(luò)報(bào)文序列采樣匹配的方法國(guó)外提出對(duì)未知協(xié)議逆向分析釆用網(wǎng)絡(luò)報(bào)文序列釆樣匹配分析的方法較早，最為典型的是Beddoe于2004年啟動(dòng)的PI項(xiàng)目(protocol in-formation project)。PI項(xiàng)目的核心方法是把生物信息學(xué)的序列比對(duì)算法應(yīng)用到對(duì)網(wǎng)絡(luò)報(bào)文序列集進(jìn)行比對(duì)分析,其具體分析流程如圖1-1所示:圖1-1 PI的分析流程圖3.2基于協(xié)議數(shù)據(jù)在應(yīng)用程序執(zhí)行時(shí)監(jiān)控其指令序列軌跡的方法Lin等人提出了基于污點(diǎn)數(shù)據(jù)分析的協(xié)議字段間結(jié)構(gòu)識(shí)別方案AutoFormat，該方案的特點(diǎn)是結(jié)合了污點(diǎn)數(shù)據(jù)解析的上下文環(huán)境,在污點(diǎn)跟蹤過(guò)程中,記錄所有與污點(diǎn)源

10、擴(kuò)散相關(guān)的操作指令和對(duì)應(yīng)的函數(shù)調(diào)用的地址。協(xié)議字段間存在不同的約束關(guān)系,AutoFormat分別通過(guò)判斷字段間的偏移地址范圍是否有重疊推斷字段間的包含關(guān)系,通過(guò)兩個(gè)字段間的上下文環(huán)境是否相同推斷字段間的并列關(guān)系以及通過(guò)判斷指令子序列的調(diào)用順序來(lái)識(shí)別字段間的順序關(guān)系。AutoFormat對(duì)簡(jiǎn)單的報(bào)文協(xié)議是可行的,但是針對(duì)具有復(fù)雜結(jié)構(gòu)的網(wǎng)絡(luò)協(xié)議就無(wú)法有效的識(shí)別。因此，Tupni基于Polyglot與AutoFormat設(shè)計(jì)理念的基礎(chǔ)上,通過(guò)重點(diǎn)監(jiān)控復(fù)雜結(jié)構(gòu)污點(diǎn)源的控制流指令特征和與平臺(tái)相關(guān)的API調(diào)用情況，來(lái)獲得未知語(yǔ)義類型的符號(hào)謂詞約束，最后以BNF的形式輸出協(xié)議逆向的結(jié)果。J Caballer

11、o等人于2007年提出動(dòng)態(tài)監(jiān)控污來(lái)逆向分析的思想，并設(shè)計(jì)出了原型系統(tǒng)Polyglot。Wondracek等人在Polyglot的基礎(chǔ)上提出了另外一種新的方案，即綜合多次逆向解析結(jié)果的基礎(chǔ)上,將格式相同的報(bào)文進(jìn)行信息融合,進(jìn)而達(dá)到提取更準(zhǔn)確的協(xié)議報(bào)文結(jié)構(gòu)。出于網(wǎng)絡(luò)傳輸隱蔽性的考慮,越來(lái)越多的未知協(xié)議采用了加密技術(shù)對(duì)報(bào)文進(jìn)行了加密保護(hù)，面對(duì)這種情況,Wang等人提出了基于緩存區(qū)數(shù)據(jù)生命周期分析的解密報(bào)文識(shí)別方案FeFormat,該方案可行性依據(jù)是:一般情況報(bào)文解密過(guò)程通常獨(dú)立于執(zhí)行過(guò)程,并且在解密過(guò)程中算術(shù)指令與比特位操作指令的數(shù)量要明顯多于執(zhí)行過(guò)程中的，通過(guò)監(jiān)控和捕獲解密報(bào)文緩沖區(qū)數(shù)據(jù)以后,就把密文解析轉(zhuǎn)化為明文解析了。但是，也存在對(duì)報(bào)文解密和執(zhí)行交替進(jìn)行的情況，Dispatcher沿用了 ReFormat中判斷報(bào)文解密特征的思想，同時(shí)針對(duì)編碼函數(shù)級(jí)指令做到全路徑監(jiān)控(包括加/解密函數(shù)、混淆函數(shù)、解壓縮函數(shù)以及hash函數(shù)等)，這樣即使有多個(gè)加密過(guò)程與解析過(guò)程交替，協(xié)議分析識(shí)別率也會(huì)很高，此外，Dispatcher提出了對(duì)輸入和輸出兩個(gè)方向的報(bào)文進(jìn)行識(shí)別的思想，實(shí)現(xiàn)了對(duì)協(xié)議正反兩個(gè)方向的報(bào)文逆向分析，對(duì)提高報(bào)文識(shí)別率有很大的幫助。綜述：未知協(xié)議逆向分析是本課題的主要研究?jī)?nèi)容和研究