大數(shù)據(jù)測試技術(shù)數(shù)據(jù)采集分析與測試實踐在線試驗+在線自測教學(xué)大綱

1、大數(shù)據(jù)測試技術(shù)課程教學(xué)大綱課程名稱：大數(shù)據(jù)測試技術(shù)課程編碼：621010820英文名稱： Big data testing technology學(xué) 時：48學(xué) 分：3開課學(xué)期：第5或第6學(xué)期適用專業(yè)：計算機、信管、物聯(lián)網(wǎng)、電商、管理、財經(jīng)課程類別：專業(yè)選修課先修課程：計算思維與Python程序設(shè)計、計算機網(wǎng)絡(luò)、Linux操作系統(tǒng)建議教材：大數(shù)據(jù)測試技術(shù)，劉攀主編，人民郵電出版社，2018年9月一、課程目的、任務(wù)大數(shù)據(jù)測試技術(shù)是高等院校計算機專業(yè)的選修課。該課程主要目的和任務(wù)是幫助學(xué)生理解和掌握大數(shù)據(jù)的收集、數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)導(dǎo)入，利用數(shù)據(jù)分析技術(shù)來實現(xiàn)軟件缺陷 的挖掘方法。通過該課程的學(xué)習(xí)，

2、學(xué)生可以理解大數(shù)據(jù)測試的概念，掌握手機訪問網(wǎng)絡(luò)數(shù)據(jù)的收集方法，掌握數(shù)據(jù)格式轉(zhuǎn)換的一般技術(shù)，熟練掌握Splunk平臺處理大數(shù)據(jù)的各種操作，理解大數(shù)據(jù)缺陷挖掘的一般過程。二、課程教學(xué)基本要求大數(shù)據(jù)測試技術(shù)的教學(xué)內(nèi)容包括掌握大數(shù)據(jù)測試的概念和目標任務(wù)，了解大數(shù)據(jù)的處理方法及技術(shù)，了解大數(shù)據(jù)的背景、內(nèi)容和信息存儲模式；掌握大數(shù)據(jù)的收集方法、格式轉(zhuǎn)換方法，熟練掌握運用 Splunk平臺的運用，熟練掌握 SPL語言的編寫方法和技巧，熟練 掌握軟件缺陷的一般分析方法，熟練掌握 Splunk軟件在Linux上的部署方法，在 Windows 中調(diào)用Linux中Splunk的方法，能夠解決數(shù)據(jù)戳錯誤的解決方法。重

3、點掌握非格式化數(shù)據(jù) 的分析方法、正則表達式的構(gòu)造方法，利用正則表達式挖掘有效數(shù)據(jù)的方法。該課程是一門新興的課程。學(xué)習(xí)該課程前應(yīng)該具有一定的計算機應(yīng)用基礎(chǔ)，掌握一定的Linux知識，掌握Python語言的編程方法，了解 SPL語言的構(gòu)造，掌握正則表達式的構(gòu)造 方法，同時也應(yīng)該對基本的數(shù)據(jù)格式和數(shù)據(jù)存儲有所了解。本課程具有很強的操作性，教學(xué)必須堅持理論與實踐相結(jié)合。在講清楚基本概念的前提 下，充分應(yīng)用案例教學(xué)，結(jié)合理論進行教學(xué)。 本課程的教學(xué)形式以講授 +實驗教學(xué)方式為主。課程考核方式：平時成績（30%） +期中成績（30%） +期終考試（40%）,其中平時成績 以考勤和課程作業(yè)完成情況來評定，

4、期中成績來自于大作業(yè)的評分， 期末成績來源于閉卷考 試。三、課程教學(xué)內(nèi)容（分章節(jié)）第一章大數(shù)據(jù)測試思維（一）教學(xué)要求通過本章的學(xué)習(xí)使學(xué)生掌握大數(shù)據(jù)的內(nèi)涵和特征，掌握課程的目標和任務(wù)， 層次和內(nèi)容以及手段和方法，了解大數(shù)據(jù)發(fā)展的歷史。（二）教學(xué)內(nèi)容本章共分三節(jié)：第一節(jié)規(guī)律是否存在介紹大數(shù)據(jù)的概念及其發(fā)展，講述數(shù)據(jù)背后的規(guī)律特征，了解數(shù)據(jù)規(guī)律的特殊性， 講述大數(shù)據(jù)的背景和規(guī)律的形成條件。第二節(jié) 大數(shù)據(jù)的背后介紹大數(shù)據(jù)背后隱藏的規(guī)律發(fā)現(xiàn)方法以及數(shù)據(jù)突破人們的認識，形成意想不到的規(guī)律。第三節(jié)大數(shù)據(jù)的應(yīng)用過程介紹大數(shù)據(jù)應(yīng)用的方式、環(huán)節(jié)、處理方法和過程。第二章大數(shù)據(jù)收集概述（一）教學(xué)要求通過本章的學(xué)習(xí)首先

5、讓學(xué)生認識到信息資源管理主要學(xué)習(xí)領(lǐng)域是什么，其重點研究的主題是什么。主要學(xué)習(xí)信息資源的類型，掌握信息采集中的原則與策略，旋渦信息組織的各種方式，特別對信息表示語言、信息分類給予了解；了解信息檢索的各類系統(tǒng)；了解信息分析的主要方式；掌握信息資源開發(fā)利用的原則和模式。（二）教學(xué)內(nèi)容本章共分兩節(jié)：第一節(jié)案例介紹介紹采用手機收集網(wǎng)絡(luò)連接數(shù)據(jù)的案例，講解這個案例實現(xiàn)的原理及方法，電腦環(huán)境的 相關(guān)配置。講述Wireshark軟件的連接方法，數(shù)據(jù)的顯示方法，數(shù)據(jù)包的存儲，同步操作的實現(xiàn)。第三章網(wǎng)絡(luò)數(shù)據(jù)的采集與分析（一）教學(xué)要求本章將演練網(wǎng)絡(luò)數(shù)據(jù)采集的方法及利用Wireshark軟件進行數(shù)據(jù)分析的一般思路。（

6、二）教學(xué)內(nèi)容本章共分四節(jié)：第一節(jié)物理連接及Wireshark的常用操作講述將手機、360隨身WIFI、電腦進行連接的方法，Wireshark軟件有三種方式，構(gòu)建網(wǎng)絡(luò)的方法，Wireshark功能介紹。第二節(jié)數(shù)據(jù)包的采集講述采用Total Control軟件將手機操作同步到電腦的方法，用 Wireshark軟件進行數(shù) 據(jù)存儲和打開的方法。第三節(jié)數(shù)據(jù)包的自動抓取介紹數(shù)據(jù)包的自動抓取背景，采用 Total Control軟件編輯腳本的方法，腳本的執(zhí)行方 法。第四節(jié)數(shù)據(jù)包分析介紹數(shù)據(jù)包的分析方法，Wireshark軟件來捕獲手機網(wǎng)絡(luò)數(shù)據(jù)包的方法，Wireshark軟件對數(shù)據(jù)包的分析方法。第四章數(shù)據(jù)格式

7、轉(zhuǎn)換及Python編程（一）教學(xué)要求本章將學(xué)習(xí)Python語言編程的方法，重點介紹Python語言的基本語法、網(wǎng)絡(luò)分析構(gòu)造、 PyShark組件的介紹，Python語言的環(huán)境配置等。（二）教學(xué)內(nèi)容本章共分四節(jié)第一節(jié)原理及方法講述通過Wireshark軟件導(dǎo)出手機 APP訪問網(wǎng)絡(luò)的數(shù)據(jù)包（格式為*.pcapng ）,然后在 Python中編程，將*.pcapng文件轉(zhuǎn)換為CSV格式的文件。第二節(jié)Python安裝及配置講述Python軟件的安裝方法，配置過程，PyShark包的下載和安裝過程及相關(guān)支持文件的安裝。第三節(jié)Python基礎(chǔ)學(xué)習(xí)介紹Python的命令行演示，創(chuàng)建.py文件，Python出

8、錯演示，Python注釋，輸出換行， Python 幫助。第四節(jié) Notepad環(huán)境介紹Notepad軟件的安裝，設(shè)置運行步驟，多個變量賦值、Python的標準數(shù)據(jù)類型、刪除及實例演示等。第五章Splunk平臺初探（一）教學(xué)要求通過本章的學(xué)習(xí)使學(xué)生初步掌握如何使用專業(yè)大數(shù)據(jù)分析軟件Splunk來分析csv格式的文件，以便獲得隱藏在數(shù)據(jù)背后內(nèi)容，進而探測手機APP軟件的聯(lián)網(wǎng)效率。（二）教學(xué)內(nèi)容本章共分四節(jié)：第一節(jié)Splunk簡介講述Splunk是一款成熟的商業(yè)化日志處理分析產(chǎn)品，也是一套開源的方案 ELK（Elasticsearch+Logstash+Kibana） 。第二節(jié)Splunk的安裝與

9、配置介紹Splunk平臺的下載和安裝方法， Splunk平臺的配置方法。第三節(jié)Splunk數(shù)據(jù)分析講述卞造SPL語句的方法，確定列名，Splunk的簡單操作。第四節(jié)SPL高級編程講述Splunk平臺的自動生成數(shù)據(jù)、構(gòu)造隨機數(shù)、數(shù)據(jù)統(tǒng)計、Splunk處理過程、報告再編輯。第六章Splunk平臺實踐（一）教學(xué)要求Splunk SPL通過本章的學(xué)習(xí)使學(xué)生掌握對數(shù)據(jù)進行更為深入的分析，本章將重點介紹的基本語法、自動數(shù)據(jù)生成、可視化展示，同時也介紹如何使用Splunk軟件提供的幫助文檔來實現(xiàn)編寫SPL語句的目的。（二）教學(xué)內(nèi)容本章共分四節(jié)：第一節(jié)Splunk的基礎(chǔ)命令講述Search （搜索）命令、SP

10、L的命令分類、常用命令詳解。第二節(jié)Splunk平臺的自動數(shù)據(jù)生成講述Splunk的自動生成數(shù)據(jù)功能、剔除無用數(shù)據(jù)、構(gòu)造隨機數(shù)據(jù)、創(chuàng)建對數(shù)列和指數(shù) 列。第三節(jié)可視化展示講述數(shù)據(jù)的可視化方法，格式設(shè)置、數(shù)據(jù)的保存和導(dǎo)入、圖形修改。第四節(jié)官方幫助文檔講述SPL語言目錄，命令分析實例，通過具體的SPL語言，來學(xué)習(xí)相關(guān)命令的具體含義， 同時能夠?qū)W會應(yīng)該如何使用Splunk的幫助文檔，掌握相關(guān)的 SPL語言的使用。第七章SPL案例編程（一）教學(xué)要求通過一個實際案例教學(xué)來來幫助讀者掌握 SPL語句的編寫方法。在 USG綱站上下載地 震數(shù)據(jù)，并對數(shù)據(jù)格式進行分析，再編寫 SPL語句，獲得數(shù)據(jù)背后的關(guān)系。 案例

11、教學(xué)是幫助 讀者掌握運用SPL語句的關(guān)鍵，讀者只有通過大量的練習(xí)才能真正掌握SPL語句的編程。（二）教學(xué)內(nèi)容本章共分三節(jié)：第一節(jié)stats 命令學(xué)習(xí)重點學(xué)習(xí)stats命令。stats命令屬于correlation 分類，該命令主要是計算結(jié)果集的 聚合統(tǒng)計信息，例如平均值、計數(shù)和總和。第二節(jié)數(shù)據(jù)下載和導(dǎo)入使用到了一個地震數(shù)據(jù)集，該數(shù)據(jù)集是由美國地質(zhì)勘探局（ United States Geological Survey ,簡稱USGS提供，介紹了數(shù)據(jù)導(dǎo)入的方法。第三節(jié)問題描述及分析介紹自動生成的SPL語句的方法，問題、要求及分析，解決方案、創(chuàng)建 stats語句的方 法。第八章數(shù)據(jù)導(dǎo)入及錯誤分析（

12、一）教學(xué)要求通過將對講解Splunk平臺的數(shù)據(jù)導(dǎo)入方式和分析方法，時間戳問題的解決方法，以及使用Splunk平臺出錯時的解決方案。（二）教學(xué)內(nèi)容本章共分四節(jié)：第一節(jié)背景知識介紹講述時間戳（timestamp ）的概念，介紹Splunk軟件是如何分配時間戳及時間戳的管理 方法，手機導(dǎo)入的數(shù)據(jù)格式介紹。第二節(jié)數(shù)據(jù)選擇講述導(dǎo)入數(shù)據(jù)入口、數(shù)據(jù)類型介紹、及 Splunk平臺處理數(shù)據(jù)的方式。第三節(jié)時間戳錯誤講述手機聯(lián)網(wǎng)數(shù)據(jù)導(dǎo)入的主要技術(shù)，時間戳錯誤的展示。第四節(jié)問題分析及解決分析問題的起因，設(shè)計問題的解決方案，在時間戳字段（ Timestamp fields ）中輸入具 有正確時間戳的方法，Splunk導(dǎo)

13、入配置的方法，數(shù)據(jù)搜索及分析方法。第九章聯(lián)網(wǎng)效率分析（一）教學(xué)要求采用Splunk軟件對手機聯(lián)網(wǎng)數(shù)據(jù)進彳T分析，獲得手機APP的聯(lián)網(wǎng)效率，實現(xiàn)手機 APP的性能測試，進而判斷手機 APP的性能是否達到設(shè)計要求。（二）教學(xué)內(nèi)容本章共分三節(jié)：第一節(jié)原理及方法講述手機APP的聯(lián)網(wǎng)效率分析方法及性能測試的方法。第二節(jié)常用分析命令對常用的SPL命令進行詳細講解，包才S sort命令、timechart命令、eventstats 命令。第三節(jié)數(shù)據(jù)導(dǎo)入和處理回顧數(shù)據(jù)導(dǎo)入的主要方法，講述從Wireshark代碼到Splunk代碼的編寫過程。第四節(jié)分析聯(lián)網(wǎng)效率講解創(chuàng)建count字段的方法，數(shù)據(jù)過濾的技術(shù)和數(shù)據(jù)分

14、析的一般過程，通過分析聯(lián)網(wǎng)數(shù)據(jù)，從而發(fā)現(xiàn)軟件中潛在的問題。第十章Linux部署（一）教學(xué)要求在Windows 10系統(tǒng)中安裝虛擬機 VMware然后在虛擬機中安裝 Linux系統(tǒng)，接著在Linux 系統(tǒng)中安裝Splunk平臺，最后在 Windows 10系統(tǒng)的瀏覽器中調(diào)用 Linux系統(tǒng)中的Splunk 平臺進行數(shù)據(jù)分析。（二）教學(xué)內(nèi)容本章共分三節(jié)：第一節(jié)原理及方法講解在Windows中調(diào)用Linux中安裝好的Splunk軟件的方法。第二節(jié)軟件安裝及運行講解在虛擬機中安裝 Linux系統(tǒng)的一般過程，在 CentOS7系統(tǒng)中安裝Splunk平臺的過 程，包括創(chuàng)建用戶，解壓安裝包，啟動 Splun

15、k的方法。第三節(jié)網(wǎng)絡(luò)配置講解使用Xftp軟件從 Windows 10系統(tǒng)中傳輸Splunk的安裝文件到虛擬機的 Linux系 統(tǒng)中的方法。本節(jié)主要以VMware和Ubuntu系統(tǒng)的網(wǎng)絡(luò)設(shè)置為例，介紹網(wǎng)絡(luò)的配置操作方法。 回顧數(shù)據(jù)導(dǎo)入的主要方法，講述從 Wireshark代碼到Splunk代碼的編寫過程。第十一章大數(shù)據(jù)測試實踐（一）教學(xué)要求介紹如何使用Splunk平臺來處理海量的 Web日志數(shù)據(jù)和手機聯(lián)網(wǎng)信息，通過對數(shù)據(jù)的 分析來獲得 Web服務(wù)器是否存在問題以及手機APP聯(lián)網(wǎng)時是否存在性能問題， 從而實現(xiàn)性能測試。本章的內(nèi)容包括監(jiān)測數(shù)據(jù)導(dǎo)入、數(shù)據(jù)缺陷挖掘、非結(jié)構(gòu)化數(shù)據(jù)處理3個部分。（二）教學(xué)內(nèi)容本章共分三節(jié):第一節(jié)監(jiān)測數(shù)據(jù)導(dǎo)入講解運行Splunk的方法，Web日志分析的過程，X即 連接的方式，monitor方式導(dǎo)入 數(shù)據(jù)的方式，數(shù)據(jù)分析的過程。第二節(jié)數(shù)據(jù)缺陷挖掘講解缺陷挖掘的一般方法與思路，講解狀態(tài)碼的概念，網(wǎng)絡(luò)聯(lián)通驗證，運行SPlunk的方法，數(shù)據(jù)挖掘及分析等。第三節(jié)非結(jié)構(gòu)化數(shù)據(jù)處理講解使用正則表達式來處理非結(jié)構(gòu)化數(shù)據(jù)的一般方法，非結(jié)構(gòu)化數(shù)據(jù)的分析和處理過 程。四、課程習(xí)題要求每章習(xí)題應(yīng)讓學(xué)生掌握基本概