高中信息技術(shù) 數(shù)據(jù)的采集 課件

1、粵教版普通高中教科書信息技術(shù)必修1數(shù)據(jù)與計(jì)算1數(shù)據(jù)處理和可視化表達(dá)5.1認(rèn)識大數(shù)據(jù)5.2數(shù)據(jù)的采集5.3數(shù)據(jù)的分析5.4數(shù)據(jù)的可視化表達(dá)第五章2糧食的采集3新時(shí)代采集數(shù)據(jù)數(shù)據(jù)的來源廣泛（主要是互聯(lián)網(wǎng)和物聯(lián)網(wǎng)）、類型豐富、規(guī)模巨大。采集數(shù)據(jù)首先要明確數(shù)據(jù)應(yīng)用項(xiàng)目的需求，圍繞選定的項(xiàng)目主題，制定數(shù)據(jù)采集的需求清單和內(nèi)容大綱，再采用適當(dāng)?shù)姆椒ê凸ぞ哌M(jìn)行采集。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集45.2.1數(shù)據(jù)采集的方法和工具數(shù)據(jù)采集的基本方法包括系統(tǒng)日志采集法、網(wǎng)絡(luò)數(shù)據(jù)采集法和其他數(shù)據(jù)采集法。1.系統(tǒng)日志采集法 在信息系統(tǒng)中，系統(tǒng)日志是記錄系統(tǒng)中硬件、軟件和系統(tǒng)問題的信息文件。系統(tǒng)日志包括操作

2、系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)日志采集數(shù)據(jù)的方法通常是在目標(biāo)主機(jī)上安裝一個小程序，將目標(biāo)主機(jī)的文本、應(yīng)用程序、數(shù)據(jù)庫等日志信息有選擇地定向推送到日志服務(wù)器進(jìn)行存儲、監(jiān)控和管理。 通過日志服務(wù)器可以監(jiān)視系統(tǒng)中發(fā)生的事件，可以檢查錯誤發(fā)生的原因，或者尋找受到攻擊時(shí)攻擊者留下的痕跡。例如，安全管理信息系統(tǒng)就是以系統(tǒng)日志服務(wù)器采集原始日志數(shù)據(jù)，以日志記錄文本文件實(shí)現(xiàn)日志數(shù)據(jù)的監(jiān)控和保存，以數(shù)據(jù)庫操作進(jìn)行日志有效信息的管理工作。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集5軟件采集數(shù)據(jù)2.網(wǎng)絡(luò)數(shù)據(jù)采集法 網(wǎng)絡(luò)數(shù)據(jù)采集是指通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API(Application Programming

3、Interface應(yīng)用程序接口)等方式從網(wǎng)站上獲取數(shù)據(jù)信息。網(wǎng)絡(luò)爬蟲從一個或若干初始網(wǎng)頁的(Uniform Resource Locator，統(tǒng)一資源定位符)開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。該方法可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁中抽取出來，將其存儲為統(tǒng)一的本地?cái)?shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動關(guān)聯(lián)。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集6采集數(shù)據(jù)3.其他數(shù)據(jù)采集法 對于企業(yè)生產(chǎn)經(jīng)營或科學(xué)研究等保密性要求較高的數(shù)據(jù)，可通過與企業(yè)或研究機(jī)構(gòu)合作，使用特定系統(tǒng)接

4、口等相關(guān)方式收集數(shù)據(jù)。例如，科學(xué)研究的數(shù)據(jù)是通過科學(xué)實(shí)驗(yàn)的各 種傳感器采集，并傳輸?shù)綌?shù)據(jù)庫管理系統(tǒng)中的。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集71.觀看微課視頻“第三方庫模塊安裝與使用”；2.體驗(yàn)安裝bs4，requests，xlwt，datetime四個Python第三方庫。3.觀看微課視頻“xampp搭建本地服務(wù)器”、”爬蟲程序采集網(wǎng)絡(luò)數(shù)據(jù)”；4.體驗(yàn)安裝、運(yùn)行xampp并搭建、啟動本地網(wǎng)頁服務(wù)；5.運(yùn)行“程序5-3-2爬取本地網(wǎng)頁數(shù)據(jù)（教材范例）.py”，數(shù)據(jù)文件內(nèi)容如下圖所示，體驗(yàn)使用爬蟲程序采集本地網(wǎng)頁數(shù)據(jù)。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集體驗(yàn)程序5-3-2爬取本地網(wǎng)頁

5、數(shù)據(jù)結(jié)果8運(yùn)行爬蟲程序采集本地網(wǎng)頁數(shù)據(jù)需要獲取的關(guān)鍵信息有哪些？具體內(nèi)容是什么？怎么獲取到這些信息？關(guān)鍵信息具體內(nèi)容獲取方法網(wǎng)頁數(shù)據(jù)網(wǎng)址商品每項(xiàng)數(shù)據(jù)的標(biāo)簽和屬性類名/wholesale.html商品名稱標(biāo)簽：a該標(biāo)簽屬性類名：item-title商品價(jià)格標(biāo)簽：span該標(biāo)簽屬性類名：price-current訂單量標(biāo)簽：a該標(biāo)簽屬性類名：sale-value-link店鋪名稱標(biāo)簽：a該標(biāo)簽屬性類名：store-namechrome瀏覽器的檢查工具第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集交流9探究活動當(dāng)當(dāng)網(wǎng)上各種商品應(yīng)有盡有，假如你在該平臺開了一個教輔網(wǎng)店，最近你要調(diào)整經(jīng)營策略，以提高網(wǎng)店的盈

6、利水平。在調(diào)整經(jīng)營策略之前你必須進(jìn)行前期調(diào)研分析，比如通過分析當(dāng)當(dāng)網(wǎng)上高一教輔的銷量數(shù)據(jù)，去重新定位銷售商品的種類和價(jià)格；通過分析網(wǎng)店銷售數(shù)據(jù)訂單，去了解客戶的購物喜好，去判斷哪些商品可以捆綁銷售。從而下架一些銷量不好商品和上架一些新的商品。那么，你要完成前期調(diào)研工作，需要獲取到哪些數(shù)據(jù)呢？怎樣獲取到這些數(shù)據(jù)呢？從獲取數(shù)據(jù)中怎樣提煉出有價(jià)值的信息呢？第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集10探究活動根據(jù)網(wǎng)絡(luò)購物平臺客戶行為數(shù)據(jù)分析和可視化表達(dá)項(xiàng)目主題，確定項(xiàng)目的數(shù)據(jù)需求，列出數(shù)據(jù)采集清單和內(nèi)容大綱，采集數(shù)據(jù)使用的方法和工具，見下表。編號項(xiàng)目數(shù)據(jù)內(nèi)容大綱數(shù)據(jù)來源采集方法和工具數(shù)據(jù)保存方式12

7、3商品銷售數(shù)據(jù)：包括商品名稱、作者名稱、商品價(jià)格、商品評論數(shù)當(dāng)當(dāng)網(wǎng)-圖書教輔-高一類別方法：網(wǎng)絡(luò)數(shù)據(jù)采集法工具：爬蟲程序data_sample.csv商品銷售數(shù)據(jù)：包括商品價(jià)格、商品銷量、商品評論店鋪銷售訂單數(shù)據(jù)：包括每個訂單購買的商品名稱當(dāng)當(dāng)網(wǎng)-圖書教輔-高一類別方法：網(wǎng)絡(luò)數(shù)據(jù)采集法工具：爬蟲程序當(dāng)當(dāng)網(wǎng)店鋪后臺方法：網(wǎng)絡(luò)數(shù)據(jù)采集法工具：系統(tǒng)導(dǎo)出、手工記錄等taobao.xlssale_orders.xls第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集交流11實(shí)踐用Chrome瀏覽器打開當(dāng)當(dāng)網(wǎng)-圖書-教育-中小學(xué)教輔-高一類別，需要爬取的數(shù)據(jù)內(nèi)容包括每種圖書的圖書名稱、圖書價(jià)格、圖書評價(jià)數(shù)量和圖書

8、作者。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集12實(shí)踐通過修改“程序5-3-2爬取本地網(wǎng)頁數(shù)據(jù)（教材范例）.py”代碼，爬取當(dāng)當(dāng)網(wǎng)-圖書教輔-高一類別中前5頁商品的銷售數(shù)據(jù)，數(shù)據(jù)內(nèi)容包括每種商品的商品名稱、商品價(jià)格、商品評價(jià)數(shù)和作者，見下表。采集商品銷售數(shù)據(jù)程序關(guān)鍵代碼數(shù)據(jù)文件和內(nèi)容（截圖）#商品網(wǎng)址=/pg1-cp00.00.00.html# 價(jià)格 all_price = soup.find_all(p, class_=price) for k in all_price: soup_price = bs4.BeautifulSoup(str(k), html.parser) price.a

9、ppend(soup_price.span.string)# 生成每一行數(shù)據(jù)for n in range(len(title): data_sheet.write(n, 0, n+1) data_sheet.write(n, 1, titlen) # n 表示行， 1 表示列 data_sheet.write(n, 2, pricen) data_sheet.write(n, 3, ordern:-3) #刪除評價(jià)的最后三個字符 data_sheet.write(n, 4, storen)#保存文件wookbook.save(“book.xls)第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集13觀

10、看微課視頻“采集上網(wǎng)行為管理系統(tǒng)數(shù)據(jù)”，以小組為單位，通過查找資料、學(xué)習(xí)和交流，填寫下表。采集方法數(shù)據(jù)來源采集工具應(yīng)用范圍（舉例）系統(tǒng)日志采集法1.信息系統(tǒng)日志數(shù)據(jù)2.信息系統(tǒng)系統(tǒng)數(shù)據(jù)系統(tǒng)導(dǎo)出1.導(dǎo)出上網(wǎng)行為管理系統(tǒng)日志2.導(dǎo)出上網(wǎng)行為管理系統(tǒng)客戶數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)采集法1.網(wǎng)站存儲的數(shù)據(jù)2.網(wǎng)站公開API(應(yīng)用程序接口)傳輸?shù)臄?shù)據(jù)1.爬蟲程序2.系統(tǒng)導(dǎo)出3.接口程序1.爬取淘寶網(wǎng)站數(shù)據(jù)2.從淘寶網(wǎng)店鋪后臺導(dǎo)出數(shù)據(jù)3.獲取微信企業(yè)號公開接口數(shù)據(jù)其它數(shù)據(jù)采集法傳感器系統(tǒng)接口傳感器采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)庫管理系統(tǒng)第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集交流145.2.2 數(shù)據(jù)的存儲和保護(hù)1.數(shù)據(jù)的存儲 存

11、儲數(shù)據(jù)主要有兩種方式，一種是數(shù)據(jù)存在本地內(nèi)部，另一種是把數(shù)據(jù)放在第三方公共或私有的“云端”存儲。如右圖第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集155.2.2 數(shù)據(jù)的存儲和保護(hù)1.數(shù)據(jù)的存儲：云存儲 云存儲已經(jīng)成為存儲發(fā)展的一種趨勢，其技術(shù)也日益成熟。云存儲是把各類數(shù)據(jù)存儲在虛擬的邏輯模型里，其物理空間存儲在跨越多個地域放置的眾多服務(wù)器中，為用戶提供統(tǒng)一、靈活、安全的“云存儲服務(wù)”。云存儲供應(yīng)商擁有并管理這些服務(wù)器，負(fù)責(zé)管理數(shù)據(jù)的使用和訪問權(quán)限，以及云存儲環(huán)境的日常運(yùn)營和維護(hù)。對于用戶而言，無須關(guān)注云存儲系統(tǒng)的具體運(yùn)行，僅需獲取存儲空間，把自己的數(shù)據(jù)存儲進(jìn)去。 數(shù)據(jù)的存儲采用分布式文件存儲或N

12、oSQL數(shù)據(jù)庫存儲。分布式文件存儲的特點(diǎn)之一是為了解決復(fù)雜問題而將大任務(wù)分解為多項(xiàng)小任務(wù)，通過讓多個處理器或多個計(jì)算機(jī)節(jié)點(diǎn)并行計(jì)算來提高解決問題的效率。分布式文件存儲系統(tǒng)能夠支持多臺主機(jī)通過網(wǎng)絡(luò)同時(shí)訪問共享文件和存儲目錄，大部分采用了關(guān)系數(shù)據(jù)模型并且支持SOL語句查詢。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集165.2.2 數(shù)據(jù)的存儲和保護(hù)2.數(shù)據(jù)的保護(hù) 如今，無論是政府部門、企業(yè)還是個人，對數(shù)據(jù)的依賴性已越來越強(qiáng)。然而，數(shù)據(jù)安全的隱患無處不在，一旦數(shù)據(jù)泄密或丟失，造成的損失和影響將是巨大的。因此，對數(shù)據(jù)安全的保護(hù)非常重要。研究表明，如果在發(fā)生數(shù)據(jù)災(zāi)難后的兩個星期內(nèi)無法恢復(fù)公司的業(yè)務(wù)系統(tǒng)，7

13、5%的公司業(yè)務(wù)將會完全停頓，43%的公司將再也無法開業(yè)。在信息化社會，對數(shù)據(jù)的保護(hù)刻不容緩。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集175.2.2 數(shù)據(jù)的存儲和保護(hù)2.數(shù)據(jù)的保護(hù) (1)數(shù)據(jù)安全保護(hù)技術(shù)。數(shù)據(jù)安全保護(hù)指數(shù)據(jù)不被破壞、更改、泄露或丟失。安裝殺毒軟件和防火墻只能防備數(shù)據(jù)安全隱患，而采用拷貝、備份、復(fù)制、鏡像、持續(xù)備份等技術(shù)進(jìn)行數(shù)據(jù)保護(hù)才是更為徹底、有效的方法。一般的數(shù)據(jù)安全保護(hù)技術(shù)的使用特點(diǎn)大家可以自行看書，或上網(wǎng)查詢。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集185.2.2 數(shù)據(jù)的存儲和保護(hù)2.數(shù)據(jù)的保護(hù) (1)數(shù)據(jù)安全保護(hù)技術(shù)。 為了防止他人對機(jī)密的數(shù)據(jù)、數(shù)據(jù)庫進(jìn)行非法訪問、

14、刪除、修改、拷貝等操作，可以采用對數(shù)據(jù)進(jìn)行加密等方法，保護(hù)數(shù)據(jù)在存儲和傳遞過程中不被修改或泄露。選擇何種加密算法、需要多高的安全級別、各算法之間如何協(xié)作等，都是進(jìn)行數(shù)據(jù)加密要考慮的因素。加密技術(shù)通常分為對稱式加密和非對稱式加密兩大類。對稱式加密指加密和解密用的是同一個密鑰。非對稱式加密指加密和解密用的是兩個不同的密鑰，必須配對使用，否則不能打開加密數(shù)據(jù)。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集195.2.2 數(shù)據(jù)的存儲和保護(hù)2.數(shù)據(jù)的保護(hù) (2)數(shù)據(jù)的隱私保護(hù)。任何事物都有兩面性，數(shù)據(jù)正在變成生活的第三只眼，敏銳地洞察卻也正監(jiān)控著我們的生活。我們上網(wǎng)瀏覽、出行、購物等數(shù)據(jù)，統(tǒng)統(tǒng)都被記錄了，人

15、人都成了數(shù)據(jù)的產(chǎn)生者和貢獻(xiàn)者。數(shù)據(jù)帶來的整體性變革，也使得數(shù)據(jù)的隱私保護(hù)的形勢顯得越發(fā)嚴(yán)峻。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集205.2.2 數(shù)據(jù)的存儲和保護(hù)2.數(shù)據(jù)的保護(hù)： (2)數(shù)據(jù)的隱私保護(hù)。隱私泄露的問題不是大數(shù)據(jù)時(shí)代特有的，在沒有大數(shù)據(jù)的時(shí)候，我們就已經(jīng)有很多隱私泄露的問題。可是到了大數(shù)據(jù)時(shí)代，數(shù)據(jù)發(fā)布多了，信息范圍擴(kuò)大了，信息傳播和共享速度加快了，若不加以控制，其所含的商業(yè)信息或私密信息就可能泄露(圖5-7)。解決辦法有三個:一是技術(shù)手段，常用的隱私保護(hù)有：數(shù)據(jù)收集時(shí)進(jìn)行數(shù)據(jù)精度處理；數(shù)據(jù)共享時(shí)進(jìn)行訪問控制；數(shù)據(jù)發(fā)布時(shí)進(jìn)行人工加擾；數(shù)據(jù)分析時(shí)進(jìn)行數(shù)據(jù)匿名處理等。二是提高自身的保護(hù)意識。三是要對數(shù)據(jù)使用者進(jìn)行道德和法律上的約束。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集圖5-7215.2.2 數(shù)據(jù)的存儲和保護(hù)2.數(shù)據(jù)的保護(hù)： 數(shù)據(jù)作為一種資產(chǎn)，用在什么地方、掌握量在誰手里都是次要的，關(guān)鍵是看怎樣利用這個工具。在安全的前提下，實(shí)現(xiàn)數(shù)據(jù)共享，才能真正創(chuàng)造數(shù)據(jù)價(jià)值，發(fā)揮數(shù)據(jù)真正的作用。第五章數(shù)據(jù)處理和可視化表達(dá)5.2數(shù)據(jù)的采集22我們采集到的數(shù)據(jù)，你