第1節(jié)　數(shù)據(jù)采集、整理與安全

第三章數(shù)據(jù)處理與應(yīng)用第1節(jié)數(shù)據(jù)采集、整理與安全目錄CONTENTS01020304課程導(dǎo)入本課內(nèi)容課堂練習(xí)課后作業(yè)AddthetexthereAddthetexthereAddthetexthereAddthetexthereAddthetexthereAddthetexthereAddthetexthereAddthetexthere本章學(xué)習(xí)目標(biāo)?通過典型的應(yīng)用實(shí)例,了解數(shù)據(jù)采集和整理的基本方法,理解數(shù)據(jù)安全的重要性。?選用合適的軟件工具或平臺(tái)處理數(shù)據(jù),掌握數(shù)據(jù)可視化的基本方法。?了解數(shù)據(jù)分析報(bào)告的結(jié)構(gòu)形式,完成解決問題的數(shù)據(jù)分析報(bào)告,感悟數(shù)據(jù)分析的價(jià)值體驗(yàn)思考單車數(shù)據(jù)：用戶數(shù)據(jù)：共享單車都能產(chǎn)生哪些數(shù)據(jù)通信連接狀態(tài)、車鎖狀態(tài)、使用記錄單車ID、經(jīng)緯度、時(shí)間等用戶基本信息、消費(fèi)記錄、騎行的記錄共享單車還能能產(chǎn)生哪些數(shù)據(jù)？圖表展示不同時(shí)間點(diǎn)分別七天的使用量，不同顏色的數(shù)據(jù)表示不同距離數(shù)的使用量，右上角為天氣數(shù)據(jù)。使用單車的城市體驗(yàn)思考數(shù)據(jù)采集的方法傳感數(shù)據(jù)采集互聯(lián)網(wǎng)數(shù)據(jù)采集數(shù)據(jù)保存的方法：數(shù)據(jù)庫當(dāng)今社會(huì),信息技術(shù)開始滲透至人類日常生活的方方面面,隨之而產(chǎn)生的數(shù)據(jù)量也呈現(xiàn)指數(shù)級數(shù)增長的態(tài)勢,例如物聯(lián)網(wǎng)傳感器、社交網(wǎng)絡(luò)等每時(shí)每刻都產(chǎn)生著大量的數(shù)據(jù)。面對數(shù)據(jù)量的快速增長及變化、數(shù)據(jù)來源的多元化、數(shù)據(jù)呈現(xiàn)方式的多樣化,我們在遵守相關(guān)法律法規(guī)、尊重知識產(chǎn)權(quán)的前提下,有效地采集與整理數(shù)據(jù)是進(jìn)行數(shù)據(jù)處理的基礎(chǔ)。一.數(shù)據(jù)采集明確數(shù)據(jù)要求確定數(shù)據(jù)來源選擇采集方法實(shí)施數(shù)據(jù)采集的過程數(shù)據(jù)來源傳感設(shè)備互聯(lián)網(wǎng)問卷調(diào)查企業(yè)內(nèi)部數(shù)據(jù)庫傳感數(shù)據(jù)采集互聯(lián)網(wǎng)數(shù)據(jù)采集獲取網(wǎng)頁獲取網(wǎng)頁獲取網(wǎng)頁解析網(wǎng)頁保存數(shù)據(jù)二、數(shù)據(jù)整理針對記錄重復(fù)的處理，Python的數(shù)據(jù)分析核心庫Pandas提供了一個(gè)名為drop_duplicates()的去重方法。該方法只對DataFrame或者Series類型有效。其基本語法如下:1.檢測與處理重復(fù)值1.檢測與處理重復(fù)值2.檢測與處理缺失值三、數(shù)據(jù)安全1.數(shù)據(jù)安全意識數(shù)據(jù)泄露三、數(shù)據(jù)安全1.數(shù)據(jù)安全意識計(jì)算機(jī)病毒三、數(shù)據(jù)安全1.數(shù)據(jù)安全意識黑客攻擊2.數(shù)據(jù)安全防護(hù)樹立數(shù)據(jù)安全意識（1）數(shù)據(jù)加密（2）數(shù)據(jù)脫敏（3）訪問控制（4）數(shù)據(jù)備份（5）異地容災(zāi)2.數(shù)據(jù)安全防護(hù)（1）數(shù)據(jù)加密數(shù)據(jù)加密是計(jì)算機(jī)系統(tǒng)對數(shù)據(jù)進(jìn)行保護(hù)的一種較為可靠的辦法。對需要保護(hù)的數(shù)據(jù)(也稱為明文)進(jìn)行加密,即利用加密算法和加密密鑰將需要保護(hù)的數(shù)據(jù)轉(zhuǎn)化成另外一種數(shù)據(jù)(也稱為密文),然后將密文進(jìn)行存儲(chǔ)或者傳輸給需要使用數(shù)據(jù)的人,使得竊取者在沒有密鑰和不了解加密算法的情況下無法識別密文,從而起到數(shù)據(jù)保密的作用。2.數(shù)據(jù)安全防護(hù)（2）數(shù)據(jù)脫敏數(shù)據(jù)脫敏是在不影響數(shù)據(jù)分析結(jié)果準(zhǔn)確性的前提下,對需要保護(hù)的數(shù)據(jù)進(jìn)行一定的變換操作,如替換、過濾或刪除等,從而降低數(shù)據(jù)的敏感性,保護(hù)用戶的隱私不被泄露,如圖所示。2.數(shù)據(jù)安全防護(hù)（3）訪問控制在各種計(jì)算機(jī)系統(tǒng)中,涉及各類服務(wù)的使用、文件的訪問、數(shù)據(jù)的存取時(shí),需要規(guī)定特定的人對部分?jǐn)?shù)據(jù)負(fù)責(zé)或獲得管理權(quán)限,從而做到被授權(quán)的人允許使用特定信息。此時(shí),就需要進(jìn)行訪問控制,這是確定用戶身份及其所享有權(quán)限的一種技術(shù)。訪問控制主要由身份驗(yàn)證與授權(quán)兩個(gè)部分組成,身份驗(yàn)證是用于驗(yàn)證用戶身份合法性的一種技術(shù)。身份驗(yàn)證本身并不足以防護(hù)數(shù)據(jù),還需要授權(quán)技術(shù)來確定用戶是否可以訪問數(shù)據(jù)或執(zhí)行其所嘗試的操作。2.數(shù)據(jù)安全防護(hù)（4）數(shù)據(jù)備份數(shù)據(jù)備份是指為了防止由于操作失誤、系統(tǒng)故障等人為因素或意外原因?qū)е聰?shù)據(jù)丟失,而將整個(gè)系統(tǒng)的數(shù)據(jù)或者一部分關(guān)鍵數(shù)據(jù)通過一定的方法從主計(jì)算機(jī)系統(tǒng)的存儲(chǔ)設(shè)備中復(fù)制到其他存儲(chǔ)設(shè)備中的過程,如圖3.10所示。一旦數(shù)據(jù)丟失,就可以從備份中恢復(fù)歷史版本的數(shù)據(jù)。數(shù)據(jù)備份往往需要定期定時(shí)進(jìn)行,從而使得備份的數(shù)據(jù)能夠保持最新的狀態(tài)。2.數(shù)據(jù)安全防護(hù)（5）異地容災(zāi)當(dāng)某處的計(jì)算機(jī)系統(tǒng)因意外、不可抗力因素(如火災(zāi)、地震等)的原因?qū)е峦Ｖ构ぷ鞑⑶覠o法提供計(jì)算機(jī)服務(wù)時(shí),往往需要切換到另外一套備用系統(tǒng)上,使其能夠繼續(xù)提供相關(guān)計(jì)算機(jī)服務(wù)。如果兩套或多套計(jì)算機(jī)系統(tǒng)都安放在同一處,一旦遭到不可抗力因素的影響時(shí),將會(huì)是災(zāi)難性的。為了防止出現(xiàn)這種情況,人們采用了一種異地容災(zāi)的方式,在相隔較遠(yuǎn)的地方,建立兩套或多套功能相同的計(jì)算機(jī)系統(tǒng),相互進(jìn)行數(shù)據(jù)備份或應(yīng)急時(shí)提供備用計(jì)算機(jī)服務(wù)。例如,銀行的數(shù)據(jù)中心都實(shí)現(xiàn)了異地容災(zāi),從而可以保證用戶的金融數(shù)據(jù)安全。謝謝大家觀