數(shù)據(jù)分析應(yīng)用項(xiàng)目化教程（Python） 課件 項(xiàng)目1 認(rèn)識(shí)數(shù)據(jù)分析

項(xiàng)目1認(rèn)識(shí)數(shù)據(jù)分析

任務(wù)1.1認(rèn)識(shí)Python與數(shù)據(jù)分析項(xiàng)目1介紹認(rèn)識(shí)數(shù)據(jù)、信息、知識(shí)、數(shù)據(jù)分析認(rèn)識(shí)定性和定量數(shù)據(jù)分析認(rèn)識(shí)Python與數(shù)據(jù)分析認(rèn)識(shí)數(shù)據(jù)分析學(xué)習(xí)路徑項(xiàng)目1介紹項(xiàng)目描述：數(shù)據(jù)分析可以通過(guò)計(jì)算機(jī)工具和數(shù)學(xué)知識(shí)處理數(shù)據(jù)，并從中發(fā)現(xiàn)規(guī)律性的信息，以做出具有針對(duì)性的決策。項(xiàng)目1介紹數(shù)據(jù)分析的主要概念和流程，后續(xù)項(xiàng)目學(xué)習(xí)Python在數(shù)據(jù)分析中的核心內(nèi)容及數(shù)據(jù)分析的Python庫(kù)，把概念和流程轉(zhuǎn)化為Python代碼，實(shí)現(xiàn)Python數(shù)據(jù)分析。雖然后續(xù)項(xiàng)目不涉及使用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)進(jìn)行數(shù)據(jù)分析，但后續(xù)項(xiàng)目是學(xué)習(xí)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)進(jìn)行數(shù)據(jù)建模、使用模型進(jìn)行數(shù)據(jù)分析的基礎(chǔ)。項(xiàng)目分析：做數(shù)據(jù)分析，首先需要認(rèn)識(shí)數(shù)據(jù)分析相關(guān)概念、分類、學(xué)習(xí)路徑、流程、作用，建立數(shù)據(jù)分析的總體認(rèn)識(shí)。項(xiàng)目目標(biāo)：1)描述數(shù)據(jù)、信息、數(shù)據(jù)分析2)區(qū)別定性數(shù)據(jù)分析和定量數(shù)據(jù)分析3)列表數(shù)據(jù)分析技術(shù)棧4)描述數(shù)據(jù)分析流程認(rèn)識(shí)數(shù)據(jù)、信息和知識(shí)數(shù)據(jù)是指對(duì)客觀事件進(jìn)行記錄并可以鑒別的符號(hào)，它不僅指狹義上的數(shù)字，還可以是具有一定意義的文字、字母、數(shù)字符號(hào)的組合、圖形、圖像、視頻、音頻等。分為模擬數(shù)據(jù)和數(shù)字?jǐn)?shù)據(jù)。數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)三種類型，分別是：1、結(jié)構(gòu)化數(shù)據(jù)（關(guān)系數(shù)據(jù)庫(kù)的行和列）；2、半結(jié)構(gòu)化數(shù)據(jù)（CSV，日志，XML，JSON、HTML、報(bào)表、資源庫(kù)）；3、非結(jié)構(gòu)化數(shù)據(jù)（電子郵件，文檔，PDF）和二進(jìn)制數(shù)據(jù)（圖像，音頻，視頻）。信息其實(shí)就是被組織起來(lái)的數(shù)據(jù)，是為了特定目的對(duì)數(shù)據(jù)進(jìn)行處理和建立內(nèi)在關(guān)聯(lián)，從而讓數(shù)據(jù)具有意義。用信息論的奠基者香農(nóng)的話說(shuō)，“信息是用來(lái)消除隨機(jī)性的不確定性的東西”。也就是說(shuō)，信息是有組織或分類的數(shù)據(jù)，對(duì)接收者有一定價(jià)值。數(shù)據(jù)和信息是不可分離的，數(shù)據(jù)是信息的表達(dá)，信息是數(shù)據(jù)的內(nèi)涵。知識(shí)是對(duì)信息的提煉和概括，它是高度概括的信息。基于圖技術(shù)的知識(shí)圖譜可以用來(lái)描述各種實(shí)體以及它們之間的關(guān)系。它是一個(gè)龐大的圖形網(wǎng)絡(luò)知識(shí)庫(kù)。在這個(gè)網(wǎng)絡(luò)中，每個(gè)節(jié)點(diǎn)是一個(gè)實(shí)體，比如人名、地名、事件、活動(dòng)，任意兩個(gè)節(jié)點(diǎn)之間的邊表示它們之間存在關(guān)系。知識(shí)圖譜的基本組成是“實(shí)體–關(guān)系–實(shí)體”的三元組，它不僅能把與關(guān)鍵詞有關(guān)的知識(shí)系統(tǒng)化地展示給用戶，也可以基于知識(shí)進(jìn)行推演。比方說(shuō)，從〈東方明珠，坐落在，浦東〉和〈浦東，屬于，上海〉這兩個(gè)組合，就能推測(cè)得到〈東方明珠，位于，上?！?。隨意給出3個(gè)數(shù)字：68、21、192。這3個(gè)數(shù)字僅僅是數(shù)據(jù)?，F(xiàn)在給它們加上一些說(shuō)明，比如：衣服的價(jià)格是68元，今天的氣溫是21攝氏度，小明爸爸的體重是192斤。這些數(shù)據(jù)有了明確表達(dá)的含義，它們就是信息。數(shù)據(jù)、信息、知識(shí)三者密不可分：數(shù)據(jù)是一組有意義的符號(hào)，它是信息的載體，是知識(shí)的來(lái)源；信息賦予了數(shù)據(jù)含義，信息消除了不確定性；知識(shí)從實(shí)踐、經(jīng)驗(yàn)中得到，它由數(shù)據(jù)記錄，從信息中提煉。認(rèn)識(shí)數(shù)據(jù)分析數(shù)據(jù)分析是指用適當(dāng)?shù)姆椒肮ぞ?，從大量的?shù)據(jù)中提取有價(jià)值的信息，找到數(shù)據(jù)背后的內(nèi)在規(guī)律，形成有效結(jié)論的過(guò)程。數(shù)據(jù)分析是將數(shù)據(jù)轉(zhuǎn)換為有效信息的過(guò)程，現(xiàn)已形成一整套關(guān)于數(shù)據(jù)建模的方法論。模型是指將所研究的系統(tǒng)轉(zhuǎn)換為數(shù)學(xué)的形式。模型的預(yù)測(cè)能力不僅取決于建模技術(shù)的質(zhì)量，還取決于數(shù)據(jù)的質(zhì)量，因此數(shù)據(jù)搜集、數(shù)據(jù)提取、數(shù)據(jù)準(zhǔn)備等預(yù)處理工作也成為數(shù)據(jù)分析的主要組成部分，對(duì)數(shù)據(jù)分析的最終效果有重要的影響。數(shù)據(jù)分析是“數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)”的重要手段。高質(zhì)量的數(shù)據(jù)和模型還不夠，數(shù)據(jù)分析還需要有各種數(shù)據(jù)可視化的方法，可以更直觀地理解數(shù)據(jù)中隱含的信息。認(rèn)識(shí)定性和定量數(shù)據(jù)分析定量分析指待分析的數(shù)據(jù)有著嚴(yán)格的數(shù)值型或類別型結(jié)構(gòu)。定性分析指數(shù)據(jù)要用自然語(yǔ)言來(lái)描述。定量分析往往建立數(shù)學(xué)模型，并用數(shù)學(xué)模型針對(duì)數(shù)據(jù)特征、數(shù)據(jù)關(guān)系與數(shù)據(jù)變化進(jìn)行分析。定性分析往往依據(jù)直覺、經(jīng)驗(yàn)，運(yùn)用主觀上的判斷對(duì)數(shù)據(jù)的性質(zhì)、特點(diǎn)、發(fā)展變化規(guī)律進(jìn)行分析，數(shù)據(jù)分析的結(jié)論可能還包括主觀解釋。認(rèn)識(shí)Python與數(shù)據(jù)分析Python是一門開源的、易于使用的編程語(yǔ)言，擁有非?；钴S且龐大的社區(qū)，提供了數(shù)據(jù)分析所需的各種算法庫(kù)，是數(shù)據(jù)分析的重要工具?？梢苑奖愕貙?shù)據(jù)分析模型與現(xiàn)有的系統(tǒng)進(jìn)行整合對(duì)接。認(rèn)識(shí)Python數(shù)據(jù)分析學(xué)習(xí)路徑技術(shù)棧統(tǒng)計(jì)學(xué)PythonNumpyPandasMatplotlibSeabornScikit-learnpytorch、tensorflowPaddlePaddle（百度）、MindSpore（華為）、MegEngine（天元）、Jittor（清華）、OneFlow（一流科技）業(yè)務(wù)認(rèn)知數(shù)據(jù)分析的重要性量化IT投資成效，以數(shù)據(jù)驅(qū)動(dòng)決策通過(guò)數(shù)據(jù)分析驗(yàn)證產(chǎn)品成效通過(guò)數(shù)據(jù)分析洞察用戶通過(guò)數(shù)據(jù)分析找到機(jī)會(huì)點(diǎn)數(shù)據(jù)分析需求的問(wèn)題發(fā)現(xiàn)以數(shù)據(jù)分析思維看待問(wèn)題數(shù)據(jù)分析思維是使用數(shù)據(jù)分析技能來(lái)解決問(wèn)題的能力。數(shù)據(jù)分析思維是要搭建分析思路的框架，數(shù)據(jù)分析技能是在思路的框架范圍內(nèi)做具體的分析。找到有效問(wèn)題通過(guò)什么方式發(fā)現(xiàn)問(wèn)題問(wèn)題拆解與歸類站在業(yè)務(wù)角度想問(wèn)題小結(jié)數(shù)據(jù)、信息、知識(shí)、數(shù)據(jù)分析定性和定量數(shù)據(jù)分析Python與數(shù)據(jù)分析數(shù)據(jù)分析學(xué)習(xí)路徑項(xiàng)目1認(rèn)識(shí)數(shù)據(jù)分析

任務(wù)1.2認(rèn)識(shí)數(shù)據(jù)分析類別與流程認(rèn)識(shí)探索性和預(yù)測(cè)性數(shù)據(jù)分析認(rèn)識(shí)數(shù)據(jù)分析流程認(rèn)識(shí)探索性數(shù)據(jù)分析探索性數(shù)據(jù)分析是用來(lái)分析和調(diào)查數(shù)據(jù)集，并總結(jié)其主要特征，通常采用數(shù)據(jù)可視化和匯總統(tǒng)計(jì)方法。探索性數(shù)據(jù)分析的主要目的是什么？識(shí)別明顯的錯(cuò)誤、理解數(shù)據(jù)中的模式、檢測(cè)異常值或異常事件、找到變量之間的有趣關(guān)系。嘗試各種方法來(lái)探索發(fā)現(xiàn)數(shù)據(jù)中可能存在的關(guān)系等，從而幫助我們后期更好地進(jìn)行特征工程和建立模型，為預(yù)測(cè)性數(shù)據(jù)分析做準(zhǔn)備，是進(jìn)行數(shù)據(jù)分析時(shí)重要的一步。探索性數(shù)據(jù)分析一般步驟有哪些？1) 問(wèn)題/需求導(dǎo)向2) 數(shù)據(jù)的基本情況。包括但不限于：數(shù)據(jù)量、數(shù)據(jù)特征、數(shù)據(jù)類型數(shù)據(jù)分布情況等。3) 數(shù)據(jù)的基本處理。對(duì)于數(shù)據(jù)的處理方式根據(jù)你的問(wèn)題需要進(jìn)行選擇，主要有缺失值處理、重復(fù)值處理、異常值處理、數(shù)據(jù)轉(zhuǎn)換和格式化處理、匯總統(tǒng)計(jì)。4) 數(shù)據(jù)可視化。認(rèn)識(shí)預(yù)測(cè)性數(shù)據(jù)分析什么是預(yù)測(cè)性數(shù)據(jù)分析？基于過(guò)去的數(shù)據(jù)對(duì)未來(lái)結(jié)果進(jìn)行預(yù)測(cè)，是專注于預(yù)測(cè)并理解未來(lái)可能發(fā)生的情況，大多是基于概率的，即預(yù)測(cè)事件在未來(lái)發(fā)生的概率，或者事件在大概率上會(huì)如何發(fā)生。預(yù)測(cè)性數(shù)據(jù)分析的主要目的是什么？是試圖預(yù)測(cè)可能的未來(lái)結(jié)果并提供這些結(jié)果發(fā)生的可能性，使企業(yè)能夠采取更主動(dòng)、更加數(shù)據(jù)驅(qū)動(dòng)的方法來(lái)