大數(shù)據(jù)概論 課件 第3章 大數(shù)據(jù)技術(shù)

第三章.大數(shù)據(jù)技術(shù)第三章大數(shù)據(jù)技術(shù)3.1大數(shù)據(jù)采集技術(shù)第三章大數(shù)據(jù)技術(shù)3.1.1大數(shù)據(jù)的來源類型第三章大數(shù)據(jù)技術(shù)3.1大數(shù)據(jù)的采集技術(shù)大數(shù)據(jù)的來源根據(jù)場(chǎng)景劃分根據(jù)數(shù)據(jù)的結(jié)構(gòu)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)第三章大數(shù)據(jù)技術(shù)3.1大數(shù)據(jù)采集技術(shù)獲取互聯(lián)網(wǎng)的數(shù)據(jù)開放數(shù)據(jù)接口網(wǎng)絡(luò)爬蟲3.1.2獲取互聯(lián)網(wǎng)的數(shù)據(jù)第三章大數(shù)據(jù)技術(shù)3.1大數(shù)據(jù)采集技術(shù)獲取物聯(lián)網(wǎng)的數(shù)據(jù)傳感器采集數(shù)據(jù)物聯(lián)網(wǎng)平臺(tái)采集數(shù)據(jù)3.1.3獲取物聯(lián)網(wǎng)的數(shù)據(jù)第三章大數(shù)據(jù)技術(shù)3.1大數(shù)據(jù)采集技術(shù)獲取信息系統(tǒng)的數(shù)據(jù)工作場(chǎng)景中需要使用不同的信息系統(tǒng)，例如ERP企業(yè)流程管理系統(tǒng)、CRM客戶關(guān)系管理系統(tǒng)、OA協(xié)同辦公系統(tǒng)等3.1.4獲取信息系統(tǒng)數(shù)據(jù)第三章大數(shù)據(jù)技術(shù)3.2大數(shù)據(jù)預(yù)處理技術(shù)第三章大數(shù)據(jù)技術(shù)3.2.1數(shù)據(jù)的混雜情況第三章大數(shù)據(jù)技術(shù)3.2大數(shù)據(jù)預(yù)處理技術(shù)數(shù)據(jù)的混雜情況數(shù)據(jù)采集得到的海量原始數(shù)據(jù)存在著很多混雜情況。以銷售數(shù)據(jù)為例，可能會(huì)出現(xiàn)的混雜情況有數(shù)據(jù)格式銷售日期有的用“/”分割，有的用“-”分割。數(shù)據(jù)精度銷售金額有些是四舍五入，有些是精確到小數(shù)點(diǎn)后2位數(shù)據(jù)異常銷售金額異常高或異常低；

同一個(gè)銷售記錄被重復(fù)錄入的各類情況。第三章大數(shù)據(jù)技術(shù)3.2.2數(shù)據(jù)預(yù)處理標(biāo)準(zhǔn)第三章大數(shù)據(jù)技術(shù)3.2大數(shù)據(jù)預(yù)處理技術(shù)數(shù)據(jù)的預(yù)處理標(biāo)準(zhǔn)由國(guó)家市場(chǎng)監(jiān)督管理總局、中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)發(fā)布的《信息技術(shù)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)》（GB/T36344-2018），對(duì)數(shù)據(jù)生存周期各個(gè)階段提供了數(shù)據(jù)質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)。由中華人民共和國(guó)國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局、中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)發(fā)布的《數(shù)據(jù)管理能力成熟度評(píng)估模型》（GB/T36073-2018），給出了數(shù)據(jù)管理能力成熟度評(píng)估模型以及相應(yīng)的成熟度等級(jí)，適用于組織和機(jī)構(gòu)對(duì)內(nèi)部數(shù)據(jù)管理能力成熟度進(jìn)行評(píng)估。數(shù)據(jù)清洗數(shù)據(jù)集成數(shù)據(jù)變換數(shù)據(jù)規(guī)約數(shù)據(jù)降維數(shù)據(jù)平滑數(shù)據(jù)歸一化數(shù)據(jù)聚合第三章大數(shù)據(jù)技術(shù)3.2.3大數(shù)據(jù)預(yù)處理技術(shù)第三章大數(shù)據(jù)技術(shù)3.2大數(shù)據(jù)預(yù)處理技術(shù)數(shù)據(jù)預(yù)處理技術(shù)ETL集成工具：kettle（開源）第三章大數(shù)據(jù)技術(shù)3.2大數(shù)據(jù)預(yù)處理技術(shù)數(shù)據(jù)預(yù)處理技術(shù)Python：豐富的數(shù)據(jù)處理庫(kù)，如pandas、NumPy、SciPy等。R語言：專門用于統(tǒng)計(jì)分析的編程語言，擁有眾多的統(tǒng)計(jì)分析包。SQL：一種結(jié)構(gòu)化查詢語言，用于管理和處理關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)。Java：可編寫MapReduce程序?qū)崿F(xiàn)數(shù)據(jù)的預(yù)處理、清洗、過濾等操作。MapReduce是Hadoop的基本數(shù)據(jù)處理框架。Scala：可編寫Spark程序，實(shí)現(xiàn)數(shù)據(jù)預(yù)處理和分析。第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)第三章大數(shù)據(jù)技術(shù)3.3.1關(guān)系型數(shù)據(jù)庫(kù)第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)關(guān)系型數(shù)據(jù)庫(kù)1.存儲(chǔ)結(jié)構(gòu)關(guān)系型數(shù)據(jù)庫(kù)是建立在關(guān)系模型基礎(chǔ)上的數(shù)據(jù)庫(kù)。關(guān)系模型可以簡(jiǎn)單理解為二維表格模型，用行和列的形式存儲(chǔ)數(shù)據(jù)，每個(gè)行代表一條數(shù)據(jù)記錄，而每個(gè)列代表一種數(shù)據(jù)類型。這些行和列就組合成了一張表，而多張表就組成了數(shù)據(jù)庫(kù)。第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)關(guān)系型數(shù)據(jù)庫(kù)客戶信息表訂單明細(xì)表第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)關(guān)系型數(shù)據(jù)庫(kù)國(guó)內(nèi)：OceanBase、TiDB、openGauss、達(dá)夢(mèng)國(guó)外：Oracle、MySQL、MicrosoftSQLServer2.常見品牌第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)關(guān)系型數(shù)據(jù)庫(kù)MicrosoftSQLServer：這是一款功能豐富的關(guān)系型數(shù)據(jù)庫(kù)，廣泛應(yīng)用于Windows環(huán)境。OracleDatabase：在金融領(lǐng)域，中國(guó)銀行將Oracle作為其主要的關(guān)系型數(shù)據(jù)，支持銀行的核心業(yè)務(wù)系統(tǒng)，包括賬戶管理、交易管理等。3.應(yīng)用場(chǎng)景MySQL：騰訊使用MySQL作為其主要的關(guān)系型數(shù)據(jù)庫(kù)，支持騰訊QQ、微信等大型社交網(wǎng)絡(luò)平臺(tái)的用戶管理、消息管理、游戲數(shù)據(jù)存儲(chǔ)等。第三章大數(shù)據(jù)技術(shù)3.3.2非關(guān)系型數(shù)據(jù)庫(kù)第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)非關(guān)系型數(shù)據(jù)庫(kù)非關(guān)系型數(shù)據(jù)庫(kù)（NoSQL）的主要特性是不使用關(guān)系模型，不遵循關(guān)系型數(shù)據(jù)庫(kù)的表結(jié)構(gòu)存儲(chǔ)方式。非關(guān)系型數(shù)據(jù)庫(kù)根據(jù)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的不同，也分成不同的類別，以下介紹常見的非關(guān)系型數(shù)據(jù)的存儲(chǔ)方式：文檔存儲(chǔ)鍵值存儲(chǔ)圖形存儲(chǔ)對(duì)象存儲(chǔ)列式存儲(chǔ)1.存儲(chǔ)結(jié)構(gòu)第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)非關(guān)系型數(shù)據(jù)庫(kù)國(guó)外：國(guó)內(nèi)：2.常見品牌第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)非關(guān)系型數(shù)據(jù)庫(kù)3.應(yīng)用場(chǎng)景鍵值存儲(chǔ)：Redis被廣泛應(yīng)用于緩存、會(huì)話存儲(chǔ)、隊(duì)列等場(chǎng)景。文檔存儲(chǔ)：MongoDB可以靈活地變更數(shù)據(jù)結(jié)構(gòu)的應(yīng)用，如內(nèi)容管理系統(tǒng)、日志分析平臺(tái)。列式存儲(chǔ)：HBase適用于需要處理海量數(shù)據(jù)、低延遲讀寫、高并發(fā)讀寫、數(shù)據(jù)分析和挖掘以及實(shí)時(shí)計(jì)算和流處理等場(chǎng)景。圖形存儲(chǔ)：Neo4j的優(yōu)勢(shì)在于處理關(guān)聯(lián)數(shù)據(jù)上的強(qiáng)大能力，包括ebay電子商務(wù)、沃爾瑪內(nèi)部管理、阿迪達(dá)斯購(gòu)物網(wǎng)站等企業(yè)都選擇了Neo4j。對(duì)象存儲(chǔ)：AmazonS3是亞馬遜AWS提供的一種對(duì)象存儲(chǔ)服務(wù)，被廣泛應(yīng)用于云環(huán)境和大規(guī)模數(shù)據(jù)存儲(chǔ)，。第三章大數(shù)據(jù)技術(shù)3.3.3分布式數(shù)據(jù)庫(kù)第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)分布式數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)系統(tǒng)通常通過將數(shù)據(jù)分割成多個(gè)部分并在多個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)是分布在一個(gè)或多個(gè)地理位置上的物理服務(wù)器，也可以是虛擬機(jī)或容器。每個(gè)節(jié)點(diǎn)都擁有自己的存儲(chǔ)和計(jì)算資源，這種設(shè)計(jì)模式在解決了傳統(tǒng)單點(diǎn)故障、性能瓶頸等問題的同時(shí)，還保證數(shù)據(jù)的一致性和可靠性，并提供了很高的性能和可伸縮性。1.存儲(chǔ)結(jié)構(gòu)第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)分布式數(shù)據(jù)庫(kù)OceanBase是由螞蟻集團(tuán)完全自主研發(fā)的企業(yè)級(jí)分布式關(guān)系數(shù)據(jù)庫(kù)，基于分布式架構(gòu)和通用服務(wù)器、實(shí)現(xiàn)了金融級(jí)可靠性及數(shù)據(jù)一致性，擁有100%的知識(shí)產(chǎn)權(quán)。2.常見品牌TiDB是PingCAP公司自主設(shè)計(jì)、研發(fā)的開源分布式關(guān)系型數(shù)據(jù)庫(kù)。第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)分布式數(shù)據(jù)庫(kù)openGauss是一款全面友好開放，攜手伙伴共同打造的企業(yè)級(jí)開源關(guān)系型數(shù)據(jù)庫(kù)。openGauss深度融合華為在數(shù)據(jù)庫(kù)領(lǐng)域多年的經(jīng)驗(yàn)，結(jié)合企業(yè)級(jí)場(chǎng)景需求，持續(xù)構(gòu)建競(jìng)爭(zhēng)力特性。第三章大數(shù)據(jù)技術(shù)3.3大數(shù)據(jù)存儲(chǔ)技術(shù)分布式數(shù)據(jù)庫(kù)3.應(yīng)用場(chǎng)景阿里云飛天分布式數(shù)據(jù)庫(kù)騰訊云TDSQL分布式數(shù)據(jù)庫(kù)華為分布式數(shù)據(jù)庫(kù)GaussDB京東分布式數(shù)據(jù)庫(kù)JIMDB第三章大數(shù)據(jù)技術(shù)3.4大數(shù)據(jù)分析技術(shù)第三章大數(shù)據(jù)技術(shù)3.4.1數(shù)據(jù)可視化第三章大數(shù)據(jù)技術(shù)3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化靜態(tài)可視化：Matplotlib、Seaborn、Plotly第三章大數(shù)據(jù)技術(shù)3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化動(dòng)態(tài)可視化：Echarts、Highcharts、D3.js、Plotly、Bokeh第三章大數(shù)據(jù)技術(shù)3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化地圖類：百度地圖開放平臺(tái)、高德地圖開放平臺(tái)，Leaflet、OpenLayers第三章大數(shù)據(jù)技術(shù)3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化3D類：Thing.js、Three.js、Babylon.js、A-Frame第三章大數(shù)據(jù)技術(shù)3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化BI類：Tableau、PowerBI、SAS、IBMCognosAnalytics第三章大數(shù)據(jù)技術(shù)3.4.2數(shù)據(jù)挖掘第三章大數(shù)據(jù)技術(shù)3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘是從大規(guī)模數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)、提取、分析和總結(jié)出有價(jià)值的信息的一種技術(shù)。它可以幫助人們發(fā)現(xiàn)大量數(shù)據(jù)中的潛在趨勢(shì)和關(guān)聯(lián)，對(duì)數(shù)據(jù)進(jìn)行分類、聚類、預(yù)測(cè)和異常檢測(cè)等分析，從而提供有價(jià)值的信息和洞察力，從而支持決策和策略的制定，提高生產(chǎn)效率和市場(chǎng)競(jìng)爭(zhēng)力。第三章大數(shù)據(jù)技術(shù)3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化分類：通過已有的數(shù)據(jù)，進(jìn)行分類、預(yù)測(cè)等任務(wù)。例如，使用分類算法將郵件分為垃圾郵件和正常郵件，減少用戶收到垃圾郵件的數(shù)量。聚類：將大量數(shù)據(jù)分成具有相似特征的小組。例如，通過挖掘用戶的行為數(shù)據(jù)和消費(fèi)數(shù)據(jù)，將用戶分成不同的群體，以便公司能夠更好地理解和滿足用戶的需求。關(guān)聯(lián)規(guī)則挖掘：發(fā)現(xiàn)數(shù)據(jù)中的關(guān)聯(lián)關(guān)系，即兩個(gè)或多個(gè)變量之間的關(guān)聯(lián)。例如，超市可以通過挖掘消費(fèi)者的購(gòu)物數(shù)據(jù)，找出常一起購(gòu)買的商品組合，并通過這些關(guān)聯(lián)規(guī)則制定促銷活動(dòng)，提高銷售量和利潤(rùn)。時(shí)間序列挖掘：發(fā)現(xiàn)時(shí)間序列數(shù)據(jù)中的模式、規(guī)律等。例如，可以通過對(duì)歷史氣象數(shù)據(jù)的分析，發(fā)現(xiàn)某一地區(qū)某個(gè)月份的降雨量出現(xiàn)了明顯的周期性變化，從而可以對(duì)該地區(qū)該月份的降雨量進(jìn)行預(yù)測(cè)和調(diào)整。異常檢測(cè)：檢測(cè)數(shù)據(jù)中的異常值或者異常模式。例如，通過對(duì)信用卡交易數(shù)據(jù)的異常檢測(cè)，可以識(shí)別出潛在的欺詐行為，從而保障金融機(jī)構(gòu)的利益和消費(fèi)者的安全。文本挖掘：從大量文本數(shù)據(jù)中提取出有用的信息，包括文本分類、情感分析、實(shí)體識(shí)別等。例如，識(shí)別出新聞報(bào)道中的主要話題，用于新聞媒體和輿情分析等領(lǐng)域。第三章大數(shù)據(jù)技術(shù)3.4.3機(jī)器學(xué)習(xí)第三章大數(shù)據(jù)技術(shù)3.4大數(shù)據(jù)分析技術(shù)機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)都是從數(shù)據(jù)中提取有用信息的方法，但它們的重點(diǎn)略有不同。數(shù)據(jù)挖掘是從大量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律、模式和關(guān)聯(lián)性的過程，其目的是發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特征。機(jī)器學(xué)習(xí)是利用算法讓計(jì)算機(jī)自動(dòng)學(xué)習(xí)數(shù)據(jù)中的規(guī)律和模式，并通過不斷的迭代優(yōu)化來提高預(yù)測(cè)或決策的準(zhǔn)確性。第三章大數(shù)據(jù)技術(shù)3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化機(jī)器學(xué)習(xí)基礎(chǔ)分類：第三章大數(shù)據(jù)技術(shù)3.4大數(shù)據(jù)分析技術(shù)數(shù)據(jù)可視化Python的機(jī)器學(xué)習(xí)庫(kù)：Sciki