Spark大數(shù)據(jù)分析 課件 第1章 大數(shù)據(jù)與Spark簡介

大數(shù)據(jù)簡介與相關(guān)技術(shù)目錄/Contents01大數(shù)據(jù)簡介02大數(shù)據(jù)相關(guān)技術(shù)大數(shù)據(jù)簡介01大數(shù)據(jù)簡介大數(shù)據(jù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到獲取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時(shí)代》中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(diǎn)（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價(jià)值密度）、Veracity（真實(shí)性）。大數(shù)據(jù)簡介Volume（大量）：數(shù)據(jù)量大，截至目前，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，而歷史上全人類總共說過的話的數(shù)據(jù)量大約是5EB。Variety（多樣）：種類和來源多樣化。這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。Value(低價(jià)值密度)：價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比。Velocity（高速）：數(shù)據(jù)增長速度快，處理速度也快，時(shí)效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。Veracity：信數(shù)據(jù)的準(zhǔn)確性和可信賴度，即數(shù)據(jù)的質(zhì)量。大數(shù)據(jù)相關(guān)技術(shù)02大數(shù)據(jù)相關(guān)技術(shù)大數(shù)據(jù)技術(shù)的體系龐大且復(fù)雜，基礎(chǔ)的技術(shù)包含數(shù)據(jù)的采集、數(shù)據(jù)預(yù)處理、分布式存儲、NoSQL數(shù)據(jù)庫、數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)、并行計(jì)算、可視化等各種技術(shù)范疇和不同的技術(shù)層面。首先科學(xué)的給出一個(gè)通用化的大數(shù)據(jù)處理技術(shù)框架，主要分為下面幾個(gè)方面：數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)清洗、數(shù)據(jù)查詢分析和數(shù)據(jù)可視化。大數(shù)據(jù)相關(guān)技術(shù)數(shù)據(jù)采集與預(yù)處理對于各種來源的數(shù)據(jù)包括移動互聯(lián)網(wǎng)數(shù)據(jù)、社交網(wǎng)絡(luò)的數(shù)據(jù)等，這些結(jié)構(gòu)化和非結(jié)構(gòu)化的海量數(shù)據(jù)是零散的，也就是所謂的數(shù)據(jù)孤島，此時(shí)的這些數(shù)據(jù)并沒有什么意義，數(shù)據(jù)采集就是將這些數(shù)據(jù)寫入數(shù)據(jù)倉庫中，把零散的數(shù)據(jù)整合在一起，對這些數(shù)據(jù)綜合起來進(jìn)行分析。數(shù)據(jù)采集包括文件日志的采集、數(shù)據(jù)庫日志的采集、關(guān)系型數(shù)據(jù)庫的接入和應(yīng)用程序的接入等。在數(shù)據(jù)量比較小的時(shí)候，可以寫個(gè)定時(shí)的腳本將日志寫入存儲系統(tǒng)，但隨著數(shù)據(jù)量的增長，這些方法無法提供數(shù)據(jù)安全保障，并且運(yùn)維困難，需要更強(qiáng)壯的解決方案。大數(shù)據(jù)相關(guān)技術(shù)數(shù)據(jù)存儲Hadoop作為一個(gè)開源的框架，專為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計(jì)，HDFS作為其核心的存儲引擎，已被廣泛用于數(shù)據(jù)存儲。數(shù)據(jù)清洗MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計(jì)算，”Map（映射）”和”Reduce（歸約）”，是它的主要思想。它極大的方便了編程人員在不會分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)中。大數(shù)據(jù)相關(guān)技術(shù)數(shù)據(jù)查詢分析Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結(jié)構(gòu)化的數(shù)據(jù)映射為一張數(shù)據(jù)庫表，并提供HQL(HiveSQL)查詢功能。Impala是對Hive的一個(gè)補(bǔ)充，可以實(shí)現(xiàn)高效的SQL查詢。使用Impala來實(shí)現(xiàn)SQLonHadoop，用來進(jìn)行大數(shù)據(jù)實(shí)時(shí)查詢分析。Spark擁有HadoopMapReduce所具有的特點(diǎn)，它將Job中間輸出結(jié)果保存在內(nèi)存中，從而不需要讀取HDFS。Nutch是一個(gè)開源Java實(shí)現(xiàn)的搜索引擎。它提供了我們運(yùn)行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。Solr用Java編寫、運(yùn)行在Servlet容器（如ApacheTomcat或Jetty）的一個(gè)獨(dú)立的企業(yè)級搜索應(yīng)用的全文搜索服務(wù)器。Elasticsearch是一個(gè)開源的全文搜索引擎，基于Lucene的搜索服務(wù)器，可以快速的儲存、搜索和分析海量的數(shù)據(jù)。大數(shù)據(jù)相關(guān)技術(shù)數(shù)據(jù)可視化對接一些BI平臺，將分析得到的數(shù)據(jù)進(jìn)行可視化，用于指導(dǎo)決策服務(wù)。主流的BI平臺比如，國外的敏捷BITableau、Qlikview、PowrerBI等，國內(nèi)的SmallBI和新興的有數(shù)BI等?？刂茩?quán)限的ranger是一個(gè)Hadoop集群權(quán)限框架，提供操作、監(jiān)控、管理復(fù)雜的數(shù)據(jù)權(quán)限，它提供一個(gè)集中的管理機(jī)制，管理基于yarn的Hadoop生態(tài)圈的所有數(shù)據(jù)權(quán)限?？梢詫adoop生態(tài)的組件如Hive，Hbase進(jìn)行細(xì)粒度的數(shù)據(jù)訪問控制。通過操作Ranger控制臺，管理員可以輕松的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、數(shù)據(jù)庫、表、字段權(quán)限。這些策略可以為不同的用戶和組來設(shè)置，同時(shí)權(quán)限可與hadoop無縫對接。感謝大家的聆聽Spark簡介目錄/Contents01Spark特性02Spark的歷史與發(fā)展01Spark組件Spark特性01Spark特性運(yùn)行速度快面向磁盤的MapReduce受限于磁盤讀/寫性能和網(wǎng)絡(luò)I/O性能的約束，在處理迭代計(jì)算、實(shí)時(shí)計(jì)算、交互式數(shù)據(jù)查詢等方面并不高效，但是這些卻在圖計(jì)算、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等相關(guān)應(yīng)用領(lǐng)域中非常常見。針對這一不足，將數(shù)據(jù)存儲在內(nèi)存中并基于內(nèi)存進(jìn)行計(jì)算是一個(gè)有效的解決途徑。易用性Spark不僅計(jì)算性能突出，在易用性方面也是其他同類產(chǎn)品難以比擬的。一方面，Spark提供了支持多種語言的API，如Scala、Java、Python、R等，使得用戶開發(fā)Spark程序十分方便。另一方面，Spark是基于Scala語言開發(fā)的，由于Scala是一種面向?qū)ο蟮?、函?shù)式的靜態(tài)編程語言，其強(qiáng)大的類型推斷、模式匹配、隱式轉(zhuǎn)換等一系列功能結(jié)合豐富的描述能力使得Spark應(yīng)用程序代碼非常簡潔。Spark的易用性還體現(xiàn)在其針對數(shù)據(jù)處理提供了豐富的操作。Spark特性通用性相對于第一代的大數(shù)據(jù)生態(tài)系統(tǒng)Hadoop中的MapReduce，Spark無論是在性能還是在方案的統(tǒng)一性方面，都有著極大的優(yōu)勢。Spark框架包含了多個(gè)緊密集成的組件，如圖1-5所示。位于底層的是SparkCore，其實(shí)現(xiàn)了Spark的作業(yè)調(diào)度、內(nèi)存管理、容錯、與存儲系統(tǒng)交互等基本功能，并針對彈性分布式數(shù)據(jù)集提供了豐富的操作。在SparkCore的基礎(chǔ)上，Spark提供了一系列面向不同應(yīng)用需求的組件，主要有SparkSQL、SparkStreaming、MLlib、GraphX。支持多種資源管理器Spark不僅計(jì)算性能突出，在易用性方面也是其他同類產(chǎn)品難以比擬的。一方面，Spark提供了支持多種語言的API，如Scala、Java、Python、R等，使得用戶開發(fā)Spark程序十分方便。另一方面，Spark是基于Scala語言開發(fā)的，由于Scala是一種面向?qū)ο蟮?、函?shù)式的靜態(tài)編程語言，其強(qiáng)大的類型推斷、模式匹配、隱式轉(zhuǎn)換等一系列功能結(jié)合豐富的描述能力使得Spark應(yīng)用程序代碼非常簡潔。Spark的易用性還體現(xiàn)在其針對數(shù)據(jù)處理提供了豐富的操作。Spark的歷史與發(fā)展02Spark的歷史與發(fā)展Spark發(fā)展歷程：Spark在2009年由MateiZaharia在加州大學(xué)柏克萊分校AMPLab開創(chuàng)2010年通過BSD許可協(xié)議開源發(fā)布。2013年6月，該項(xiàng)目被捐贈給Apache軟件基金會并切換許可協(xié)議至Apache2.0。2014年2月，Spark成為Apache的頂級項(xiàng)目。2014年11月，Databricks團(tuán)隊(duì)使用Spark刷新數(shù)據(jù)排序世界記錄。2014年5月底Spark1.0.0發(fā)布。2014年9月Spark1.1.0發(fā)布2014年12月Spark1.2.0發(fā)布...2016年1月4號Spark1.6.0發(fā)布...2016年6月26號Spark2.0發(fā)布...時(shí)至今日的2.2.0版本Spark組件03Spark組件相對于第一代的大數(shù)據(jù)生態(tài)系統(tǒng)Hadoop中的MapReduce，Spark無論是在性能還是在方案的統(tǒng)一性方面，都有著極大的優(yōu)勢。Spark框架包含了多個(gè)緊密集成的組件，如圖1-6所示。位于底層的是SparkCore，其實(shí)現(xiàn)了Spark的作業(yè)調(diào)度、內(nèi)存管理、容錯、與存儲系統(tǒng)交互等基本功能，并針對彈性分布式數(shù)據(jù)集提供了豐富的操作。在SparkCore的基礎(chǔ)上，Spark提供了一系列面向不同應(yīng)用需求的組件，主要有SparkSQL、SparkStreaming、MLlib、GraphX。Spark軟件棧Spark組件SparkSQLSparkSQL是Spark用來操作結(jié)構(gòu)化數(shù)據(jù)的組件。通過SparkSQL，用戶可以使用SQL或者ApacheHive版本的SQL方言（HQL）來查詢數(shù)據(jù)。SparkSQL支持多種數(shù)據(jù)源類型，例如Hive表、Parquet以及JSON等。SparkSQL不僅為Spark提供了一個(gè)SQL接口，還支持開發(fā)者將SQL語句融入到Spark應(yīng)用程序開發(fā)過程中，無論是使用Python、Java還是Scala，用戶可以在單個(gè)的應(yīng)用中同時(shí)進(jìn)行SQL查詢和復(fù)雜的數(shù)據(jù)分析。由于能夠與Spark所提供的豐富的計(jì)算環(huán)境緊密結(jié)合，SparkSQL得以從其他開源數(shù)據(jù)倉庫工具中脫穎而出。SparkSQL在Sparkl.0中被首次引入。在SparkSQL之前，美國加州大學(xué)伯克利分校曾經(jīng)嘗試修改ApacheHive以使其運(yùn)行在Spark上，進(jìn)而提出了組件Shark。然而隨著SparkSQL的提出與發(fā)展，其與Spark引擎和API結(jié)合得更加緊密，使得Shark已經(jīng)被SparkSQL所取代。Spark組件SparkStreaming眾多應(yīng)用領(lǐng)域?qū)?shí)時(shí)數(shù)據(jù)的流式計(jì)算有著強(qiáng)烈的需求，例如網(wǎng)絡(luò)環(huán)境中的網(wǎng)頁服務(wù)器日志或是由用戶提交的狀態(tài)更新組成的消息隊(duì)列等，這些都是實(shí)時(shí)數(shù)據(jù)流。SparkStreaming是Spark平臺上針對實(shí)時(shí)數(shù)據(jù)進(jìn)行流式計(jì)算的組件，提供了豐富的處理數(shù)據(jù)流的API。由于這些API與SparkCore中的基本操作相對應(yīng)，因此開發(fā)者在熟知Spark核心概念與編程方法之后，編寫SparkStreaming應(yīng)用程序會更加得心應(yīng)手。從底層設(shè)計(jì)來看，SparkStreaming支持與SparkCore同級別的容錯性、吞吐量以及可伸縮性。Spark組件MLlibMLlib是Spark提供的一個(gè)機(jī)器學(xué)習(xí)算法庫，其中包含了多種經(jīng)典、常見的機(jī)器學(xué)習(xí)算法，主要有分類、回歸、聚類、協(xié)同過濾等。MLlib不僅提供了模型評估、數(shù)據(jù)導(dǎo)入等額外的功能，還提供了一些更底層的機(jī)器學(xué)習(xí)原語，包括一個(gè)通用的梯度下降優(yōu)化基礎(chǔ)算法。所有這些方法都被設(shè)計(jì)為可以在集群上輕松伸縮的架構(gòu)。Spark組件GraphXGraphX是Spark面向圖計(jì)算提供的框架與算法庫。GraphX中提出了彈性分布式屬性圖的概念，并在此基礎(chǔ)上實(shí)現(xiàn)了圖視圖與表視圖的有機(jī)結(jié)合與統(tǒng)一；同時(shí)針對圖數(shù)據(jù)處理提供了豐富的操作，例如取子圖操作subgraph、頂點(diǎn)屬性操作mapVertices、邊屬性操作mapEdges等。GraphX還實(shí)現(xiàn)了與Pregel的結(jié)合，可以直接使用一些常用圖算法，如PageRank、三角形計(jì)數(shù)等。感謝大家的聆聽其他數(shù)據(jù)處理框架目錄/Contents01Hadoop02Storm03Flink04BeamHadoop01HadoopHadoop是一個(gè)由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu),是一個(gè)存儲系統(tǒng)+計(jì)算框架的軟件框架。主要解決海量數(shù)據(jù)存儲與計(jì)算的問題，是大數(shù)據(jù)技術(shù)中的基石。Hadoop以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。Hadoop的核心是HDFS和MapReduce、YARN。HadoopDHDFS是一個(gè)高度容錯性的系統(tǒng)，能檢測和應(yīng)對硬件故障，適合部署在廉價(jià)的機(jī)器上HDFS采用master/slave架構(gòu)。一個(gè)HDFS集群是由一個(gè)Namenode和一定數(shù)目的Datanodes組成。EMapReduce是一個(gè)基于java的并行分布式計(jì)算框架，使用它來編寫的數(shù)據(jù)處理應(yīng)用可以運(yùn)行在大型的商用硬件集群上來處理大型數(shù)據(jù)集中的可并行化問題，數(shù)據(jù)處理可以發(fā)生在存儲在文件系統(tǒng)（非結(jié)構(gòu)化）或數(shù)據(jù)庫（結(jié)構(gòu)化）中的數(shù)據(jù)上。FApacheHadoopYARN是開源Hadoop分布式處理框架中的資源管理和作業(yè)調(diào)度技術(shù)。作為ApacheHadoop的核心組件之一，YARN負(fù)責(zé)將系統(tǒng)資源分配給在Hadoop集群中運(yùn)行的各種應(yīng)用程序，并調(diào)度要在不同集群節(jié)點(diǎn)上執(zhí)行的任務(wù)。(1)HDFS(2)

MapReduce(3)

YARNStorm02Storm簡單的編程模型：類似于MapReduce降低了并行批處理復(fù)雜性，Storm降低了實(shí)時(shí)處理的復(fù)雜性，只需實(shí)現(xiàn)幾個(gè)接口即可（Spout實(shí)現(xiàn)ISpout接口，Bolt實(shí)現(xiàn)IBolt接口）。支持多種語言：你可以在Storm之上使用各種編程語言。默認(rèn)支持Clojure、Java、Ruby和Python。要增加對其他語言的支持，只需實(shí)現(xiàn)一個(gè)簡單的Storm通信協(xié)議即可。容錯性：nimbus、supervisor都是無狀態(tài)的,可以用kill-9來殺死Nimbus和Supervisor進(jìn)程,然后再重啟它們,任務(wù)照常進(jìn)行;當(dāng)worker失敗后,supervisor會嘗試在本機(jī)重啟它。分布式：計(jì)算是在多個(gè)線程、進(jìn)程和服務(wù)器之間并行進(jìn)行的。持久性、可靠性：消息被持久化到本地磁盤，并且支持?jǐn)?shù)據(jù)備份防止數(shù)據(jù)丟失。可靠的消息處理：Storm保證每個(gè)消息至少能得到一次完整處理。任務(wù)失敗時(shí)，它會負(fù)責(zé)從消息源重試消息（ack機(jī)制）?？焖佟?shí)時(shí)：Storm保證每個(gè)消息能能得到快速的處理。StormStorm的核心組件Nimbus：即Storm的Master，負(fù)責(zé)資源分配和任務(wù)調(diào)度。一個(gè)Storm集群只有一個(gè)Nimbus。Supervisor：即Storm的Slave，負(fù)責(zé)接收Nimbus分配的任務(wù)，管理所有Worker，一個(gè)Supervisor節(jié)點(diǎn)中包含多個(gè)Worker進(jìn)程。Worker：工作進(jìn)程，每個(gè)工作進(jìn)程中都有多個(gè)Task。Task：任務(wù)，在Storm集群中每個(gè)Spout和Bolt都由若干個(gè)任務(wù)（tasks）來執(zhí)行。每個(gè)任務(wù)都與一個(gè)執(zhí)行線程相對應(yīng)。Topology：計(jì)算拓?fù)?，Storm的拓?fù)涫菍?shí)時(shí)計(jì)算應(yīng)用邏輯的封裝，它的作用與MapReduce的任務(wù)（Job）很相似，區(qū)別在于MapReduce的一個(gè)Job在得到結(jié)果之后總會結(jié)束，而拓?fù)鋾恢痹诩褐羞\(yùn)行，直到你手動去終止它。Stream：數(shù)據(jù)流（Streams）是Storm中最核心的抽象概念。一個(gè)數(shù)據(jù)流指的是在分布式環(huán)境中并行創(chuàng)建、處理的一組元組（tuple）的無界序列。StormStorm的核心組件Spout：數(shù)據(jù)源（Spout）是拓?fù)渲袛?shù)據(jù)流的來源。一般Spout會從一個(gè)外部的數(shù)據(jù)源讀取元組然后將他們發(fā)送到拓?fù)渲?。Bolt：拓?fù)渲兴械臄?shù)據(jù)處理均是由Bolt完成的。通過數(shù)據(jù)過濾（filtering）、函數(shù)處理（functions）、聚合（aggregations）、聯(lián)結(jié)（joins）、數(shù)據(jù)庫交互等功能，Bolt幾乎能夠完成任何一種數(shù)據(jù)處理需求。Streamgrouping：為拓?fù)渲械拿總€(gè)Bolt的確定輸入數(shù)據(jù)流是定義一個(gè)拓?fù)涞闹匾h(huán)節(jié)。數(shù)據(jù)流分組定義了在Bolt的不同任務(wù)（tasks）中劃分?jǐn)?shù)據(jù)流的方式。在Storm中有八種內(nèi)置的數(shù)據(jù)流分組方式。Reliability：可靠性。Storm可以通過拓?fù)鋪泶_保每個(gè)發(fā)送的元組都能得到正確處理。通過跟蹤由Spout發(fā)出的每個(gè)元組構(gòu)成的元組樹可以確定元組是否已經(jīng)完成處理。Flink03Flink1．處理無界和有界數(shù)據(jù)任何類型的數(shù)據(jù)都是作為事件流產(chǎn)生的。信用卡交易，傳感器測量，機(jī)器日志或網(wǎng)站或移動應(yīng)用程序上的用戶交互，所有這些數(shù)據(jù)都作為流生成。2．隨處部署應(yīng)用程序ApacheFlink是一個(gè)分布式系統(tǒng)，需要計(jì)算資源才能執(zhí)行應(yīng)用程序。Flink與所有常見的集群資源管理器（如HadoopYARN，ApacheMesos和Kubernetes）集成，但也可以設(shè)置為作為獨(dú)立群集運(yùn)行。3．運(yùn)行任意規(guī)模應(yīng)用Flink旨在任意規(guī)模上運(yùn)行有狀態(tài)