《Spark應(yīng)用開發(fā)技術(shù)》課件-03-Spark Streaming

Spark應(yīng)用開發(fā)技術(shù)本章主要講述SparkStreaming實(shí)時(shí)計(jì)算框架、Dstream編程模型。通過學(xué)習(xí)本節(jié)將能夠?qū)W習(xí)SparkStreaming實(shí)時(shí)計(jì)算框架、Dstream編程模型。通過本節(jié)學(xué)習(xí)可以：理解SparkStreaming的基本概念及運(yùn)行原理掌握Dstream的轉(zhuǎn)換操作掌握Dstream的窗口操作掌握Dstream的輸出操作初探SparkStreamingSparkStreaming簡(jiǎn)介Spark

Streaming運(yùn)行原理初步使用SparkStreaming掌握Dstream編程模型Dstream簡(jiǎn)介Dstream轉(zhuǎn)換操作Dstream窗口操作Dstream輸出操作3.

Spark

Streaming實(shí)時(shí)更新熱門博文背景隨著互聯(lián)網(wǎng)和信息科學(xué)技術(shù)的發(fā)展，技術(shù)人員也需要不斷地緊跟潮流學(xué)習(xí)新的技術(shù)。這些人在學(xué)習(xí)的過程中喜歡把所學(xué)的知識(shí)記錄下來以方便以后查看或者分享給他人。某些公司因此萌發(fā)了開發(fā)技術(shù)博客網(wǎng)站的想法，技術(shù)博客網(wǎng)站的功能就是技術(shù)人員可以通過注冊(cè)成為會(huì)員后把自己所學(xué)的知識(shí)記錄在博客上分享給其他人學(xué)習(xí)或者在網(wǎng)站上查看他人分享的知識(shí)。而隨著推薦技術(shù)的發(fā)展，現(xiàn)在的博客網(wǎng)站也都會(huì)設(shè)置個(gè)性化的推薦板塊，以此來吸引用戶的瀏覽，比如，CSDN網(wǎng)站就有推薦博客、最熱下載、行業(yè)熱點(diǎn)等推薦板塊。國(guó)內(nèi)某個(gè)技術(shù)博客網(wǎng)站設(shè)置了熱門博文板塊，系統(tǒng)每小時(shí)對(duì)博文網(wǎng)頁進(jìn)行快速統(tǒng)計(jì)，將熱度最高的10個(gè)網(wǎng)頁更新到熱門博文版塊。一般可以根據(jù)如下的公式計(jì)算網(wǎng)頁的熱度，其中，u代表用戶等級(jí)，x代表用戶從進(jìn)入網(wǎng)站到離開網(wǎng)站這段時(shí)間內(nèi)對(duì)該網(wǎng)頁的訪問次數(shù)，y代表停留時(shí)間，z表示是否點(diǎn)贊

f(u,x,y,z)=0.1u+0.9x+0.4y+zSparkStreaming實(shí)時(shí)更新熱門博文采集用戶對(duì)于某個(gè)網(wǎng)頁的行為數(shù)據(jù)其中pageId表示點(diǎn)擊的網(wǎng)頁ID，userRank表示用戶等級(jí)，visitTimes表示用戶從進(jìn)入網(wǎng)站到離開網(wǎng)站這段時(shí)間內(nèi)對(duì)該網(wǎng)頁的訪問次數(shù)，waitTime表示停留時(shí)間，like表示是否點(diǎn)贊。1為贊，-1表示踩，0表示中立。SparkStreaming實(shí)時(shí)更新熱門博文設(shè)計(jì)表計(jì)算網(wǎng)頁熱度之后要求把熱度最高的10個(gè)網(wǎng)頁保存在MySQL數(shù)據(jù)庫中，因此需要在MySQL數(shù)據(jù)庫中設(shè)計(jì)一個(gè)表top_web_page接收熱度最高的10個(gè)網(wǎng)頁。top_web_page表的結(jié)構(gòu)如表所示SparkStreaming實(shí)時(shí)更新熱門博文采集數(shù)據(jù)日志生成模擬器，首先采集用戶對(duì)于某個(gè)網(wǎng)頁的行為數(shù)據(jù)保存在本地E盤test.log文件里每隔5s隨機(jī)的從test.log文件中挑選100行添加到新日志文件中，新生成的日志文件存放在E盤的streaming目錄下。SparkStreaming實(shí)時(shí)更新熱門博文計(jì)算網(wǎng)頁熱度SparkStreaming讀取監(jiān)控目錄下的數(shù)據(jù)，生成一個(gè)DStream。計(jì)算網(wǎng)頁熱度首先需要對(duì)每一行數(shù)據(jù)根據(jù)數(shù)據(jù)的分隔符（如“，”）進(jìn)行分割根據(jù)公式計(jì)算網(wǎng)頁的熱度，得到以網(wǎng)頁為鍵，熱度為值的鍵值對(duì)數(shù)據(jù)。接著根據(jù)相同的鍵計(jì)算網(wǎng)頁的熱度總和最后根據(jù)熱度總和對(duì)數(shù)據(jù)降序排序，取出熱度最高的前10個(gè)網(wǎng)頁。SparkStreaming實(shí)時(shí)更新熱門博文網(wǎng)頁熱度輸出每次更新網(wǎng)頁及其熱度，需要把更新結(jié)果輸出到MySQL中定義創(chuàng)建連接對(duì)象的方法及清空表的方法，如下圖所示SparkStreaming實(shí)時(shí)更新熱門博文網(wǎng)頁熱度輸出使用Dsteam提供的foreachRDD的方法將熱度最高的10個(gè)網(wǎng)頁數(shù)據(jù)信息輸出到MySQL數(shù)據(jù)庫中top_web_page表，如下圖所示SparkStreaming實(shí)時(shí)更新熱門博文

SparkStreaming實(shí)時(shí)更新熱門博文運(yùn)行模擬器代碼，同時(shí)運(yùn)行計(jì)算網(wǎng)頁熱度的代碼SparkStreaming監(jiān)控產(chǎn)生文件的目錄，一旦有新文件產(chǎn)生就會(huì)計(jì)算新文件的網(wǎng)頁熱度及其排名然后輸出到top_web_page表。查看top_web_page表的內(nèi)容SparkStreaming實(shí)時(shí)更新熱門博文請(qǐng)簡(jiǎn)