storm實戰(zhàn)基礎(chǔ)count實例

Storm實戰(zhàn)基礎(chǔ)WordCountStorm實戰(zhàn)基礎(chǔ)WordCount—效果展示在講解Storm的應(yīng)用實戰(zhàn)之前，我們先來看一下我們寫出來的代碼實例執(zhí)行起來后是怎么樣的，以及具體的實時處理效果。Storm實戰(zhàn)基礎(chǔ)WordCount—課程概要Storm應(yīng)用實例設(shè)計WordCount實例代碼講解Storm應(yīng)用實例演示及總結(jié)Storm實戰(zhàn)基礎(chǔ)WordCountStorm應(yīng)用實例設(shè)計Storm應(yīng)用實例設(shè)計這個課時我們主要講解Storm的應(yīng)用開發(fā)基礎(chǔ)實戰(zhàn)實例設(shè)計相關(guān)的內(nèi)容，包含以下幾個知識點：實例需求分析；與Hadoop的WordCount實例的對比；Storm的編程模型；方案及拓?fù)湓O(shè)計；我們先從實例的需求出發(fā)，了解實例的開發(fā)需求，然后結(jié)合Hadoop中著名的應(yīng)用開發(fā)WordCount實例，進(jìn)行比對分析，基于Storm的編程模型，我們來做一個實例方案，并且以拓?fù)錇楹诵倪M(jìn)行拓?fù)湓O(shè)計，做好代碼開發(fā)前的準(zhǔn)備工作。Storm應(yīng)用實例設(shè)計—實例需求分析基礎(chǔ)實戰(zhàn)目的：從簡單的編程實例中了解Storm的編程模型、應(yīng)用開發(fā)模式以及了解Storm應(yīng)用開發(fā)中本地模式與集群模式的不同，熟悉Storm拓?fù)淙蝿?wù)的提交、查看以及終止等常規(guī)操作。實例需求：流式的接入英文語句，要求實時獲取當(dāng)前的單詞詞頻，或者詞頻TopN的單詞；實時熱點原始模型。實例分析：普通的解決思路無法滿足大規(guī)模數(shù)據(jù)處理的需求，并且難以保證數(shù)據(jù)連續(xù)不斷處理，即業(yè)務(wù)在非正常情況下不隨意終止。Storm應(yīng)用實例設(shè)計—與Hadoop的WordCount實例的對比Hadoop中MapReduce的WordCount：統(tǒng)計一系列文本文件件中每個單詞出現(xiàn)的次數(shù)，即詞頻。主要過程：MapReduce采用“分而治之”的思想，把大規(guī)模數(shù)據(jù)集的操作，分發(fā)到多個節(jié)點上執(zhí)行。Map對文本文件進(jìn)行歸一化處理，即單詞拆分，在

Reduce階段完成單詞的統(tǒng)計。兩個WordCount對比：數(shù)據(jù)特點實例特點實現(xiàn)思想技術(shù)選型編程模型海量、固定規(guī)模批量處理分而治之HadoopMap+Reduce海量、持續(xù)增加流式實時處理StormSpout+BoltStorm應(yīng)用實例設(shè)計—Storm編程模型消息源Spout->繼承BaseRichSpout類/實現(xiàn)IRichSpout接口：

open方法，初始化動作；nextTuple方法，消息接入，執(zhí)行數(shù)據(jù)發(fā)射；ack方法，

tuple成功處理后調(diào)用；fail方法，tuple處理失敗時調(diào)用；declareOutputFields方法，通常聲明輸出字段。處理單元Bolt->繼承BaseBasicBolt類/實現(xiàn)IRichBolt接口：prepare方法，worker啟動時初始化；execute方法，接受一個tuple并執(zhí)行邏輯處理，發(fā)射出去；cleanup方法，關(guān)閉前調(diào)用；declareOutputFields方法，字段申明。Storm應(yīng)用實例設(shè)計—方案及拓?fù)湓O(shè)計方案設(shè)計：技術(shù)選型使用Storm，依靠Storm的實時性以及大規(guī)模數(shù)據(jù)的特點。在Spout中隨機(jī)發(fā)送內(nèi)置的語句作為消息源；使用一個Bolt進(jìn)行語句切分，將句子切分成單詞發(fā)射出去；使用一個bolt訂閱切分的單詞Tuple，進(jìn)行單詞統(tǒng)計，并且選擇使用按字段分組的策略，詞頻實時排序，把TopN實時發(fā)射出去；最后使用一個Bolt將結(jié)果打印到log中。拓?fù)湓O(shè)計：Storm實戰(zhàn)基礎(chǔ)WordCountWordCount實例代碼講解WordCount實例代碼講解結(jié)合實際代碼講解這個實戰(zhàn)實例是怎么實現(xiàn)的，主要會包含以下幾個方面：代碼結(jié)構(gòu)講解；Maven依賴解說；消息源RandomSentenceSpout講解；數(shù)據(jù)標(biāo)準(zhǔn)化WordNormalizerBolt講解；詞頻統(tǒng)計WordCountBolt講解；工具類MapSort以及PrintBolt講解；拓?fù)錁?gòu)建WordCountTopology講解；Storm實戰(zhàn)基礎(chǔ)WordCountStorm應(yīng)用實例演示及總結(jié)Storm應(yīng)用實例演示及總結(jié)本課時主要結(jié)合實例的演示，講解Storm的本地模式以及集群模式的特點，涉及以下幾個知識點：實例本地模式執(zhí)行演示；實例Maven打包上傳；實例拓?fù)浼貉菔?；?zhí)行拓?fù)浔O(jiān)控UI解說；Storm相關(guān)操作命令；實例總結(jié)及拓展；Storm應(yīng)用實例演示及總結(jié)—Storm相關(guān)操作命令Storm相關(guān)操作命令：activate：激活指定任務(wù)；classpath：打印storm的classpath；deactivate：暫停storm的任務(wù)；dev-zookeeper：啟動一個新的Zookeeper，這種情況只用于dev/test；drpc：啟動一個DRPC進(jìn)程；help：命令解釋及操作提示；jar：運行你的storm

job，topology是類中的主函數(shù)；Storm應(yīng)用實例演示及總結(jié)—Storm相關(guān)操作命令kill：通過任務(wù)名稱kill一個任務(wù)；list：列出正在運行的topolofies和狀態(tài)；localconfvalue：打印出具體配置參數(shù)在本地storm配置文件中的值；nimbus：啟動一個nimubs進(jìn)程；supervisor：啟動一個supervisor進(jìn)程；ui：啟動監(jiān)控頁面UI的后臺進(jìn)程；rebalance：節(jié)點擴(kuò)展之后進(jìn)行負(fù)載均衡；remoteconfvalue：打印出具體配置參數(shù)在storm

cluster中的值；version：獲取版本Storm號；Storm應(yīng)用實例演示及總結(jié)—實例總結(jié)及拓展實例總結(jié)：

WordCount是Storm入門級實例，屬于Storm應(yīng)用開發(fā)中的HelloWorld。從簡單的Storm應(yīng)用開發(fā)實例中，我們深入學(xué)習(xí)Storm的編程模型、應(yīng)用實例的項目結(jié)構(gòu)，對FieldsGrouping分組流策略的作用有一個比較清晰的認(rèn)識，并且學(xué)會進(jìn)行任務(wù)的提交、查看以及終止等常規(guī)操作。實例拓展：主要從以下幾個方面進(jìn)行擴(kuò)展：消息源接入方式的擴(kuò)展，實時邏輯處理過程的拓展，數(shù)據(jù)處理完畢落地方式的擴(kuò)展；Storm實戰(zhàn)基礎(chǔ)WordCount本套課程中我們主要學(xué)習(xí)了Storm入門級實例WordCount的講解。通過學(xué)習(xí)本課程，你應(yīng)當(dāng)掌握了以下知識：深入掌握Storm的編程模型；更加熟悉不同的分組流策略；熟悉St