01.storm簡介和課程介紹1

1、Storm流計算從入門到精通技術(shù)篇講師：Cloudy（北風網(wǎng) )1、Storm簡介和課程介紹Storm是什么？Storm是Twitter開源的分布式實時大數(shù)據(jù)處理框架，被業(yè)界稱為實時版Hadoop。隨著越來越多的場景對Hadoop的MapReduce高延遲無法容忍，比如網(wǎng)站統(tǒng)計、推薦系統(tǒng)、預警系統(tǒng)、金融系統(tǒng)(高頻交易、股票)等等，大數(shù)據(jù)實時處理解決方案（流計算）的應用日趨廣泛，目前已是分布式技術(shù)領域最新爆發(fā)點，而Storm更是流計算技術(shù)中的佼佼者和主流。按照storm作者的說法，Storm對于實時計算的意義類似于Hadoop對于批處理的意義。Hadoop提供了map、reduce原語，使我們的

2、批處理程序變得簡單和高效。同樣，Storm也為實時計算提供了一些簡單高效的原語，而且Storm的Trident是基于Storm原語更高級的抽象框架，類似于基于Hadoop的Pig框架，讓開發(fā)更加便利和高效。本課程會深入、全面的講解Storm，并穿插企業(yè)場景實戰(zhàn)講述Storm的運用。Storm 常見場景Storm 應用場景推薦系統(tǒng)：實時推薦，根據(jù)下單或加入購物車推薦相關商品（而不是相似商品）金融系統(tǒng)預警系統(tǒng)網(wǎng)站統(tǒng)計：實時銷量、流量統(tǒng)計，如淘寶雙11效果圖淘寶雙11 購物節(jié)淘寶雙11 購物節(jié)實時處理試想一下你自己實現(xiàn)實時計算的方案？數(shù)據(jù)源務必實時，所以采用Message Queue作為數(shù)據(jù)源，消息

3、處理Comsumer實時從MQ獲取數(shù)據(jù)進行處理，返回結(jié)果到Web或?qū)慏B。這種方式有以下幾個缺陷：1、單機模式，能處理的數(shù)據(jù)量有限2、不健壯，服務器掛掉即結(jié)束。而Storm集群節(jié)點掛掉后，任務會重新分配給其他節(jié)點，作業(yè)不受影響。3、失敗重試、事務等，你需要在代碼上進行控制，過多精力放在業(yè)務開發(fā)之外。4、伸縮性差： 當一個消息處理者的消息量達到閥值，你需要對這些數(shù)據(jù)進行分流， 你需要配置這些新的處理者以讓他們處理分流的消息。Storm一些關鍵特性Storm的一些關鍵特性適用場景廣泛： storm可以實時處理消息和更新DB，對一個數(shù)據(jù)量進行持續(xù)的查詢并返回客戶端（持續(xù)計算），對一個耗資源的查詢作實

4、時并行化的處理(分布式方法調(diào)用，即DRPC），storm的這些基礎API可以滿足大量的場景。 可伸縮性高: Storm的可伸縮性可以讓storm每秒可以處理的消息量達到很高。擴展一個實時計算任務，你所需要做的就是加機器并且提高這個計算任務的并行度 。Storm使用ZooKeeper來協(xié)調(diào)集群內(nèi)的各種配置使得Storm的集群可以很容易的擴展。3. 保證無數(shù)據(jù)丟失： 實時系統(tǒng)必須保證所有的數(shù)據(jù)被成功的處理。 那些會丟失數(shù)據(jù)的系統(tǒng)的適用場景非常窄， 而storm保證每一條消息都會被處理， 這一點和S4相比有巨大的反差。Storm一些關鍵特性4. 異常健壯： storm集群非常容易管理，輪流重啟節(jié)點不

5、影響應用。5. 容錯性好：在消息處理過程中出現(xiàn)異常， storm會進行重試6. 語言無關性： Storm的topology和消息處理組件(Bolt)可以用任何語言來定義， 這一點使得任何人都可以使用storm.課程介紹一、基礎技術(shù)篇環(huán)境搭建、概念詳解工作原理API 熟悉，常用spout、bolt詳解Grouping策略詳解及案例實戰(zhàn)并行度詳解及案例實戰(zhàn)線程安全控制及場景、方案分析綜合案例開發(fā)結(jié)合企業(yè)場景批處理事務詳解及案例實戰(zhàn)開發(fā)DRPC深入講解及案例開發(fā)二、進階編程，Storm Trident編程Storm Trident 是基于原生Storm API的高級封裝，類似與MapReduce的Pig框架，讓我們開發(fā)高并發(fā)、批處理實時需求時更加放心快捷。Trident API 及眾多概念詳解Trident state、spout、bolt場景案例實戰(zhàn)課程介紹三、運維相關配置參數(shù)、St