流式計算應用1

計算應用學習流式01流式數(shù)據(jù)定義02流式計算概述目錄流式數(shù)據(jù)定義1流式數(shù)據(jù)定義

大數(shù)據(jù)環(huán)境下，流式數(shù)據(jù)作為一種新型的數(shù)據(jù)類型，是實時數(shù)據(jù)處理所面向的數(shù)據(jù)類型，其相關研究發(fā)展迅速。這種實時的流式數(shù)據(jù)，存在如下幾個特征：1.實時、高速：數(shù)據(jù)能以高并發(fā)的方式迅速到達，業(yè)務計算要求快速連續(xù)相應。數(shù)據(jù)處理的速度至少能夠匹配數(shù)據(jù)到達的速度。2.無邊界：數(shù)據(jù)到達、處理和向后傳遞均是持續(xù)不斷的。3.瞬時性和有限持久性：通常情況下，原始數(shù)據(jù)在單遍掃描，處理后丟棄，并不進行保存；只有計算結果和部分中間數(shù)據(jù)在有限時間內(nèi)被保存和向后傳遞。4.價值的時間偏倚性：隨著時間的流逝，數(shù)據(jù)中所蘊含的知識價值往往也在衰減，也即流中數(shù)據(jù)項的重要程度是不同的，最近到達的數(shù)據(jù)往往比早先到達的數(shù)據(jù)更有價值。流式計算概述2流式計算概述在傳統(tǒng)的數(shù)據(jù)處理流程中，總是先收集數(shù)據(jù)，然后將數(shù)據(jù)放到數(shù)據(jù)庫中。當人們需要的時候通過數(shù)據(jù)庫對數(shù)據(jù)做查詢，得到答案或進行相關的處理。這樣看起來雖然非常合理，但是結果卻非常的緊湊，尤其是在一些實時搜索應用環(huán)境中的某些具體問題，類似于MapReduce方式的離線處理并不能很好地解決問題。這就引出了一種新的數(shù)據(jù)計算結構---流計算方式。它可以很好地對大規(guī)模流動數(shù)據(jù)在不斷變化的運動過程中實時地進行分析，捕捉到可能有用的信息，并把結果發(fā)送到下一計算節(jié)點。具體介紹流式實時計算。流式實時計算概述流式實時計算概述實時數(shù)據(jù)處理也稱實時計算或反應計算。相應地，針對流式數(shù)據(jù)的實時處理，稱為流式數(shù)據(jù)處理或流式計算。由定義可知，流式數(shù)據(jù)具有無邊界的特征，也即理論上是無窮的數(shù)據(jù)項序列。而流式實時計算只能使用有限的內(nèi)存資源，所以數(shù)據(jù)流的算法一定是某種程度對流的摘要化處理。摘要數(shù)據(jù)結構和窗口都是最常用的摘要化技術。摘要數(shù)據(jù)結構是任何比本身基礎數(shù)據(jù)集小得多的數(shù)據(jù)結構：

1.可以駐留內(nèi)存，使得查詢及時響應而避免訪問磁盤

2.遠程傳輸?shù)拇鷥r小

3.對系統(tǒng)整體的空間開銷影響小

4.當訪問基礎數(shù)據(jù)集的開銷過大時，可以作為基礎數(shù)據(jù)集的小規(guī)模代理被處理流式計算概述窗口技術是數(shù)據(jù)流研究中另一種常用的技術。由于數(shù)據(jù)流存在實時性的需求，流中最近到達的數(shù)據(jù)比很久之前到達的數(shù)據(jù)對計算來說更有意義。如何描述流中數(shù)據(jù)的“最近”，是窗口模型的意義所在。數(shù)據(jù)流的窗口是描述數(shù)據(jù)流的最近子集組合的方法。通過設置的窗口邊界，使得流中部分數(shù)據(jù)項位于窗口內(nèi)，而在窗口之外數(shù)據(jù)則不被處理計算考慮。窗口長度指窗口的時間跨度，窗口大小指窗口中數(shù)據(jù)項的數(shù)量。數(shù)據(jù)流處理技術可以為實時性要求高的應用提供支撐，實現(xiàn)業(yè)務上的例行數(shù)據(jù)分析和異常監(jiān)控預警等。與傳統(tǒng)的數(shù)據(jù)處理技術相比，流式數(shù)據(jù)的實時計算存在以下幾個方面的特點：