大數(shù)據(jù)架構和模式

1、大數(shù)據(jù)架構和模式（一）: 大數(shù)據(jù)分類和架構簡介1.本文對大數(shù)據(jù)做了哪些分類？2.對數(shù)據(jù)進行分類后，如何將它與合適的大數(shù)據(jù)模式匹配?如何將大數(shù)據(jù)分分為不同的類類別大數(shù)據(jù)問題的分分析和解決通通常很復雜。大大數(shù)據(jù)的量、速速度和種類使使得提取信息息和獲得業(yè)務務洞察變得很很困難。以下下操作是一個個良好的開端端：依據(jù)必須須處理的數(shù)據(jù)據(jù)的格式、要要應用的分析析類型、使用用的處理技術術，以及目標標系統(tǒng)需要獲獲取、加載、處處理、分析和和存儲數(shù)據(jù)的的數(shù)據(jù)源，對對大數(shù)據(jù)問題題進行分類。概述大數(shù)據(jù)可通過許許多方式來存存儲、獲取、處處理和分析。每每個大數(shù)據(jù)來來源都有不同同的特征，包包括數(shù)據(jù)的頻頻率、量、速速度、類型和和

2、真實性。處處理并存儲大大數(shù)據(jù)時，會會涉及到更多多維度，比如如治理、安全全性和策略。選選擇一種架構構并構建合適適的大數(shù)據(jù)解解決方案極具具挑戰(zhàn)，因為為需要考慮非非常多的因素素。這個 “大數(shù)據(jù)據(jù)架構和模式式” 系列提提供了一種結結構化和基于于模式的方法法來簡化定義義完整的大數(shù)數(shù)據(jù)架構的任任務。因為評評估一個業(yè)務務場景是否存存在大數(shù)據(jù)問問題很重要，所所以我們包含含了一些線索索來幫助確定定哪些業(yè)務問問題適合采用用大數(shù)據(jù)解決決方案。從分分類大數(shù)據(jù)到到選擇大數(shù)據(jù)據(jù)解決方案如果您花時間研研究過大數(shù)據(jù)據(jù)解決方案，那那么您一定知知道它不是一一個簡單的任任務。本系列列將介紹查找找滿足您需求求的大數(shù)據(jù)解解決方案所涉涉

3、及的主要步步驟。我們首先介紹術術語 “大數(shù)數(shù)據(jù)” 所描描述的數(shù)據(jù)類類型。為了簡簡化各種大數(shù)數(shù)據(jù)類型的復復雜性，我們們依據(jù)各種參參數(shù)對大數(shù)據(jù)據(jù)進行了分類類，為任何大大數(shù)據(jù)解決方方案中涉及的的各層和高級級組件提供一一個邏輯架構構。接下來，我我們通過定義義原子和復合合分類模式，提提出一種結構構來分類大數(shù)數(shù)據(jù)業(yè)務問題題。這些模式式有助于確定定要應用的合合適的解決方方案模式。我我們提供了來來自各行各業(yè)業(yè)的示例業(yè)務務問題。最后后，對于每個個組件和模式式，我們給出出了提供了相相關功能的產(chǎn)產(chǎn)品。第 1 部分將將介紹如何對對大數(shù)據(jù)進行行分類。本系系列的后續(xù)文文章將介紹以以下主題：定義大數(shù)據(jù)解決決方案的各層層和組

4、件的邏邏輯架構理解大數(shù)據(jù)解決決方案的原子子模式理解用于大數(shù)據(jù)據(jù)解決方案的的復合（或混混合）模式為大數(shù)據(jù)解決方方案選擇一種種解決方案模模式確定使用一個大大數(shù)據(jù)解決方方案解決一個個業(yè)務問題的的可行性選擇正確的產(chǎn)品品來實現(xiàn)大數(shù)數(shù)據(jù)解決方案案依據(jù)大數(shù)據(jù)類型型對業(yè)務問題題進行分類業(yè)務問題可分類類為不同的大大數(shù)據(jù)問題類類型。以后，我我們將使用此此類型確定合合適的分類模模式（原子或或復合）和合合適的大數(shù)據(jù)據(jù)解決方案。但但第一步是將將業(yè)務問題映映射到它的大大數(shù)據(jù)類型。下下表列出了常常見的業(yè)務問問題并為每個個問題分配了了一種大數(shù)據(jù)據(jù)類型。按類類型對大數(shù)據(jù)據(jù)問題分類，更更容易看到每每種數(shù)據(jù)的特特征。這些特特征可幫

5、助我我們了解如何何獲取數(shù)據(jù)，如如何將它處理理為合適的格格式，以及新新數(shù)據(jù)出現(xiàn)的的頻率。來自自不同來源的的數(shù)據(jù)具有不不同的特征；例如，社交交媒體數(shù)據(jù)包包含不斷傳入入的視頻、圖圖像和非結構構化文本（比比如博客文章章）。表 1. 不同同類型的大數(shù)數(shù)據(jù)業(yè)務問題題我們依據(jù)這些常常見特征來評評估數(shù)據(jù)，下下一節(jié)將詳細細介紹這些特特征：內(nèi)容的格式數(shù)據(jù)的類型（例例如，交易數(shù)數(shù)據(jù)、歷史數(shù)數(shù)據(jù)或主數(shù)據(jù)據(jù)）將提供該數(shù)據(jù)的的頻率意圖：數(shù)據(jù)需要要如何處理（例例如對數(shù)據(jù)的的臨時查詢）處理是否必須實實時、近實時時還是按批次次執(zhí)行。使用大數(shù)據(jù)類型型對大數(shù)據(jù)特特征進行分類類按特定方向分析析大數(shù)據(jù)的特特征會有所幫幫助，例如以以下特

6、征：數(shù)數(shù)據(jù)如何收集集、分析和處處理。對數(shù)據(jù)據(jù)進行分類后后，就可以將將它與合適的的大數(shù)據(jù)模式式匹配：1、分析類型 對數(shù)據(jù)據(jù)執(zhí)行實時分分析還是批量量分析。請仔仔細考慮分析析類型的選擇擇，因為這會會影響一些有有關產(chǎn)品、工工具、硬件、數(shù)數(shù)據(jù)源和預期期的數(shù)據(jù)頻率率的其他決策策。一些用例例可能需要混混合使用兩種種類型：2、欺詐檢測；分析必須實實時或近實時時地完成。3、針對戰(zhàn)略性性業(yè)務決策的的趨勢分析；分析可采用用批量模式。4、處理方法 要應用用來處理數(shù)據(jù)據(jù)的技術類型型（比如預測測、分析、臨臨時查詢和報報告）。業(yè)務務需求確定了了合適的處理理方法?？山Y結合使用各種種技術。處理理方法的選擇擇，有助于識識別要在您

7、的的大數(shù)據(jù)解決決方案中使用用的合適的工工具和技術。5、數(shù)據(jù)頻率和和大小 預計有多少少數(shù)據(jù)和數(shù)據(jù)據(jù)到達的頻率率多高。知道道頻率和大小小，有助于確確定存儲機制制、存儲格式式和所需的預預處理工具。數(shù)數(shù)據(jù)頻率和大大小依賴于數(shù)數(shù)據(jù)源：按需分析，與社社交媒體數(shù)據(jù)據(jù)一樣實時、持續(xù)提供供（天氣數(shù)據(jù)據(jù)、交易數(shù)據(jù)據(jù)）時序（基于時間間的數(shù)據(jù)）6、數(shù)據(jù)類型 要處理理數(shù)據(jù)類型 交易、歷歷史、主數(shù)據(jù)據(jù)等。知道數(shù)數(shù)據(jù)類型，有有助于將數(shù)據(jù)據(jù)隔離在存儲儲中。7、內(nèi)容格式（傳傳入數(shù)據(jù)的格格式）結構化化（例如 RRDMBS）、非非結構化（例例如音頻、視視頻和圖像）或或半結構化。格格式確定了需需要如何處理理傳入的數(shù)據(jù)據(jù)，這是選擇擇工

8、具、技術術以及從業(yè)務務角度定義解解決方案的關關鍵。8、數(shù)據(jù)源 數(shù)據(jù)的來來源（生成數(shù)數(shù)據(jù)的地方），比比如 Webb 和社交媒媒體、機器生生成、人類生生成等。識別別所有數(shù)據(jù)源源有助于從業(yè)業(yè)務角度識別別數(shù)據(jù)范圍。該該圖顯示了使使用最廣泛的的數(shù)據(jù)源。9、數(shù)據(jù)使用者者 處理理的數(shù)據(jù)的所所有可能使用用者的列表：業(yè)務流程業(yè)務用戶企業(yè)應用程序各種業(yè)務角色中中的各個人員員部分處理流程其他數(shù)據(jù)存儲庫庫或企業(yè)應用用程序10、硬件 將在其上上實現(xiàn)大數(shù)據(jù)據(jù)解決方案的的硬件類型，包包括商用硬件件或最先進的的硬件。理解解硬件的限制制，有助于指指導大數(shù)據(jù)解解決方案的選選擇。圖 1 描繪用用于分類大數(shù)數(shù)據(jù)的各種類類別。定義大大

9、數(shù)據(jù)模式的的關鍵類別已已識別并在藍藍色方框中突突出顯示。大大數(shù)據(jù)模式（將將在下一篇文文章中定義）來來自這些類別別的組合。圖 1. 大數(shù)數(shù)據(jù)分類結束語和致謝在本系列剩余部部分中，我們們將介紹大數(shù)數(shù)據(jù)解決方案案的邏輯架構構和各層，從從訪問到使用用大數(shù)據(jù)。我我們將提供數(shù)數(shù)據(jù)源的完整整列表，介紹紹專注于大數(shù)數(shù)據(jù)解決方案案的每個重要要方面的原子子模式。我們們還將介紹復復合模式，解解釋可如何結結合使用原子子模式來解決決特定的大數(shù)數(shù)據(jù)用例。本本系列最后將將提供一些解解決方案模式式，在廣泛使使用的用例與與各個產(chǎn)品之之間建立對應應關系。感謝 Rakeesh R. Shinnde 在定定義本系列的的整體結構上上提

10、供的指導導，以及對本本系列的審閱閱和提供的寶寶貴評論。大數(shù)據(jù)架構和模模式（二）如如何知道一個個大數(shù)據(jù)解決決方案是否適適合您的組織織1.如何判斷大大數(shù)據(jù)問題是是否需要大數(shù)數(shù)據(jù)解決方案案？2.如何何評估大數(shù)據(jù)據(jù)解決方案的的可行性？33.可通過大大數(shù)據(jù)技術獲獲取何種洞察察？4.是否否所有大數(shù)據(jù)據(jù)都存在大數(shù)數(shù)據(jù)問題？簡介在確定投資大數(shù)數(shù)據(jù)解決方案案之前，評估估可用于分析析的數(shù)據(jù)；通通過分析這些些數(shù)據(jù)而獲得得的洞察；以以及可用于定定義、設計、創(chuàng)創(chuàng)建和部署大大數(shù)據(jù)平臺的的資源。詢問問正確的問題題是一個不錯錯的起點。使使用本文中的的問題將指導導您完成調(diào)查查。答案將揭揭示該數(shù)據(jù)和和您嘗試解決決的問題的更更多特

11、征。盡管組織一般情情況對需要分分析的數(shù)據(jù)類類型有一些模模糊的理解，但但具體的細節(jié)節(jié)很可能并不不清晰。畢竟竟，數(shù)據(jù)可能能具有之前未未發(fā)現(xiàn)的模式式的關鍵，一一旦識別了一一種模式，對對額外分析的的需求就會變變得很明顯。要要幫助揭示這這些未知的未未知信息，首首先需要實現(xiàn)現(xiàn)一些基本用用例，在此過過程中，可以以收集以前不不可用的數(shù)據(jù)據(jù)。構建數(shù)據(jù)據(jù)存儲庫并收收集更多數(shù)據(jù)據(jù)后，數(shù)據(jù)科科學家就能夠夠更好地確定定關鍵的數(shù)據(jù)據(jù)，更好地構構建將生成更更多洞察的預預測和統(tǒng)計模模型。組織可能也已知知道它有哪些些信息是不知知道的。要解解決這些已知知的未知，組組織首先必須須與數(shù)據(jù)科學學家合作，識識別外部或第第三方數(shù)據(jù)源源，實

12、現(xiàn)一些些依賴于此外外部數(shù)據(jù)的用用例。本文首先嘗試回回答大多數(shù) CIO 在在實施大數(shù)據(jù)據(jù)舉措之前通通常會提出的的問題，然后后，本文將重重點介紹一種種將幫助評估估大數(shù)據(jù)解決決方案對組織織的可行性的的基于維度的的方法。我的大數(shù)據(jù)問題題是否需要大大數(shù)據(jù)解決方方案？大數(shù)據(jù)，曾幾何何時似乎很少少出現(xiàn)組織多半會選擇擇以增量方式式實現(xiàn)大數(shù)據(jù)據(jù)解決方案。不不是每個分析析和報告需求求都需要大數(shù)數(shù)據(jù)解決方案案。如果對于于對大型數(shù)據(jù)據(jù)集或來自多多個數(shù)據(jù)源的的臨時報告執(zhí)執(zhí)行并行處理理的項目，那那么可能沒有有必要使用大大數(shù)據(jù)解決方方案。隨著大數(shù)據(jù)技術術的到來，組組織會問自己己：“大數(shù)據(jù)據(jù)是否是我的的業(yè)務問題的的正確解決方

13、方案，或者它它是否為我提提供了業(yè)務機機會？”大數(shù)數(shù)據(jù)中是否隱隱藏著業(yè)務機機會？以下是是我從 CIIO 那里聽聽到的一些典典型問題：如果我使用大數(shù)數(shù)據(jù)技術，可可能會獲得何何種洞察和 業(yè)務價值？它是否可以擴充充我 現(xiàn)有的的數(shù)據(jù)倉庫？我如何評估 擴擴展當前環(huán)境境 或采用新新解決方案的的成本？對我現(xiàn)有的 IIT 治理 有何影響？我能否 以增量量方式實現(xiàn) 大數(shù)據(jù)解決決方案？我需要掌握哪些些 具體的技技能 來理解解和分析構建建和維護大數(shù)數(shù)據(jù)解決方案案的需求？我的 現(xiàn)有企業(yè)業(yè)數(shù)據(jù) 能否否用于提供業(yè)業(yè)務洞察？來自各種來源的的 數(shù)據(jù)的復復雜性 在不不斷增長。大大數(shù)據(jù)解決方方案對我有幫幫助嗎？維度可幫助評估估大數(shù)

14、據(jù)解決決方案的可行行性為了回答這些問問題，本文提提出了一種依依據(jù)下圖中所所示的維度來來評估大數(shù)據(jù)據(jù)解決方案的的可行性的結結構化方法。來自可通過分析析數(shù)據(jù)獲得的的洞察的業(yè)務務價值針對新數(shù)據(jù)來源源和數(shù)據(jù)使用用方式的治理理考慮因素擁有相關技能和和贊助商的承承諾的人員捕獲的數(shù)據(jù)量各種各樣的數(shù)據(jù)據(jù)源、數(shù)據(jù)類類型和數(shù)據(jù)格格式生成數(shù)據(jù)的速度度，需要對它它執(zhí)行操作的的速度，或者者它更改的速速度數(shù)據(jù)的真實性，或或者數(shù)據(jù)的不不確定性和可可信賴性對于每個維度，我我們都給出了了一些關鍵問問題。依據(jù)業(yè)業(yè)務上下文，為為每個維度分分配一個權重重和優(yōu)先級。評評估會因業(yè)務務案例和組織織的不同而有有所不同。您您可以考慮在在與相關

15、的業(yè)業(yè)務和 ITT 利益相關關者召開的一一系列研討會會中探討這些些問題。業(yè)務價值：可通通過大數(shù)據(jù)技技術獲取何種種洞察？許多組織想知道道，他們在尋尋找的業(yè)務洞洞察能否通過過大數(shù)據(jù)解決決方案解決。沒沒有權威的指指南能夠用來來定義可從大大數(shù)據(jù)獲取的的洞察。具體體場景需要由由組織識別，而而且這些場景景在不斷演變變。在確定和和識別在實現(xiàn)現(xiàn)后會給企業(yè)業(yè)帶來重大價價值的業(yè)務用用例和場景的的過程中，數(shù)數(shù)據(jù)科學家起起著至關重要要的作用。數(shù)據(jù)科學家必須須能夠理解關關鍵績效指標標，對數(shù)據(jù)應應用統(tǒng)計算法法和復雜算法法來獲得一個個用例列表。用用例因行業(yè)和和業(yè)務不同而而有所不同。研研究市場競爭爭對手的行動動、發(fā)揮作用用的

16、市場力量量，以及客戶戶在尋找什么么，會很有幫幫助。下表給給出了來自各各行各業(yè)的用用例示例。表 1. 來自自各行各業(yè)的的示例用例潛在的客戶正在在社交網(wǎng)絡和和評論站點上上生成大量新新數(shù)據(jù)。在企企業(yè)內(nèi)，隨著著客戶切換到到在線渠道來來執(zhí)行業(yè)務和和與公司交互互，交易數(shù)據(jù)據(jù)和 Webb 日志與日日俱增。確定數(shù)據(jù)的優(yōu)先先級首先為企業(yè)內(nèi)存存在的數(shù)據(jù)創(chuàng)創(chuàng)建一個清單單。識別內(nèi)部部系統(tǒng)和應用用程序中存在在的數(shù)據(jù)以及及從第三方傳傳入的數(shù)據(jù)。如如果業(yè)務問題題可使用現(xiàn)有有數(shù)據(jù)解決，那那么有可能不不需要使用來來自外部來源源的數(shù)據(jù)。請考慮構建一個個大數(shù)據(jù)解決決方案的成本本，并權衡它它與帶給業(yè)務務部門的新洞洞察的價值。在有關現(xiàn)

17、有客戶戶的歸檔數(shù)據(jù)據(jù)的上下文中中分析此新數(shù)數(shù)據(jù)時，業(yè)務務人員將獲得得對新業(yè)務機機會的洞察。主要滿足以下條條件，大數(shù)據(jù)據(jù)可提供可行行的解決方案案：從數(shù)據(jù)中開發(fā)的的洞察所生成成的價值，值值得在大數(shù)據(jù)據(jù)解決方案中中投入的資本本成本面向客戶的場景景可證明來自自洞察的潛在在價值評估通過大數(shù)據(jù)據(jù)解決方案獲獲取的業(yè)務價價值時，請考考慮您當前的的環(huán)境是否可可擴展并權衡衡此投資的成成本。我當前的環(huán)境能能否擴展？詢問以下問題，確確定您能否擴擴充現(xiàn)有的數(shù)數(shù)據(jù)倉庫平臺臺？當前的數(shù)據(jù)集是是否非常大，是是否達到了 TB 或 PB 數(shù)量量級？現(xiàn)有的倉庫環(huán)境境是否包含生生成或獲取的的所有 數(shù)據(jù)據(jù)的存儲庫？是否有大量冷數(shù)數(shù)據(jù)或

18、人們很很少接觸的數(shù)數(shù)據(jù)未分析，可可以通過分析析這些數(shù)據(jù)獲獲得業(yè)務洞察察？您是否需要丟棄棄數(shù)據(jù)，因為為無法存儲或或處理它？您是否希望能夠夠在復雜且大大量的數(shù)據(jù)上上執(zhí)行數(shù)據(jù)探探索？您是否希望能夠夠對非操作數(shù)數(shù)據(jù)執(zhí)行分析析？您是否有興趣使使用數(shù)據(jù)執(zhí)行行傳統(tǒng)和新類類型的分析？您是否試圖延遲遲對現(xiàn)有數(shù)據(jù)據(jù)倉庫的升級級？您是否在尋求途途徑降低執(zhí)行行分析的總體體成本？如果任何這些問問題的答案是是 “是”，那那么您就可以以探索擴充現(xiàn)現(xiàn)有數(shù)據(jù)倉庫庫環(huán)境的方式式。擴展我當前的環(huán)環(huán)境的成本是是多少？擴展現(xiàn)有數(shù)據(jù)倉倉庫平臺或 IT 環(huán)境境與實現(xiàn)大數(shù)數(shù)據(jù)解決方案案的成本和可可行性取決于于：現(xiàn)有工具和技術術現(xiàn)有系統(tǒng)的可伸

19、伸縮性現(xiàn)有環(huán)境的處理理能力現(xiàn)有平臺的存儲儲能力執(zhí)行的治理和策策略現(xiàn)有 IT 應應用程序的異異構性組織中存在的技技術和業(yè)務技技能。它還依賴于將從從新數(shù)據(jù)來源源收集的數(shù)據(jù)據(jù)量、業(yè)務用用例的復雜性性、處理的分分析復雜性，以以及獲取數(shù)據(jù)據(jù)和擁有恰當當技能集的人人員的成本?，F(xiàn)現(xiàn)有的資源池池能否開發(fā)新新的大數(shù)據(jù)技技能，或者是是否可從外部部雇傭擁有稀稀缺技能的人人員？請注意，大數(shù)據(jù)據(jù)舉措會對其其他正在實施施的項目產(chǎn)生生影響。從新新的來源獲取取數(shù)據(jù)具有很很高的成本。您您首先應當識識別系統(tǒng)和應應用程序內(nèi)部部存在的數(shù)據(jù)據(jù)，以及目前前收到的第三三方數(shù)據(jù)，這這一點很重要要。如果業(yè)務務問題可以使使用現(xiàn)有數(shù)據(jù)據(jù)解決，那么

20、么有可能不需需要使用來自自外部來源的的數(shù)據(jù)。在生成新工具和和應用程序之之前，請評估估組織的應用用程序組合。例例如，一個普普通的 Haadoop 平臺可能無無法滿足您的的需求，您可可能必須購買買專業(yè)的工具具?；蛘呦鄬Χ裕琀aadoop 的商業(yè)版本本對當前用例例而言可能很很昂貴，但可可能需要用作作長期投資來來支持一個戰(zhàn)戰(zhàn)略性的大數(shù)數(shù)據(jù)平臺?？伎紤]大數(shù)據(jù)工工具和技術需需要的基礎架架構、硬件、軟軟件和維護的的成本。對數(shù)據(jù)的治理和和控制：對現(xiàn)現(xiàn)有的 ITT 治理有何何影響？在決定是否實現(xiàn)現(xiàn)一個大數(shù)據(jù)據(jù)平臺時，組組織可能會查查看新數(shù)據(jù)源源和新的數(shù)據(jù)據(jù)元素類型，而而這些信息當當前的所有權權尚未明確定定義

21、。一些行行業(yè)制度會約約束組織獲取取和使用的數(shù)數(shù)據(jù)。例如，在在醫(yī)療行業(yè)，通通過訪問患者者數(shù)據(jù)來從中中獲取洞察是是否合法？類類似的規(guī)則約約束著所有行行業(yè)。除了 IT 治理理問題之外，組組織的業(yè)務流流程可能也需需要重新定義義和修改，讓讓組織能夠獲獲取、存儲和和訪問外部數(shù)數(shù)據(jù)。請在您的情況的的上下文中考考慮以下治理理相關問題：安全性和隱私 為了與當當?shù)胤ㄒ?guī)一致致，解決方案案可以訪問哪哪些數(shù)據(jù)？可可以存儲哪些些數(shù)據(jù)？哪些些數(shù)據(jù)應在移移動過程中加加密？靜止數(shù)數(shù)據(jù)呢？誰可可以查看原始始數(shù)據(jù)和洞察察？數(shù)據(jù)的標準化 是否有標標準約束數(shù)據(jù)據(jù)？數(shù)據(jù)是否否具有專用的的格式？是否否有部分數(shù)據(jù)據(jù)為非標準格格式？數(shù)據(jù)可用的

22、時段段 數(shù)據(jù)在在一個允許及及時采取操作作的時段是否否可用？數(shù)據(jù)的所有權 誰擁有該該數(shù)據(jù)？解決決方案是否擁擁有適當?shù)脑L訪問權和權限限來使用數(shù)據(jù)據(jù)？允許的用法：允允許如何使用用該數(shù)據(jù)？我能否增量地實實現(xiàn)大數(shù)據(jù)解解決方案？大數(shù)據(jù)解決方案案可以采用增增量方式實現(xiàn)現(xiàn)。明確地定定義業(yè)務問題題的范圍，并并以可度量的的方式設置預預期的業(yè)務收收入提升，這這樣做會很有有幫助。對于基礎業(yè)務案案例，請仔細細列出問題的的范圍和解決決方案帶來的的預期收益。如如果該范圍太太小，業(yè)務收收益將無法實實現(xiàn)，如果范范圍太大，獲獲得資金和在在恰當?shù)钠谙尴迌?nèi)完成項目目就會很有挑挑戰(zhàn)性。在項項目的第一次次迭代中定義義核心功能，以以便能夠

23、輕松松地贏得利益益相關者的信信任。人員：是否已有有恰當?shù)募寄苣懿⒄{(diào)整了合合適的人員？需要特定的技能能來理解和分分析需求，并并維護大數(shù)據(jù)據(jù)解決方案。這這些技能包括括行業(yè)知識、領領域專長，以以及有關大數(shù)數(shù)據(jù)工具和技技術的技術知知識。擁有建建模、統(tǒng)計、分分析和數(shù)學方方面的專業(yè)經(jīng)經(jīng)驗的數(shù)據(jù)科科學家，是任任何大數(shù)據(jù)舉舉措成功的關關鍵。在實施一個新的的大數(shù)據(jù)項目目之前，確保保已安排了合合適的人員：您是否獲得利益益相關者和其其他愿意投資資該項目的業(yè)業(yè)務贊助者的的支持？是否擁有熟悉該該領域、能分分析大量數(shù)據(jù)據(jù)、而且能識識別從數(shù)據(jù)生生成有意義且且有用的洞察察的途徑的數(shù)數(shù)據(jù)科學家？是否擁有可用于于獲取洞察的的現(xiàn)有

24、數(shù)據(jù)？所有組織都擁有有大量未用于于獲取業(yè)務洞洞察的數(shù)據(jù)。這這些數(shù)據(jù)包括括日志文件、錯錯誤文件和來來自應用程序序的操作數(shù)據(jù)據(jù)。不要忽略略此數(shù)據(jù)，它它是寶貴信息息的潛在來源源。數(shù)據(jù)復雜性是否否在增長？查找數(shù)據(jù)復雜性性增長的線索索，尤其是在在數(shù)據(jù)量、種種類、速度和和真實性方面面。數(shù)據(jù)量是否已增增長？如果滿足以下條條件，您可能能希望考慮大大數(shù)據(jù)解決方方案：數(shù)據(jù)大小達到 PB 和 EB 級，而而且在不久的的將來，它們們可能增長到到 ZB 級級別。這一數(shù)據(jù)量給使使用傳統(tǒng)方法法（比如關系系數(shù)據(jù)庫引擎擎）存儲、搜搜索、共享、分分析和可視化化數(shù)據(jù)帶來的的技術和經(jīng)濟濟挑戰(zhàn)。數(shù)據(jù)處理目前可可使用可用硬硬件上的大規(guī)規(guī)

25、模并行處理理能力。數(shù)據(jù)種類是否已已增多？如果滿足以下條條件，各種各各樣的數(shù)據(jù)可可能都需要大大數(shù)據(jù)解決方方案：數(shù)據(jù)內(nèi)容和結構構無法預期或或預測。數(shù)據(jù)格式各不相相同，包括結結構化、半結結構化和非結結構化數(shù)據(jù)。用戶和機器能夠夠以任何格式式生成數(shù)據(jù)，例例如：Miccrosofft Woord 文件件、Micrrosoftt Exceel 電子子表格、Miicrosooft PoowerPooint 演演示文稿、PPDF 文件件、社交媒體體、Web 和軟件日志志、電子郵件件、來自相機機的照片和視視頻、信息感感知的移動設設備、空中感感知技術、基基因組和醫(yī)療療記錄。以前沒有為了獲獲得洞察而被被挖掘的數(shù)據(jù)據(jù)來

26、源不斷地地在產(chǎn)生新的的數(shù)據(jù)類型。領域實體在不同同的上下文中中具有不同的的含義。數(shù)據(jù)的速度是否否已增長或改改變？考慮您的數(shù)據(jù)是是否：在快速更改，必必須立即響應應擁有過多的傳統(tǒng)統(tǒng)技術和方法法，它們不再再足以實時處處理傳入的數(shù)數(shù)據(jù)您的數(shù)據(jù)是否值值得信賴？如果滿足以下條條件，那么請請考慮使用大大數(shù)據(jù)解決方方案：數(shù)據(jù)的真實性或或準確性未知知。數(shù)據(jù)包含模糊不不清的信息。不清楚數(shù)據(jù)是否否完整。如果數(shù)據(jù)的量、種種類、速度或或真實性具有有合理的復雜雜性，那么有有可能會適合合地采用大數(shù)數(shù)據(jù)解決方案案。對于更復復雜的數(shù)據(jù)，需需要評估與實實現(xiàn)大數(shù)據(jù)解解決方案關聯(lián)聯(lián)的任何風險險。對于不太太復雜的數(shù)據(jù)據(jù)，則應該評評估傳統(tǒng)

27、的解解決方案。是否所有大數(shù)據(jù)據(jù)都存在大數(shù)數(shù)據(jù)問題？不是所有大數(shù)據(jù)據(jù)情形都需要要大數(shù)據(jù)解決決方案。請在在市場中尋找找線索。競爭爭對手在做什什么？哪些市市場力量在發(fā)發(fā)揮作用？客客戶想要什么么？使用本文中的問問題，幫助確確定大數(shù)據(jù)解解決方案是否否適合于您的的業(yè)務情形和和您需要的業(yè)業(yè)務洞察。如如果認為是時時候實施大數(shù)數(shù)據(jù)項目了，請請閱讀下一篇篇文章，其中中會介紹如何何定義一個邏邏輯架構，而而且將會確定定您的大數(shù)據(jù)據(jù)解決方案需需要的關鍵組組件。作者: Divvakar等等來源: DeveeloperrWorkssEnd.大數(shù)據(jù)架構和模模式（三）理理解大數(shù)據(jù)解解決方案的架架構層問題導讀1.大數(shù)據(jù)解決決方案

28、通常哪哪些邏輯層組組成？2.本文講了大大數(shù)據(jù)來源有有哪些？3.大數(shù)據(jù)治理理包含哪些因因素？概述這個 “大數(shù)據(jù)據(jù)架構和模式式” 系列的的 第 2 部分 介紹紹了一種評估估大數(shù)據(jù)解決決方案可行性性的基于維度度的方法。如如果您已經(jīng)使使用上一篇文文章中的問題題和提示分析析了自己的情情況，并且已已經(jīng)決定開始始構建新的（或或更新現(xiàn)有的的）大數(shù)據(jù)解解決方案，那那么下一步就就是識別定義義項目的大數(shù)數(shù)據(jù)解決方案案所需的組件件。大數(shù)據(jù)解決方案案的邏輯層邏輯層提供了一一種組織您的的組件的方式式。這些層提提供了一種方方法來組織執(zhí)執(zhí)行特定功能能的組件。這這些層只是邏邏輯層；這并并不意味著支支持每層的功功能在獨立的的機器

29、或獨立立的進程上運運行。大數(shù)據(jù)據(jù)解決方案通通常由以下邏邏輯層組成：1、大數(shù)據(jù)來源源2、數(shù)據(jù)改動 (masssagingg) 和存儲儲層3、分析層4、使用層大數(shù)據(jù)來源：考考慮來自所有有渠道的，所所有可用于分分析的數(shù)據(jù)。要要求組織中的的數(shù)據(jù)科學家家闡明執(zhí)行您您需要的分析析類型所需的的數(shù)據(jù)。數(shù)據(jù)據(jù)的格式和起起源各不相同同：格式 結構化化、半結構化化或非結構化化。速度和數(shù)據(jù)量 數(shù)據(jù)到達達的速度和傳傳送它的速率率因數(shù)據(jù)源不不同而不同。收集點 收集集數(shù)據(jù)的位置置，直接或通通過數(shù)據(jù)提供供程序，實時時或以批量模模式收集數(shù)據(jù)據(jù)。數(shù)據(jù)可能能來自某個主主要來源，比比如天氣條件件，也有可能能來自一個輔輔助來源，比比如

30、媒體贊助助的天氣頻道道。數(shù)據(jù)源的位置 數(shù)據(jù)源可可能位于企業(yè)業(yè)內(nèi)或外部。識識別您具有有有限訪問權的的數(shù)據(jù)，因為為對數(shù)據(jù)的訪訪問會影響可可用于分析的的數(shù)據(jù)范圍。數(shù)據(jù)改動和存儲儲層：此層負負責從數(shù)據(jù)源源獲取數(shù)據(jù)，并并在必要時，將將它轉換為適適合數(shù)據(jù)分析析方式的格式式。例如，可可能需要轉換換一幅圖，才才能將它存儲儲在 Haddoop DDistriibutedd Filee Systtem (HHDFS) 存儲或關系系數(shù)據(jù)庫管理理系統(tǒng) (RRDBMS) 倉庫中，以以供進一步處處理。合規(guī)性性制度和治理理策略要求為為不同的數(shù)據(jù)據(jù)類型提供合合適的存儲。分析層：分析層層讀取數(shù)據(jù)改改動和存儲層層整理 (ddig

31、estt) 的數(shù)據(jù)據(jù)。在某些情情況下，分析析層直接從數(shù)數(shù)據(jù)源訪問數(shù)數(shù)據(jù)。設計分分析層需要認認真地進行事事先籌劃和規(guī)規(guī)劃。必須制制定如何管理理以下任務的的決策：生成想要的分析析從數(shù)據(jù)中獲取洞洞察找到所需的實體體定位可提供這些些實體的數(shù)據(jù)據(jù)的數(shù)據(jù)源理解執(zhí)行分析需需要哪些算法法和工具。使用層：此層使用了分析析層所提供的的輸出。使用用者可以是可可視化應用程程序、人類、業(yè)業(yè)務流程或服服務?？梢暬治鰧拥慕Y結果可能具有有挑戰(zhàn)。有時時，看看類似似市場中的競競爭對手是如如何做的會有有所幫助。每一層包含多種種組件類型，下下面將會介紹紹這些類型。圖 1. 邏輯輯和垂直層的的組件該圖顯示了邏輯輯和垂直層的的組件大

32、數(shù)據(jù)來源此層包含所有必必要的數(shù)據(jù)源源，提供了解解決業(yè)務問題題所需的洞察察。數(shù)據(jù)是結結構化、半結結構化和非結結構化的數(shù)據(jù)據(jù)，而且來自自許多來源：1、企業(yè)遺留系系統(tǒng)這些些系統(tǒng)是企業(yè)業(yè)應用程序，執(zhí)執(zhí)行業(yè)務需要要的分析并獲獲取需要的洞洞察：客戶關系管理系系統(tǒng)結算操作大型機應用程序序企業(yè)資源規(guī)劃Web 應用程程序開發(fā)Web 應用程程序和其他數(shù)數(shù)據(jù)來源擴充充了企業(yè)擁有有的數(shù)據(jù)。這這些應用程序序可使用自定定義的協(xié)議和和機制來公開開數(shù)據(jù)。2、數(shù)據(jù)管理系系統(tǒng) (DMMS) 數(shù)數(shù)據(jù)管理系統(tǒng)統(tǒng)存儲邏輯數(shù)數(shù)據(jù)、流程、策策略和各種其其他類型的文文檔：Microsooft EExcel 電子表格格Microsooft W

33、oord 文檔檔這些文檔可以轉轉換為可用于于分析的結構構化數(shù)據(jù)。文文檔數(shù)據(jù)可公公開為領域實實體，或者數(shù)數(shù)據(jù)改動和存存儲層可將它它轉換為領域域實體。3、數(shù)據(jù)存儲 數(shù)據(jù)存儲儲包含企業(yè)數(shù)數(shù)據(jù)倉庫、操操作數(shù)據(jù)庫和和事務數(shù)據(jù)庫庫。此數(shù)據(jù)通通常是結構化化數(shù)據(jù)，可直直接使用或輕輕松地轉換來來滿足需求。這這些數(shù)據(jù)不一一定存儲在分分布式文件系系統(tǒng)中，具體體依賴于所處處的上下文。4、智慧設備 智慧設備備能夠捕獲、處處理和傳輸使使用最廣泛的的協(xié)議和格式式的信息。這這方面的示例例包括智能電電話、儀表和和醫(yī)療設備。這這些設備可用用于執(zhí)行各種種類型的分析析。絕大多數(shù)數(shù)智慧設備都都會執(zhí)行實時時分析，但從從智慧設備傳傳來的信

34、息也也可批量分析析。5、聚合的數(shù)據(jù)據(jù)提供程序 這些提供供程序擁有或或獲取數(shù)據(jù)，并并以復雜的格格式和所需的的頻率通過特特定的過濾器器公開它。每每天都會產(chǎn)生生海量的數(shù)據(jù)據(jù)，它們具有有不同的格式式，以不同的的速度生成，而而且通過各種種數(shù)據(jù)提供程程序、傳感器器和現(xiàn)有企業(yè)業(yè)提供。其他數(shù)據(jù)源 有許多數(shù)據(jù)據(jù)來自自動化化的來源：地理信息：地圖地區(qū)詳細信息位置詳細信息礦井詳細信息人類生成的內(nèi)容容：社交媒體電子郵件博客在線信息傳感器數(shù)據(jù)：環(huán)境：天氣、降降雨量、濕度度、光線電氣：電流、能能源潛力等導航裝置電離輻射、亞原原子粒子等靠近、存在等位置、角度、位位移、距離、速速度、加速度度聲音、聲震動等等汽車、運輸?shù)葻崃俊?/p>

35、熱度、溫溫度光學、光、成像像、見光度化學壓力流動、流體、速速度力、密度級別等等來自傳感器供應應商的其他數(shù)數(shù)據(jù)數(shù)據(jù)改動和存儲儲層因為傳入的數(shù)據(jù)據(jù)可能具有不不同的特征，所所以數(shù)據(jù)改動動和存儲層中中的組件必須須能夠以各種種頻率、格式式、大小和在在各種通信渠渠道上讀取數(shù)數(shù)據(jù)：數(shù)據(jù)獲取 從從各種數(shù)據(jù)源源獲取數(shù)據(jù)，并并將其發(fā)送到到數(shù)據(jù)整理組組件或存儲在在指定的位置置中。此組件件必須足夠智智能，能夠選選擇是否和在在何處存儲傳傳入的數(shù)據(jù)。它它必須能夠確確定數(shù)據(jù)在存存儲前是否應應改動，或者者數(shù)據(jù)是否可可直接發(fā)送到到業(yè)務分析層層。數(shù)據(jù)整理 負負責將數(shù)據(jù)修修改為需要的的格式，以實實現(xiàn)分析用途途。此組件可可擁有簡單的

36、的轉換邏輯或或復雜的統(tǒng)計計算法來轉換換源數(shù)據(jù)。分分析引擎將會會確定所需的的特定的數(shù)據(jù)據(jù)格式。主要要的挑戰(zhàn)是容容納非結構化化數(shù)據(jù)格式，比比如圖像、音音頻、視頻和和其他二進制制格式。分布式數(shù)據(jù)存儲儲 負責存存儲來自數(shù)據(jù)據(jù)源的數(shù)據(jù)。通通常，這一層層中提供了多多個數(shù)據(jù)存儲儲選項，比如如分布式文件件存儲 (DDFS)、云云、結構化數(shù)數(shù)據(jù)源、NooSQL 等等。分析層這是從數(shù)據(jù)中提提取業(yè)務洞察察的層：分析層實體識別別 負責識識別和填充上上下文實體。這這是一個復雜雜的任務，需需要高效的高高性能流程。數(shù)數(shù)據(jù)整理組件件應為這個實實體識別組件件提供補充，將將數(shù)據(jù)修改為為需要的格式式。分析引擎擎將需要上下下文實體來

37、執(zhí)執(zhí)行分析。分析引擎 使使用其他組件件（具體來講講，包括實體體鑒別、模型型管理和分析析算法）來處處理和執(zhí)行分分析。分析引引擎可具有支支持并行處理理的各種不同同的工作流、算算法和工具。模型管理 負負責維護各種種統(tǒng)計模型，驗驗證和檢驗這這些模型，通通過持續(xù)培訓訓模型來提高高準確性。然然后，模型管管理組件會推推廣這些模型型，它們可供供實體識別或或分析引擎組組件使用。使用層這一層使用了從從分析應用程程序獲取的業(yè)業(yè)務洞察。分分析的結果由由組織內(nèi)的各各個用戶和組組織外部的實實體（比如客客戶、供應商商、合作伙伴伴和提供商）使使用。此洞察察可用于針對對客戶提供產(chǎn)產(chǎn)品營銷信息息。例如，借借助從分析中中獲取的洞察

38、察，公司可以以使用客戶偏偏好數(shù)據(jù)和位位置感知，在在客戶經(jīng)過通通道或店鋪時時向他們提供供個性化的營營銷信息。該洞察可用于檢檢測欺詐，實實時攔截交易易，并將它們們與使用已存存儲在企業(yè)中中的數(shù)據(jù)構建建的視圖進行行關聯(lián)。在欺欺詐性交易發(fā)發(fā)生時，可以以告知客戶可可能存在欺詐詐，以便及時時采取更正操操作。此外，可以根據(jù)據(jù)在數(shù)據(jù)改動動層完成的分分析來觸發(fā)業(yè)業(yè)務流程?？煽梢詥幼詣觿踊牟襟E 例如，如如果客戶接受受了一條可自自動觸發(fā)的營營銷信息，則則需要創(chuàng)建一一個新訂單，如如果客戶報告告了欺詐，那那么可以觸發(fā)發(fā)對信用卡使使用的阻止。分析的輸出也可可由推薦引擎擎使用，該引引擎可將客戶戶與他們喜歡歡的產(chǎn)品相匹匹配

39、。推薦引引擎分析可用用的信息，并并提供個性化化且實時的推推薦。使用層還為內(nèi)部部用戶提供了了理解、找到到和導航企業(yè)業(yè)內(nèi)外的鏈鎖鎖信息的能力力。對于內(nèi)部部使用者，為為業(yè)務用戶構構建報告和儀儀表板的能力力使得利益相相關者能夠制制定精明的決決策并設計恰恰當?shù)膽?zhàn)略。為為了提高操作作有效性，可可以從數(shù)據(jù)中中生成實時業(yè)業(yè)務警告，而而且可以監(jiān)視視操作性的關關鍵績效指標標：交易攔截器 此組件可實實時攔截高容容量交易，將將它們轉換為為一種容易被被分析層理解解的實時格式式，以便在傳傳入數(shù)據(jù)上執(zhí)執(zhí)行實時分析析。事務攔截截器應能夠集集成并處理來來自各種來源源的數(shù)據(jù)，比比如傳感器、智智能儀表、麥麥克風、攝像像頭、GPSS

40、 設備、AATM 和圖圖像掃描儀?？煽梢允褂酶鞣N種類型的適配配器和 APPI 來連接接到數(shù)據(jù)源。也也可以使用各各種加速器來來簡化開發(fā)，比比如實時優(yōu)化化和流分析，視視頻分析，銀銀行、保險、零零售、電信和和公共運輸領領域的加速器器，社交媒體體分析，以及及情緒分析。業(yè)務流程管理流流程 來自自分析層的洞洞察可供業(yè)務務流程執(zhí)行語語言 (BPPEL) 流流程、APII 或其他業(yè)業(yè)務流程使用用，通過自動動化上游和下下游 IT 應用程序、人人員和流程的的功能，進一一步獲取業(yè)務務價值。實時監(jiān)視 可可以使用從分分析中得出的的數(shù)據(jù)來生成成實時警告。可可以將警告發(fā)發(fā)送給感興趣趣的使用者和和設備，比如如智能電話和和平板

41、電腦。可可以使用從分分析組件生成成的數(shù)據(jù)洞察察，定義并監(jiān)監(jiān)視關鍵績效效指標，以便便確定操作有有效性。實時時數(shù)據(jù)可從各各種來源以儀儀表板的形式式向業(yè)務用戶戶公開，以便便監(jiān)視系統(tǒng)的的健康或度量量營銷活動的的有效性。報告引擎 生生成與傳統(tǒng)商商業(yè)智能報告告類似的報告告的能力至關關重要。用戶戶可基于從分分析層中得到到的洞察，創(chuàng)創(chuàng)建臨時報告告、計劃的報報告或自助查查詢和分析。推薦引擎 基基于來自分析析層的分析結結果，推薦引引擎可向購物物者提供實時時的、相關的的和個性化的的推薦，提高高電子商務交交易中的轉換換率和每個訂訂單的平均價價值。該引擎擎實時處理可可用信息并動動態(tài)地響應每每個用戶，響響應基于用戶戶的實

42、時活動動、存儲在 CRM 系系統(tǒng)中的注冊冊客戶信息，以以及非注冊客客戶的社交概概況?？梢暬桶l(fā)現(xiàn) 數(shù)據(jù)可跨跨企業(yè)內(nèi)外的的各種聯(lián)邦的的數(shù)據(jù)源進行行導航。數(shù)據(jù)據(jù)可能具有不不同的內(nèi)容和和格式，所有有數(shù)據(jù)（結構構化、半結構構化和非結構構化）可組合合來進行可視視化并提供給給用戶。此能能力使得組織織能夠將其傳傳統(tǒng)的企業(yè)內(nèi)內(nèi)容（包含在在企業(yè)內(nèi)容管管理系統(tǒng)和數(shù)數(shù)據(jù)倉庫中）與與新的社交內(nèi)內(nèi)容（例如 tweett 和博客文文章）組合到到單個用戶界界面中。垂直層影響邏輯層（大大數(shù)據(jù)來源、數(shù)數(shù)據(jù)改動和存存儲、分析和和使用層）的的所有組件的的各方面都包包含在垂直層層中：信息集成大數(shù)據(jù)治理系統(tǒng)管理服務質量信息集成大數(shù)據(jù)應

43、用程序序從各種數(shù)據(jù)據(jù)起源、提供供程序和數(shù)據(jù)據(jù)源獲取數(shù)據(jù)據(jù)，并存儲在在 HDFSS、NoSQQL 和 MMongoDDB 等數(shù)據(jù)據(jù)存儲系統(tǒng)中中。這個垂直直層可供各種種組件使用（例例如數(shù)據(jù)獲取取、數(shù)據(jù)整理理、模型管理理和交易攔截截器），負責責連接到各種種數(shù)據(jù)源。集集成將具有不不同特征（例例如協(xié)議和連連接性）的數(shù)數(shù)據(jù)源的信息息，需要高質質量的連接器器和適配器。可可以使用加速速器連接到大大多數(shù)已知和和廣泛使用的的來源。這些些加速器包括括社交媒體適適配器和天氣氣數(shù)據(jù)適配器器。各種組件件還可以使用用這一層在大大數(shù)據(jù)存儲中中存儲信息，從從大數(shù)據(jù)存儲儲中檢索信息息，以便處理理這些信息。大大多數(shù)大數(shù)據(jù)據(jù)存儲都提

44、供供了服務和 API 來來存儲和檢索索該信息。大數(shù)據(jù)治理數(shù)據(jù)治理涉及到到定義指南來來幫助企業(yè)制制定有關數(shù)據(jù)據(jù)的正確決策策。大數(shù)據(jù)治治理有助于處處理企業(yè)內(nèi)或或從外部來源源傳入的數(shù)據(jù)據(jù)的復雜性、量量和種類。在在將數(shù)據(jù)傳入入企業(yè)進行處處理、存儲、分分析和清除或或歸檔時，需需要強有力的的指南和流程程來監(jiān)視、構構建、存儲和和保護數(shù)據(jù)。除了正常的數(shù)據(jù)據(jù)治理考慮因因素之外，大大數(shù)據(jù)治理還還包含其他因因素：1、管理各種格格式的大量數(shù)數(shù)據(jù)。2、持續(xù)培訓和和管理必要的的統(tǒng)計模型，以以便對非結構構化數(shù)據(jù)和分分析進行預處處理。請記住住，設置處理理非結構化數(shù)數(shù)據(jù)時的重要要一步。3、為外部數(shù)據(jù)據(jù)設置有關其其保留和使用用的

45、策略和合合規(guī)性制度。4、定義數(shù)據(jù)歸歸檔和清除策策略。5、創(chuàng)建如何跨跨各種系統(tǒng)復復制數(shù)據(jù)的策策略。6、設置數(shù)據(jù)加加密策略。服務質量層此層復雜定義數(shù)數(shù)據(jù)質量、圍圍繞隱私和安安全性的策略略、數(shù)據(jù)頻率率、每次抓取取的數(shù)據(jù)大小小和數(shù)據(jù)過濾濾器：數(shù)據(jù)質量1、完整地識別別所有必要的的數(shù)據(jù)元素2、以可接受的的新鮮度提供供數(shù)據(jù)的時間間軸3、依照數(shù)據(jù)準準確性規(guī)則來來驗證數(shù)據(jù)的的準確性4、采用一種通通用語言（數(shù)數(shù)據(jù)元組滿足足使用簡單業(yè)業(yè)務語言所表表達的需求）5、依據(jù)數(shù)據(jù)一一致性規(guī)則驗驗證來自多個個系統(tǒng)的數(shù)據(jù)據(jù)一致性6、在滿足數(shù)據(jù)據(jù)規(guī)范和信息息架構指南基基礎上的技術術符合性圍繞隱私和安全全的策略需要策略來保護護敏感數(shù)

46、據(jù)。從從外部機構和和提供程序獲獲取的數(shù)據(jù)可可能包含敏感感數(shù)據(jù)（比如如 Faceebook 用戶的聯(lián)系系信息或產(chǎn)品品定價信息）。數(shù)數(shù)據(jù)可以來源源于不同的地地區(qū)和國家，但但必須進行相相應的處理。必必須制定有關關數(shù)據(jù)屏蔽和和這類數(shù)據(jù)的的存儲的決策策?？紤]以下下數(shù)據(jù)訪問策策略：A、數(shù)據(jù)可用性性B、數(shù)據(jù)關鍵性性C、數(shù)據(jù)真實性性D、數(shù)據(jù)共享和和發(fā)布E、數(shù)據(jù)存儲和和保留，包括括能否存儲外外部數(shù)據(jù)等問問題。如果能能夠存儲數(shù)據(jù)據(jù)，數(shù)據(jù)可存存儲多長時間間？可存儲何何種類型的數(shù)數(shù)據(jù)？F、數(shù)據(jù)提供程程序約束（政政策、技術和和地區(qū)）G、社交媒體使使用條款數(shù)據(jù)頻率提供新鮮數(shù)據(jù)的的頻率是多少少？它是按需需、連續(xù)還是是離線的

47、？抓取的數(shù)據(jù)大小小此屬性有助于定定義可抓取的的數(shù)據(jù)以及每每次抓取后可可使用的數(shù)據(jù)據(jù)大小。過濾器標準過濾器會刪刪除不想要的的數(shù)據(jù)和數(shù)據(jù)據(jù)中的干擾數(shù)數(shù)據(jù)，僅留下下分析所需的的數(shù)據(jù)。系統(tǒng)管理系統(tǒng)管理對大數(shù)數(shù)據(jù)至關重要要，因為它涉涉及到跨企業(yè)業(yè)集群和邊界界的許多系統(tǒng)統(tǒng)。對整個大大數(shù)據(jù)生態(tài)系系統(tǒng)的健康的的監(jiān)視包括：A、管理系統(tǒng)日日志、虛擬機機、應用程序序和其他設備備B、關聯(lián)各種日日志，幫助調(diào)調(diào)查和監(jiān)視具具體情形C、監(jiān)視實時警警告和通知D、使用顯示各各種參數(shù)的實實時儀表板E、引用有關系系統(tǒng)的報告和和詳細分析F、設定和遵守守服務水平協(xié)協(xié)議G、管理存儲和和容量G、歸檔和管理理歸檔檢索I、執(zhí)行系統(tǒng)恢恢復、集群管

48、管理和網(wǎng)絡管管理J、策略管理結束語對開發(fā)人員而言言，層提供了了一種對大數(shù)數(shù)據(jù)解決方案案必須執(zhí)行的的功能進行分分類的途徑，為為組織建議必必需執(zhí)行這些些功能所需的的代碼。但是是，對于想要要從大數(shù)據(jù)獲獲取洞察的業(yè)業(yè)務用戶，考考慮大數(shù)據(jù)需需求和范圍通通常會有所幫幫助。原子模模式解決了訪訪問、處理、存存儲和使用大大數(shù)據(jù)的機制制，為業(yè)務用用戶提供了一一種解決需求求和范圍的途途徑。下一篇篇文章將介紹紹用于此用途途的原子模式式。作者: Divvakar等等來源: DeveeloperrWorkssEnd.大數(shù)據(jù)架構和模模式（四）大大數(shù)據(jù)解決方方案的原子模模式和復合模模式1.原子模式大大數(shù)據(jù)解決方方案有什么特特

49、點？2.原原子模式下的的樣例模式有有哪些？3.復合模式有有什么特點？簡介本系列的 第 3 部分 介紹了大數(shù)數(shù)據(jù)解決方案案的邏輯層。這這些層定義了了各種組件，并并對它們進行行分類，這些些組件必須處處理某個給定定業(yè)務用例的的功能性和非非功能性需求求。本文基于于層和組件的的概念，介紹紹了解決方案案中所用的典典型原子模式式和復合模式式。通過將所所提出的解決決方案映射到到此處提供的的模式，讓用用戶了解需要要如何設計組組件，以及從從功能角度考考慮，應該將將它們放置在在何處。模式式有助于定義義大數(shù)據(jù)解決決方案的架構構。利用原子子模式和復合合模式可以幫幫助進一步完完善大數(shù)據(jù)解解決方案的每每個組件的角角色和責任

50、。本文介紹原子模模式和復合模模式。本系列列的最后一篇篇文章將介紹紹解決方案模模式。圖 1. 模式式的類別該圖顯示了一下下模式：原子子模式、復合合模式和解決決方案模式原子模式對于大數(shù)據(jù)上下下文中經(jīng)常出出現(xiàn)的問題，原原子模式 有有助于識別數(shù)數(shù)據(jù)如何是被被使用、處理理、存儲和訪訪問的。它們們還有助于識識別所需的組組件。訪問、存存儲和處理來來自不同數(shù)據(jù)據(jù)源的多種數(shù)數(shù)據(jù)需要不同同的方法。每每種模式都用用于滿足特定定的需求：例例如，可視化化、歷史數(shù)據(jù)據(jù)分析、社交交媒體數(shù)據(jù)和和非結構化數(shù)數(shù)據(jù)的存儲?？煽梢詫⒍喾N原原子模式結合合使用，組成成一個復合模模式。這些原原子模式?jīng)]有有進行分層或或排序。例如如，可視化模

51、模式可以與社社交媒體的數(shù)數(shù)據(jù)訪問模式式直接交互，可可視化模式還還可以與高級級分析處理模模式進行交互互。圖 2. 用于于數(shù)據(jù)使用、處處理、數(shù)據(jù)訪訪問和存儲的的原子模式的的示例該圖顯示了每種種原子模式下下的樣例模式式的列表數(shù)據(jù)使用模式這種類型的模式式處理使用數(shù)數(shù)據(jù)分析結果果的各種方式式。本節(jié)包括括的數(shù)據(jù)使用用模式可以滿滿足幾個需求求?？梢暬Ｊ娇梢暬瘮?shù)據(jù)的傳傳統(tǒng)方式以圖圖表、儀表板板和摘要報告告為基礎。這這些傳統(tǒng)的方方法并不總是是用來可視化化數(shù)據(jù)的最佳佳方式。大數(shù)據(jù)可視化的的典型需求（包包括新出現(xiàn)的的需求）如下下所示：1、執(zhí)行流數(shù)據(jù)據(jù)的實時分析析和顯示2、基于上下文文，以交互方方式挖掘數(shù)據(jù)據(jù)3、執(zhí)

52、行高級搜搜索，并獲得得建議4、并行可視化化信息5、獲得先進的的硬件，支持持未來的可視視化需求正在進行研究，以以確定人類和和機器如何使使用大數(shù)據(jù)洞洞察。這些挑挑戰(zhàn)包括所涉涉及的數(shù)據(jù)量量，并且需要要將數(shù)據(jù)與上上下文相關聯(lián)聯(lián)。必須在適適當?shù)纳舷挛奈闹酗@示洞察察?？梢暬瘮?shù)據(jù)的目目的是為了更更容易、更直直觀地使用數(shù)數(shù)據(jù)，因此報報告和儀表板板可能提供全全高清的觀看看效果和 33-D 互動動視頻，并且且可以為用戶戶提供使用應應用程序控制制業(yè)務活動和和結果的能力力。即席發(fā)現(xiàn)模式創(chuàng)建滿足所有業(yè)業(yè)務需求的標標準報告往往往是不可行的的，因為企業(yè)業(yè)的業(yè)務數(shù)據(jù)據(jù)查詢會有不不同的需求。用用戶在查找特特定信息時，可可能需要

53、獲得得根據(jù)問題的的上下文執(zhí)行行即席查詢的的能力。即席分析可以幫幫助數(shù)據(jù)科學學家和關鍵業(yè)業(yè)務用戶了解解業(yè)務數(shù)據(jù)的的行為。即席席處理中涉及及的復雜性來來自多種因素素：1、多個數(shù)據(jù)源源可用于相同同的域。2、單一的查詢詢可以有多個個結果。3、輸出可以是是靜態(tài)的，并并具有多種格格式（視頻、音音頻、圖形和和文本）。4、輸出可以是是動態(tài)和交互互式的。加強傳統(tǒng)的數(shù)據(jù)據(jù)存儲在大數(shù)據(jù)的初步步探索中，許許多企業(yè)選擇擇使用現(xiàn)有的的分析平臺來來降低成本，并并依賴于現(xiàn)有有的技能。加加強現(xiàn)有的數(shù)數(shù)據(jù)存儲有助助于拓寬可用用于現(xiàn)有分析析的數(shù)據(jù)的范范圍，包括駐駐留在組織邊邊界內(nèi)外的數(shù)數(shù)據(jù)，比如社社交媒體數(shù)據(jù)據(jù)，它可以豐豐富主數(shù)據(jù)

54、。通通過拓寬數(shù)據(jù)據(jù)范圍，使之之包含現(xiàn)有存存儲中的新事事實表、維度度和主數(shù)據(jù)，并并從社交媒體體獲取客戶數(shù)數(shù)據(jù)，組織可可以獲得更深深入的客戶洞洞察。但要牢記的是，新新的數(shù)據(jù)集通通常比較大，而而現(xiàn)有的提取取、轉換和加加載工具可能能不足以處理理它。您可能能需要使用具具有大規(guī)模并并行處理能力力的高級工具具來解決數(shù)據(jù)據(jù)的數(shù)量、多多樣性、真實實性和速度特特征。通知模式大數(shù)據(jù)洞察使人人類、企業(yè)和和機器可以通通過使用事件件通知而立即即采取行動。通通知平臺必須須能夠處理及及時發(fā)送出去去的預計數(shù)量量的通知。這這些通知與大大量郵件或群群發(fā)短信不同同，因為內(nèi)容容一般是特定定于使用者的的。例如，推推薦引擎可以以提供有關世

55、世界各地的龐龐大客戶群的的洞察，而且且可以將通知知發(fā)送給這樣樣的客戶。啟動一個自動響響應模式從大數(shù)據(jù)獲得的的業(yè)務洞察，可可用于觸發(fā)或或啟動其他業(yè)業(yè)務流程或事事務。處理模式無論數(shù)據(jù)是處于于靜止狀態(tài)還還是在運動中中，都可以處處理大數(shù)據(jù)。具具體情況取決決于分析的復復雜性，有可可能不需要對對數(shù)據(jù)進行實實時處理。這這種模式解決決了對大數(shù)據(jù)據(jù)進行實時、近近實時或批量量處理的方式式。以下高級的大數(shù)數(shù)據(jù)處理類別別適用于大多多數(shù)分析。這這些類別通常常也適用于基基于 RDBBMS 的傳傳統(tǒng)系統(tǒng)。惟惟一的區(qū)別是是龐大規(guī)模的的數(shù)據(jù)、多樣樣性和速度。在在處理大數(shù)據(jù)據(jù)時，要使用用機器學習、復復雜事件處理理、事件流處處理、

56、決策管管理和統(tǒng)計模模型管理等技技術。歷史數(shù)據(jù)分析模模式傳統(tǒng)的歷史數(shù)據(jù)據(jù)分析僅限于于預定義的數(shù)數(shù)據(jù)時間段，這這通常取決于于數(shù)據(jù)保留策策略。由于處處理和存儲的的限制，超出出此時間段的的數(shù)據(jù)通常會會被歸檔或清清除?；?Hadooop 的系統(tǒng)統(tǒng)和其他等效效的系統(tǒng)可以以克服這些限限制，因為它它們具有豐富富的存儲以及及分布式大規(guī)規(guī)模并行處理理能力。運營營、業(yè)務和數(shù)數(shù)據(jù)倉庫的數(shù)數(shù)據(jù)被移動到到大數(shù)據(jù)存儲儲，您通過使使用大數(shù)據(jù)平平臺功能對它它們進行處理理。歷史分析包括分分析給定時間間段、季節(jié)組組合和產(chǎn)品的的歷史趨勢，并并與最新的可可用數(shù)據(jù)進行行比較。為了了能夠存儲和和處理如此龐龐大的數(shù)據(jù)，您您可以使用 HDF

57、S、NNoSQL、SSPSS 和 InffoSpheere BBigInssightss。高級分析模式大數(shù)據(jù)提供了很很多實現(xiàn)創(chuàng)意意洞察的機會會。不同的數(shù)數(shù)據(jù)集可以在在多種上下文文中存在關聯(lián)聯(lián)。發(fā)現(xiàn)這些些關系需要創(chuàng)創(chuàng)新的復雜算算法和技術。高級分析包括預預測、決策、推推理過程、模模擬、上下文文信息標識和和實體解析。高高級分析的應應用包括生物物統(tǒng)計數(shù)據(jù)分分析（例如，DDNA 分析析）、空間分分析、基于位位置的分析、科科學分析、研研究，等等。高高級分析要求求大量的計算算來管理大量量的數(shù)據(jù)。數(shù)據(jù)科學家可以以指導您識別別合適的技術術、算法和數(shù)數(shù)據(jù)集，以及及在給定上下下文中解決問問題所需的數(shù)數(shù)據(jù)源。比如如

58、SPSSS、InfooSpherre Strreams 和 InffoSpheere BiigInsiights 等工具提供供了這類功能能。這些工具具訪問存儲在在大數(shù)據(jù)存儲儲系統(tǒng)（比如如 BigTTable、HHBase，等等等）中的非非結構化數(shù)據(jù)據(jù)和結構化數(shù)數(shù)據(jù)（例如，JJSON 數(shù)數(shù)據(jù)）。預處理原始數(shù)據(jù)據(jù)模式大數(shù)據(jù)解決方案案主要由基于于 MapRReducee 的 Haadoop 系統(tǒng)和技術術組成，MaapReduuce 是開開箱即用的分分布式存儲和和處理解決方方案。然而，從從非結構化數(shù)數(shù)據(jù)提取數(shù)據(jù)據(jù)（例如，圖圖像、音頻、視視頻、二進制制提要，甚至至是文本）是是一項復雜的的任務，需要要具有

59、機器學學習能力并掌掌握自然語言言處理等技術術。另一個主主要挑戰(zhàn)是如如何驗證這些些技術和算法法的輸出的準準確度和正確確性。要對任何數(shù)據(jù)執(zhí)執(zhí)行分析，數(shù)數(shù)據(jù)都必須是是某種結構化化格式。從多多個數(shù)據(jù)源訪訪問的非結構構化數(shù)據(jù)可以以按原樣存儲儲，然后被轉轉化成結構化化數(shù)據(jù)（例如如 JSONN），并被再再次存儲到大大數(shù)據(jù)存儲系系統(tǒng)中。非結結構化文本可可以轉換成半半結構化或結結構化數(shù)據(jù)。同同樣，圖像、音音頻和視頻數(shù)數(shù)據(jù)需要轉換換成可用于分分析的格式。此此外，使用預預測和統(tǒng)計算算法的高級分分析的準確性性和正確性取取決于用來訓訓練其模型的的數(shù)據(jù)和算法法的數(shù)量。下面的列表顯示示了將非結構構化數(shù)據(jù)轉換換成結構化數(shù)數(shù)據(jù)

60、所需的算算法和活動：1、文檔和文本本分類2、特征提取3、圖像和文本本分割4、關聯(lián)特征、變變量和時間，然然后提取包含含時間的值5、輸出的準確確度檢查使用用了混淆矩陣陣（conffusionn matrrix）等技技術和其他手手動活動數(shù)據(jù)科學家可以以幫助用戶選選擇合適的技技術和算法。即席分析模式處理大數(shù)據(jù)的即即席查詢所帶帶來的挑戰(zhàn)不不同于對結構構化數(shù)據(jù)執(zhí)行行即席查詢時時所面臨的挑挑戰(zhàn)，由于數(shù)數(shù)據(jù)源和數(shù)據(jù)據(jù)格式不是固固定的，所以以需要使用不不同的機制來來檢索和處理理數(shù)據(jù)。雖然大數(shù)據(jù)供應應商可以處理理簡單的即席席查詢，但在在大多數(shù)情況況下，查詢是是復雜的，因因為必須在運運行時動態(tài)地地發(fā)現(xiàn)數(shù)據(jù)、算算法、