大數(shù)據(jù)架構(gòu)和模式(二)如何知道一個大數(shù)據(jù)解決方案是否適合您的組織

1、大數(shù)據(jù)架構(gòu)和模式（二）如何知道一個大數(shù)據(jù)解決方案是否適合您的組織摘要：本文介紹一種評估大數(shù)據(jù)解決方案的可行性的基于維度的方法。通過回答探索每個維度的問題，您可以通過自己對環(huán)境的了解來確定某個大數(shù)據(jù)解決方案對您是否適合。仔細考慮每個維度，就會發(fā)現(xiàn)有關(guān)是否到了改進您的大數(shù)據(jù)服務(wù)的時候的線索。簡介在確定投資大數(shù)據(jù)解決方案之前，評估可用于分析的數(shù)據(jù)；通過分析這些數(shù)據(jù)而獲得的洞察；以及可用于定義、設(shè)計、創(chuàng)建和部署大數(shù)據(jù)平臺的資源。詢問正確的問題是一個不錯的起點。使用本文中的問題將指導您完成調(diào)查。答案將揭示該數(shù)據(jù)和您嘗試解決的問題的更多特征。盡管組織一般情況對需要分析的數(shù)據(jù)類型有一些模糊的理解，但具體的細

2、節(jié)很可能并不清晰。畢竟，數(shù)據(jù)可能具有之前未發(fā)現(xiàn)的模式的關(guān)鍵，一旦識別了一種模式，對額外分析的需求就會變得很明顯。要幫助揭示這些未知的未知信息，首先需要實現(xiàn)一些基本用例，在此過程中，可以收集以前不可用的數(shù)據(jù)。構(gòu)建數(shù)據(jù)存儲庫并收集更多數(shù)據(jù)后，數(shù)據(jù)科學家就能夠更好地確定關(guān)鍵的數(shù)據(jù)，更好地構(gòu)建將生成更多洞察的預測和統(tǒng)計模型。組織可能也已知道它有哪些信息是不知道的。要解決這些已知的未知，組織首先必須與數(shù)據(jù)科學家合作，識別外部或第三方數(shù)據(jù)源，實現(xiàn)一些依賴于此外部數(shù)據(jù)的用例。本文首先嘗試回答大多數(shù) CIO 在實施大數(shù)據(jù)舉措之前通常會提出的問題，然后，本文將重點介紹一種將幫助評估大數(shù)據(jù)解決方案對組織的可行性的

3、基于維度的方法。我的大數(shù)據(jù)問題是否需要大數(shù)據(jù)解決方案？大數(shù)據(jù)，曾幾何時似乎很少出現(xiàn)組織多半會選擇以增量方式實現(xiàn)大數(shù)據(jù)解決方案。不是每個分析和報告需求都需要大數(shù)據(jù)解決方案。如果對于對大型數(shù)據(jù)集或來自多個數(shù)據(jù)源的臨時報告執(zhí)行并行處理的項目，那么可能沒有必要使用大數(shù)據(jù)解決方案。隨著大數(shù)據(jù)技術(shù)的到來，組織會問自己：“大數(shù)據(jù)是否是我的業(yè)務(wù)問題的正確解決方案，或者它是否為我提供了業(yè)務(wù)機會？”大數(shù)據(jù)中是否隱藏著業(yè)務(wù)機會？以下是我從 CIO 那里聽到的一些典型問題：· 如果我使用大數(shù)據(jù)技術(shù)，可能會獲得何種洞察和 業(yè)務(wù)價值？· 它是否可以擴充我 現(xiàn)有的數(shù)據(jù)倉庫？· 我如何評估 擴展

4、當前環(huán)境 或采用新解決方案的成本？· 對我現(xiàn)有的 IT 治理 有何影響？· 我能否 以增量方式實現(xiàn) 大數(shù)據(jù)解決方案？· 我需要掌握哪些 具體的技能 來理解和分析構(gòu)建和維護大數(shù)據(jù)解決方案的需求？· 我的 現(xiàn)有企業(yè)數(shù)據(jù) 能否用于提供業(yè)務(wù)洞察？· 來自各種來源的 數(shù)據(jù)的復雜性 在不斷增長。大數(shù)據(jù)解決方案對我有幫助嗎？維度可幫助評估大數(shù)據(jù)解決方案的可行性為了回答這些問題，本文提出了一種依據(jù)下圖中所示的維度來評估大數(shù)據(jù)解決方案的可行性的結(jié)構(gòu)化方法。圖 1. 評估大數(shù)據(jù)解決方案的可行性時要考慮的維度· 來自可通過分析數(shù)據(jù)獲得的洞察的業(yè)務(wù)價值

5、83; 針對新數(shù)據(jù)來源和數(shù)據(jù)使用方式的治理考慮因素· 擁有相關(guān)技能和贊助商的承諾的人員· 捕獲的數(shù)據(jù)量· 各種各樣的數(shù)據(jù)源、數(shù)據(jù)類型和數(shù)據(jù)格式· 生成數(shù)據(jù)的速度，需要對它執(zhí)行操作的速度，或者它更改的速度· 數(shù)據(jù)的真實性，或者數(shù)據(jù)的不確定性和可信賴性對于每個維度，我們都給出了一些關(guān)鍵問題。依據(jù)業(yè)務(wù)上下文，為每個維度分配一個權(quán)重和優(yōu)先級。評估會因業(yè)務(wù)案例和組織的不同而有所不同。您可以考慮在與相關(guān)的業(yè)務(wù)和 IT 利益相關(guān)者召開的一系列研討會中探討這些問題。業(yè)務(wù)價值：可通過大數(shù)據(jù)技術(shù)獲取何種洞察？許多組織想知道，他們在尋找的業(yè)務(wù)洞察能否通過大數(shù)據(jù)解決方

6、案解決。沒有權(quán)威的指南能夠用來定義可從大數(shù)據(jù)獲取的洞察。具體場景需要由組織識別，而且這些場景在不斷演變。在確定和識別在實現(xiàn)后會給企業(yè)帶來重大價值的業(yè)務(wù)用例和場景的過程中，數(shù)據(jù)科學家起著至關(guān)重要的作用。數(shù)據(jù)科學家必須能夠理解關(guān)鍵績效指標，對數(shù)據(jù)應(yīng)用統(tǒng)計算法和復雜算法來獲得一個用例列表。用例因行業(yè)和業(yè)務(wù)不同而有所不同。研究市場競爭對手的行動、發(fā)揮作用的市場力量，以及客戶在尋找什么，會很有幫助。下表給出了來自各行各業(yè)的用例示例。表 1. 來自各行各業(yè)的示例用例行業(yè)示例用例電子商務(wù)和在線零售電子零售商（比如 eBay）在不斷創(chuàng)建針對性產(chǎn)品來提高客戶終生價值 (CLV)；提供一致的跨渠道客戶體驗；從銷售

7、、營銷和其他來源收獲客戶線索；并持續(xù)優(yōu)化后端流程。 · 推薦引擎：通過基于對交叉銷售的預測分析來推薦補充性產(chǎn)品，增加平均訂單大小。· 跨渠道分析：銷售屬性、平均訂單價值和終生價值（例如多少店內(nèi)購買活動源自特定的推薦、廣告或促銷）。· 事件分析：那一系列步驟（黃金路線）得到了想要的結(jié)果（例如產(chǎn)品購買或注冊）？· “恰當時機的恰當產(chǎn)品” 和 “下一款最佳產(chǎn)品”：結(jié)合部署預測模型和推薦引擎，得到自動化的下一款最佳產(chǎn)品和跨多個交互渠道的經(jīng)調(diào)整的交互。零售和專注于客戶· 推銷和市場籃分析· 營銷活動管理和客戶忠誠度計劃· 供應(yīng)鏈管理和

8、分析· 基于事件和行為的目標· 市場和用戶細分· 預測分析：在將產(chǎn)品放在貨架上之前，零售商希望預測可能對購買者至關(guān)重要的一些因素金融服務(wù)· 合規(guī)性和監(jiān)管報告· 風險分析和管理· 欺詐檢測和安全分析· CRM 和客戶忠誠度計劃· 信用風險、評分和分析· 高速套利交易· 交易監(jiān)管· 異常交易模式分析欺詐檢測欺詐管理可預測給定交易或客戶帳戶遇到欺詐的可能性，幫助提高客戶帶來的利潤。解決方案將會實時分析交易，生成立即行動建議，這對阻止第三方欺詐、第一方欺詐和帳戶特權(quán)的蓄意濫用至關(guān)重要。解決方案

9、通常設(shè)計用于跨多個行業(yè)檢測和阻止各種各樣的欺詐和風險類型，這些類型包括： · 信用卡和借記卡欺詐· 存款帳戶欺詐· 技術(shù)欺詐和壞賬· 醫(yī)療欺詐· 醫(yī)療補助計劃和醫(yī)療保險欺詐· 財產(chǎn)和災(zāi)害保險欺詐· 工傷賠償欺詐· 保險欺詐Web 和數(shù)字媒體我們目前處理的許多數(shù)據(jù)是增多的社交媒體和數(shù)字營銷的直接后果。客戶生成一連串可挖掘并投入使用的 “數(shù)據(jù)廢氣”。 · 大規(guī)模單擊流分析· 廣告投放、分析、預測和優(yōu)化· 濫用和單擊欺詐預防· 社交圖分析和概要細分· 營銷活動管理和忠誠度

10、計劃公共領(lǐng)域· 欺詐檢測· 威脅檢查· 網(wǎng)絡(luò)安全· 合規(guī)性和監(jiān)管分析· 能耗和碳排放管理健康和生命科學· 健康保險欺詐檢測· 營銷活動和銷售計劃優(yōu)化· 品牌管理· 患者護理質(zhì)量和程序分析· 醫(yī)療設(shè)備和藥物供應(yīng)鏈管理· 藥品發(fā)現(xiàn)和開發(fā)分析電信· 收入保障和價格優(yōu)化· 客戶流失預防· 營銷活動管理和客戶忠誠度· 呼叫詳細記錄 (CDR) 分析· 網(wǎng)絡(luò)性能和優(yōu)化· 移動用戶位置分析公用事業(yè)公用事業(yè)公司運行大型、昂貴、復雜的系統(tǒng)來發(fā)電

11、。每個電網(wǎng)包含監(jiān)視電壓、電流、頻率和其他重要操作特征的復雜傳感器。效率意味著密切關(guān)注從傳感器傳來的所有數(shù)據(jù)。 公用事業(yè)公司現(xiàn)在正利用 Hadoop 集群來分析分析發(fā)電（供應(yīng)）和電力消耗（需求）數(shù)據(jù)。智慧儀表的采用導致前所未有的數(shù)據(jù)流洶涌而來。大多數(shù)公用事業(yè)公司都未做好充分準備在開啟儀表后分析該數(shù)據(jù)。媒體在有線行業(yè)，大型有線運營商（比如 Time Warner、Comcast 和 Cox Communications）每天都可以使用大數(shù)據(jù)來分析機頂盒數(shù)據(jù)。可以利用此數(shù)據(jù)來調(diào)整廣告或促銷活動。雜項· Mashup：移動用戶位置和精度目標· 機器生成的數(shù)據(jù)· 在線約會：

12、一個領(lǐng)先的在線約會服務(wù)使用復雜的分析來度量各個成員之間的兼容性，以便建議匹配的商品· 在線游戲· 飛機和汽車的預測性維護潛在的客戶正在社交網(wǎng)絡(luò)和評論站點上生成大量新數(shù)據(jù)。在企業(yè)內(nèi)，隨著客戶切換到在線渠道來執(zhí)行業(yè)務(wù)和與公司交互，交易數(shù)據(jù)和 Web 日志與日俱增。確定數(shù)據(jù)的優(yōu)先級首先為企業(yè)內(nèi)存在的數(shù)據(jù)創(chuàng)建一個清單。識別內(nèi)部系統(tǒng)和應(yīng)用程序中存在的數(shù)據(jù)以及從第三方傳入的數(shù)據(jù)。如果業(yè)務(wù)問題可使用現(xiàn)有數(shù)據(jù)解決，那么有可能不需要使用來自外部來源的數(shù)據(jù)。請考慮構(gòu)建一個大數(shù)據(jù)解決方案的成本，并權(quán)衡它與帶給業(yè)務(wù)部門的新洞察的價值。在有關(guān)現(xiàn)有客戶的歸檔數(shù)據(jù)的上下文中分析此新數(shù)據(jù)時，業(yè)務(wù)人員將獲得

13、對新業(yè)務(wù)機會的洞察。主要滿足以下條件，大數(shù)據(jù)可提供可行的解決方案：· 從數(shù)據(jù)中開發(fā)的洞察所生成的價值，值得在大數(shù)據(jù)解決方案中投入的資本成本· 面向客戶的場景可證明來自洞察的潛在價值評估通過大數(shù)據(jù)解決方案獲取的業(yè)務(wù)價值時，請考慮您當前的環(huán)境是否可擴展并權(quán)衡此投資的成本。我當前的環(huán)境能否擴展？詢問以下問題，確定您能否擴充現(xiàn)有的數(shù)據(jù)倉庫平臺？· 當前的數(shù)據(jù)集是否非常大，是否達到了 TB 或 PB 數(shù)量級？· 現(xiàn)有的倉庫環(huán)境是否包含生成或獲取的所有 數(shù)據(jù)的存儲庫？· 是否有大量冷數(shù)據(jù)或人們很少接觸的數(shù)據(jù)未分析，可以通過分析這些數(shù)據(jù)獲得業(yè)務(wù)洞察？

14、3; 您是否需要丟棄數(shù)據(jù)，因為無法存儲或處理它？· 您是否希望能夠在復雜且大量的數(shù)據(jù)上執(zhí)行數(shù)據(jù)探索？· 您是否希望能夠?qū)Ψ遣僮鲾?shù)據(jù)執(zhí)行分析？· 您是否有興趣使用數(shù)據(jù)執(zhí)行傳統(tǒng)和新類型的分析？· 您是否試圖延遲對現(xiàn)有數(shù)據(jù)倉庫的升級？· 您是否在尋求途徑降低執(zhí)行分析的總體成本？如果任何這些問題的答案是 “是”，那么您就可以探索擴充現(xiàn)有數(shù)據(jù)倉庫環(huán)境的方式。擴展我當前的環(huán)境的成本是多少？擴展現(xiàn)有數(shù)據(jù)倉庫平臺或 IT 環(huán)境與實現(xiàn)大數(shù)據(jù)解決方案的成本和可行性取決于：· 現(xiàn)有工具和技術(shù)· 現(xiàn)有系統(tǒng)的可伸縮性· 現(xiàn)有環(huán)境的處理能力&

15、#183; 現(xiàn)有平臺的存儲能力· 執(zhí)行的治理和策略· 現(xiàn)有 IT 應(yīng)用程序的異構(gòu)性· 組織中存在的技術(shù)和業(yè)務(wù)技能。它還依賴于將從新數(shù)據(jù)來源收集的數(shù)據(jù)量、業(yè)務(wù)用例的復雜性、處理的分析復雜性，以及獲取數(shù)據(jù)和擁有恰當技能集的人員的成本?，F(xiàn)有的資源池能否開發(fā)新的大數(shù)據(jù)技能，或者是否可從外部雇傭擁有稀缺技能的人員？請注意，大數(shù)據(jù)舉措會對其他正在實施的項目產(chǎn)生影響。從新的來源獲取數(shù)據(jù)具有很高的成本。您首先應(yīng)當識別系統(tǒng)和應(yīng)用程序內(nèi)部存在的數(shù)據(jù)，以及目前收到的第三方數(shù)據(jù)，這一點很重要。如果業(yè)務(wù)問題可以使用現(xiàn)有數(shù)據(jù)解決，那么有可能不需要使用來自外部來源的數(shù)據(jù)。在生成新工具和應(yīng)用程序

16、之前，請評估組織的應(yīng)用程序組合。例如，一個普通的 Hadoop 平臺可能無法滿足您的需求，您可能必須購買專業(yè)的工具?；蛘呦鄬Χ裕琀adoop 的商業(yè)版本對當前用例而言可能很昂貴，但可能需要用作長期投資來支持一個戰(zhàn)略性的大數(shù)據(jù)平臺?？紤]大數(shù)據(jù)工具和技術(shù)需要的基礎(chǔ)架構(gòu)、硬件、軟件和維護的成本。對數(shù)據(jù)的治理和控制：對現(xiàn)有的 IT 治理有何影響？在決定是否實現(xiàn)一個大數(shù)據(jù)平臺時，組織可能會查看新數(shù)據(jù)源和新的數(shù)據(jù)元素類型，而這些信息當前的所有權(quán)尚未明確定義。一些行業(yè)制度會約束組織獲取和使用的數(shù)據(jù)。例如，在醫(yī)療行業(yè)，通過訪問患者數(shù)據(jù)來從中獲取洞察是否合法？類似的規(guī)則約束著所有行業(yè)。除了 IT 治理問題之外

17、，組織的業(yè)務(wù)流程可能也需要重新定義和修改，讓組織能夠獲取、存儲和訪問外部數(shù)據(jù)。請在您的情況的上下文中考慮以下治理相關(guān)問題：· 安全性和隱私 為了與當?shù)胤ㄒ?guī)一致，解決方案可以訪問哪些數(shù)據(jù)？可以存儲哪些數(shù)據(jù)？哪些數(shù)據(jù)應(yīng)在移動過程中加密？靜止數(shù)據(jù)呢？誰可以查看原始數(shù)據(jù)和洞察？· 數(shù)據(jù)的標準化 是否有標準約束數(shù)據(jù)？數(shù)據(jù)是否具有專用的格式？是否有部分數(shù)據(jù)為非標準格式？· 數(shù)據(jù)可用的時段 數(shù)據(jù)在一個允許及時采取操作的時段是否可用？· 數(shù)據(jù)的所有權(quán) 誰擁有該數(shù)據(jù)？解決方案是否擁有適當?shù)脑L問權(quán)和權(quán)限來使用數(shù)據(jù)？· 允許的用法：允許如何使用該數(shù)據(jù)？我能否增量地實

18、現(xiàn)大數(shù)據(jù)解決方案？大數(shù)據(jù)解決方案可以采用增量方式實現(xiàn)。明確地定義業(yè)務(wù)問題的范圍，并以可度量的方式設(shè)置預期的業(yè)務(wù)收入提升，這樣做會很有幫助。對于基礎(chǔ)業(yè)務(wù)案例，請仔細列出問題的范圍和解決方案帶來的預期收益。如果該范圍太小，業(yè)務(wù)收益將無法實現(xiàn)，如果范圍太大，獲得資金和在恰當?shù)钠谙迌?nèi)完成項目就會很有挑戰(zhàn)性。在項目的第一次迭代中定義核心功能，以便能夠輕松地贏得利益相關(guān)者的信任。人員：是否已有恰當?shù)募寄懿⒄{(diào)整了合適的人員？需要特定的技能來理解和分析需求，并維護大數(shù)據(jù)解決方案。這些技能包括行業(yè)知識、領(lǐng)域?qū)ｉL，以及有關(guān)大數(shù)據(jù)工具和技術(shù)的技術(shù)知識。擁有建模、統(tǒng)計、分析和數(shù)學方面的專業(yè)經(jīng)驗的數(shù)據(jù)科學家，是任何大數(shù)

19、據(jù)舉措成功的關(guān)鍵。在實施一個新的大數(shù)據(jù)項目之前，確保已安排了合適的人員：· 您是否獲得利益相關(guān)者和其他愿意投資該項目的業(yè)務(wù)贊助者的支持？· 是否擁有熟悉該領(lǐng)域、能分析大量數(shù)據(jù)、而且能識別從數(shù)據(jù)生成有意義且有用的洞察的途徑的數(shù)據(jù)科學家？是否擁有可用于獲取洞察的現(xiàn)有數(shù)據(jù)？所有組織都擁有大量未用于獲取業(yè)務(wù)洞察的數(shù)據(jù)。這些數(shù)據(jù)包括日志文件、錯誤文件和來自應(yīng)用程序的操作數(shù)據(jù)。不要忽略此數(shù)據(jù)，它是寶貴信息的潛在來源。數(shù)據(jù)復雜性是否在增長？查找數(shù)據(jù)復雜性增長的線索，尤其是在數(shù)據(jù)量、種類、速度和真實性方面。數(shù)據(jù)量是否已增長？如果滿足以下條件，您可能希望考慮大數(shù)據(jù)解決方案：· 數(shù)據(jù)大小達到 PB 和 EB 級，而且在不久的將來，它們可能增長到 ZB 級別。· 這一數(shù)據(jù)量給使用傳統(tǒng)方法（比如關(guān)系數(shù)據(jù)庫引擎）存儲、搜索、共享、分析和可視化數(shù)據(jù)帶來的技術(shù)和經(jīng)濟挑戰(zhàn)。· 數(shù)據(jù)處理目前可使用可用硬件上的大規(guī)模并行處理能力。數(shù)據(jù)種類是否已增多？如果滿足以下條件，各種各樣的數(shù)據(jù)可能都需要大數(shù)據(jù)解決方案：· 數(shù)據(jù)內(nèi)容和結(jié)構(gòu)無法預期或預測。· 數(shù)據(jù)格式各不相同，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。· 用戶和機器能夠以任何格式