氣象大數(shù)據(jù)技術(shù)架構(gòu)思路

引言在氣象行業(yè)內(nèi)部，氣象數(shù)據(jù)的價(jià)值已經(jīng)和正在被深入挖掘著。但是，不能將氣象預(yù)報(bào)產(chǎn)品的社會(huì)化推廣簡(jiǎn)單地認(rèn)為就是“氣象大數(shù)據(jù)的廣泛應(yīng)用”。大數(shù)據(jù)實(shí)際上是一種混雜數(shù)據(jù)，氣象大數(shù)據(jù)應(yīng)該是指氣象行業(yè)所擁有的以及鎖接觸到的全體數(shù)據(jù)，包括傳統(tǒng)的氣象數(shù)據(jù)和對(duì)外服務(wù)提供的影視音頻資料、網(wǎng)頁(yè)資料、預(yù)報(bào)文本以及地理位置相關(guān)數(shù)據(jù)、社會(huì)經(jīng)濟(jì)共享數(shù)據(jù)等等。傳統(tǒng)的”氣象數(shù)據(jù)“，地面觀測(cè)、氣象衛(wèi)星遙感、天氣雷達(dá)和數(shù)值預(yù)報(bào)產(chǎn)品四類數(shù)據(jù)占數(shù)據(jù)總量的90%以上，基本的氣象數(shù)據(jù)直接用途是氣象業(yè)務(wù)、天氣預(yù)報(bào)、氣候預(yù)測(cè)以及氣象服務(wù)?！按髷?shù)據(jù)應(yīng)用”與目前的氣象服務(wù)有所不同，前者是氣象數(shù)據(jù)的“深度應(yīng)用”和“增值應(yīng)用”，后者是既定業(yè)務(wù)數(shù)據(jù)加工產(chǎn)品的社會(huì)推廣應(yīng)用?！按髷?shù)據(jù)的核心就是預(yù)測(cè)”，這是《大數(shù)據(jù)時(shí)代》的作者舍恩伯格的名言。天氣和氣候系統(tǒng)是典型的非線性系統(tǒng)，無(wú)法通過(guò)運(yùn)用簡(jiǎn)單的統(tǒng)計(jì)分析方法來(lái)對(duì)其進(jìn)行準(zhǔn)確的預(yù)報(bào)和預(yù)測(cè)。人們常說(shuō)的南美叢林里一只蝴蝶扇動(dòng)幾下翅膀，會(huì)在幾周后引發(fā)北美的一場(chǎng)暴風(fēng)雪這一現(xiàn)象，形象地描繪了氣象科學(xué)的復(fù)雜性。運(yùn)用統(tǒng)計(jì)分析方法進(jìn)行天氣預(yù)報(bào)在數(shù)十年前便已被氣象科學(xué)界否決了——也就是說(shuō)，目前經(jīng)典的大數(shù)據(jù)應(yīng)用方法并不適用于天氣預(yù)報(bào)業(yè)務(wù)。現(xiàn)在，氣象行業(yè)的公共服務(wù)職能越來(lái)越強(qiáng)，面向政府提供決策服務(wù)，面向公眾提供氣象預(yù)報(bào)預(yù)警服務(wù)，面向社會(huì)發(fā)展，應(yīng)對(duì)氣候發(fā)展節(jié)能減排。這些決策信息怎么來(lái)依賴于我們對(duì)氣象數(shù)據(jù)的處理。氣象大數(shù)據(jù)應(yīng)該在跨行業(yè)綜合應(yīng)用這一“增值應(yīng)用”價(jià)值挖掘過(guò)程中煥發(fā)出的新的光芒。

大數(shù)據(jù)平臺(tái)的基本構(gòu)成概述“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘（SaaS），但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)（PaaS）和云存儲(chǔ)、虛擬化技術(shù)（IaaS）。大數(shù)據(jù)可通過(guò)許多方式來(lái)存儲(chǔ)、獲取、處理和分析。每個(gè)大數(shù)據(jù)來(lái)源都有不同的特征，包括數(shù)據(jù)的頻率、量、速度、類型和真實(shí)性。處理并存儲(chǔ)大數(shù)據(jù)時(shí)，會(huì)涉及到更多維度，比如治理、安全性和策略。選擇一種架構(gòu)并構(gòu)建合適的大數(shù)據(jù)解決方案極具挑戰(zhàn)，因?yàn)樾枰紤]非常多的因素。氣象行業(yè)的數(shù)據(jù)情況則更為復(fù)雜，除了“機(jī)器生成”（可以理解為遙測(cè)、傳感設(shè)備產(chǎn)生的觀測(cè)數(shù)據(jù)，大量參與氣象服務(wù)和共享的信息都以文本、圖片、視頻等多種形式存儲(chǔ)，符合“大數(shù)據(jù)”的4V特點(diǎn)：Volume(大量)、Velocity(高速)、Variety(多樣)、veracity(真實(shí)性) 。這些信息長(zhǎng)期存儲(chǔ)于氣象各部門的平臺(tái)上未能加以合理利用。另一方面，這些數(shù)據(jù)本身就是分散存儲(chǔ)于多個(gè)服務(wù)器平臺(tái)上，急需應(yīng)用分布式平臺(tái)統(tǒng)一管理。因此，我們亟需一種結(jié)構(gòu)化和基于模式的方法來(lái)簡(jiǎn)化定義完整的大數(shù)據(jù)架構(gòu)的任務(wù)。因?yàn)樵u(píng)估一個(gè)業(yè)務(wù)場(chǎng)景是否存在大數(shù)據(jù)問(wèn)題很重要，所以我們包含了一些線索來(lái)幫助確定哪些業(yè)務(wù)問(wèn)題適合采用大數(shù)據(jù)解決方案。數(shù)據(jù)基礎(chǔ)決定平臺(tái)框架從分類大數(shù)據(jù)到選擇大數(shù)據(jù)解決方案RDBMS：關(guān)系型數(shù)據(jù)庫(kù)；ETL：數(shù)據(jù)清晰、轉(zhuǎn)換、裝載的過(guò)程；ELT：數(shù)據(jù)清晰、裝載、轉(zhuǎn)換的過(guò)程；CDC：增量數(shù)據(jù)復(fù)制。有同步和異步兩種模式。數(shù)據(jù)種類結(jié)構(gòu)示例量安全性建模存儲(chǔ)和檢索集成使用主數(shù)據(jù)事務(wù)分析數(shù)據(jù)元數(shù)據(jù)結(jié)構(gòu)化觀測(cè)數(shù)據(jù)中-高數(shù)據(jù)庫(kù)、應(yīng)用程序和用戶訪問(wèn)預(yù)定義的關(guān)系建?；蚓S度建模RDBMS/SQLETL/ELT、CDC應(yīng)用程序、BI和統(tǒng)計(jì)程序參考數(shù)據(jù)結(jié)構(gòu)化和半結(jié)構(gòu)化交換數(shù)據(jù)中-低平臺(tái)安全性靈活可擴(kuò)展XML/xQueryETL/ELT、消息使用基于系統(tǒng)文檔和內(nèi)容非結(jié)構(gòu)化預(yù)報(bào)文件高基于文件系統(tǒng)隨意文件系統(tǒng)/搜索操作系統(tǒng)級(jí)文件移動(dòng)內(nèi)容管理大數(shù)據(jù)-網(wǎng)頁(yè)-物聯(lián)網(wǎng)-衛(wèi)星/雷達(dá)等傳感器結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化云圖視頻語(yǔ)音網(wǎng)志高文件系統(tǒng)和數(shù)據(jù)庫(kù)靈活（鍵值）分布式文件系統(tǒng)/noSQLHadoop、MapReduce、ETL/ELT、消息BI和統(tǒng)計(jì)工具結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)“非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)依據(jù)大數(shù)據(jù)類型對(duì)業(yè)務(wù)問(wèn)題進(jìn)行分類根據(jù)氣象服務(wù)需要，業(yè)務(wù)問(wèn)題可分類為不同的大數(shù)據(jù)問(wèn)題類型。以后，我們將使用此類型確定合適的分類模式（原子或復(fù)合）和合適的大數(shù)據(jù)解決方案。但第一步是將業(yè)務(wù)問(wèn)題映射到它的大數(shù)據(jù)類型。下表列出了常見(jiàn)的業(yè)務(wù)問(wèn)題并為每個(gè)問(wèn)題分配了一種大數(shù)據(jù)類型。業(yè)務(wù)問(wèn)題大數(shù)據(jù)問(wèn)題描述公用事業(yè)：臨近天氣預(yù)報(bào)機(jī)器生成數(shù)據(jù)依據(jù)站點(diǎn)觀測(cè)數(shù)據(jù)匯總和國(guó)家局下發(fā)文件、全球交換數(shù)據(jù)只做的預(yù)報(bào)信息政府決策：區(qū)域天氣預(yù)警機(jī)器生成的數(shù)據(jù)地理信息數(shù)據(jù)政府交換數(shù)據(jù)圖片視頻資料語(yǔ)音播報(bào)數(shù)據(jù)歷史災(zāi)害匯總微博等網(wǎng)頁(yè)數(shù)據(jù)政府機(jī)構(gòu)通過(guò)“智慧都市”等平臺(tái)整合IS關(guān)聯(lián)天氣預(yù)警產(chǎn)品、預(yù)警通知反饋、城區(qū)建筑布局與災(zāi)害易發(fā)分析結(jié)果預(yù)測(cè)預(yù)判轄區(qū)內(nèi)的災(zāi)情險(xiǎn)情，做好防災(zāi)避險(xiǎn)工作保險(xiǎn)業(yè)：氣象相關(guān)險(xiǎn)種氣象預(yù)報(bào)Web與社交媒體數(shù)據(jù)依據(jù)氣象預(yù)報(bào)信息以及網(wǎng)絡(luò)媒體調(diào)查反饋，開辟“中暑險(xiǎn)”、“賞月險(xiǎn)”等多個(gè)險(xiǎn)種醫(yī)療保?。毫餍胁”O(jiān)控氣象預(yù)報(bào)生活指數(shù)根據(jù)歷史氣象資料和流行病歷史資料結(jié)合分析，預(yù)判流行病發(fā)展趨勢(shì)，對(duì)流行病監(jiān)控、地區(qū)流行病學(xué)、藥物發(fā)明、臨床試驗(yàn)數(shù)據(jù)分析、病人病情分析等起著至關(guān)重要的作用此類分析也可以為醫(yī)藥企業(yè)的銷售行為提供參考期貨：農(nóng)產(chǎn)品災(zāi)害預(yù)測(cè)氣象災(zāi)害預(yù)警歷史氣候?qū)r(nóng)產(chǎn)品影響分析-用于氣象災(zāi)害提醒、農(nóng)產(chǎn)品價(jià)格變化預(yù)測(cè)-用于期貨市場(chǎng)預(yù)測(cè)分析使用大數(shù)據(jù)類型對(duì)大數(shù)據(jù)特征進(jìn)行分類按特定方向分析大數(shù)據(jù)的特征會(huì)有所幫助，例如以下特征：數(shù)據(jù)如何收集、分析和處理。對(duì)數(shù)據(jù)進(jìn)行分類后，就可以將它與合適的大數(shù)據(jù)模式匹配：分析類型—對(duì)數(shù)據(jù)執(zhí)行實(shí)時(shí)分析還是批量分析。請(qǐng)仔細(xì)考慮分析類型的選擇，因?yàn)檫@會(huì)影響一些有關(guān)產(chǎn)品、工具、硬件、數(shù)據(jù)源和預(yù)期的數(shù)據(jù)頻率的其他決策。一些用例可能需要混合使用兩種類型：臨近分析；分析必須實(shí)時(shí)或近實(shí)時(shí)地完成。歷史分析針對(duì)戰(zhàn)略性業(yè)務(wù)決策的趨勢(shì)分析；分析可采用批量模式。處理方法—要應(yīng)用來(lái)處理數(shù)據(jù)的技術(shù)類型（比如預(yù)測(cè)、分析、臨時(shí)查詢和報(bào)告）。業(yè)務(wù)需求確定了合適的處理方法?？山Y(jié)合使用各種技術(shù)。處理方法的選擇，有助于識(shí)別要在您的大數(shù)據(jù)解決方案中使用的合適的工具和技術(shù)。數(shù)據(jù)頻率和大小—預(yù)計(jì)有多少數(shù)據(jù)和數(shù)據(jù)到達(dá)的頻率多高。知道頻率和大小，有助于確定存儲(chǔ)機(jī)制、存儲(chǔ)格式和所需的預(yù)處理工具。數(shù)據(jù)頻率和大小依賴于數(shù)據(jù)源：按需分析，與社交媒體數(shù)據(jù)一樣實(shí)時(shí)、持續(xù)提供（天氣數(shù)據(jù)、交易數(shù)據(jù)）時(shí)序（基于時(shí)間的數(shù)據(jù)）數(shù)據(jù)類型—要處理數(shù)據(jù)類型—交易、歷史、主數(shù)據(jù)等。知道數(shù)據(jù)類型，有助于將數(shù)據(jù)隔離在存儲(chǔ)中。內(nèi)容格式（傳入數(shù)據(jù)的格式）結(jié)構(gòu)化（例如RDMBS）、非結(jié)構(gòu)化（例如音頻、視頻和圖像）或半結(jié)構(gòu)化。格式確定了需要如何處理傳入的數(shù)據(jù)，這是選擇工具、技術(shù)以及從業(yè)務(wù)角度定義解決方案的關(guān)鍵。數(shù)據(jù)源—數(shù)據(jù)的來(lái)源（生成數(shù)據(jù)的地方），比如Web和社交媒體、機(jī)器生成、人類生成等。識(shí)別所有數(shù)據(jù)源有助于從業(yè)務(wù)角度識(shí)別數(shù)據(jù)范圍。該圖顯示了使用最廣泛的數(shù)據(jù)源。數(shù)據(jù)使用者—處理的數(shù)據(jù)的所有可能使用者的列表：業(yè)務(wù)流程業(yè)務(wù)用戶企業(yè)應(yīng)用程序各種業(yè)務(wù)角色中的各個(gè)人員部分處理流程其他數(shù)據(jù)存儲(chǔ)庫(kù)或企業(yè)應(yīng)用程序硬件—將在其上實(shí)現(xiàn)大數(shù)據(jù)解決方案的硬件類型，包括商用硬件或最先進(jìn)的硬件。理解硬件的限制，有助于指導(dǎo)大數(shù)據(jù)解決方案的選擇。數(shù)據(jù)分類決定應(yīng)用方案將不同的數(shù)據(jù)類型集成后，統(tǒng)一按照大數(shù)據(jù)進(jìn)行處理，如下圖：

大數(shù)據(jù)平臺(tái)的邏輯層次邏輯構(gòu)成從框架上展示了各個(gè)組件的組織方式。這些層提供了一種方法來(lái)組織執(zhí)行特定功能的組件。這些層只是邏輯結(jié)構(gòu)；這并不意味著支持每層的功能在獨(dú)立的機(jī)器或獨(dú)立的進(jìn)程上運(yùn)行。大數(shù)據(jù)平臺(tái)通常由以下邏輯層組成：數(shù)據(jù)集成層數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)分析層數(shù)據(jù)使用層大數(shù)據(jù)集成層要全面考慮來(lái)自所有渠道的，所有可用于分析的數(shù)據(jù)。要求團(tuán)隊(duì)中的數(shù)據(jù)專家闡明執(zhí)行需求所需的數(shù)據(jù)。這些信息包括：格式—結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化。速度和數(shù)據(jù)量—數(shù)據(jù)到達(dá)的速度和傳送它的速率因數(shù)據(jù)源不同而不同。收集點(diǎn)—收集數(shù)據(jù)的位置，直接或通過(guò)數(shù)據(jù)提供程序，實(shí)時(shí)或以批量模式收集數(shù)據(jù)。數(shù)據(jù)可能來(lái)自某個(gè)主要來(lái)源，比如天氣條件，也有可能來(lái)自一個(gè)輔助來(lái)源，比如媒體贊助的天氣頻道。數(shù)據(jù)源的位置—數(shù)據(jù)源可能位于企業(yè)內(nèi)或外部。識(shí)別您具有有限訪問(wèn)權(quán)的數(shù)據(jù)，因?yàn)閷?duì)數(shù)據(jù)的訪問(wèn)會(huì)影響可用于分析的數(shù)據(jù)范圍。大數(shù)據(jù)存儲(chǔ)層此層負(fù)責(zé)從數(shù)據(jù)源獲取數(shù)據(jù)，并在必要時(shí)，將它轉(zhuǎn)換為適合符合分析方式的格式。例如，可能需要轉(zhuǎn)換一幅圖，才能將它存儲(chǔ)在HadoopDistributed(HDFS)存儲(chǔ)或關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS)倉(cāng)庫(kù)中，以供進(jìn)一步處理。規(guī)范 1和治理策略要求為不同的數(shù)據(jù)類型提供合適的存儲(chǔ)。大數(shù)據(jù)分析層分析層讀取數(shù)據(jù)改動(dòng)和存儲(chǔ)層整理(digest)的數(shù)據(jù)。在某些情況下，分析層直接從數(shù)據(jù)源訪問(wèn)數(shù)據(jù)。設(shè)計(jì)分析層需要認(rèn)真地進(jìn)行事先籌劃和規(guī)劃。必須制定如何管理以下任務(wù)的決策：生成想要的分析從數(shù)據(jù)中獲取洞察找到所需的實(shí)體定位可提供這些實(shí)體的數(shù)據(jù)的數(shù)據(jù)源理解執(zhí)行分析需要哪些算法和工具。大數(shù)據(jù)應(yīng)用層此層使用了分析層所提供的輸出。使用者可以是可視化應(yīng)用程序、人類、業(yè)務(wù)流程或服務(wù)。可視化分析層的結(jié)果可能具有挑戰(zhàn)。大數(shù)據(jù)平臺(tái)的功能架構(gòu)組件構(gòu)成橫向?qū)哟髷?shù)據(jù)集成層大數(shù)據(jù)來(lái)源：企業(yè)遺留系統(tǒng)—這些系統(tǒng)是企業(yè)應(yīng)用程序，執(zhí)行業(yè)務(wù)需要的分析并獲取需要的洞察：氣象網(wǎng)絡(luò)設(shè)備監(jiān)測(cè)系統(tǒng)氣象信息共享系統(tǒng)MICAPS網(wǎng)絡(luò)通信系統(tǒng)CMA-Cast突發(fā)應(yīng)急系統(tǒng)氣象預(yù)報(bào)系統(tǒng)氣象服務(wù)系統(tǒng)辦公自動(dòng)化……Web應(yīng)用程序開發(fā)--Web應(yīng)用程序和其他數(shù)據(jù)來(lái)源擴(kuò)充了企業(yè)擁有的數(shù)據(jù)。這些應(yīng)用程序可使用自定義的協(xié)議和機(jī)制來(lái)公開數(shù)據(jù)。數(shù)據(jù)管理系統(tǒng)(DMS)—數(shù)據(jù)管理系統(tǒng)存儲(chǔ)邏輯數(shù)據(jù)、流程、策略和各種其他類型的文檔：Microsoft?Excel?電子表格MicrosoftWord文檔這些文檔可以轉(zhuǎn)換為可用于分析的結(jié)構(gòu)化數(shù)據(jù)。文檔數(shù)據(jù)可公開為領(lǐng)域?qū)嶓w，或者數(shù)據(jù)改動(dòng)和存儲(chǔ)層可將它轉(zhuǎn)換為領(lǐng)域?qū)嶓w。數(shù)據(jù)存儲(chǔ)—數(shù)據(jù)存儲(chǔ)包含企業(yè)數(shù)據(jù)倉(cāng)庫(kù)、操作數(shù)據(jù)庫(kù)和事務(wù)數(shù)據(jù)庫(kù)。此數(shù)據(jù)通常是結(jié)構(gòu)化數(shù)據(jù)，可直接使用或輕松地轉(zhuǎn)換來(lái)滿足需求。這些數(shù)據(jù)不一定存儲(chǔ)在分布式文件系統(tǒng)中，具體依賴于所處的上下文。智慧設(shè)備—智慧設(shè)備能夠捕獲、處理和傳輸使用最廣泛的協(xié)議和格式的信息。這方面的示例包括智能電話、儀表和醫(yī)療設(shè)備。這些設(shè)備可用于執(zhí)行各種類型的分析。絕大多數(shù)智慧設(shè)備都會(huì)執(zhí)行實(shí)時(shí)分析，但從智慧設(shè)備傳來(lái)的信息也可批量分析。聚合的數(shù)據(jù)提供程序—這些提供程序擁有或獲取數(shù)據(jù)，并以復(fù)雜的格式和所需的頻率通過(guò)特定的過(guò)濾器公開它。每天都會(huì)產(chǎn)生海量的數(shù)據(jù)，它們具有不同的格式，以不同的速度生成，而且通過(guò)各種數(shù)據(jù)提供程序、傳感器和現(xiàn)有企業(yè)提供。其他數(shù)據(jù)源—有許多數(shù)據(jù)來(lái)自自動(dòng)化的來(lái)源：地理信息：地圖地區(qū)詳細(xì)信息位置詳細(xì)信息經(jīng)濟(jì)熱點(diǎn)詳細(xì)信息（工農(nóng)業(yè)旅游交通教育醫(yī)療金融等等）人類生成的內(nèi)容：社交媒體電子郵件博客在線信息傳感器數(shù)據(jù)：環(huán)境：天氣、降雨量、濕度、光線電氣：電流、能源潛力等導(dǎo)航裝置電離輻射、亞原子粒子等靠近、存在等位置、角度、位移、距離、速度、加速度聲音、聲震動(dòng)等汽車、運(yùn)輸?shù)葻崃俊岫?、溫度光學(xué)、光、成像、見(jiàn)光度化學(xué)壓力流動(dòng)、流體、速度力、密度級(jí)別等來(lái)自傳感器供應(yīng)商的其他數(shù)據(jù)大數(shù)據(jù)存儲(chǔ)層因?yàn)閭魅氲臄?shù)據(jù)可能具有不同的特征，所以數(shù)據(jù)改動(dòng)和存儲(chǔ)層中的組件必須能夠以各種頻率、格式、大小和在各種通信渠道上讀取數(shù)據(jù)：數(shù)據(jù)獲取—從各種數(shù)據(jù)源獲取數(shù)據(jù)，并將其發(fā)送到數(shù)據(jù)整理組件或存儲(chǔ)在指定的位置中。此組件必須足夠智能，能夠選擇是否和在何處存儲(chǔ)傳入的數(shù)據(jù)。它必須能夠確定數(shù)據(jù)在存儲(chǔ)前是否應(yīng)改動(dòng)，或者數(shù)據(jù)是否可直接發(fā)送到業(yè)務(wù)分析層。數(shù)據(jù)整理—負(fù)責(zé)將數(shù)據(jù)修改為需要的格式，以實(shí)現(xiàn)分析用途。此組件可擁有簡(jiǎn)單的轉(zhuǎn)換邏輯或復(fù)雜的統(tǒng)計(jì)算法來(lái)轉(zhuǎn)換源數(shù)據(jù)。分析引擎將會(huì)確定所需的特定的數(shù)據(jù)格式。主要的挑戰(zhàn)是容納非結(jié)構(gòu)化數(shù)據(jù)格式，比如圖像、音頻、視頻和其他二進(jìn)制格式。分布式數(shù)據(jù)存儲(chǔ)—負(fù)責(zé)存儲(chǔ)來(lái)自數(shù)據(jù)源的數(shù)據(jù)。通常，這一層中提供了多個(gè)數(shù)據(jù)存儲(chǔ)選項(xiàng)，比如分布式文件存儲(chǔ)(DFS)、云、結(jié)構(gòu)化數(shù)據(jù)源、NoSQL等。分析層這是從數(shù)據(jù)中提取業(yè)務(wù)洞察的層：分析層實(shí)體識(shí)別—負(fù)責(zé)識(shí)別和填充上下文實(shí)體。這是一個(gè)復(fù)雜的任務(wù)，需要高效的高性能流程。數(shù)據(jù)整理組件應(yīng)為這個(gè)實(shí)體識(shí)別組件提供補(bǔ)充，將數(shù)據(jù)修改為需要的格式。分析引擎將需要上下文實(shí)體來(lái)執(zhí)行分析。分析引擎—使用其他組件（具體來(lái)講，包括實(shí)體鑒別、模型管理和分析算法）來(lái)處理和執(zhí)行分析。分析引擎可具有支持并行處理的各種不同的工作流、算法和工具。模型管理—負(fù)責(zé)維護(hù)各種統(tǒng)計(jì)模型，驗(yàn)證和檢驗(yàn)這些模型，通過(guò)持續(xù)培訓(xùn)模型來(lái)提高準(zhǔn)確性。然后，模型管理組件會(huì)推廣這些模型，它們可供實(shí)體識(shí)別或分析引擎組件使用。使用層這一層使用了從分析應(yīng)用程序獲取的業(yè)務(wù)洞察。分析的結(jié)果由組織內(nèi)的各個(gè)用戶和組織外部的實(shí)體（比如客戶、供應(yīng)商、合作伙伴和提供商）使用。此洞察可用于針對(duì)客戶提供產(chǎn)品營(yíng)銷信息。例如，借助從分析中獲取的洞察，公司可以使用客戶偏好數(shù)據(jù)和位置感知，在客戶經(jīng)過(guò)通道或店鋪時(shí)向他們提供個(gè)性化的營(yíng)銷信息。該洞察可用于檢測(cè)欺詐，實(shí)時(shí)攔截交易，并將它們與使用已存儲(chǔ)在企業(yè)中的數(shù)據(jù)構(gòu)建的視圖進(jìn)行關(guān)聯(lián)。在欺詐性交易發(fā)生時(shí)，可以告知客戶可能存在欺詐，以便及時(shí)采取更正操作。此外，可以根據(jù)在數(shù)據(jù)改動(dòng)層完成的分析來(lái)觸發(fā)業(yè)務(wù)流程?？梢詥?dòng)自動(dòng)化的步驟—例如，如果客戶接受了一條可自動(dòng)觸發(fā)的營(yíng)銷信息，則需要?jiǎng)?chuàng)建一個(gè)新訂單，如果客戶報(bào)告了欺詐，那么可以觸發(fā)對(duì)信用卡使用的阻止。分析的輸出也可由推薦引擎使用，該引擎可將客戶與他們喜歡的產(chǎn)品相匹配。推薦引擎分析可用的信息，并提供個(gè)性化且實(shí)時(shí)的推薦。使用層還為內(nèi)部用戶提供了理解、找到和導(dǎo)航企業(yè)內(nèi)外的鏈鎖信息的能力。對(duì)于內(nèi)部使用者，為業(yè)務(wù)用戶構(gòu)建報(bào)告和儀表板的能力使得利益相關(guān)者能夠制定精明的決策并設(shè)計(jì)恰當(dāng)?shù)膽?zhàn)略。為了提高操作有效性，可以從數(shù)據(jù)中生成實(shí)時(shí)業(yè)務(wù)警告，而且可以監(jiān)視操作性的關(guān)鍵績(jī)效指標(biāo)：交易攔截器—此組件可實(shí)時(shí)攔截高容量交易，將它們轉(zhuǎn)換為一種容易被分析層理解的實(shí)時(shí)格式，以便在傳入數(shù)據(jù)上執(zhí)行實(shí)時(shí)分析。事務(wù)攔截器應(yīng)能夠集成并處理來(lái)自各種來(lái)源的數(shù)據(jù)，比如傳感器、智能儀表、麥克風(fēng)、攝像頭、GPS設(shè)備、ATM和圖像掃描儀?？梢允褂酶鞣N類型的適配器和API來(lái)連接到數(shù)據(jù)源。也可以使用各種加速器來(lái)簡(jiǎn)化開發(fā)，比如實(shí)時(shí)優(yōu)化和流分析，視頻分析，銀行、保險(xiǎn)、零售、電信和公共運(yùn)輸領(lǐng)域的加速器，社交媒體分析，以及情緒分析。業(yè)務(wù)流程管理流程—來(lái)自分析層的洞察可供業(yè)務(wù)流程執(zhí)行語(yǔ)言(BPEL)流程、API或其他業(yè)務(wù)流程使用，通過(guò)自動(dòng)化上游和下游IT應(yīng)用程序、人員和流程的功能，進(jìn)一步獲取業(yè)務(wù)價(jià)值。實(shí)時(shí)監(jiān)視—可以使用從分析中得出的數(shù)據(jù)來(lái)生成實(shí)時(shí)警告。可以將警告發(fā)送給感興趣的使用者和設(shè)備，比如智能電話和平板電腦?？梢允褂脧姆治鼋M件生成的數(shù)據(jù)洞察，定義并監(jiān)視關(guān)鍵績(jī)效指標(biāo)，以便確定操作有效性。實(shí)時(shí)數(shù)據(jù)可從各種來(lái)源以儀表板的形式向業(yè)務(wù)用戶公開，以便監(jiān)視系統(tǒng)的健康或度量營(yíng)銷活動(dòng)的有效性。報(bào)告引擎—生成與傳統(tǒng)商業(yè)智能報(bào)告類似的報(bào)告的能力至關(guān)重要。用戶可基于從分析層中得到的洞察，創(chuàng)建臨時(shí)報(bào)告、計(jì)劃的報(bào)告或自助查詢和分析。推薦引擎—基于來(lái)自分析層的分析結(jié)果，推薦引擎可向購(gòu)物者提供實(shí)時(shí)的、相關(guān)的和個(gè)性化的推薦，提高電子商務(wù)交易中的轉(zhuǎn)換率和每個(gè)訂單的平均價(jià)值。該引擎實(shí)時(shí)處理可用信息并動(dòng)態(tài)地響應(yīng)每個(gè)用戶，響應(yīng)基于用戶的實(shí)時(shí)活動(dòng)、存儲(chǔ)在CRM系統(tǒng)中的注冊(cè)客戶信息，以及非注冊(cè)客戶的社交概況?？梢暬桶l(fā)現(xiàn)—數(shù)據(jù)可跨企業(yè)內(nèi)外的各種聯(lián)邦的數(shù)據(jù)源進(jìn)行導(dǎo)航。數(shù)據(jù)可能具有不同的內(nèi)容和格式，所有數(shù)據(jù)（結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化）可組合來(lái)進(jìn)行可視化并提供給用戶。此能力使得組織能夠?qū)⑵鋫鹘y(tǒng)的企業(yè)內(nèi)容（包含在企業(yè)內(nèi)容管理系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)中）與新的社交內(nèi)容（例如tweet和博客文章）組合到單個(gè)用戶界面中。垂直層影響邏輯層（大數(shù)據(jù)來(lái)源、數(shù)據(jù)改動(dòng)和存儲(chǔ)、分析和使用層）的所有組件的各方面都包含在垂直層中：信息集成大數(shù)據(jù)治理系統(tǒng)管理服務(wù)質(zhì)量信息集成大數(shù)據(jù)應(yīng)用程序從各種數(shù)據(jù)起源、提供程序和數(shù)據(jù)源獲取數(shù)據(jù)，并存儲(chǔ)在HDFS、NoSQL和MongoDB等數(shù)據(jù)存儲(chǔ)系統(tǒng)中。這個(gè)垂直層可供各種組件使用（例如數(shù)據(jù)獲取、數(shù)據(jù)整理、模型管理和交易攔截器），負(fù)責(zé)連接到各種數(shù)據(jù)源。集成將具有不同特征（例如協(xié)議和連接性）的數(shù)據(jù)源的信息，需要高質(zhì)量的連接器和適配器?？梢允褂眉铀倨鬟B接到大多數(shù)已知和廣泛使用的來(lái)源。這些加速器包括社交媒體適配器和天氣數(shù)據(jù)適配器。各種組件還可以使用這一層在大數(shù)據(jù)存儲(chǔ)中存儲(chǔ)信息，從大數(shù)據(jù)存儲(chǔ)中檢索信息，以便處理這些信息。大多數(shù)大數(shù)據(jù)存儲(chǔ)都提供了服務(wù)和API來(lái)存儲(chǔ)和檢索該信息。大數(shù)據(jù)治理數(shù)據(jù)治理涉及到定義指南來(lái)幫助企業(yè)制定有關(guān)數(shù)據(jù)的正確決策。大數(shù)據(jù)治理有助于處理企業(yè)內(nèi)或從外部來(lái)源傳入的數(shù)據(jù)的復(fù)雜性、量和種類。在將數(shù)據(jù)傳入企業(yè)進(jìn)行處理、存儲(chǔ)、分析和清除或歸檔時(shí)，需要強(qiáng)有力的指南和流程來(lái)監(jiān)視、構(gòu)建、存儲(chǔ)和保護(hù)數(shù)據(jù)。除了正常的數(shù)據(jù)治理考慮因素之外，大數(shù)據(jù)治理還包含其他因素：管理各種格式的大量數(shù)據(jù)。持續(xù)培訓(xùn)和管理必要的統(tǒng)計(jì)模型，以便對(duì)非結(jié)構(gòu)化數(shù)據(jù)和分析進(jìn)行預(yù)處理。請(qǐng)記住，設(shè)置處理非結(jié)構(gòu)化數(shù)據(jù)時(shí)的重要一步。為外部數(shù)據(jù)設(shè)置有關(guān)其保留和使用的策略和合規(guī)性制度。定義數(shù)據(jù)歸檔和清除策略。創(chuàng)建如何跨各種系統(tǒng)復(fù)制數(shù)據(jù)的策略。設(shè)置數(shù)據(jù)加密策略。服務(wù)質(zhì)量層此層復(fù)雜定義數(shù)據(jù)質(zhì)量、圍繞隱私和安全性的策略、數(shù)據(jù)頻率、每次抓取的數(shù)據(jù)大小和數(shù)據(jù)過(guò)濾器：數(shù)據(jù)質(zhì)量完整地識(shí)別所有必要的數(shù)據(jù)元素以可接受的新鮮度提供數(shù)據(jù)的時(shí)間軸依照數(shù)據(jù)準(zhǔn)確性規(guī)則來(lái)驗(yàn)證數(shù)據(jù)的準(zhǔn)確性采用一種通用語(yǔ)言（數(shù)據(jù)元組滿足使用簡(jiǎn)單業(yè)務(wù)語(yǔ)言所表達(dá)的需求）依據(jù)數(shù)據(jù)一致性規(guī)則驗(yàn)證來(lái)自多個(gè)系統(tǒng)的數(shù)據(jù)一致性在滿足數(shù)據(jù)規(guī)范和信息架構(gòu)指南基礎(chǔ)上的技術(shù)符合性圍繞隱私和安全的策略

需要策略來(lái)保護(hù)敏感數(shù)據(jù)。從外部機(jī)構(gòu)和提供程序獲取的數(shù)據(jù)可能包含敏感數(shù)據(jù)（比如Facebook用戶的聯(lián)系信息或產(chǎn)品定價(jià)信息）。數(shù)據(jù)可以來(lái)源于不同的地區(qū)和國(guó)家，但必須進(jìn)行相應(yīng)的處理。必須制定有關(guān)數(shù)據(jù)屏蔽和這類數(shù)據(jù)的存儲(chǔ)的決策?？紤]以下數(shù)據(jù)訪問(wèn)策略：數(shù)據(jù)可用性數(shù)據(jù)關(guān)鍵性數(shù)據(jù)真實(shí)性數(shù)據(jù)共享和發(fā)布數(shù)據(jù)存儲(chǔ)和保留，包括能否存儲(chǔ)外部數(shù)據(jù)等問(wèn)題。如果能夠存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)可存儲(chǔ)多長(zhǎng)時(shí)間？可存儲(chǔ)何種類型的數(shù)據(jù)？數(shù)據(jù)提供程序約束（政策、技術(shù)和地區(qū)）社交媒體使用條款（參見(jiàn)

參考資料）數(shù)據(jù)頻率

提供新鮮數(shù)據(jù)的頻率是多少？它是按需、連續(xù)還是離線的？抓取的數(shù)據(jù)大小

此屬性有助于定義可抓取的數(shù)據(jù)以及每次抓取后可使用的數(shù)據(jù)大小。過(guò)濾器

標(biāo)準(zhǔn)過(guò)濾器會(huì)刪除不想要的數(shù)據(jù)和數(shù)據(jù)中的干擾數(shù)據(jù)，僅留下分析所需的數(shù)據(jù)。系統(tǒng)管理系統(tǒng)管理對(duì)大數(shù)據(jù)至關(guān)重要，因?yàn)樗婕暗娇缙髽I(yè)集群和邊界的許多系統(tǒng)。對(duì)整個(gè)大數(shù)據(jù)生態(tài)系統(tǒng)的健康的監(jiān)視包括：管理系統(tǒng)日志、虛擬機(jī)、應(yīng)用程序和其他設(shè)備關(guān)聯(lián)各種日志，幫助調(diào)查和監(jiān)視具體情形監(jiān)視實(shí)時(shí)警告和通知使用顯示各種參數(shù)的實(shí)時(shí)儀表板引用有關(guān)系統(tǒng)的報(bào)告和詳細(xì)分析設(shè)定和遵守服務(wù)水平協(xié)議管理存儲(chǔ)和容量歸檔和管理歸檔檢索執(zhí)行系統(tǒng)恢復(fù)、集群管理和網(wǎng)絡(luò)管理策略管理

功能應(yīng)用前面提到的技術(shù)架構(gòu)的這些層定義了各種組件，并對(duì)它們進(jìn)行分類，這些組件必須處理某個(gè)給定業(yè)務(wù)用例的功能性和非功能性需求。本文基于層和組件的概念，介紹了解決方案中所用的典型原子模式和復(fù)合模式。通過(guò)將所提出的解決方案映射到此處提供的模式，讓用戶了解需要如何設(shè)計(jì)組件，以及從功能角度考慮，應(yīng)該將它們放置在何處。模式有助于定義大數(shù)據(jù)解決方案的架構(gòu)。利用原子模式和復(fù)合模式可以幫助進(jìn)一步完善大數(shù)據(jù)解決方案的每個(gè)組件的角色和責(zé)任。 原子模式對(duì)于大數(shù)據(jù)上下文中經(jīng)常出現(xiàn)的問(wèn)題，原子模式

有助于識(shí)別數(shù)據(jù)如何是被使用、處理、存儲(chǔ)和訪問(wèn)的。它們還有助于識(shí)別所需的組件。訪問(wèn)、存儲(chǔ)和處理來(lái)自不同數(shù)據(jù)源的多種數(shù)據(jù)需要不同的方法。每種模式都用于滿足特定的需求：例如，可視化、歷史數(shù)據(jù)分析、社交媒體數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。可以將多種原子模式結(jié)合使用，組成一個(gè)復(fù)合模式。這些原子模式?jīng)]有進(jìn)行分層或排序。例如，可視化模式可以與社交媒體的數(shù)據(jù)訪問(wèn)模式直接交互，可視化模式還可以與高級(jí)分析處理模式進(jìn)行交互。數(shù)據(jù)使用組件這種類型的模式處理使用數(shù)據(jù)分析結(jié)果的各種方式。數(shù)據(jù)使用模式可以滿足幾個(gè)需求。可視化組件可視化數(shù)據(jù)的傳統(tǒng)方式以圖表、儀表板和摘要報(bào)告為基礎(chǔ)。這些傳統(tǒng)的方法并不總是用來(lái)可視化數(shù)據(jù)的最佳方式。大數(shù)據(jù)可視化的典型需求（包括新出現(xiàn)的需求）如下所示：執(zhí)行流數(shù)據(jù)的實(shí)時(shí)分析和顯示基于上下文，以交互方式挖掘數(shù)據(jù)執(zhí)行高級(jí)搜索，并獲得建議并行可視化信息獲得先進(jìn)的硬件，支持未來(lái)的可視化需求正在進(jìn)行研究，以確定人類和機(jī)器如何使用大數(shù)據(jù)洞察。這些挑戰(zhàn)包括所涉及的數(shù)據(jù)量，并且需要將數(shù)據(jù)與上下文相關(guān)聯(lián)。必須在適當(dāng)?shù)纳舷挛闹酗@示洞察?？梢暬瘮?shù)據(jù)的目的是為了更容易、更直觀地使用數(shù)據(jù)，因此報(bào)告和儀表板可能提供全高清的觀看效果和3-D互動(dòng)視頻，并且可以為用戶提供使用應(yīng)用程序控制業(yè)務(wù)活動(dòng)和結(jié)果的能力。即席發(fā)現(xiàn)組件創(chuàng)建滿足所有業(yè)務(wù)需求的標(biāo)準(zhǔn)報(bào)告往往是不可行的，因?yàn)槠髽I(yè)的業(yè)務(wù)數(shù)據(jù)查詢會(huì)有不同的需求。用戶在查找特定信息時(shí)，可能需要獲得根據(jù)問(wèn)題的上下文執(zhí)行即席查詢的能力。即席分析可以幫助數(shù)據(jù)專家和關(guān)鍵業(yè)務(wù)用戶了解業(yè)務(wù)數(shù)據(jù)的行為。即席處理中涉及的復(fù)雜性來(lái)自多種因素：多個(gè)數(shù)據(jù)源可用于相同的域。單一的查詢可以有多個(gè)結(jié)果。輸出可以是靜態(tài)的，并具有多種格式（視頻、音頻、圖形和文本）。輸出可以是動(dòng)態(tài)和交互式的。數(shù)據(jù)轉(zhuǎn)儲(chǔ)組件在大數(shù)據(jù)的初步探索中，許多企業(yè)選擇使用現(xiàn)有的分析平臺(tái)來(lái)降低成本，并依賴于現(xiàn)有的技能。加強(qiáng)現(xiàn)有的數(shù)據(jù)存儲(chǔ)有助于拓寬可用于現(xiàn)有分析的數(shù)據(jù)的范圍，包括駐留在組織邊界內(nèi)外的數(shù)據(jù)，比如社交媒體數(shù)據(jù)，它可以豐富主數(shù)據(jù)。通過(guò)拓寬數(shù)據(jù)范圍，使之包含現(xiàn)有存儲(chǔ)中的新事實(shí)表、維度和主數(shù)據(jù)，并從社交媒體獲取客戶數(shù)據(jù)，組織可以獲得更深入的客戶洞察。但要牢記的是，新的數(shù)據(jù)集通常比較大，而現(xiàn)有的提取、轉(zhuǎn)換和加載工具可能不足以處理它。您可能需要使用具有大規(guī)模并行處理能力的高級(jí)工具來(lái)解決數(shù)據(jù)的數(shù)量、多樣性、真實(shí)性和速度特征。信息推送/通知組件大數(shù)據(jù)洞察使人類、企業(yè)和機(jī)器可以通過(guò)使用事件通知而立即采取行動(dòng)。通知平臺(tái)必須能夠處理及時(shí)發(fā)送出去的預(yù)計(jì)數(shù)量的通知。這些通知與大量郵件或群發(fā)短信不同，因?yàn)閮?nèi)容一般是特定于使用者的。例如，推薦引擎可以提供有關(guān)世界各地的龐大客戶群的洞察，而且可以將通知發(fā)送給這樣的客戶。自動(dòng)響應(yīng)組件從大數(shù)據(jù)獲得的業(yè)務(wù)洞察，可用于觸發(fā)或啟動(dòng)其他業(yè)務(wù)流程或事務(wù)數(shù)據(jù)處理組件無(wú)論數(shù)據(jù)是處于靜止?fàn)顟B(tài)還是在運(yùn)動(dòng)中，都可以處理大數(shù)據(jù)。具體情況取決于分析的復(fù)雜性，有可能不需要對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。這種模式解決了對(duì)大數(shù)據(jù)進(jìn)行實(shí)時(shí)、近實(shí)時(shí)或批量處理的方式。以下高級(jí)的大數(shù)據(jù)處理類別適用于大多數(shù)分析。這些類別通常也適用于基于RDBMS的傳統(tǒng)系統(tǒng)。惟一的區(qū)別是龐大規(guī)模的數(shù)據(jù)、多樣性和速度。在處理大數(shù)據(jù)時(shí)，要使用機(jī)器學(xué)習(xí)、復(fù)雜事件處理、事件流處理、決策管理和統(tǒng)計(jì)模型管理等技術(shù)。歷史數(shù)據(jù)分析組件傳統(tǒng)的歷史數(shù)據(jù)分析僅限于預(yù)定義的數(shù)據(jù)時(shí)間段，這通常取決于數(shù)據(jù)保留策略。由于處理和存儲(chǔ)的限制，超出此時(shí)間段的數(shù)據(jù)通常會(huì)被歸檔或清除?；贖adoop的系統(tǒng)和其他等效的系統(tǒng)可以克服這些限制，因?yàn)樗鼈兙哂胸S富的存儲(chǔ)以及分布式大規(guī)模并行處理能力。運(yùn)營(yíng)、業(yè)務(wù)和數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)被移動(dòng)到大數(shù)據(jù)存儲(chǔ)，您通過(guò)使用大數(shù)據(jù)平臺(tái)功能對(duì)它們進(jìn)行處理。歷史分析包括分析給定時(shí)間段、季節(jié)組合和產(chǎn)品的歷史趨勢(shì)，并與最新的可用數(shù)據(jù)進(jìn)行比較。為了能夠存儲(chǔ)和處理如此龐大的數(shù)據(jù)，您可以使用HDFS、NoSQL、SPSS?和InfoSphere?BigInsights?。高級(jí)分析組件大數(shù)據(jù)提供了很多實(shí)現(xiàn)創(chuàng)意洞察的機(jī)會(huì)。不同的數(shù)據(jù)集可以在多種上下文中存在關(guān)聯(lián)。發(fā)現(xiàn)這些關(guān)系需要?jiǎng)?chuàng)新的復(fù)雜算法和技術(shù)。高級(jí)分析包括預(yù)測(cè)、決策、推理過(guò)程、模擬、上下文信息標(biāo)識(shí)和實(shí)體解析。高級(jí)分析的應(yīng)用包括生物統(tǒng)計(jì)數(shù)據(jù)分析（例如，DNA分析）、空間分析、基于位置的分析、科學(xué)分析、研究，等等。高級(jí)分析要求大量的計(jì)算來(lái)管理大量的數(shù)據(jù)。數(shù)據(jù)專家可以指導(dǎo)您識(shí)別合適的技術(shù)、算法和數(shù)據(jù)集，以及在給定上下文中解決問(wèn)題所需的數(shù)據(jù)源。比如SPSS、InfoSphereStreams和InfoSphereBigInsights等工具提供了這類功能。這些工具訪問(wèn)存儲(chǔ)在大數(shù)據(jù)存儲(chǔ)系統(tǒng)（比如BigTable、HBase，等等）中的非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)（例如，JSON數(shù)據(jù)）。預(yù)處理原始數(shù)據(jù)組件大數(shù)據(jù)解決方案主要由基于MapReduce的Hadoop系統(tǒng)和技術(shù)組成，MapReduce是開箱即用的分布式存儲(chǔ)和處理解決方案。然而，從非結(jié)構(gòu)化數(shù)據(jù)提取數(shù)據(jù)（例如，圖像、音頻、視頻、二進(jìn)制提要，甚至是文本）是一項(xiàng)復(fù)雜的任務(wù)，需要具有機(jī)器學(xué)習(xí)能力并掌握自然語(yǔ)言處理等技術(shù)。另一個(gè)主要挑戰(zhàn)是如何驗(yàn)證這些技術(shù)和算法的輸出的準(zhǔn)確度和正確性。要對(duì)任何數(shù)據(jù)執(zhí)行分析，數(shù)據(jù)都必須是某種結(jié)構(gòu)化格式。從多個(gè)數(shù)據(jù)源訪問(wèn)的非結(jié)構(gòu)化數(shù)據(jù)可以按原樣存儲(chǔ)，然后被轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)（例如JSON），并被再次存儲(chǔ)到大數(shù)據(jù)存儲(chǔ)系統(tǒng)中。非結(jié)構(gòu)化文本可以轉(zhuǎn)換成半結(jié)構(gòu)化或結(jié)構(gòu)化數(shù)據(jù)。同樣，圖像、音頻和視頻數(shù)據(jù)需要轉(zhuǎn)換成可用于分析的格式。此外，使用預(yù)測(cè)和統(tǒng)計(jì)算法的高級(jí)分析的準(zhǔn)確性和正確性取決于用來(lái)訓(xùn)練其模型的數(shù)據(jù)和算法的數(shù)量。下面的列表顯示了將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)所需的算法和活動(dòng)：文檔和文本分類特征提取圖像和文本分割關(guān)聯(lián)特征、變量和時(shí)間，然后提取包含時(shí)間的值輸出的準(zhǔn)確度檢查使用了混淆矩陣（confusionmatrix）等技術(shù)和其他手動(dòng)活動(dòng)數(shù)據(jù)專家可以幫助用戶選擇合適的技術(shù)和算法。即席分析組件處理大數(shù)據(jù)的即席查詢所帶來(lái)的挑戰(zhàn)不同于對(duì)結(jié)構(gòu)化數(shù)據(jù)執(zhí)行即席查詢時(shí)所面臨的挑戰(zhàn)，由于數(shù)據(jù)源和數(shù)據(jù)格式不是固定的，所以需要使用不同的機(jī)制來(lái)檢索和處理數(shù)據(jù)。雖然大數(shù)據(jù)供應(yīng)商可以處理簡(jiǎn)單的即席查詢，但在大多數(shù)情況下，查詢是復(fù)雜的，因?yàn)楸仨氃谶\(yùn)行時(shí)動(dòng)態(tài)地發(fā)現(xiàn)數(shù)據(jù)、算法、格式和實(shí)體解析。所以需要利用數(shù)據(jù)專家和業(yè)務(wù)用戶的專業(yè)知識(shí)來(lái)定義下列任務(wù)所需的分析：識(shí)別并發(fā)現(xiàn)計(jì)算和算法識(shí)別并發(fā)現(xiàn)數(shù)據(jù)源定義所需的可以由計(jì)算使用的格式對(duì)數(shù)據(jù)執(zhí)行并行計(jì)算數(shù)據(jù)訪問(wèn)組件在大數(shù)據(jù)解決方案中，有許多數(shù)據(jù)源，還有很多訪問(wèn)數(shù)據(jù)的方式，本節(jié)將介紹最常見(jiàn)的幾種。web和社交媒體訪問(wèn)組件Internet是提供許多目前可以獲得的洞察的數(shù)據(jù)源。在幾乎所有分析中，都會(huì)用到Web和社交媒體，但獲得這種數(shù)據(jù)需要不同的訪問(wèn)機(jī)制。在所有數(shù)據(jù)源中，因?yàn)閃eb和社交媒體的多樣性、速度和數(shù)量，所以Web和社交媒體是最為復(fù)雜的。網(wǎng)站大約有40-50個(gè)類別，每一個(gè)類別都需要使用不同的方式來(lái)訪問(wèn)數(shù)據(jù)。本節(jié)將列出這些類別，并介紹一些訪問(wèn)機(jī)制。從大數(shù)據(jù)的角度講，高級(jí)的類別是商業(yè)站點(diǎn)、社交媒體站點(diǎn)，以及具有特定和通用組件的站點(diǎn)。有關(guān)的訪問(wèn)機(jī)制見(jiàn)圖3。如果需要的話，在完成預(yù)處理后，可將所訪問(wèn)的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)中。Web和社交媒體訪問(wèn)需要執(zhí)行以下步驟來(lái)訪問(wèn)Web媒體信息。圖大數(shù)據(jù)訪問(wèn)步驟非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)中的Web媒體訪問(wèn)步驟A-1.爬網(wǎng)程序讀取原始數(shù)據(jù)。步驟A-2.數(shù)據(jù)被存儲(chǔ)在非結(jié)構(gòu)化存儲(chǔ)中。Web媒體訪問(wèn)為結(jié)構(gòu)化存儲(chǔ)預(yù)處理數(shù)據(jù)步驟B-1.爬網(wǎng)程序讀取原始數(shù)據(jù)。步驟B-2.對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。步驟B-3.數(shù)據(jù)被存儲(chǔ)在結(jié)構(gòu)化存儲(chǔ)中。Web媒體訪問(wèn)預(yù)處理非結(jié)構(gòu)化數(shù)據(jù)步驟C-1.在極少數(shù)情況下，來(lái)自供應(yīng)商的數(shù)據(jù)可以是非結(jié)構(gòu)化數(shù)據(jù)。步驟C-2.對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。步驟C-3.數(shù)據(jù)被存儲(chǔ)在結(jié)構(gòu)化存儲(chǔ)中。非結(jié)構(gòu)化或結(jié)構(gòu)化數(shù)據(jù)的Web媒體訪問(wèn)步驟D-1.數(shù)據(jù)供應(yīng)商提供結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。步驟D-2.數(shù)據(jù)被存儲(chǔ)在結(jié)構(gòu)化或非結(jié)構(gòu)化存儲(chǔ)中。Web媒體訪問(wèn)預(yù)處理非結(jié)構(gòu)化數(shù)據(jù)步驟E-1.不能使用在存儲(chǔ)時(shí)未經(jīng)過(guò)預(yù)處理的非結(jié)構(gòu)化數(shù)據(jù)，除非它是結(jié)構(gòu)化格式的數(shù)據(jù)。步驟E-2.對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。步驟E-3.經(jīng)過(guò)預(yù)處理的結(jié)構(gòu)化數(shù)據(jù)被存儲(chǔ)在結(jié)構(gòu)化存儲(chǔ)中。如圖所示，數(shù)據(jù)可以直接存儲(chǔ)在存儲(chǔ)器中，或者可以對(duì)它們進(jìn)行預(yù)處理，并將它們轉(zhuǎn)換成一個(gè)中間格式或標(biāo)準(zhǔn)格式，然后再存儲(chǔ)它們。在可以分析數(shù)據(jù)之前，數(shù)據(jù)格式必須可用于實(shí)體解析或用于查詢所需數(shù)據(jù)。這種經(jīng)過(guò)預(yù)處理的數(shù)據(jù)可以存儲(chǔ)在一個(gè)存儲(chǔ)系統(tǒng)中。雖然預(yù)處理通常被認(rèn)為是微不足道的，但這項(xiàng)處理可能非常復(fù)雜和耗時(shí)。物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)的訪問(wèn)組件設(shè)備生成的內(nèi)容包括來(lái)自傳感器的數(shù)據(jù)數(shù)據(jù)是從天氣信息、電氣儀表和污染數(shù)據(jù)等數(shù)據(jù)來(lái)源檢測(cè)到的，并且由傳感器捕獲。這些數(shù)據(jù)可以是照片、視頻、文本和其他二進(jìn)制格式。下圖說(shuō)明了處理機(jī)器生成的數(shù)據(jù)的典型過(guò)程。圖5.設(shè)備生成的數(shù)據(jù)訪問(wèn)圖5說(shuō)明了訪問(wèn)來(lái)自傳感器的數(shù)據(jù)的過(guò)程。由傳感器捕獲的數(shù)據(jù)可以發(fā)送到設(shè)備網(wǎng)關(guān)，設(shè)備網(wǎng)關(guān)會(huì)對(duì)數(shù)據(jù)執(zhí)行一些初始預(yù)處理，并緩沖高速數(shù)據(jù)。機(jī)器生成的數(shù)據(jù)大多為二進(jìn)制格式（音頻、視頻和傳感器讀數(shù)）或文本格式。這樣的數(shù)據(jù)最初可以存儲(chǔ)在存儲(chǔ)系統(tǒng)中，也可以對(duì)它們進(jìn)行預(yù)處理，然后再存儲(chǔ)它們。對(duì)于分析來(lái)說(shuō)，要求執(zhí)行預(yù)處理?；A(chǔ)數(shù)據(jù)(觀測(cè)數(shù)據(jù)和生產(chǎn)數(shù)據(jù))的訪問(wèn)模式可以存儲(chǔ)現(xiàn)有的事務(wù)、運(yùn)營(yíng)和倉(cāng)庫(kù)數(shù)據(jù)，避免清除或歸檔數(shù)據(jù)（因?yàn)榇鎯?chǔ)和處理的限制），或減少在數(shù)據(jù)被其他使用者訪問(wèn)時(shí)對(duì)傳統(tǒng)存儲(chǔ)的負(fù)載。對(duì)于大多數(shù)企業(yè)而言，事務(wù)、運(yùn)營(yíng)、主數(shù)據(jù)和倉(cāng)庫(kù)信息都是所有分析的核心。如果用在Internet上，或者通過(guò)傳感器和智能設(shè)備提供的非結(jié)構(gòu)化數(shù)據(jù)以及外部數(shù)據(jù)來(lái)增強(qiáng)此數(shù)據(jù)，那么可以幫助組織獲得準(zhǔn)確的洞察，并執(zhí)行高級(jí)分析。使用由多個(gè)數(shù)據(jù)庫(kù)廠商提供的標(biāo)準(zhǔn)連接器，事務(wù)和倉(cāng)庫(kù)數(shù)據(jù)可以被推入存儲(chǔ)。預(yù)處理事務(wù)性數(shù)據(jù)要容易得多，因?yàn)閿?shù)據(jù)大多是結(jié)構(gòu)化的?？梢允褂煤?jiǎn)單的提取、轉(zhuǎn)換和加載流程將事務(wù)數(shù)據(jù)移動(dòng)到存儲(chǔ)中。事務(wù)數(shù)據(jù)可以很容易地轉(zhuǎn)換成JSON和CSV等格式。使用Sqoop等工具可以更容易將事務(wù)數(shù)據(jù)推入存儲(chǔ)系統(tǒng)，如HBase和HDFS。數(shù)據(jù)存儲(chǔ)組件存儲(chǔ)模式有助于確定適當(dāng)?shù)拇鎯?chǔ)各種數(shù)據(jù)的類型和格式。數(shù)據(jù)可以按原樣存儲(chǔ)，根據(jù)鍵值對(duì)存儲(chǔ)，或者以預(yù)定義的格式存儲(chǔ)。分布式文件系統(tǒng)（如GFS和HDFS）都能夠存儲(chǔ)任何類型的數(shù)據(jù)。但是，高效地檢索或查詢數(shù)據(jù)的能力會(huì)影響性能。技術(shù)的選擇很重要。分布式非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)組件大部分大數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，而且可以通過(guò)不同的方式針對(duì)不同的上下文提取它所擁有的信息。大多數(shù)時(shí)候，非結(jié)構(gòu)化數(shù)據(jù)必須按原樣并以其原始格式進(jìn)行存儲(chǔ)。這樣的數(shù)據(jù)可以存儲(chǔ)在分布式文件系統(tǒng)（如HDFS）和NoSQL文檔存儲(chǔ)（如MongoDB）中。這些系統(tǒng)提供了檢索非結(jié)構(gòu)化數(shù)據(jù)的有效方法。分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)組件結(jié)構(gòu)化數(shù)據(jù)包括從數(shù)據(jù)源到達(dá)的已經(jīng)是結(jié)構(gòu)化格式的數(shù)據(jù)，以及經(jīng)過(guò)預(yù)處理，被轉(zhuǎn)換為JSON數(shù)據(jù)等格式的非結(jié)構(gòu)化數(shù)據(jù)。必須存儲(chǔ)已經(jīng)過(guò)轉(zhuǎn)換的數(shù)據(jù)，避免從原始數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的頻繁數(shù)據(jù)轉(zhuǎn)換。可以使用Google的BigTable等技術(shù)來(lái)存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)。BigTable是一個(gè)大規(guī)模容錯(cuò)式自我管理系統(tǒng)，包括TB級(jí)的內(nèi)存和PB級(jí)的存儲(chǔ)。Hadoop中的HBase可媲美BigTable。它使用了HDFS作為底層存儲(chǔ)。傳統(tǒng)數(shù)據(jù)存儲(chǔ)組件對(duì)于存儲(chǔ)大數(shù)據(jù)而言，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)并不是最佳選擇，但在企業(yè)執(zhí)行初步數(shù)據(jù)探索的情況下，企業(yè)可能會(huì)選擇使用現(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)、RDBMS系統(tǒng)和其他內(nèi)容存儲(chǔ)。這些現(xiàn)有的存??儲(chǔ)系統(tǒng)可用來(lái)存儲(chǔ)使用大數(shù)據(jù)平臺(tái)消化和過(guò)濾的數(shù)據(jù)。不要認(rèn)為傳統(tǒng)的數(shù)據(jù)存儲(chǔ)系統(tǒng)適用于大數(shù)據(jù)。云存儲(chǔ)組件許多云計(jì)算基礎(chǔ)架構(gòu)供應(yīng)商都有分布式結(jié)構(gòu)化、非結(jié)構(gòu)化的存儲(chǔ)能力。從傳統(tǒng)的配置、維護(hù)、系統(tǒng)管理、編程和建模角度講，大數(shù)據(jù)技術(shù)有點(diǎn)不同。此外，實(shí)現(xiàn)大數(shù)據(jù)解決方案所需的技能既罕見(jiàn)又昂貴。探索大數(shù)據(jù)技術(shù)的企業(yè)可以使用云解決方案來(lái)提供大數(shù)據(jù)的存儲(chǔ)、維護(hù)和系統(tǒng)管理。要存儲(chǔ)的數(shù)據(jù)往往是敏感數(shù)據(jù)，這些數(shù)據(jù)包括醫(yī)療記錄和生物特征數(shù)據(jù)。您需要考慮數(shù)據(jù)安全性、數(shù)據(jù)共享、數(shù)據(jù)治理，以及有關(guān)數(shù)據(jù)的其他政策，在考慮將云作為大數(shù)據(jù)存儲(chǔ)庫(kù)的時(shí)候尤其如此。傳輸大量數(shù)據(jù)的能力也是云存儲(chǔ)的另一個(gè)重要考慮因素。復(fù)合模式原子模式

側(cè)重于提供執(zhí)行各項(xiàng)功能所需的能力。但是，復(fù)合模式

是基于端到端的解決方案進(jìn)行分類的。每個(gè)復(fù)合模式都要考慮一個(gè)或多個(gè)維度。在將復(fù)合模式應(yīng)用到每個(gè)模式時(shí)，會(huì)有許多變化。可以將復(fù)合模式映射到一個(gè)或多個(gè)原子模式，以解決某個(gè)給定的業(yè)務(wù)問(wèn)題。本文所述的復(fù)合模式列表是基于經(jīng)常發(fā)生的典型業(yè)務(wù)問(wèn)題，但這不是復(fù)合模式的完整列表。存儲(chǔ)和探索復(fù)合組件如果業(yè)務(wù)問(wèn)題需要存儲(chǔ)大量新數(shù)據(jù)和現(xiàn)有數(shù)據(jù)，而且先前由于缺乏足夠的存儲(chǔ)和分析能力而一直未使用這些數(shù)據(jù)，那么這種模式就非常有用。該模式旨在緩解對(duì)現(xiàn)有數(shù)據(jù)存儲(chǔ)的負(fù)載。所存儲(chǔ)的數(shù)據(jù)可用于初始勘探和即席發(fā)現(xiàn)。用戶可以推演報(bào)告，通過(guò)進(jìn)一步的處理來(lái)分析數(shù)據(jù)的質(zhì)量和價(jià)值。您可以使用ETL工具來(lái)預(yù)處理和凈化原始數(shù)據(jù)，然后再進(jìn)行任何類型的分析。圖6.存儲(chǔ)和探索復(fù)合模式圖6說(shuō)明了這種模式的多個(gè)維度。數(shù)據(jù)的使用目的可能只是存儲(chǔ)它，或處理和使用它。僅存儲(chǔ)的示例是，數(shù)據(jù)的獲取和存儲(chǔ)只是為了將來(lái)能夠滿足合規(guī)性或法律的要求。在處理和使用的情況下，分析的結(jié)果可以被處理和使用?？梢詮淖罱l(fā)現(xiàn)的來(lái)源或從現(xiàn)有的數(shù)據(jù)存儲(chǔ)訪問(wèn)數(shù)據(jù)。專業(yè)分析和預(yù)測(cè)分析組件使用此模式的情況是，使用多種處理技術(shù)執(zhí)行分析，因此，可以用新洞察豐富現(xiàn)有數(shù)據(jù)，或創(chuàng)建可由各種用戶使用的輸出。該分析可以在事件發(fā)生的同時(shí)實(shí)時(shí)發(fā)生，或使用批量模式，根據(jù)收集到的數(shù)據(jù)獲得洞察。作為可以分析的靜態(tài)數(shù)據(jù)的示例，某電信公司可能構(gòu)建客戶流失模型，包括分析呼叫數(shù)據(jù)記錄、社交數(shù)據(jù)和事務(wù)數(shù)據(jù)。作為分析運(yùn)動(dòng)數(shù)據(jù)的示例，預(yù)測(cè)某個(gè)給定事務(wù)正在經(jīng)歷欺詐的需求必須實(shí)時(shí)或近實(shí)時(shí)地發(fā)生。圖7.專用和預(yù)測(cè)分析復(fù)合模式圖7說(shuō)明了這種模式的多個(gè)維度。所執(zhí)行的處理可以是標(biāo)準(zhǔn)的或預(yù)測(cè)性的，并且可以包括決策。此外，可以將通知發(fā)送給與特定任務(wù)或消息有關(guān)的系統(tǒng)或用戶。該通知可以使用可視化功能。該處理可實(shí)時(shí)發(fā)生或以批量模式發(fā)生。OLAP在線分析大數(shù)據(jù)解決方案的最高級(jí)形式是，對(duì)數(shù)據(jù)集執(zhí)行分析，并且基于可重復(fù)的過(guò)去的行動(dòng)或行動(dòng)矩陣來(lái)暗示行動(dòng)。該操作可以是手動(dòng)、半自動(dòng)或全自動(dòng)的?；A(chǔ)分析需要高度準(zhǔn)確。行動(dòng)是預(yù)定義的，分析的結(jié)果被映射到行動(dòng)?？刹僮鞣治鲋兴婕暗牡湫筒襟E是：分析數(shù)據(jù)以獲得洞察。制定決策。激活相應(yīng)的渠道，對(duì)正確的使用者采取行動(dòng)。圖8.可操作的分析復(fù)合模式圖8說(shuō)明該分析可以是手動(dòng)、半自動(dòng)或全自動(dòng)的。如圖中的說(shuō)明所示，它使用了原子模式。手動(dòng)操作

意味著系統(tǒng)基于分析的結(jié)果來(lái)提供建議操作，并由人類決定和執(zhí)行操作。半自動(dòng)

意味著，分析建議操作，但不需要通過(guò)人類干預(yù)來(lái)啟動(dòng)操作，或從一組建議的操作中進(jìn)行選擇。全自動(dòng)

表示在決策之后，系統(tǒng)立即執(zhí)行操作。例如，在設(shè)備被預(yù)測(cè)會(huì)發(fā)生故障之后，系統(tǒng)可以自動(dòng)創(chuàng)建一個(gè)工作訂單。原子模式和符合模式的映射下面的矩陣顯示了如何將原子模式映射到復(fù)合模式，復(fù)合模式是原子模式的組合。每個(gè)復(fù)合模式都被設(shè)計(jì)為針對(duì)具有一組特定特征的數(shù)據(jù)在特定情況下使用。矩陣顯示了模式的典型組合。必須對(duì)模式進(jìn)行調(diào)整，以滿足特定的情況和需求。在矩陣中，按照從最簡(jiǎn)單到最復(fù)雜的順序列出了復(fù)合模式。“storeandexplore（存儲(chǔ)和探索）”模式是最簡(jiǎn)單的。圖9.復(fù)合模式對(duì)原子模式的映射圖10.將原子模式映射到架構(gòu)層解決方案模式（模擬應(yīng)用場(chǎng)景）技術(shù)架構(gòu)實(shí)現(xiàn)方案概述技術(shù)架構(gòu)的關(guān)鍵問(wèn)題hadoop此方案基于開源Apache

Hadoop的框架實(shí)現(xiàn)。因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributed），簡(jiǎn)稱HDFS。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上數(shù)據(jù)庫(kù)此方案實(shí)際上是綜合利用傳統(tǒng)數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)、NOSQL等多種數(shù)據(jù)庫(kù)組合。傳統(tǒng)的數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)用于存儲(chǔ)結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，NOSQL數(shù)據(jù)庫(kù)用于存儲(chǔ)非結(jié)構(gòu)化的數(shù)據(jù)。之所以選擇組合的多數(shù)據(jù)庫(kù)并存方案，主要是考慮到氣象行業(yè)的數(shù)據(jù)存儲(chǔ)現(xiàn)狀比較復(fù)雜，在大叔據(jù)項(xiàng)目實(shí)施過(guò)程中很多分析是需要傳統(tǒng)數(shù)據(jù)和文件分析同時(shí)進(jìn)行的。另外，從NOSQL數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)需要一個(gè)緩沖處理。當(dāng)然，這種混合使用的方案會(huì)要求大量的ETL過(guò)程來(lái)進(jìn)行數(shù)據(jù)的轉(zhuǎn)換和存儲(chǔ)。流計(jì)算在傳統(tǒng)的數(shù)據(jù)分析策略中，數(shù)據(jù)被收集到一個(gè)數(shù)據(jù)庫(kù)中，并被搜索或查詢答案。這種分析方法更多地依賴于數(shù)據(jù)庫(kù)平臺(tái)的資源。Streams

計(jì)算軟件，這是一個(gè)突破性的移動(dòng)數(shù)據(jù)分析平臺(tái)。流計(jì)算動(dòng)態(tài)收集多個(gè)數(shù)據(jù)流，使用先進(jìn)的算法來(lái)提供近乎瞬時(shí)的分析。，流計(jì)算顛覆了這種策略，可用于需要立即作出決定的復(fù)雜動(dòng)態(tài)情況。數(shù)據(jù)治理分布式存儲(chǔ)與分布式應(yīng)用服務(wù)平臺(tái)的硬件架構(gòu)與調(diào)整數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)NOSQL數(shù)據(jù)庫(kù)數(shù)據(jù)集成工具數(shù)據(jù)分析軟件Web應(yīng)用以及Web開發(fā)的關(guān)鍵問(wèn)題我們的研發(fā)策略效益目前的形勢(shì)針對(duì)目前直接的應(yīng)用需求技術(shù)儲(chǔ)備與項(xiàng)目應(yīng)用如何保證將來(lái)的擴(kuò)展附錄資料：不需要的可以自行刪除大數(shù)據(jù)挖掘技術(shù)之DM經(jīng)典模型（下）數(shù)據(jù)分析微信公眾號(hào)datadw——關(guān)注你想了解的，分享你需要的。接著上篇大數(shù)據(jù)挖掘技術(shù)之DM經(jīng)典模型（上）文章，接下來(lái)我們將探討樸素貝葉斯模型、線性回歸、多元回歸、邏輯回歸分析等模型。4、樸素貝葉斯模型表查詢模型簡(jiǎn)單有效，但是存在一個(gè)問(wèn)題。隨著輸入數(shù)量的額增加，每個(gè)單元格中訓(xùn)練樣本的數(shù)量會(huì)迅速減少。如果維度為2，且每一維有10個(gè)不同的變量，那么就需要100個(gè)單元格，而當(dāng)有3個(gè)維度時(shí)，就需要1000個(gè)單元格，4個(gè)維度就是10000.這樣成指數(shù)級(jí)的增長(zhǎng)，哪怕的傳統(tǒng)數(shù)據(jù)挖掘中都會(huì)遇到明顯瓶頸。當(dāng)試圖預(yù)測(cè)某一個(gè)概率值時(shí)，樸素貝葉斯模型就提供這一辦法?；舅枷耄好總€(gè)輸入變量本身就包含一些預(yù)測(cè)需要的信息。比如目標(biāo)變量是取消業(yè)務(wù)的概率，解釋變量是市場(chǎng)、獲取渠道、初始信用評(píng)分、利率計(jì)劃、電話號(hào)碼類型、手機(jī)號(hào)以及客戶年齡。這些變量都具有預(yù)測(cè)能力。根據(jù)取消率的顯著差異性，可將每個(gè)變量劃分在不同的范圍中。簡(jiǎn)單理解：條件概率是指給定B的條件下A的概率以及給定A的條件下B的概率。解釋：給定B的條件下A發(fā)生的概率，等于給定A的條件下B發(fā)生的概率乘以A和B發(fā)生的概率的比例。如果A代表停止續(xù)簽，B代表使用黑莓手機(jī)，然后給定使用黑莓手機(jī)的條件下停止續(xù)簽的概率，就是給定停止續(xù)簽的條件下使用黑莓手機(jī)的概率乘以總體停止續(xù)簽的概率與總體使用黑莓手機(jī)的概率之比。4.1、概率、幾率和釋然·概率：0到1之間的一個(gè)數(shù)字，表示一個(gè)特定結(jié)果發(fā)生的可能性。一種估計(jì)結(jié)果概率的方法是計(jì)算樣本數(shù)據(jù)中出現(xiàn)結(jié)果次數(shù)的百分比?！茁剩耗骋惶囟ńY(jié)果發(fā)生于不發(fā)生的概率比。如果一個(gè)事件發(fā)生的概率是0.2，那么不發(fā)生的概率是0.8。那么其發(fā)生的幾率就是1/4。幾率的取值是0到無(wú)窮?！に迫唬簝蓚€(gè)相關(guān)的條件概率比。即給定B發(fā)生的情況下，某一特定結(jié)果A發(fā)生的概率和給定B不發(fā)生的情況下A發(fā)生的概率之比。4.2、樸素貝葉斯計(jì)算對(duì)任意數(shù)量屬性中的每一個(gè)屬性，樸素貝葉斯公式都將目標(biāo)事件的幾率與該事件的似然聯(lián)系起來(lái)?；氐交跔I(yíng)銷市場(chǎng)、渠道獲取、最初信用評(píng)分、費(fèi)率計(jì)算、電話號(hào)碼類型、手機(jī)型號(hào)以及客戶年齡來(lái)預(yù)測(cè)客戶流失的例子。例如上面談到的黑莓手機(jī)續(xù)簽的案例，我們關(guān)注的是。1、停止續(xù)簽的總體幾率。2、黑莓手機(jī)用戶停止的似然。3、在整個(gè)州市場(chǎng)停止續(xù)簽的似然。之所以定義為“樸素”，是基于所有似然相乘都基于輸入變量相互獨(dú)立的假設(shè)。在這個(gè)案例中，假設(shè)的是使用黑莓手機(jī)的似然與市場(chǎng)獨(dú)立（并且存在于該州的似然與手機(jī)類型獨(dú)立）。而在實(shí)際中，這種真正相互獨(dú)立的情況很少見(jiàn)。樸素貝葉斯模型最吸引人的點(diǎn)：對(duì)于待評(píng)分的觀測(cè)，如果缺失某些輸入值，可以簡(jiǎn)單地將缺失的似然從模型中去掉。意味著，包含那些并不是對(duì)所有有用都可用的輸入（用戶年齡），但如果知道這些變量，它們就有用。給定不同輸入的概率，且這些輸入與停止續(xù)簽相關(guān)，樸素貝葉斯公式就可以計(jì)算停止續(xù)簽的幾率，而公司對(duì)這種停止續(xù)簽的用戶更感興趣。4.3、樸素與表查詢模型的比較對(duì)于概率型目標(biāo)來(lái)說(shuō)，樸素貝葉斯模型和表查詢模型密切相關(guān)。兩者之間的主要區(qū)別就在于如何使用維度。在表查詢模型中，使用所有維度依次定義單元格，然后計(jì)算每一個(gè)單元格的目標(biāo)概率。因此，表查詢模型可以獲取變量之間的相互作用。在樸素中，需要為每一個(gè)維度單獨(dú)計(jì)算似然，之后組合這些似然，從而計(jì)算出目標(biāo)概率。似然的組合有一個(gè)假設(shè)：各維度關(guān)于目標(biāo)彼此獨(dú)立。表查詢沒(méi)有說(shuō)明這樣一類屬性的組合關(guān)系，即由于在訓(xùn)練數(shù)據(jù)中出現(xiàn)的頻率很低，導(dǎo)致這些概率很低的屬性就不會(huì)出現(xiàn)。在樸素模型中可以預(yù)測(cè)任何從未出現(xiàn)過(guò)的組合，但要這樣做，就必須假設(shè)這些輸入所造成的影響彼此獨(dú)立。表查詢模型沒(méi)有這樣的假設(shè)，所以當(dāng)數(shù)據(jù)多到可以支持一個(gè)可信的估計(jì)模型時(shí)，表查詢模型也許會(huì)做的更好。5、線性回歸回歸模型也是一種預(yù)測(cè)建模技術(shù)。在Excel中就可以使用線性回歸。回歸模型也很復(fù)雜，這里談到——最佳擬合曲線。輸入變量和目標(biāo)變量必須都是數(shù)值變量，回歸方程描述了兩者之間的一種算術(shù)關(guān)系?！白罴训摹标P(guān)系是指最大限度地減少了從數(shù)據(jù)點(diǎn)到擬合曲線的垂直距離的平方和。5.1最佳擬合曲線如下圖，顯示了一個(gè)知名博主發(fā)表的一篇文章日瀏覽率隨著時(shí)間和被關(guān)注度之間的關(guān)系。圖中使用描點(diǎn)的符號(hào)是空心圓，它有助于清楚的顯示各點(diǎn)之間的聚集情況。例如，在較短時(shí)間內(nèi)用戶的關(guān)注度分布非常密集。當(dāng)使用不同的顏色比較不同的客戶組時(shí)，這種散點(diǎn)圖尤其有用。隨著時(shí)間的增加，博客的日訪問(wèn)量會(huì)越來(lái)越低，最后維持到一個(gè)水平。畫出來(lái)的曲線更像是一個(gè)雙曲線。根據(jù)X軸，時(shí)間的遞增。Y軸，日訪問(wèn)量的增加。我們可以模擬出這個(gè)博主的訪問(wèn)量隨時(shí)間變化的曲線。如果在保證博客質(zhì)量的同時(shí)，我們就可以預(yù)測(cè)博主的一篇博客的訪問(wèn)量大致在什么范圍?？赡苓@里有很多的誤差或不精確的地方。但是通過(guò)擬合曲線，我們更能從直觀上看到，曲線的走勢(shì)。如果曲線更精確的化，我們甚至可以模擬出曲線的函數(shù)表達(dá)式。如果用作數(shù)據(jù)點(diǎn)的標(biāo)記并沒(méi)有完全擬合，散點(diǎn)圖可以傳遞出更多的信息。最佳擬合曲線的性質(zhì)：在所有可能的曲線中，最佳擬合曲線指的是從觀察點(diǎn)到曲線垂直距離的平方最下的那條曲線，散點(diǎn)圖顯示了每個(gè)點(diǎn)到曲線之間的距離。最佳擬合曲線的定義就是最小二乘法的定義。歐式距離公式對(duì)該值進(jìn)行了開方，在沒(méi)有計(jì)算機(jī)的年代，計(jì)算歐式距離非常困難。當(dāng)時(shí)，高斯提出這一觀點(diǎn)，就是利用計(jì)算平方和，代替計(jì)算距離之和。這樣做的目的，就使最佳擬合曲線系數(shù)很容易計(jì)算。這里談到的是線性回歸，其實(shí)回歸模型是一個(gè)直線方程，這里只是來(lái)描述一個(gè)擬合曲線，其實(shí)算不上一個(gè)回歸曲線。在現(xiàn)實(shí)之中，更多線性回歸的模型很少見(jiàn)，更多的是曲線擬合。5.2擬合的優(yōu)點(diǎn)對(duì)于一個(gè)給定的數(shù)據(jù)集，總是可以找到一條最佳的擬合曲線。但是，存在很多條曲線，哪條才是最佳的。這里引入“殘差”，就是度量預(yù)測(cè)值與實(shí)際值之差。還有一個(gè)標(biāo)準(zhǔn)方法，成為，用來(lái)衡量描述曲線對(duì)觀測(cè)數(shù)據(jù)的擬合程度。（1）殘差如圖，身高與體重模型的殘差。一個(gè)無(wú)偏模型在丟失高值點(diǎn)方面應(yīng)與丟失低值點(diǎn)類似。在殘差圖中，最重要的一點(diǎn)就是，這些值是位于擬合曲線之上的可能性與之下的可能性是否一樣。從圖中我們也可以看到在曲線上與在曲線下的樣本點(diǎn)是不一樣的。一個(gè)良好的模型所產(chǎn)生的估計(jì)值應(yīng)該接近真實(shí)值，所以殘差應(yīng)該集中于曲線軸附近。如圖中也是可以看到拋離曲線的一些孤立點(diǎn)。這些點(diǎn)出現(xiàn)的原因，可能是由于一些人為記錄的原因造成的。在統(tǒng)計(jì)學(xué)中，殘差在回歸方程中要考慮誤差項(xiàng)。最佳擬合曲線的方程是：Y=aX+b但該曲線，不是完整的模型。統(tǒng)計(jì)人員會(huì)將模型方程表示為：ε代表誤差項(xiàng)，因?yàn)閄并不能完美的展示Y。誤差項(xiàng)表示模型無(wú)法解釋的Y的部分。Y=aX+b+ε（2）R(R這里代表是R的平方)對(duì)于最佳擬合曲線，R的取值始終在0~1之間。當(dāng)該值接近1時(shí)，說(shuō)明該曲線在捕獲輸入和目標(biāo)之間的關(guān)系方面表現(xiàn)很好。若接近于0，則說(shuō)明最佳擬合曲線的表現(xiàn)很差。在0~1的范圍內(nèi)，值越大表明兩者之間存在很強(qiáng)的關(guān)系，越下其關(guān)系越下。相比于隨機(jī)猜測(cè)的平均值，模型的估計(jì)值有多好。定義簡(jiǎn)單，但計(jì)算起來(lái)復(fù)雜。R要比較最佳擬合曲線與y平均值的水平線。1減去兩個(gè)誤差的比值可以計(jì)算出R。分子式最佳擬合曲線殘差的平方和。分母是水平線的殘差平方和。R度量了最佳擬合曲線優(yōu)于均值作為估計(jì)的程度。R度量了數(shù)據(jù)的穩(wěn)定性。同一數(shù)據(jù)集中不同的樣本是否會(huì)生成相似的模型。當(dāng)R值較低時(shí)，不同的樣本可能會(huì)表現(xiàn)出非常不同的行為?；蛘撸诖嘶A(chǔ)上，再加入少量觀察值可能會(huì)極大地改變模型的系數(shù)。當(dāng)R值較高時(shí)，再加入少量觀察值就不會(huì)有上述的改變。5.3全局效應(yīng)回歸方程能發(fā)現(xiàn)數(shù)據(jù)中的全局模式。即，方程系數(shù)應(yīng)該對(duì)范圍內(nèi)的所有輸入變量都起作用。這表明回歸模型善于捕獲那些總是正確的模式，不是產(chǎn)于處理局部模式。例如，考慮不同年齡的汽車保險(xiǎn)購(gòu)買人的風(fēng)險(xiǎn)。年輕司機(jī)的風(fēng)險(xiǎn)較高。隨著駕駛?cè)藛T經(jīng)驗(yàn)的不斷增加，風(fēng)險(xiǎn)會(huì)逐步降低。而對(duì)年齡很大的駕駛者，風(fēng)險(xiǎn)又會(huì)增加。因?yàn)槟挲g很難作為回歸方程的輸入。因?yàn)闆](méi)有全局模式，對(duì)于不同的年齡組，年齡的影響變化又會(huì)不同。在很多程度上，這個(gè)需要根據(jù)建模人員的熟悉程度，可以使用那些在不同取值范圍的變量作為輸入?yún)?shù)。但是，回歸方程本身不會(huì)發(fā)現(xiàn)局部模式。6、多元回歸引入線性回歸的那個(gè)例子使用了單一的輸入——持續(xù)期——來(lái)解釋日訪問(wèn)量隨時(shí)間的變化。當(dāng)一個(gè)回歸模型有多個(gè)輸入時(shí)，就稱其為多元回歸。6.1、等式線性回歸模型的一般形式（沒(méi)有誤差項(xiàng)）是：Y=a+a1x1+a2x2+a3x3+…..+anxn。這個(gè)方程通過(guò)添加更多變量，并為每個(gè)變量選定系數(shù)，對(duì)最佳曲線方程進(jìn)行了擴(kuò)展。盡管通過(guò)引入更多維度，可以將線性回歸的幾何解釋擴(kuò)展到多元回歸——曲線變?yōu)槠矫嬖僮兊匠矫?。考慮到每個(gè)字變量對(duì)因變量估計(jì)值的貢獻(xiàn)會(huì)更容易些，即可以由系數(shù)決定自變量貢獻(xiàn)的大小和方向。6.2、目標(biāo)變量的范圍一個(gè)回歸方程可以產(chǎn)生任何值。如果對(duì)X沒(méi)有限制，那么Y也是沒(méi)有限制的。對(duì)Y=aX+b就可以說(shuō)明這一點(diǎn)，該方程是一條簡(jiǎn)單的直線，取值隨之X的取值而邊變化，從負(fù)無(wú)窮到正無(wú)窮。但實(shí)際情況非如此。許多目標(biāo)變量的范圍并不是無(wú)窮的，甚至不是連續(xù)的。對(duì)于這些情況，統(tǒng)計(jì)學(xué)家引入了一個(gè)鏈接函數(shù)將回歸方程產(chǎn)生的Y值映射到目標(biāo)變量的一個(gè)適合的范圍。當(dāng)目標(biāo)遵循某一已知的分布時(shí)，就可以選擇一個(gè)鏈接函數(shù)，它產(chǎn)生的值與目標(biāo)的平均值相同，同時(shí)也會(huì)產(chǎn)生一個(gè)類似的分布。即使不知道確切的分布，也可以引入鏈接函數(shù)將估計(jì)映射到目標(biāo)的一個(gè)適當(dāng)?shù)姆秶?。后面我們?huì)介紹邏輯回歸分析，那里使用一個(gè)鏈接函數(shù)將線性回歸的無(wú)窮范圍映射到0~1的區(qū)間，該區(qū)間等價(jià)于概率估計(jì)。6.3、使用多元回歸的其他注意事項(xiàng)回歸模型中有多個(gè)輸入變量時(shí)，會(huì)產(chǎn)生一些在單一輸入中不存在的問(wèn)題。理想情況下，所有輸入之間應(yīng)該線性無(wú)關(guān)。被模型顯示地包含的輸入之間可能存在相互。添加一個(gè)新輸入將會(huì)改變所有原輸入的系值取值。（1）線性無(wú)關(guān)與樸素貝葉斯類似，多元模型的輸入之間應(yīng)該線性無(wú)關(guān)。這一位置改變其中一個(gè)輸入值應(yīng)該對(duì)其他輸入值沒(méi)有影響。實(shí)際情況很難實(shí)現(xiàn)真正獨(dú)立性。一般情況，注意不要包含彼此密切相關(guān)的自變量就可以。如果包含這些變量，往往會(huì)導(dǎo)致模型的一個(gè)輸入變量有較大的正系數(shù)而另一個(gè)輸入變量有較大的負(fù)系數(shù)。兩個(gè)變量本質(zhì)上相互抵消，因此這兩個(gè)系數(shù)的取值并不會(huì)對(duì)任何變量有真正意義上的影響。（2）交互即使兩個(gè)變量是完全獨(dú)立的，它們對(duì)目標(biāo)的影響也可能是相關(guān)的。一個(gè)冰淇淋的吸引力可能依賴于價(jià)格和天氣——尤其是某天的炎熱程度。這些變量可以認(rèn)為是獨(dú)立的（當(dāng)然，冰淇淋的價(jià)格并不取決于溫度，溫度可能會(huì)影響冰淇淋的價(jià)格，但是這里假設(shè)不會(huì)）。盡管這些變量相互獨(dú)立，價(jià)格對(duì)目標(biāo)的影響扔可能受溫度的影響。當(dāng)天氣炎熱的時(shí)候，人民不是在意冰淇淋的價(jià)額都會(huì)購(gòu)買。當(dāng)天氣寒冷的時(shí)候，只有真正物美價(jià)廉才可能會(huì)吸引人民購(gòu)買。類似的，價(jià)格的變化對(duì)住戶率的影響可能會(huì)隨著距離市中心的遠(yuǎn)近不同而不同。這就是交互的例子。當(dāng)認(rèn)為交互很重要時(shí)，一般情況下，可以通過(guò)添加新變量引入這些交互，而這些新變量是標(biāo)準(zhǔn)化交互中涉及變量值的產(chǎn)物。（3）添加變量可以改變模型中的原有變量的取值一種很自然的模型開發(fā)方法從一個(gè)僅有一個(gè)輸入的簡(jiǎn)單模型開始，然后通過(guò)增加變量逐步提高其復(fù)雜性。如果所有輸入變量都是完全獨(dú)立的，那么添加或刪除其中一個(gè)變量不會(huì)更改模型中的其他變量的系數(shù)。但是輸入變量幾乎不可能完全獨(dú)立，所有包含另一個(gè)變量會(huì)改變系數(shù)的大小，甚至可能改變模型中其他原有變量系數(shù)的正負(fù)值。6.4、多元回歸的變量選擇多元回歸模型在有大量輸入時(shí)，它的表現(xiàn)并不理想。選擇正確的輸入變量對(duì)任何建模而言都是最重要的部分。這里談到“領(lǐng)域知識(shí)”，就是首先要考慮的是對(duì)該問(wèn)題所知道的一些先驗(yàn)知識(shí)以及以往人民解決此類問(wèn)題的額方法。有的時(shí)候領(lǐng)域知識(shí)對(duì)一時(shí)模型的預(yù)測(cè)可以提供一個(gè)很好的指標(biāo)指向。當(dāng)使用領(lǐng)域知識(shí)和常識(shí)創(chuàng)建了一張候選變量列表后，用于創(chuàng)建回歸模型的軟件通常可以幫助使用者選擇出模型所需的最好變量。使用的方法：（1）前向選擇前向現(xiàn)在開始使用一組輸入變量，其中一些變量或全部變量都可以出現(xiàn)在最終模型里。第一步是為每一個(gè)輸入變量創(chuàng)建一個(gè)單獨(dú)的回歸模型；如果有n個(gè)輸入變量，那么第一步會(huì)考慮具有一個(gè)輸入變量的n個(gè)不同的回歸模型。選擇測(cè)試得分最高的模型所對(duì)應(yīng)的變量作為前向選擇模型中的第一個(gè)變量。選擇最佳模型的一種方法是選擇R值最低的模型。另一種方法是使用統(tǒng)計(jì)檢驗(yàn)中F-檢驗(yàn)的方法。最好的模型是在驗(yàn)證集上的誤差最小的模型。這看上去更像是數(shù)據(jù)挖掘，因?yàn)樗褂昧蓑?yàn)證集，并沒(méi)有對(duì)輸入或目標(biāo)值做出任何假設(shè)。選定了第一個(gè)變量后，這以過(guò)程會(huì)在此重復(fù)進(jìn)行。第二次通過(guò)將每個(gè)剩余變量與第一步已選定的變量組合以創(chuàng)建包含有兩個(gè)輸入變量的n-1個(gè)回歸模型。這些模型中最好的模型將會(huì)是下一次迭代的基礎(chǔ)，下次迭代會(huì)測(cè)試帶有三個(gè)變量的多元回歸模型。持續(xù)這一過(guò)程直到滿足某些停止條件為止。終止條件可以是到達(dá)最大的選擇變量個(gè)數(shù)，