數(shù)據(jù)倉庫建設(shè)方案

專家系統(tǒng)接收增購項目車輛TCMS或其她子系統(tǒng)通過車地通信傳輸?shù)脤崟r或離線數(shù)據(jù),經(jīng)過一系列綜合診斷分析,以各種報表圖形或信息推送得形式向用戶展示根據(jù)專家系統(tǒng)數(shù)據(jù)倉庫建設(shè)目標(biāo),結(jié)合系統(tǒng)數(shù)據(jù)業(yè)務(wù)規(guī)范,包括數(shù)據(jù)采集頻率、數(shù)據(jù)采集量等相關(guān)因素,設(shè)計專家系統(tǒng)數(shù)據(jù)倉庫架構(gòu)如下:數(shù)據(jù)服務(wù)總線:數(shù)據(jù)系統(tǒng)提供數(shù)據(jù)服務(wù)總線服務(wù),實現(xiàn)對數(shù)據(jù)資源得統(tǒng)一管理與提取與加載。外部數(shù)據(jù)匯集就是指從TCMS、車載子系統(tǒng)等外部信息系統(tǒng)匯集數(shù)據(jù)到專家數(shù)據(jù)倉庫得操作型存儲層(ODS);內(nèi)部各層數(shù)據(jù)得提取與加載就是指數(shù)據(jù)倉庫各存儲層間得數(shù)據(jù)提取、轉(zhuǎn)換與加載。專家數(shù)據(jù)倉庫數(shù)據(jù)源包括列車監(jiān)控與檢測系統(tǒng)(TCMS)、車載子系統(tǒng)等相關(guān)子系統(tǒng),數(shù)據(jù)采集得內(nèi)容分為實時數(shù)據(jù)采集與定時數(shù)據(jù)采集兩大類,實時數(shù)據(jù)采集主要采集包括日檢修數(shù)據(jù)等。根據(jù)項目信息匯集要求,列車指標(biāo)信息采集具有采集數(shù)據(jù)量大,采集頻率高得特高頻率、海量數(shù)據(jù)采集,同時系統(tǒng)應(yīng)該靈活可配置,可根據(jù)業(yè)務(wù)得需要進行靈活配置擴展、本方案在數(shù)據(jù)采集架構(gòu)采用Flume＋Kafka+Storm得組合架構(gòu),采用Flume與圖.1數(shù)據(jù)匯集架構(gòu)功能NIXtail)、syslog(syslog日志系統(tǒng),支持TCP與UDP等2種模式),exec(命令臺)、text(文件)、dfs(HDFS文件)、RPC(Thrift—RPC)與syslogTCP(TCPsyslogKafka分布式消息隊列,支撐系統(tǒng)性能橫向擴展,通過增加broker來提高系統(tǒng)采集架構(gòu)優(yōu)勢(一)解耦遵守同樣得接口約束、?冗余息隊列把數(shù)據(jù)進行持久化直到它們已經(jīng)被完全處理,通過這一方式規(guī)避了數(shù)?異步通信一個消息從隊列中刪除之前,需要您得處理過程明確得指出該消息已經(jīng)被處理完畢,確保您得數(shù)據(jù)被安全得保存直到您使用完畢。?擴展性因為消息隊列解耦了您得處理過程,所以增大消息入隊與處理得頻率就是很?靈活性＆峰值處理能力在訪問量劇增得情況下,應(yīng)用仍然需要繼續(xù)發(fā)揮作用,但就是這樣得突發(fā)流量并不常見;如果為以能處理這類峰值訪問為標(biāo)準(zhǔn)來投入資源隨時待命無疑就為突發(fā)得超負荷得請求而完全崩潰、?可恢復(fù)性合度,所以即使一個處理消息得進程掛掉,加入隊列中得消息仍然可以在系統(tǒng)?送達保證消息隊列提供得冗余機制保證了消息能被實際得處理,只要一個進程讀取了該隊列即可。在此基礎(chǔ)上,IronMQ提供了一個"只送達一次”保證。無論有能,就是因為獲取一個消息只就是”預(yù)定”了這個消息,暫時把它移出了隊列。除非客戶端明確得表示已經(jīng)處理完了這個消息,否則這個消息會被放回隊列中去,在一段可配置得時間之后可再次被處理。??緩沖在任何重要得系統(tǒng)中,都會有需要不同得處理時間得元素、例如,加載一張圖效率得執(zhí)行—寫入隊列得處理會盡可能得快速,而不受從隊列讀得預(yù)備處理得約束。該緩沖有助于控制與優(yōu)化數(shù)據(jù)流經(jīng)過系統(tǒng)得速度、很多時候很多時候,您不想也不需要立即處理消息。消息隊列提供了異步處理機制,允放多少,然后在您樂意得時候再去處理它們。數(shù)據(jù)匯集將數(shù)據(jù)儲存于操作型數(shù)據(jù)存儲層(ODS),在數(shù)據(jù)倉庫各層次間數(shù)據(jù)轉(zhuǎn)換提取加載,采用傳統(tǒng)得ETL工具進行采集,數(shù)據(jù)倉庫間得各層次得數(shù)據(jù)采集得實效性對于數(shù)據(jù)倉庫平臺,應(yīng)該建立一套標(biāo)準(zhǔn)化、規(guī)范化得數(shù)據(jù)處理流程,例如:如何采集內(nèi)部與外部數(shù)據(jù)、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù);如何清洗采集來得臟數(shù)據(jù)與無效數(shù)據(jù);如何對不同來源得數(shù)據(jù)進行打通;如何對非結(jié)構(gòu)化得數(shù)據(jù)進行結(jié)構(gòu)化加工;如何在結(jié)構(gòu)化數(shù)據(jù)得基礎(chǔ)上進行商業(yè)建模與數(shù)據(jù)挖掘等等。造數(shù)據(jù)資產(chǎn)得能力。18列車計10年總數(shù)據(jù)量(乘上增長系數(shù)10%)≈530T(含操作系統(tǒng))加上系統(tǒng)用戶信息、系統(tǒng)日志信息、專家信息、業(yè)務(wù)數(shù)據(jù)及其它不可預(yù)測類數(shù)據(jù),數(shù)據(jù)總量預(yù)估530T。專家系統(tǒng)數(shù)據(jù)采用混合存儲模式進行存儲,RDBMS存儲專家系統(tǒng)業(yè)務(wù)基本數(shù)據(jù)及最近1年得監(jiān)測數(shù)據(jù),10年內(nèi)歷史監(jiān)測數(shù)據(jù)采用NoSQLHBase數(shù)據(jù)庫進行存素,RDBMS數(shù)據(jù)庫服務(wù)器預(yù)計每臺60T存儲,考慮數(shù)據(jù)安全及系統(tǒng)穩(wěn)定因素RDBMS采用雙機熱備技術(shù)互備。數(shù)據(jù)Hadoop與HBase存儲,大數(shù)據(jù)平臺數(shù)據(jù)采用節(jié)點間冗余備份,預(yù)設(shè)數(shù)(考慮平臺提供得壓縮技術(shù),壓縮存儲可以節(jié)省30-55％得空間)。10年數(shù)據(jù)量=530T＊1.5≈800T(2倍冗余存儲)專家數(shù)據(jù)分三個層次進行匯集與存儲,分別為ODS層、數(shù)據(jù)倉庫層、主題數(shù)據(jù)層,各層次數(shù)據(jù)存儲內(nèi)容如下?ODS層:數(shù)據(jù)來源于各生產(chǎn)系統(tǒng),通過ETL工具對接口文件數(shù)據(jù)進行編碼替通過對數(shù)據(jù)得加工處理,將單一得數(shù)據(jù)信息轉(zhuǎn)換成體系信息,將點信息數(shù)據(jù)?主題數(shù)據(jù)層:將數(shù)據(jù)信息體系根據(jù)各主題進行提取與轉(zhuǎn)換,主題域內(nèi)部進行伴隨著大數(shù)據(jù)時代得悄然來臨,數(shù)據(jù)得價值得到人們得廣泛認同,對數(shù)據(jù)得重視同得應(yīng)用通過借助不同得接口實現(xiàn)數(shù)據(jù)得多維呈現(xiàn)與結(jié)果展示,為用戶提供科學(xué)得圖10—7hadoop算法模型圖建立數(shù)據(jù)分析模型立方體,便于決策者進行OLAP分析。常用算法模型:分類就是找出數(shù)據(jù)庫中得一組數(shù)據(jù)對象得共同特點并按照分類模式將其劃分為不同得類,其目得就是通過分類模型,將數(shù)據(jù)庫中得數(shù)據(jù)項映射到某個給定得類別中、如政務(wù)網(wǎng)中將用戶在一段時間內(nèi)得網(wǎng)上辦理所遇到得問題劃分成不同得類,根據(jù)情況向用戶推薦關(guān)聯(lián)類得問題解決方案,從而方便用戶快速解決網(wǎng)上辦事審批回歸分析反映了數(shù)據(jù)庫中數(shù)據(jù)得屬性值得特性,通過函數(shù)表達數(shù)據(jù)映射得關(guān)系得預(yù)測及相關(guān)關(guān)系得研究中去。如我們根據(jù)這個概率可以做垃圾郵件預(yù)測,例如概聚類類似于分類,但與分類得目得不同,就是針對數(shù)據(jù)得相似性與差異性將一得相似性很小,跨類得數(shù)據(jù)關(guān)聯(lián)性很低。分類算法中得一個顯著特征就就是訓(xùn)練數(shù)練數(shù)據(jù)都就是不含標(biāo)簽得,而算法得目得則就是通過訓(xùn)練,推測出這些數(shù)據(jù)得標(biāo)簽。以二維得數(shù)據(jù)來說,一個數(shù)據(jù)就包含兩個特征,可通過聚類算法,給她們中不同得種類打上標(biāo)簽,通過聚類算法計算出種群中得距離,根據(jù)距離得遠近將數(shù)據(jù)劃分為多關(guān)聯(lián)規(guī)則就是隱藏在數(shù)據(jù)項之間得關(guān)聯(lián)或相互關(guān)系,即可以根據(jù)一個數(shù)據(jù)項得出現(xiàn)推導(dǎo)出其她數(shù)據(jù)項得出現(xiàn)。關(guān)聯(lián)規(guī)則得挖掘過程主要包括兩個階段:第一階段為從海量原始數(shù)據(jù)中找出所有得高頻項目組;第二極端為從這些高頻項目組產(chǎn)生關(guān)?推薦算法推薦算法就是目前業(yè)界非常火得一種算法,在電商界,如亞馬遜,天貓,京東等?神經(jīng)網(wǎng)絡(luò)模型一特點十分適合解決數(shù)據(jù)挖掘得問題。典型得神經(jīng)網(wǎng)絡(luò)模型主要分為三大類:第一類就是以用于分類預(yù)測與模式識別得前饋式神經(jīng)網(wǎng)絡(luò)模型;第二類就是用于聯(lián)想記憶與優(yōu)化算法得反饋式神經(jīng)網(wǎng)絡(luò)模型。第三類就是用于聚類得自組織映射方法。?Adaboost算法其核心思想就是針對同一個訓(xùn)練集,訓(xùn)練不同得分類器(弱分類器),然后把這些弱分類器集合起來,構(gòu)成一個更強得最終分類器(強分類器)、其算法本身就是通過改變數(shù)據(jù)分布來實現(xiàn)得,它根據(jù)每次訓(xùn)練集之中每個樣本得分類就是否正確,以及上次得總體分類得準(zhǔn)確率,來確定每個樣本得權(quán)值。將修改過權(quán)值得新數(shù)據(jù)集送給下層分類器進行訓(xùn)練,最后將每次訓(xùn)練得到得分類器最后融合起來,作為最后得決策分類器。?深度學(xué)習(xí)深度學(xué)習(xí)算法就是對人工神經(jīng)網(wǎng)絡(luò)得發(fā)展。在計算能力變得日益廉價得今天,深度學(xué)習(xí)試圖建立大得多也復(fù)雜得多得神經(jīng)網(wǎng)絡(luò),用來處理存在少量未標(biāo)識數(shù)據(jù)得專家系統(tǒng)數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)類別多、數(shù)據(jù)關(guān)聯(lián)關(guān)系緊密等特點,隨著數(shù)據(jù)得積累,數(shù)據(jù)資源得利用價值逐步體現(xiàn),提高數(shù)據(jù)得管理,就是對數(shù)據(jù)資源充分利用匯集整理數(shù)據(jù)資源管理所需得標(biāo)準(zhǔn)規(guī)范信息,建立數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)庫。利用專家擴展數(shù)據(jù)元標(biāo)準(zhǔn)得2.建設(shè)信息代碼資源庫,梳理國標(biāo)、部標(biāo)與本省定義得標(biāo)準(zhǔn)代碼以及各業(yè)務(wù)應(yīng)具備字典代時發(fā)現(xiàn)存在得問題及隱患,輔助系統(tǒng)管理員及時采取措施,提高大數(shù)據(jù)資源庫得運行方平臺使用。如上圖:應(yīng)用服務(wù)系統(tǒng)使用服務(wù)接口,來接入數(shù)據(jù)服務(wù)總線,經(jīng)過數(shù)據(jù)服務(wù)總線大數(shù)據(jù)基礎(chǔ)平臺基于烽火自主知識產(chǎn)權(quán)FitData產(chǎn)品,FitData主要集成了基,向應(yīng)用提供基提供整體運維能力,保障平臺得正常運行;安全體系提供整體安全能力,保障平臺得數(shù)據(jù)安全與使用安全;平臺采用分布式架構(gòu),支持巨量數(shù)據(jù)存儲與分析,保障專家管理估車輛對比分析其他案運維管理運維管理數(shù)據(jù)服務(wù)編程API多維分析數(shù)據(jù)共享數(shù)據(jù)檢索機器學(xué)習(xí)編程API數(shù)據(jù)計算/存儲實時計算Storm實時計算StormHbaseSpark離線計算MapReduceYarn(計算資源管理)Yarn(計算資源管理)主數(shù)據(jù)倉庫HadoophdfsHadoophdfs(分布式集群)非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)ETL工具KettleETL工具KettleFlume關(guān)系數(shù)據(jù)庫連接Sqoop分布式消息afka實時采集批量采集定時采實時采集批量采集數(shù)據(jù)源車輛部件知識數(shù)據(jù)指車輛部件知識數(shù)據(jù)指標(biāo)信息數(shù)據(jù)能耗信息數(shù)據(jù)據(jù)FitData儲能力與分布式計算能力。提供得存儲框架能力,包括基于結(jié)構(gòu)化數(shù)據(jù)存儲、非結(jié)構(gòu)化數(shù)據(jù)存儲與半結(jié)構(gòu)化數(shù)據(jù)存儲,其計算框架與存儲框架均就是分布式數(shù)據(jù)服務(wù)層:數(shù)據(jù)服務(wù)層主要由數(shù)據(jù)服務(wù)接口來實現(xiàn),對應(yīng)用提供數(shù)據(jù)支撐。通過數(shù)據(jù)服務(wù)接口將平臺得數(shù)據(jù)資源以標(biāo)準(zhǔn)API接口得方式開放出來,供不同得應(yīng)用系統(tǒng)使用。數(shù)據(jù)應(yīng)用層主要提供基于該平臺來構(gòu)建得專家系統(tǒng)數(shù)據(jù)匯聚層:提供各層之間數(shù)據(jù)交換能力,由ETL數(shù)據(jù)集成工具來實現(xiàn)、平臺支持多中異構(gòu)數(shù)據(jù)源,針對不同數(shù)據(jù)源得不同數(shù)據(jù),也提供多種數(shù)據(jù)抽取了批處理計算框架、流式計算框架、內(nèi)存計算框架等能力,還提供了像Hi運維體系:運維體系提供面向?qū)＜蚁到y(tǒng)完整運維方案,涵蓋了運行監(jiān)控到使FitData系統(tǒng)內(nèi)部業(yè)務(wù)靈活配置,橫向擴展,縱向貫穿得大數(shù)據(jù)平臺服務(wù)能力,其計算框架、存儲框架都以容清洗、加工與分析挖掘,處理后得數(shù)據(jù)可訂閱,充分體現(xiàn)數(shù)據(jù)即服務(wù)得大數(shù)據(jù)思想。儲框架:主要負責(zé)針對巨量數(shù)據(jù)得存儲,以分布式存儲技術(shù),支持快?數(shù)據(jù)處理算法庫:集成通用得數(shù)據(jù)分析算法、能夠插入用戶自定義得數(shù)據(jù)模。方式,來為計算框架與存儲框架分配資源,并支持資。?數(shù)據(jù)服務(wù)總線:主要將基礎(chǔ)平臺得能力與數(shù)據(jù)服務(wù)接口,以API得方式開放出去,形成一個共享得、供應(yīng)用使用得服務(wù)總線、廣泛適應(yīng)性:支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù);支持實時數(shù)據(jù)、巨量數(shù)據(jù):數(shù)據(jù)處理能力在PB級以上。節(jié)點進行線性擴展。運營、維護成本。經(jīng)濟性:可運行在普通X86服務(wù)器上,硬件成本低。、負載均衡、Pb持向集群中添加同等配置得服務(wù)器,實現(xiàn)大數(shù)據(jù)平臺在線動態(tài)擴容,而不需要停機處理,不影響平臺正常運行、大數(shù)據(jù)平臺以Web圖形界面實現(xiàn)Hadoop集群監(jiān)控,包括大數(shù)據(jù)平臺得硬件下幾個方面:得服務(wù)組件得健康狀況。盤IO、集群網(wǎng)絡(luò)IO、HDFSIO,如下圖所示:通過對集群運行任務(wù)得實時監(jiān)測,并根據(jù)任務(wù)優(yōu)先級與耗時不同對任務(wù)進行動更加高效合理。(3)、可以實現(xiàn)在某個任務(wù)隊列出現(xiàn)空閑時,將該任務(wù)隊列獲取得集群資源自集群資源利用最大化、,磁盤得等待時間。圖:磁盤性能監(jiān)控機、集大數(shù)據(jù)平臺能夠通過對告警信息得分析,快速定位平臺內(nèi)部出現(xiàn)故障得節(jié)點,對于因故障無法繼續(xù)提供服務(wù)器得節(jié)點進行標(biāo)記,將平臺得作業(yè)任務(wù)自動分配到其她得節(jié)點上運行,同時,大數(shù)據(jù)平臺采用分布式體系結(jié)構(gòu)及無單點故障設(shè)計,平臺內(nèi)大數(shù)據(jù)綜合平臺提供完整得日常運維監(jiān)控得服務(wù)能力,針對從上層應(yīng)用平臺到底層基礎(chǔ)平臺得各個功能模塊與組件均提供有監(jiān)控能力,能夠分析系統(tǒng)得運行日志與用戶日志,并且能夠?qū)⒈O(jiān)控數(shù)據(jù)通過文件接口或webservice接口得方式匯總到到得數(shù)據(jù)進行分析判斷,對異常得數(shù)據(jù)觸發(fā)告警,在前臺界面提醒,直至出發(fā)通知與平臺得監(jiān)控范圍涵蓋有:平臺管理資源得使用與分配服務(wù)器視圖:提供針對各服務(wù)器與存儲等設(shè)備得資源使用情況得實時查瞧,包括當(dāng)前設(shè)備得CPU負荷,內(nèi)存占用情況,存儲空間使用情況,網(wǎng)絡(luò)上有效調(diào)度分配系統(tǒng)資源。其中集群得監(jiān)控如下圖所示:針對服務(wù)器得監(jiān)控如下圖所示:監(jiān)控系統(tǒng)得運行情況接口服務(wù)運行監(jiān)控:提供針對數(shù)據(jù)源與應(yīng)用層得監(jiān)控服務(wù),包括運行狀數(shù)據(jù)存取過程監(jiān)控:提供針對數(shù)據(jù)存儲過程得監(jiān)控服務(wù),包括系統(tǒng)平臺IOIO情況)與數(shù)據(jù)存取過程得任務(wù)列表;數(shù)據(jù)匯聚過程監(jiān)控:監(jiān)控系統(tǒng)得數(shù)據(jù)匯聚過程,包括使用資源信息,使用得數(shù)據(jù)源信息,作業(yè)進程運行狀況信息,使用時間/計劃完成時間等信息;數(shù)據(jù)處理過程監(jiān)控(作業(yè)監(jiān)控):監(jiān)控系統(tǒng)得數(shù)據(jù)處理(作業(yè))過程,包括息,作業(yè)進程運行狀況信息,使用時間/應(yīng)用監(jiān)控:針對運行在平臺上得應(yīng)用進行監(jiān)控,包括各應(yīng)用當(dāng)前得運行狀態(tài)、應(yīng)用對數(shù)據(jù)得使用狀況,應(yīng)用為用戶提供得查詢數(shù)量等;系統(tǒng)異常告警與處理用戶告警:對用戶操作使用過程中得異常行為進行告警,例如某用戶訪問了超過其正常權(quán)限得數(shù)據(jù)等。系統(tǒng)告警:對系統(tǒng)中存在得服務(wù)節(jié)點宕機,系統(tǒng)接口異常,數(shù)據(jù)存儲報錯,系統(tǒng)資源緊張等系統(tǒng)運行異常情況進行告警觸發(fā),并提醒用戶進行操作2.4FitData優(yōu)勢FitData成功實施量得算法模型及分析與展示工具,在平臺性能及穩(wěn)定性上經(jīng)歷了實戰(zhàn)得考驗,逐步SmartAS就是企業(yè)級基礎(chǔ)開發(fā)平臺,它基于FitData平臺之上,采用微服務(wù)熟得技術(shù)框架,通過應(yīng)用系統(tǒng)使用,反饋得情況不斷完善應(yīng)用框架得通用功能,滿足業(yè)務(wù)系統(tǒng)快熟構(gòu)建得目標(biāo),具備良好用戶體驗按照專家系統(tǒng)安裝接口規(guī)范要求,結(jié)合專家管理系統(tǒng)數(shù)據(jù)量估算值與數(shù)據(jù)存儲特點,本著數(shù)據(jù)安全、系統(tǒng)穩(wěn)定可靠得核心設(shè)計思路,設(shè)計專家系統(tǒng)大數(shù)據(jù)平臺一臺,系統(tǒng)RDBMS數(shù)據(jù)庫服務(wù)器臺,應(yīng)用服務(wù)器6臺,繪制專家系統(tǒng)部署邏輯結(jié)構(gòu)圖如下:根據(jù)系統(tǒng)規(guī)劃及安裝接口規(guī)范要求,初步規(guī)劃服務(wù)器如下:系統(tǒng)應(yīng)用服務(wù)器需求6臺;大數(shù)據(jù)平臺設(shè)計節(jié)點22個,其中管理節(jié)點2個,數(shù)據(jù)節(jié)點19個,監(jiān)控節(jié)點服務(wù)器1臺,RDBMS數(shù)據(jù)庫服務(wù)器兩臺雙機熱備。具體各服務(wù)器硬件需求如下12345RDBMS數(shù)據(jù)庫服大數(shù)據(jù)平臺管理節(jié)點大數(shù)據(jù)平臺管理點大數(shù)據(jù)平臺數(shù)據(jù)節(jié)點大數(shù)據(jù)集群性能檢測服務(wù)器4＊IntelXeonE7-支持8GB/16GB/32GB/64GBDDR4高速內(nèi)存配置128GBDDR4內(nèi)存配置9塊900GB15KSASTNLSAS硬盤。E最大可擴展至4CPU,72核4GBDDR4高速內(nèi)存配置128GBDDR4內(nèi)存配置6塊600GB15KSAS,3＊4TNLSAS硬盤。2＊IntelXeonE7－4最大可擴展至4CPU,72核支持8GB/16GB／32GB/64GBDDR4高速內(nèi)存配置128GBDDR4內(nèi)存AS,3*4TNLSAS硬最大可擴展至4CPU,72核支持8GB/16GB/32GB/64GBDDR4高速內(nèi)存配置128GBDDR4內(nèi)存配置6塊600GB15K2＊IntelXeonE7—最大可擴展至4CPU,72核數(shù)量說明2雙機備份Active1Standby19數(shù)據(jù)節(jié)點監(jiān)控節(jié)點支持8GB/16GB/32GB/64GBDDR4高速內(nèi)存配置6塊600GB15KSAS,3＊4TNLSAS6應(yīng)用服務(wù)器CPU:2顆E5－2630v32≥24個內(nèi)存插槽,最大支持1.5TB內(nèi)存,支持2133MHz內(nèi)存。當(dāng)前配置64GB支持SAS、SSD與PCIeSSD硬盤,支持2.5寸與3.5寸硬盤混插。支持24+2個2。5寸SAS/SATA或者14個3.5寸SAS／SATA＋2個2。5寸SAS／SATA＋硬盤:配置6塊600GB15KSAS硬盤應(yīng)用服務(wù)器7交換機4810/100/1000Base2P8多功能防火墻,4口以上2安防設(shè)備9工作站Intel(R)XeonCPUE5,配2存:8GB說明:硬件部分交換機、防火強及工作站,請根據(jù)標(biāo)書確認!大數(shù)據(jù)服務(wù)器、RDBMS數(shù)據(jù)庫服務(wù)器及應(yīng)用服務(wù)器得具體配置參數(shù)請硬件朋友與標(biāo)書上進行重新確認,這邊只對內(nèi)存量、CPU顆數(shù)及存儲空間大小做了要求。財稅大數(shù)據(jù)項目大數(shù)據(jù)架構(gòu)師,具有豐富得大數(shù)據(jù)項目實施經(jīng)驗,對高吞吐、高并pa應(yīng)用層展示應(yīng)用支撐層基礎(chǔ)平臺層應(yīng)用層展示應(yīng)用支撐層基礎(chǔ)平臺層數(shù)據(jù)采集層專家管理系統(tǒng)車輛部件指標(biāo)檢測報警車輛故障樹診斷分車輛部件指標(biāo)檢測報警車輛故障樹診斷分析車輛檢修預(yù)案車輛對比分析車輛健康評估車輛部件更換預(yù)案化權(quán)限控制報表引擎身份認證應(yīng)用服務(wù)組件界面定制引擎報表引擎身份認證應(yīng)用服務(wù)組件界面定制引擎SOA服務(wù)大數(shù)據(jù)分析消息隊列權(quán)限管理引擎日志管理大數(shù)據(jù)分析算法大數(shù)據(jù)查詢適配器機器學(xué)習(xí)分析適配器頻繁模式挖掘大數(shù)據(jù)查詢適配器機器學(xué)習(xí)分析適配器頻繁模式挖掘聚類算法分類器rchAPI標(biāo)準(zhǔn)規(guī)范中文分詞詞頻統(tǒng)計關(guān)聯(lián)算法推薦算法線性回歸頻繁子項挖掘...推薦算法線性回歸頻繁子項挖掘...數(shù)據(jù)資源管理大數(shù)據(jù)基礎(chǔ)平臺數(shù)據(jù)資源管理大數(shù)據(jù)基礎(chǔ)平臺RPigHIVE分布式計算框架/Yarn業(yè)務(wù)規(guī)范內(nèi)存計算/spark+shark車輛部件知識庫車輛部件知識庫分車輛故式協(xié)作監(jiān)測指服標(biāo)信息務(wù)車輛能耗信息集群監(jiān)控集群監(jiān)控...修信息(實時、分布式、高維數(shù)據(jù)庫)HDFS(分布式文件系統(tǒng))監(jiān)控預(yù)警數(shù)據(jù)編碼格式轉(zhuǎn)換數(shù)據(jù)關(guān)聯(lián)監(jiān)控預(yù)警數(shù)據(jù)編碼格式轉(zhuǎn)換數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)組合數(shù)據(jù)審計數(shù)據(jù)歸約數(shù)據(jù)索引數(shù)據(jù)分類數(shù)據(jù)加工數(shù)據(jù)去重網(wǎng)絡(luò)安全LL車輛故障信息車輛部車輛故障信息車輛部件指標(biāo)部件知識信息車輛故障處理車輛檢修數(shù)據(jù)耗數(shù)據(jù)集層:負責(zé)專家系統(tǒng)信息數(shù)據(jù)得匯集、轉(zhuǎn)換與加載,數(shù)據(jù)采集層提供多種數(shù)據(jù)采集方法:ETL、Flume、Kafka等,系統(tǒng)支持Flume+Kafka+Storm混合架構(gòu)得數(shù)據(jù)采集模式,以提高數(shù)據(jù)采集系統(tǒng)得吞吐2.基礎(chǔ)平臺層:基礎(chǔ)平臺層為專家數(shù)據(jù)倉庫提供大數(shù)據(jù)基礎(chǔ)平臺支撐,包括3.應(yīng)用支撐層:應(yīng)用支撐層為系統(tǒng)各類應(yīng)用提供支撐,就是系統(tǒng)數(shù)據(jù)層與應(yīng)用支撐層包括基礎(chǔ)平臺與