大數(shù)據(jù)與建模

大數(shù)據(jù)大數(shù)據(jù)與建模1SQL用于訪問和處理數(shù)據(jù)庫的標準的計算機語言。用來訪問和操作數(shù)據(jù)庫系統(tǒng)。SQL語句用于取回和更新數(shù)據(jù)庫中的數(shù)據(jù)。SQL可與數(shù)據(jù)庫程序系統(tǒng)工作比如MS DB2，Infermix，MSSQLServer，Oracle，Sybase以及其他數(shù)據(jù)庫系統(tǒng)SQL可以面向數(shù)據(jù)庫執(zhí)行查詢從數(shù)據(jù)庫取回數(shù)據(jù)在數(shù)據(jù)庫中插入新的記錄更新數(shù)據(jù)庫中的數(shù)據(jù)從數(shù)據(jù)庫刪除記錄創(chuàng)建新數(shù)據(jù)庫在數(shù)據(jù)庫中創(chuàng)建新表在數(shù)據(jù)庫中創(chuàng)建存儲過程在數(shù)據(jù)庫中創(chuàng)建視圖和設(shè)置表存儲過程和視圖的權(quán)限等。Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。但是Hadoop是以一種可靠高效可伸縮的方式進行處理的。Hadoop是可好的因為他假設(shè)計算單元和存戶會失敗因此他維護多個工作數(shù)據(jù)副本確保能夠針對失敗的節(jié)點重新分布處理。Hadoop是高效的因為他以并行的方式工作，通過并行處理加快處理速度Hadoop還是可伸縮的能夠處理PB級數(shù)據(jù)此外依賴于社區(qū)服務(wù)器，因此他的成本較低，任何人都可以使用。 3、HPCC（highperformance computinggand1993年，由美國科學(xué)、工程技術(shù)聯(lián)邦協(xié)調(diào)理事會向國會提交“重大挑戰(zhàn)項目高性能計算與通信的報告，也就是被稱為HPCC計劃的報告及美國總統(tǒng)科學(xué)戰(zhàn)略項目其目的是通過加強研究與開發(fā)解決一批重要的科學(xué)與HPCC是美國實施信息高速公Strom是自由的開源軟件，一個分布式的、容錯的實時計算系統(tǒng)。Strom于處理HadoopStrom很簡單，支持許多種編程語言，使用起來非常有趣。StromTwitter開元而來，其他知名的應(yīng)用企業(yè)包括Groupon、淘寶、支付寶、阿里巴巴、樂AdmasterStrom有許多應(yīng)用領(lǐng)域：實時分析、在線機器學(xué)習(xí)、不停頓的計算，分布式RPC（員過程調(diào)用協(xié)議，一種通過網(wǎng)絡(luò)從遠程計算機程序上請求服務(wù)ETL（Extraction Transformation Lcading的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換和加載）等等。Strom的處理速度驚人經(jīng)測試每個節(jié)點每秒鐘可以處理100萬個數(shù)據(jù)元組。Strom是可擴展、容錯，很容易設(shè)置和操作。 5、Rapidminer是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個非常大的程度上有著先進技術(shù)它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛包括各種數(shù)據(jù)以叔能簡化數(shù)據(jù)挖掘過程的涉及和評價功能和特點免費提供數(shù)據(jù)挖掘技術(shù)和庫；100%用JAVA代碼（可運行在操作系統(tǒng)數(shù)據(jù)挖掘過程簡單，強大和直觀；內(nèi)部XML保證了標準化的格式來表示交換數(shù)據(jù)挖掘過程可以用簡單腳本語言自動進行大規(guī)模進程多層次的數(shù)據(jù)視圖確保有效和透明的數(shù)據(jù)圖形用戶界面的互動原型；命令行（批處理模式）自動大規(guī)模JAVAAI

應(yīng)用編程接口；簡單的插件和推廣機制；強大的可視化引擎，許多尖端的高位數(shù)據(jù)的可視化建模過個數(shù)據(jù)挖掘運營商支持。6Pentaho BI平臺不同于傳統(tǒng)的BI產(chǎn)品，他是一個以流程為中心的，面向解決方案（Soiution）的框架。其目的在于將一系列企業(yè)級BI產(chǎn)品、開源軟件、API等等組件集成起來方便商務(wù)智能應(yīng)用的開發(fā)它的出現(xiàn)使得一些列的面向商務(wù)智能的獨立產(chǎn)品如Free\Quartz等等，能夠集成在一起，構(gòu)成一項項復(fù)雜的完整的商務(wù)智能解決方案Pentaho SDK 共包含五個部分：Pentaho 平臺、Pentaho 示例數(shù)據(jù)庫、可獨立運行的Pentaho 平臺、Pentaho 解決方案示例和一個預(yù)先配置好的Pentaho 網(wǎng)絡(luò)服務(wù)器。其中Pentaho 平臺是Pentaho 平臺最主要的部分，囊括了Pentaho 平臺源代碼的主題。什么是PowerBI？PowerBI是軟件服務(wù)、應(yīng)用和連接器的集合他們協(xié)同工作以將相關(guān)數(shù)據(jù)來源轉(zhuǎn)換為連貫的視覺逼真的交互式見解無論你的數(shù)據(jù)是簡單的Excel電子表格還是基于云和本地混合數(shù)據(jù)倉庫的集合，PowerBI都可以讓你輕松地連接到數(shù)據(jù)源直觀看（或發(fā)現(xiàn)）重要內(nèi)容，與任何所希望的人進行共享。Power BI 的組成部分：Power BI 包含Windows 桌面應(yīng)用程序（稱為PowerBI Desktop、聯(lián)機SAAS（軟件及服務(wù)）服（稱為PowerBI服務(wù)及移動PowerBI應(yīng)（可在Windows手機和平板電腦及IOS和Android 設(shè)備上使用）。這三個元素、Desktop、服務(wù)和移動，旨在使用戶通過最有效的方式創(chuàng)建共享和使用商業(yè)見解。PowerBI的操作一般流程：1、將數(shù)據(jù)導(dǎo)入PowerBI 并創(chuàng)建報表2發(fā)布到PowerBI服務(wù)，你可在該服務(wù)中創(chuàng)建新的可視化效果或構(gòu)建儀表板。3、與他人（尤其是差旅人員）共享你的儀表板4、在PowerBI Desktop應(yīng)用中查看共享儀表板和報表并與其交互。PowerBI的基本構(gòu)建模塊：可視化效果有時稱之為視覺對象是數(shù)據(jù)的可視化表示形成，例如圖標、圖形、彩色編碼地圖或其他你可創(chuàng)建用以直觀呈現(xiàn)你的數(shù)據(jù)的有趣事物。數(shù)據(jù)集BI用來創(chuàng)建其可視化效果的數(shù)據(jù)集合，基于EXCEL工作簿中的單個表你可以有一個簡單的數(shù)據(jù)集數(shù)PowerBI中的唯一集合數(shù)據(jù)。報表：在PowerBI中，報表是一就想你可能會對銷售演示文稿創(chuàng)建的任何其PowerBI中，報表是批次相關(guān)的項目的集BI儀表板非常類似與汽PowerBI中，磁貼是BI中創(chuàng)建報表或儀表板時，可以以任何你想要呈現(xiàn)信息的方式來穎或排列磁貼。PowerBI高顏值、可交互、鉆取的儀表板；PowerQuery的格式整理出來。通過PowerQuery我們可以快速將多個數(shù)據(jù)源的數(shù)據(jù)合并追加到一起任意組合數(shù)據(jù)將數(shù)據(jù)進行分組透視等