大數(shù)據(jù)與建模

大數(shù)據(jù)與建模1、SQL用于訪問和處理數(shù)據(jù)庫的標(biāo)準(zhǔn)的計(jì)算機(jī)語言。用來訪問和操作數(shù)據(jù)庫系統(tǒng)。SQL語句用于取回和更新數(shù)據(jù)庫中的數(shù)據(jù)。SQL可與數(shù)據(jù)庫程序系統(tǒng)工作。比如MS?Access,DB2Infermix,MSSQLServer，Oracle，Sybase以及其他數(shù)據(jù)庫系統(tǒng)。SQL可以面向數(shù)據(jù)庫執(zhí)行查詢，從數(shù)據(jù)庫取回?cái)?shù)據(jù)，在數(shù)據(jù)庫中插入新的記錄，更新數(shù)據(jù)庫中的數(shù)據(jù)，從數(shù)據(jù)庫刪除記錄，創(chuàng)建新數(shù)據(jù)庫，在數(shù)據(jù)庫中創(chuàng)建新表，在數(shù)據(jù)庫中創(chuàng)建存儲(chǔ)過程，在數(shù)據(jù)庫中創(chuàng)建視圖和設(shè)置表、存儲(chǔ)過程和視圖的權(quán)限等。 2、Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是Hadoop是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。Hadoop是可好的，因?yàn)樗僭O(shè)計(jì)算單元和存戶會(huì)失敗，因此他維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?，通過并行處理加快處理速度。Hadoop還是可伸縮的，能夠處理PB級(jí)數(shù)據(jù)。此外，Hadoop依賴于社區(qū)服務(wù)器，因此他的成本較低，任何人都可以使用。 3、HPCC(highperformanee?computinggandcommunications）高性能計(jì)算與通信的縮寫。1993年，由美國(guó)科學(xué)、工程技術(shù)聯(lián)邦協(xié)調(diào)理事會(huì)向國(guó)會(huì)提交了“重大挑戰(zhàn)項(xiàng)目”高性能計(jì)算與通信的報(bào)告，也就是被稱為HPCC十劃的報(bào)告，及美國(guó)總統(tǒng)科學(xué)戰(zhàn)略項(xiàng)目，其目的是通過加強(qiáng)研究與開發(fā)解決一批重要的科學(xué)與技術(shù)挑戰(zhàn)問題。HPCC是美國(guó)實(shí)施信息高速公路而上實(shí)施的十劃，該十劃的實(shí)施將耗資百億美元，其主要目標(biāo)要達(dá)到：開發(fā)可擴(kuò)展的十算系統(tǒng)及相關(guān)軟件，以支持太位級(jí)網(wǎng)絡(luò)傳輸性能，開發(fā)千兆比特網(wǎng)絡(luò)技術(shù)，擴(kuò)展研究和教育機(jī)構(gòu)及網(wǎng)絡(luò)連接能力。4、Strom是自由的開源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)十算系統(tǒng)。Strom可以非?？煽康奶幚睚嫶蟮臄?shù)據(jù)流，用于處理Hadoop的批量出具，Strom很簡(jiǎn)單，支持許多種編程語言，使用起來非常有趣。Strom由Twitter開元而來，其他知名的應(yīng)用企業(yè)包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。Strom有許多應(yīng)用領(lǐng)域：實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、不停頓的十算，分布式RPC（員過程調(diào)用協(xié)議，一種通過網(wǎng)絡(luò)從遠(yuǎn)程十算機(jī)程序上請(qǐng)求服務(wù)）、ETL（Extraction?Transformation?Lcading的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換和加載）等等。Strom的處理速度驚人：經(jīng)測(cè)試，每個(gè)節(jié)點(diǎn)每秒鐘可以處理100萬個(gè)數(shù)據(jù)元組。Strom是可擴(kuò)展、容錯(cuò)，很容易設(shè)置和操作。5、Rapidminer是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個(gè)非常大的程度上有著先進(jìn)技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)以叔能簡(jiǎn)化數(shù)據(jù)挖掘過程的涉及和評(píng)價(jià)。功能和特點(diǎn)：免費(fèi)提供數(shù)據(jù)挖掘技術(shù)和庫；100%用JAVA代碼（可運(yùn)行在操作系統(tǒng)）；數(shù)據(jù)挖掘過程簡(jiǎn)單，強(qiáng)大和直觀；內(nèi)部XML保證了標(biāo)準(zhǔn)化的格式來表示交換數(shù)據(jù)挖掘過程；可以用簡(jiǎn)單腳本語言自動(dòng)進(jìn)行大規(guī)模進(jìn)程；多層次的數(shù)據(jù)視圖，確保有效和透明的數(shù)據(jù)；圖形用戶界面的互動(dòng)原型；命令行（批處理模式）自動(dòng)大規(guī)模應(yīng)用；JAVAAPI（應(yīng)用編程接口）；簡(jiǎn)單的插件和推廣機(jī)制；強(qiáng)大的可視化引擎，許多尖端的高位數(shù)據(jù)的可視化建模；400過個(gè)數(shù)據(jù)挖掘運(yùn)營(yíng)商支持。6、Pentaho?BI平臺(tái)不同于傳統(tǒng)的BI產(chǎn)品，他是一個(gè)以流程為中心的，面向解決方案（Soiution、）的框架。其目的在于將一系列企業(yè)級(jí)BI產(chǎn)品、開源軟件、API等等組件集成起來，方便商務(wù)智能應(yīng)用的開發(fā)。它的出現(xiàn)，使得一些列的面向商務(wù)智能的獨(dú)立產(chǎn)品如Free\Quartz等等，能夠集成在一起，構(gòu)成一項(xiàng)項(xiàng)復(fù)雜的、完整的商務(wù)智能解決方案。Pentaho?SDK共包含五個(gè)部分：Pentaho?平臺(tái)、Pentaho?示例數(shù)據(jù)庫、可獨(dú)立運(yùn)行的Pentaho?平臺(tái)、Pentaho?解決方案示例和一個(gè)預(yù)先配置好的Pentaho?網(wǎng)絡(luò)服務(wù)器。其中Pentaho?平臺(tái)是Pentaho?平臺(tái)最主要的部分，囊括了Pentaho?平臺(tái)源代碼的主題。什么是PowerBI？PowerBI是軟件服務(wù)、應(yīng)用和連接器的集合。他們協(xié)同工作以將相關(guān)數(shù)據(jù)來源轉(zhuǎn)換為連貫的視覺逼真的交互式見解。無論你的數(shù)據(jù)是簡(jiǎn)單的Excel電子表格還是基于云和本地混合數(shù)據(jù)倉庫的集合，PowerBI都可以讓你輕松地連接到數(shù)據(jù)源，直觀看到（或發(fā)現(xiàn)）重要內(nèi)容，與任何所希望的人進(jìn)行共享。PowerBI的組成部分：PowerBI包含Windows桌面應(yīng)用程序（稱為PowerBI?Desktop）、聯(lián)機(jī)SAAS（軟件及服務(wù)）服務(wù)（稱為PowerBI服務(wù)）。及移動(dòng)PowerBI應(yīng)用（可在Windows手機(jī)和平板電腦及IOS和Android設(shè)備上使用）。這三個(gè)元素、Desktop、服務(wù)和移動(dòng)，旨在使用戶通過最有效的方式創(chuàng)建、共享和使用商業(yè)見解。PowerBI的操作一般流程：1、將數(shù)據(jù)導(dǎo)入PowerBI?Desktop，并創(chuàng)建報(bào)表。2、發(fā)布到PowerBI服務(wù)，你可在該服務(wù)中創(chuàng)建新的可視化效果或構(gòu)建儀表板。3、與他人（尤其是差旅人員）共享你的儀表板4、在PowerBI?Desktop應(yīng)用中查看共享儀表板和報(bào)表并與其交互。PowerBI的基本構(gòu)建模塊：可視化效果：有時(shí)稱之為視覺對(duì)象，是數(shù)據(jù)的可視化表示形成，例如圖標(biāo)、圖形、彩色編碼的地圖或其他你可創(chuàng)建用以直觀呈現(xiàn)你的數(shù)據(jù)的有趣事物。數(shù)據(jù)集：PowerBI用來創(chuàng)建其可視化效果的數(shù)據(jù)集合，基于EXCEL工作簿中的單個(gè)表，你可以有一個(gè)簡(jiǎn)單的數(shù)據(jù)集，數(shù)據(jù)集也可以是許多不同源的組合，你可以篩選和組合以提供一個(gè)用在PowerBI中的唯一集合數(shù)據(jù)。報(bào)表：在PowerBI中，報(bào)表是一起顯示在一個(gè)或多個(gè)頁面的可視化效果集合。就想你可能會(huì)對(duì)銷售演示文稿創(chuàng)建的任何其他報(bào)表，或者你將對(duì)學(xué)校分配編寫報(bào)表一樣，在PowerBI中，報(bào)表是批次相關(guān)的項(xiàng)目的集合。儀表盤：PowerBI儀表板非常類似與汽車中的儀表板，是單個(gè)頁面中你可與其他人共享的視覺對(duì)象的集合。通常，這是提供對(duì)你嘗試呈現(xiàn)的數(shù)據(jù)以及情景的快速了解的選定視覺對(duì)象組。磁貼：在PowerBI中，磁貼是在報(bào)表或儀表板中找到單個(gè)可視化效果。他是包含每個(gè)單個(gè)視覺對(duì)象的矩形框。當(dāng)你在PowerBI中創(chuàng)建報(bào)表或儀表板時(shí)，可以以任何你想要呈現(xiàn)信息的方式來穎或排列磁貼。PowerBI高顏值、可交互、鉆取的儀表板；高智商、問與答功能，讓你的報(bào)告會(huì)說話；高效率、數(shù)據(jù)源可配置自動(dòng)更新實(shí)現(xiàn)實(shí)時(shí)的儀表板展現(xiàn)；可拓展的可視化圖表。PowerQuery是負(fù)責(zé)抓取和整理數(shù)據(jù)的，他可以抓取幾乎市面上所有格式的源數(shù)據(jù)，然后再按照我們需要的格式整理出來。通過PowerQuery我們可以快速將多個(gè)數(shù)據(jù)源的數(shù)據(jù)合并、追加到一