“1+X”(中級)02-大數(shù)據(jù)分析平臺

大數(shù)據(jù)分析平臺學(xué)習(xí)完本課程后，你將能夠：了解常見的大數(shù)據(jù)分析平臺體系了解阿里云大數(shù)據(jù)產(chǎn)品體系了解阿里云大數(shù)據(jù)計算服務(wù)MaxCompute，掌握其基本操作了解阿里云數(shù)據(jù)工場DataWorks，掌握其基本操作了解什么是阿里云可視化產(chǎn)品QuickBI和DataV，并掌握其基本操作了解阿里云機(jī)器學(xué)習(xí)產(chǎn)品PAI，掌握其簡單操作課程目標(biāo)課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI介紹與基本操作數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAI課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI介紹與基本操作數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAI什么是大數(shù)據(jù)分析平臺大數(shù)據(jù)分析平臺就是依據(jù)企業(yè)的數(shù)據(jù)需求，整合當(dāng)前主流的、成熟的各種具有不同側(cè)重點的大數(shù)據(jù)處理分析框架和工具，實現(xiàn)對海量數(shù)據(jù)的挖掘和分析，滿足企業(yè)的數(shù)據(jù)需求。通常意義上講，大數(shù)據(jù)分析平臺包括如下功能模塊：數(shù)據(jù)源：數(shù)據(jù)源決定著數(shù)據(jù)采集，常見的數(shù)據(jù)源可分為結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，依據(jù)采集方式又可分批數(shù)據(jù)采集、實時以及流式數(shù)據(jù)采集等；數(shù)據(jù)采集：即將數(shù)據(jù)導(dǎo)入到大數(shù)據(jù)分析平臺；數(shù)據(jù)存儲：采集后的數(shù)據(jù)，經(jīng)過系統(tǒng)的清洗，轉(zhuǎn)換、分類等操作，將數(shù)據(jù)儲存在系統(tǒng)中，為了便于數(shù)據(jù)分析時的提取及應(yīng)用；數(shù)據(jù)處理和分析：即對存儲在系統(tǒng)中的數(shù)據(jù)分析、處理，數(shù)據(jù)處理與分析的快慢，是檢驗數(shù)據(jù)分析系統(tǒng)功能的重要指標(biāo)，數(shù)據(jù)分析系統(tǒng)得出數(shù)據(jù)分析的最終結(jié)果，用于業(yè)務(wù)應(yīng)用。數(shù)據(jù)展示：數(shù)據(jù)可視化，分析的結(jié)果以視覺的角度展現(xiàn)在用戶面前，達(dá)到最終的目的?；贖adoop的大數(shù)據(jù)分析平臺大數(shù)據(jù)平臺是對海量結(jié)構(gòu)化、非結(jié)構(gòu)化、半機(jī)構(gòu)化數(shù)據(jù)進(jìn)行采集、存儲、計算、統(tǒng)計、分析處理的一系列技術(shù)平臺。大數(shù)據(jù)平臺處理的數(shù)據(jù)量通常是TB級，甚至是PB或EB級的數(shù)據(jù)，其涉及的技術(shù)主要有分布式計算、高并發(fā)處理、高可用處理、集群管理、實時計算等。Hadoop作為一個開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺，實現(xiàn)了在大量的廉價計算機(jī)組成的集群中對海量數(shù)據(jù)進(jìn)行分布式計算；Hadoop框架中最核心的設(shè)計是HDFS和MapReduce；HDFS是一個高度容錯性的系統(tǒng)，MapReduce是一套可以從海量的數(shù)據(jù)中提取數(shù)據(jù)最后返回結(jié)果集的編程模型；Hadoop家族還包含各種開源組件，比如Yarn，Zookeeper，Hbase，Hive，Sqoop，Impala，Spark等；Hadoop大數(shù)據(jù)分析平臺系統(tǒng)架構(gòu)數(shù)據(jù)采集與預(yù)處理：日志數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)采集處理常見工具有Flume，Logstash，實時數(shù)據(jù)、流式數(shù)據(jù)常采用Strom，Sparkstreaming、Flink等數(shù)據(jù)存儲：列存儲HBASE、NoSQL存儲Redis、大數(shù)據(jù)存儲引擎KuDu數(shù)據(jù)挖掘分析：Hive（HQL）、Pig、Impala、Spark等數(shù)據(jù)應(yīng)用：Tableau、Qlikview、PowrerBI等課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI介紹與基本操作數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAI阿里云大數(shù)據(jù)平臺一站式數(shù)據(jù)平臺提供多層服務(wù)行業(yè)解決方案阿里云大數(shù)據(jù)平臺定位阿里云大數(shù)據(jù)平臺產(chǎn)品架構(gòu)

交互式分析引擎

Hologres圖計算引擎GraphCompute大數(shù)據(jù)計算服務(wù)MaxCompute開源大數(shù)據(jù)計算服務(wù)E-MapReduce實時計算RealtimeComputeIOTDBHDFSOSS異構(gòu)數(shù)據(jù)源管理元數(shù)據(jù)采集與構(gòu)建元數(shù)據(jù)倉庫元數(shù)據(jù)服務(wù)跨引擎混合調(diào)度跨云混合調(diào)度跨地域混合調(diào)度流批混合調(diào)度調(diào)度流程邏輯控制離線開發(fā)實時開發(fā)機(jī)器學(xué)習(xí)圖計算分析交互式查詢數(shù)據(jù)服務(wù)應(yīng)用開發(fā)智能云上開發(fā)X-Studio(IDE插件對接各種引擎）數(shù)據(jù)資產(chǎn)數(shù)據(jù)質(zhì)量數(shù)據(jù)安全數(shù)據(jù)分析數(shù)據(jù)監(jiān)控

數(shù)據(jù)分享批量同步實時同步增量同步數(shù)據(jù)轉(zhuǎn)換IOT采集計算存儲引擎全域數(shù)據(jù)集成統(tǒng)一元數(shù)據(jù)中心統(tǒng)一任務(wù)調(diào)度智能數(shù)據(jù)開發(fā)數(shù)據(jù)綜合治理DataWorks全域智能大數(shù)據(jù)平臺10典型阿里云大數(shù)據(jù)平臺架構(gòu)阿里云大數(shù)據(jù)平臺優(yōu)勢平臺優(yōu)勢應(yīng)用廣泛的最佳實踐極致的性能與成本易用齊全的產(chǎn)品體系A(chǔ)I加持的雙生系統(tǒng)課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute

3.1MaxCompute介紹

3.2MaxCompute基本操作4.一站式大數(shù)據(jù)平臺DataWorks5.BI平臺QuickBI介紹與基本操作6.數(shù)據(jù)大屏DataV7.機(jī)器學(xué)習(xí)平臺PAI大數(shù)據(jù)計算服務(wù)-MaxCompute大數(shù)據(jù)計算服務(wù)MaxCompute，由阿里云自主研發(fā)，提供針對TB/PB級數(shù)據(jù)、實時性要求不高的分布式處理能力，應(yīng)用于數(shù)據(jù)分析、挖掘、商業(yè)智能等領(lǐng)域。阿里巴巴的數(shù)據(jù)業(yè)務(wù)都運行在MaxCompute。MaxComputeMaxCompute是一種快速、完全托管的EB級數(shù)據(jù)倉庫解決方案。MaxCompute的主要功能及作用數(shù)據(jù)通道計算分析開發(fā)SDK安全服務(wù)MaxCompute致力于批量結(jié)構(gòu)化數(shù)據(jù)的存儲和計算，提供海量數(shù)據(jù)倉庫的解決方案及分析建模服務(wù)。通常和DataWorks一起構(gòu)建大數(shù)據(jù)分析平臺。課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute3.1MaxCompute介紹

3.2MaxCompute基本操作4.一站式大數(shù)據(jù)平臺DataWorks5.BI平臺QuickBI介紹與基本操作6.數(shù)據(jù)大屏DataV7.機(jī)器學(xué)習(xí)平臺PAIMaxCompute的使用流程MaxCompute所有的操作都是基于表，因此MaxCompute的使用從安裝配置環(huán)境后建表開始準(zhǔn)備賬號開通服務(wù)創(chuàng)建項目空間創(chuàng)建子賬號并賦權(quán)安裝配置訪問工具（客戶端等）創(chuàng)建表/數(shù)據(jù)操作MaxComputeMaxCompute常見使用方式使用方式使用場景及優(yōu)勢API/SDK：以RESTfulAPI或JavaSDK、pythonSDK的方式提供離線數(shù)據(jù)處理服務(wù)。定制開發(fā)，滿足個性化需求，與外部系統(tǒng)對接。CLT（CommandLineTool）：運行在Window/Linux下的客戶端工具，通過CLT可以提交命令完成Project管理、DDL、DML等操作。本地上傳下載數(shù)據(jù)、項目空間管理；靈活、易用。DataWorks：提供了上層可視化ETL/BI工具，用戶可以基于DataWorks完成數(shù)據(jù)同步、任務(wù)調(diào)度、報表生成等常見操作。團(tuán)隊分工協(xié)作數(shù)據(jù)開發(fā)全流程，高效、安全。IDE插件：eclipse插件、IDEA插件、RStudio插件，擴(kuò)展IDE對MaxCompute的支持。使用第三方IDE對接MaxCompute，提升本地開發(fā)、調(diào)試效率。MaxCompute的客戶端MaxCompute客戶端是一個java程序，需要JRE環(huán)境才能運行，請下載并安裝JRE1.6+版本（JRE1.7或以上版本，建議優(yōu)先使用JRE1.7/1.8，其中JRE1.9已經(jīng)支持，JRE1.10暫時還不支持）。1.官網(wǎng)下載客戶端壓縮文件2.解壓文件，可以看到如下4個文件夾：bin/conf/lib/plugins/客戶端工具CLT修改<ODPS_CLIENT>/conf/odps_conf.ini

project_name=[project_name]

access_id=****************

access_key=******************************end_point=/apitunnel_endpoint=log_view_host=https_check=<true|false>

MaxCompute的客戶端應(yīng)用客戶端工具CLT運行bin目錄下的MaxCompute：Linux系統(tǒng)下運行./bin/odpscmdWindows下運行./bin/odpscmd.batodps@my_project>select*frommy_table; --執(zhí)行SQL語句odps@my_project>descmy_table; --查看表結(jié)構(gòu)odps@my_project>listtables; --查看表名列表odps@my_project>createtablemy_talbe(idbigint);--創(chuàng)建表Java+eclipse的應(yīng)用JavaeclipseStep01官網(wǎng)導(dǎo)航中找到并下載MaxComputeforeclipse插件；Step02將插件解壓并復(fù)制到問eclipse安裝目錄下的plug-in子目錄下；Step03啟動eclipse；Step04檢查Wizard選項，確認(rèn)配置成功。使用MaxComputStudioIntelliJIDEAMaxComputeStudio，是面向MaxCompute計算引擎開發(fā)的數(shù)據(jù)處理開發(fā)工具，是一套基于流行的集成開發(fā)平臺IntelliJIDEA的開發(fā)插件。安裝步驟：安裝JDK1.8安裝IntelliJIDEA,需要IntelliJIDEA14.1.4以上在IntelliJIDEA中打開File|Settings|Plugins，點擊Browserepositories...按鈕搜索“MaxComputeStudio",安裝MaxComputeStudio插件完成安裝，重新啟動IntelliJIDEA創(chuàng)建MaxCompute項目鏈接數(shù)據(jù)上傳/下載綜述DataHub實時數(shù)據(jù)通道OGG插件Flume插件LogStash插件Fluentd插件Tunnel批量數(shù)據(jù)通道DataWorksDTSSqoopKettle插件MaxCompute客戶端MaxCompute系統(tǒng)上傳/下載數(shù)據(jù)包括兩種方式:Tunnel上傳/下載數(shù)據(jù)MaxCompute客戶端提供Tunnel命令實現(xiàn)數(shù)據(jù)的上傳/下載?；菊Z法：

tunnel<subcommand>[options]args示例：下載數(shù)據(jù)：tunneldownload-cGBKtmp_tabled:\tmp_table.csv上傳數(shù)據(jù)：tunnelupload-cGBKd:\dim_map.csvdim_mapMaxComputeSQL是什么？MaxComputeSQL是個數(shù)據(jù)倉庫工具，Query解析后，計算和存儲交由底層的飛天實現(xiàn)。MaxComputeSQL支持常用的SQL語法，包括窗口函數(shù)MaxComputeSQL可以看做對標(biāo)準(zhǔn)SQL的支持，但是不能簡單等同于數(shù)據(jù)庫MaxComputeSQL不支持事務(wù)、主外鍵約束、索引等MaxComputeSQL長度有限制，目前是不能超過2MMaxComputeSQL適用于海量數(shù)據(jù)(TB/PB級別)的數(shù)據(jù)運算MaxComputeSQL的每個作業(yè)的準(zhǔn)備，提交等階段要花費較長時間，實時性不高M(jìn)axComputeSQL的關(guān)鍵字MaxCompute將SQL語句的關(guān)鍵字作為保留字。在對表、列或是分區(qū)命名時如若使用關(guān)鍵字，需給關(guān)鍵字加``符號進(jìn)行轉(zhuǎn)義，否則會報錯。保留字不區(qū)分大小寫。常見如圖：MaxComputeSQL的類型轉(zhuǎn)換顯式轉(zhuǎn)換是指用cast將一種數(shù)據(jù)類型的值轉(zhuǎn)換為另一種類型的值的行為。隱式轉(zhuǎn)換是指依據(jù)上下文使用環(huán)境及類型轉(zhuǎn)換規(guī)則自動進(jìn)行的類型轉(zhuǎn)換MaxComputeSQL的運算符and,or,not&、|+,-,*,/,%>,<,>=,<=,=,<>,isnull,isnotnull,like,rlike,in，betweenand關(guān)系運算符算術(shù)運算符邏輯運算符位運算符MaxComputeSQL的DDL語句創(chuàng)建表/視圖添加分區(qū)查看表/分區(qū)信息刪除分區(qū)修改表修改生命周期DDL語句MaxComputeSQL的DML語句SELECT操作INSERT操作TRUNCATE操作函數(shù)DML語句MaxComputeSQL的函數(shù)內(nèi)置函數(shù)自定義函數(shù)MaxCompute中的函數(shù)自定義函數(shù)UDAFUserDefinedAggregationFunctionUDFUserDefinedScalarFunctionUDTFUserDefinedTableValuedFunction用戶自定義標(biāo)量函數(shù)用戶自定義表值函數(shù)用戶自定義聚組函數(shù)UDF：用戶自定義函數(shù)UDF實現(xiàn)邏輯實現(xiàn)UDF需要繼承com.aliyun.odps.udf.UDF類，并實現(xiàn)evaluate方法evaluate方法必須是非

static的public方法evaluate方法的參數(shù)和返回值類型將作為SQL中UDF的函數(shù)簽名用戶可以在UDF中實現(xiàn)多個evaluate方法

調(diào)用UDF時框架會依據(jù)UDF調(diào)用的參數(shù)類型匹配正確的evaluate方法加載UDF依賴包繼承UDF類定義evaluate方法（函數(shù)簽名）實現(xiàn)evaluate方法UDF的開發(fā)流程配置開發(fā)安裝配置環(huán)境，開發(fā)并使用本地模式測試UDF上傳資源使用odpscmd的命令將本地Jar包上傳MaxCompute創(chuàng)建函數(shù)MaxCompute中，基于上傳的Jar包創(chuàng)建自定義函數(shù)打成Jar包將開發(fā)好的UDF導(dǎo)出成Jar包測試使用在MaxCompute上測試并使用自定義函數(shù)分布式離線計算框架-MapReduceMR的開發(fā)應(yīng)用流程123412341）安裝配置環(huán)境2）開發(fā)MR程序；3）本地模式測試腳本4）導(dǎo)出Jar包55）上傳至MaxCompute項目空間66）在MaxCompute中使用MR課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorks

4.1DataWorks介紹4.2DataWorks基本操作

5.BI平臺QuickBI介紹與基本操作6.數(shù)據(jù)大屏DataV7.機(jī)器學(xué)習(xí)平臺PAI大數(shù)據(jù)開發(fā)平臺-DataWorksDataWorks（數(shù)據(jù)工場，原大數(shù)據(jù)開發(fā)套件）是阿里云數(shù)加重要的PaaS平臺產(chǎn)品，它提供全面托管的工作流服務(wù)，一站式開發(fā)管理的界面，幫助企業(yè)專注于數(shù)據(jù)價值的挖掘和探索。DataWorks支持多種計算和存儲引擎服務(wù)，包括離線計算MaxCompute、開源大數(shù)據(jù)引擎E-MapReduce、實時計算（基于Flink）、機(jī)器學(xué)習(xí)PAI、圖計算服務(wù)GraphCompute和交互式分析服務(wù)等，并且支持用戶自定義接入計算和存儲服務(wù)。DataWorksDataWorks

的主要功能及作用全面托管的調(diào)度數(shù)據(jù)轉(zhuǎn)化與同步可視化開發(fā)監(jiān)控告警使用DataWorks，可以對數(shù)據(jù)進(jìn)行傳輸、轉(zhuǎn)換和集成等操作，從不同的數(shù)據(jù)存儲引入數(shù)據(jù)，并進(jìn)行轉(zhuǎn)化和開發(fā)，最后將處理好的數(shù)據(jù)同步至其它數(shù)據(jù)系統(tǒng)。DataWorks提供全鏈路智能大數(shù)據(jù)及AI開發(fā)和治理服務(wù)。通常情況下DataWorks和其他產(chǎn)品結(jié)合在一起尤其是MaxCompute搭建數(shù)據(jù)分析系統(tǒng)。課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorks4.1DataWorks介紹

4.2DataWorks基本操作

5.BI平臺QuickBI介紹與基本操作6.數(shù)據(jù)大屏DataV7.機(jī)器學(xué)習(xí)平臺PAIDataWorks的使用流程DataWorks的使用從主賬號（組織管理員）創(chuàng)建項目和子賬號開始并賦權(quán)開始。不同角色的賬號操作模塊不同。開通MaxCompute資源新建項目空間創(chuàng)建子賬號分配項目管理員添加項目成員數(shù)據(jù)開發(fā)生產(chǎn)運維組織管理員（主賬號）項目管理員（子賬號）開發(fā)（子賬號）部署+運維（子賬號）1234DataWorks數(shù)據(jù)平臺開發(fā)流程數(shù)據(jù)產(chǎn)生數(shù)據(jù)提取數(shù)據(jù)收集與存儲數(shù)據(jù)分析與處理數(shù)據(jù)展現(xiàn)與分享大數(shù)據(jù)開發(fā)平臺數(shù)據(jù)產(chǎn)生：業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化的數(shù)據(jù)，通常存儲的數(shù)據(jù)庫中，如MySQL、Oracle、RDS等類型。數(shù)據(jù)收集與存儲：利用MaxCompute的海量數(shù)據(jù)存儲與處理能力來分析這些已有的數(shù)據(jù)，首先需要將不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)同步至MaxCompute中。DataWorks提供數(shù)據(jù)集成服務(wù)，可將多種數(shù)據(jù)源類型數(shù)據(jù)按照預(yù)設(shè)的調(diào)度周期同步到MaxCompute中。數(shù)據(jù)分析與處理：對MaxCompute上的數(shù)據(jù)進(jìn)行加工（MaxComputeSQL、MaxComputeMR）、分析與挖掘（數(shù)據(jù)分析、數(shù)據(jù)挖掘）等處理，從而發(fā)現(xiàn)其價值。數(shù)據(jù)提?。悍治雠c處理后的結(jié)果數(shù)據(jù)，需同步導(dǎo)出至其他（業(yè)務(wù)）系統(tǒng)，供業(yè)務(wù)人員使用其分析的價值。數(shù)據(jù)展現(xiàn)和分享：最后可通過報表、地理信息系統(tǒng)等多種展現(xiàn)方式來展示與分享大數(shù)據(jù)分析、處理后的成果。數(shù)據(jù)處理數(shù)據(jù)輸入數(shù)據(jù)加工代碼發(fā)布生產(chǎn)運維數(shù)據(jù)輸出生產(chǎn)調(diào)度開發(fā)角色部署/運維運維角色涉及模塊：數(shù)據(jù)開發(fā)模塊發(fā)布管理模塊運維中心模塊數(shù)據(jù)管理模塊注：在數(shù)據(jù)開發(fā)過程中，需由項目管理員在【項目管理>數(shù)據(jù)源配置】來新增數(shù)據(jù)源供開發(fā)使用。本地數(shù)據(jù)導(dǎo)入DataWorks支持以下兩種操作：將保存在本地的文本文件中的數(shù)據(jù)上傳到工作空間的表中。通過數(shù)據(jù)集成模塊將業(yè)務(wù)數(shù)據(jù)從多個不同的數(shù)據(jù)源導(dǎo)入到工作空間。本地文本文件上傳的限制如下：文件類型：僅支持.txt和.csv格式。文件大?。翰怀^10M。操作對象：導(dǎo)入分區(qū)表時，分區(qū)不允許為中文。數(shù)據(jù)節(jié)點開發(fā)選擇或新建業(yè)務(wù)流程新建或選擇已有的ODPSSQL節(jié)點編寫符合語法的SQL代碼當(dāng)前界面測試運行、檢查語法邏輯錯誤、輸出結(jié)果配置節(jié)點調(diào)度信息、依賴關(guān)系（非手工流程）保存、提交節(jié)點任務(wù)發(fā)布到生產(chǎn)、測試（非單一項目）DataWorks中，ODPSSQL節(jié)點、Shell節(jié)點、PyODPS節(jié)點等各類節(jié)點的開發(fā)過程大同小異，根本區(qū)別在于個不同類型節(jié)點的數(shù)據(jù)處理實現(xiàn)。ODPSSQL節(jié)點開發(fā)過程示例如下:任務(wù)調(diào)度配置任務(wù)的時間屬性目前支持月、周、天、小時和分鐘5種配置方式，目前能支持的最短時間為５分鐘。說明：周期運行的任務(wù)依賴關(guān)系的優(yōu)先級

大于

時間屬性，即在時間屬性決定的某個時間點到達(dá)時，任務(wù)實例運行的前提是上游依賴是否全部運行成功。上游依賴的實例沒有全部運行成功

并且

定時運行時間已到，則實例仍為

未運行狀態(tài)。上游依賴的實例全部運行成功

并且

定時運行時間還未到，則實例進(jìn)入

等待時間

狀態(tài)。上游依賴的實例全部運行成功

并且

定時運行時間已到，則實例進(jìn)入

等待資源

狀態(tài)準(zhǔn)備運行。DataWorks中的參數(shù)設(shè)置參數(shù)類型設(shè)置方式適用類型參數(shù)編輯框示例系統(tǒng)參數(shù)date和bdp.system.cyctime在調(diào)度系統(tǒng)中運行時，無須在編輯框設(shè)置，可直接在代碼中引用${date}和${bdp.system.cyctime}，系統(tǒng)將自動替換這兩個參數(shù)的取值全部節(jié)點類型無自定義參數(shù)在代碼中引用${key1},${key2}，然后在“參數(shù)”編輯框以如下方式設(shè)置“key1=value1key2=value2”，除Shell外的其他節(jié)點類型常量參數(shù)：param1=”abc”param2=1234；變量參數(shù)：param1=$[yyyymmdd],結(jié)果將基于bdp.system.cyctime的取值計算在代碼中引用$1$2$3，然后在“參數(shù)”編輯框以如下方式設(shè)置：“value1value2value3”Shell類型常量參數(shù)：”abc”1234；變量參數(shù)：$[yyyymmdd],結(jié)果將基于bdp.system.cyctime的取值計算數(shù)據(jù)管理數(shù)據(jù)管理為用戶提供組織內(nèi)全局?jǐn)?shù)據(jù)視圖、用戶可以對組織內(nèi)數(shù)據(jù)進(jìn)行分權(quán)管理、元數(shù)據(jù)信息詳情、數(shù)據(jù)生命周期管理、數(shù)據(jù)表/資源/函數(shù)權(quán)限管理審批等操作。具體功能以及管理模塊權(quán)限如圖：數(shù)據(jù)搜索數(shù)據(jù)權(quán)限申請新建表收藏表修改生命周期修改表結(jié)構(gòu)隱藏表修改表負(fù)責(zé)人刪除表查看表詳情類目導(dǎo)航配置功能模塊權(quán)限點組織管理員項目管理員開發(fā)權(quán)限管理權(quán)限審批與收回—√—管理配置類目導(dǎo)航配置√√√數(shù)據(jù)管理自己創(chuàng)建的表刪除√√√數(shù)據(jù)管理自己創(chuàng)建的表類目設(shè)置√√√數(shù)據(jù)管理自己收藏的表查看√√√數(shù)據(jù)管理新建表√√√數(shù)據(jù)管理自己創(chuàng)建的表取消隱藏√√√數(shù)據(jù)管理自己創(chuàng)建的表結(jié)構(gòu)變更√√√數(shù)據(jù)管理自己創(chuàng)建的表查看√√√數(shù)據(jù)管理自己申請的權(quán)限內(nèi)容查看√√√數(shù)據(jù)管理自己創(chuàng)建的表隱藏√√√數(shù)據(jù)管理自己創(chuàng)建的表生命周期設(shè)置√√√數(shù)據(jù)管理非自己創(chuàng)建的表數(shù)據(jù)權(quán)限申請√√√運維操作運維中心僅對開發(fā)、運維、項目管理員角色的人員開放：開發(fā)：進(jìn)行單個工作流/節(jié)點測試、補(bǔ)數(shù)據(jù)、暫停、重跑任務(wù)，查看任務(wù)運行日志等操作，還可配置監(jiān)控報警；運維：經(jīng)常處理任務(wù)異常，運維任務(wù)包括：單個工作流/節(jié)點測試、補(bǔ)數(shù)據(jù)、暫停、重跑任務(wù)等操作。同時，還可進(jìn)行批量修改工作流/節(jié)點屬性、批量殺任務(wù)及批量重跑、配置監(jiān)控報警等干預(yù)性操作。項目管理員:在運維中心模塊中擁有與運維人員同等的操作權(quán)限。智能監(jiān)控智能監(jiān)控模塊是DataWorks（數(shù)據(jù)工場）任務(wù)運行的監(jiān)控及分析系統(tǒng)。根據(jù)監(jiān)控規(guī)則和任務(wù)運行情況，智能監(jiān)控決策是否報警、何時報警、如何報警以及給誰報警。智能監(jiān)控會自動選擇最合理的報警時間，報警方式以及報警對象?；€預(yù)警和事件告警通過設(shè)定基線監(jiān)控任務(wù)，即監(jiān)控范圍設(shè)定報警策略智能判定報警時機(jī)和對象、自動升級報警自定義提醒輕量級監(jiān)控功能自行設(shè)定報警對象、條件、方式以及頻次觸發(fā)條件包括完成、出錯、未完成、超時其他值班表功能，即可以設(shè)置某個值班表某個人在某個時間段內(nèi)接收報警值班表支持循環(huán)規(guī)則配置課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI介紹與基本操作5.1QuickBI介紹

5.2QuickBI基本操作6.數(shù)據(jù)大屏DataV7.機(jī)器學(xué)習(xí)平臺PAIQuickBI介紹QuickBI是一個基于云計算的靈活的輕量級的自助BI工具服務(wù)平臺。它提供海量數(shù)據(jù)實時在線分析，拖拽式操作、豐富的可視化效果，幫助您輕松自如地完成數(shù)據(jù)分析、業(yè)務(wù)數(shù)據(jù)探查。它不止是業(yè)務(wù)人員看數(shù)據(jù)的工具，更是數(shù)據(jù)化運營的助推器，解決大數(shù)據(jù)應(yīng)用“最后一公里”的問題，實現(xiàn)人人都是數(shù)據(jù)分析師。QuickBIQuickBI的功能及作用數(shù)據(jù)分析極速建模數(shù)據(jù)可視化多維數(shù)據(jù)分析數(shù)據(jù)報表集成多用戶協(xié)作QuickBI是在大數(shù)據(jù)構(gòu)建與管理之上，直接解決業(yè)務(wù)場景問題，支持全局?jǐn)?shù)據(jù)監(jiān)控和數(shù)據(jù)化運營,QuickBI通常在大數(shù)據(jù)分析平臺實現(xiàn)數(shù)據(jù)分析、數(shù)據(jù)展現(xiàn)。常見應(yīng)用場景如：數(shù)據(jù)及時分析與決策、報表與自有系統(tǒng)集成、交易數(shù)據(jù)權(quán)限管控等。課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI介紹與基本操作

5.1QuickBI介紹5.2QuickBI基本操作6.數(shù)據(jù)大屏DataV7.機(jī)器學(xué)習(xí)平臺PAIQuickBI的使用流程QuickBI是一個基于云計算的靈活的輕量級的自助BI工具服務(wù)平臺。新建數(shù)據(jù)源創(chuàng)建數(shù)據(jù)集制作工作表、電子表格和儀表板搭建數(shù)據(jù)門戶云數(shù)據(jù)源MaxCompute、MySQL、HiveSQLServer、AnalyticDB、PPASHybridDBforMySQL&PostgreSQL、PostgreSQL自建數(shù)據(jù)庫下的數(shù)據(jù)源MySQL、SQLServerOracle、Hive探索空間CSV文件、Excel文件DataIDEQuickBI核心流程—添加數(shù)據(jù)源1支持的數(shù)據(jù)源數(shù)據(jù)源添加步驟：1.選擇數(shù)據(jù)源類型/種類（數(shù)據(jù)源標(biāo)簽）2.配置所需要的數(shù)據(jù)源連接信息3.連接測試4.點擊添加（配置RDS示例信息）顯示名稱：數(shù)據(jù)源列表顯示名稱數(shù)據(jù)庫地址：寫主機(jī)名或IP地址即可端口號：填寫正確的端口號即可數(shù)據(jù)庫：連接數(shù)據(jù)庫名稱用戶名：數(shù)據(jù)庫對應(yīng)的用戶名密碼：數(shù)據(jù)庫對應(yīng)密碼QuickBI核心流程—創(chuàng)建數(shù)據(jù)集2數(shù)據(jù)集添加步驟：1.選擇數(shù)據(jù)源（數(shù)據(jù)源已有）2.選擇數(shù)據(jù)表3.創(chuàng)建數(shù)據(jù)集QuickBI核心流程—編輯數(shù)據(jù)集2實際應(yīng)用中，根據(jù)圖表的展示需要，往往需要編輯對應(yīng)的數(shù)據(jù)集；數(shù)據(jù)集中所包含的字段自動劃分為維度和度量，根據(jù)實際需要，編輯數(shù)據(jù)的維度字段和度量字段，編輯完成，根據(jù)系統(tǒng)提供的工具欄，將編輯好的數(shù)據(jù)保存和刷新。編輯界面編輯維度編輯度量關(guān)聯(lián)數(shù)據(jù)表QuickBI核心流程—編輯數(shù)據(jù)集2實際應(yīng)用中，根據(jù)圖表的展示需要，往往需要編輯對應(yīng)的數(shù)據(jù)集；數(shù)據(jù)集中所包含的字段自動劃分為維度和度量，根據(jù)實際需要，編輯數(shù)據(jù)的維度字段和度量字段，編輯完成，根據(jù)系統(tǒng)提供的工具欄，將編輯好的數(shù)據(jù)保存和刷新。編輯維度編輯：修改維度顯示名以及備注信息?？寺【S度：快速復(fù)制一個維度，生成的維度將會自動帶上副本以做提示。刪除：刪除該字段。新建計算字段（維度）：可新創(chuàng)建一個維度字段，并且可自定義其計算方式。移動到：快速將維度納入到已有層次結(jié)構(gòu)中，可用來實現(xiàn)鉆取。新建層次結(jié)構(gòu)：快速將維度納入到新建的層次結(jié)構(gòu)中。上移/下移：移動字段位置，支持鼠標(biāo)拖拽和右鍵單擊。轉(zhuǎn)換為度量：可將當(dāng)前維度字段轉(zhuǎn)換為度量字段。維度類型切換：默認(rèn)、日期以及地理維度的切換。QuickBI核心流程—編輯數(shù)據(jù)集2實際應(yīng)用中，根據(jù)圖表的展示需要，往往需要編輯對應(yīng)的數(shù)據(jù)集；數(shù)據(jù)集中所包含的字段自動劃分為維度和度量，根據(jù)實際需要，編輯數(shù)據(jù)的維度字段和度量字段，編輯完成，根據(jù)系統(tǒng)提供的工具欄，將編輯好的數(shù)據(jù)保存和刷新。編輯度量編輯：修改度量顯示名以及備注信息。刪除:刪除該字段.新建計算字段（度量）：可新建一個度量字段，并且可自定義其計算方式。移動到：快速將度量納入到已有文件夾中下移：移動字段位置，支持鼠標(biāo)拖拽和右鍵轉(zhuǎn)換為維度：可將當(dāng)前度量字段轉(zhuǎn)換為維度字段。數(shù)字格式化：可決定數(shù)字的顯示格式。默認(rèn)聚合方式：可在菜單中選擇聚合方式，如求和，最大值，最小值等。QuickBI核心流程—編輯數(shù)據(jù)集2實際應(yīng)用中，根據(jù)圖表的展示需要，往往需要編輯對應(yīng)的數(shù)據(jù)集；除了編輯維度、度量外，還經(jīng)常進(jìn)行表關(guān)聯(lián)操作，如下圖：預(yù)覽保存完成關(guān)聯(lián)表添加選擇關(guān)聯(lián)字段選擇關(guān)聯(lián)表選擇關(guān)聯(lián)方式選擇數(shù)據(jù)集字段選擇數(shù)據(jù)集QuickBI核心流程—制作電子表格3編輯好的數(shù)據(jù)集保存后，可以進(jìn)入制作電子表格。數(shù)據(jù)集選擇區(qū)內(nèi)切換已有的數(shù)據(jù)集；電子表格配置區(qū)選擇要制作的數(shù)據(jù)圖表，并且根據(jù)展示需要，設(shè)置單元格的顏色、字體、數(shù)據(jù)格式等多種操作；電子表格展示區(qū)，按照單元格展示和引用數(shù)據(jù)，完成數(shù)據(jù)的再加工。QuickBI核心流程—編輯儀表板3選擇編輯好的數(shù)據(jù)集，點擊新建儀表板，創(chuàng)建\編輯儀表板新建儀表板選擇數(shù)據(jù)集配置儀表板配置儀表盤：添加控件、配置控件樣式、數(shù)據(jù)；添加數(shù)據(jù)圖表，配置圖表樣式、數(shù)據(jù)信息；若有需要還需配置控件與圖表控件之間的關(guān)系。QuickBI核心流程—搭建門戶4門戶也叫數(shù)據(jù)產(chǎn)品，是通過菜單形式組織的儀表板的集合。通過數(shù)據(jù)門戶可以制作復(fù)雜的帶導(dǎo)航菜單的專題類分析。1、新建門戶2、設(shè)置頁面信息3、設(shè)置菜單4、分享授權(quán)課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI介紹與基本操作數(shù)據(jù)大屏DataV6.1DataV介紹

6.2DataV基本操作7.機(jī)器學(xué)習(xí)平臺PAI什么是DataVDataV數(shù)據(jù)可視化:是阿里云研發(fā)的，使用可視化大屏的方式來分析并展示龐雜數(shù)據(jù)的產(chǎn)品。DataV旨讓更多的人看到數(shù)據(jù)可視化的魅力，幫助非專業(yè)的工程師通過圖形化的界面輕松搭建專業(yè)水準(zhǔn)的可視化應(yīng)用，滿足會議展覽、業(yè)務(wù)監(jiān)控、風(fēng)險預(yù)警、地理信息分析等多種業(yè)務(wù)的展示需求。DataVDataV的功能及作用豐富場景模板多數(shù)據(jù)類型分析圖形化搭建工具多分辨率適配發(fā)布DataV通過拖、拉、拽形式實現(xiàn)數(shù)據(jù)可視化，完成工業(yè)級的數(shù)據(jù)可視化項目的開發(fā)?；诟咝阅艿娜S渲染引擎，實現(xiàn)對海量數(shù)據(jù)分析；豐富的炫酷圖表組件可以幫助客戶搭建專業(yè)級地理信息可視化應(yīng)用。課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI介紹與基本操作數(shù)據(jù)大屏DataV

6.1DataV介紹6.2DataV基本操作7.機(jī)器學(xué)習(xí)平臺PAIDataV的使用流程DataV的應(yīng)用可以直接采用系統(tǒng)提供模板也可以新建模板。開通服務(wù)創(chuàng)建應(yīng)用創(chuàng)建模板或選擇模板選配或修改組件配置組件屬性、數(shù)據(jù)源預(yù)覽發(fā)布DataV場景模板DataV提供了指揮中心、地理分析、實時監(jiān)控、匯報展示等多種場景模板，簡單修改即可快速投入使用。即使沒有專業(yè)的設(shè)計師，可視化作品也可以具備高設(shè)計水準(zhǔn)。WEB大屏模板示例APP移動端模板示例DataV豐富開放的圖表庫可視化圖表組件示例DataV提供了多種圖表組件，支撐多種數(shù)據(jù)類型的分析展示；還接入ECharts、AntV-G2等第三方開源圖表庫。DataV多樣的地理信息組件DataV能夠繪制包括海量數(shù)據(jù)的地理軌跡、地理飛線、熱力分布、地域區(qū)塊、3D地圖、3D地球，實現(xiàn)地理數(shù)據(jù)的多層疊加。地理組件示例網(wǎng)站流量模板示例DataV支持的數(shù)據(jù)源DataV能夠接入阿里云的分析型數(shù)據(jù)庫和關(guān)系型數(shù)據(jù)庫，支持本地CSV上傳、靜態(tài)JSON文件，在線API接入及動態(tài)請求。企業(yè)版還支持Oracle和SQLServer。滿足各類大數(shù)據(jù)實時計算、監(jiān)控的需求，充分發(fā)揮大數(shù)據(jù)計算的能力。DataV圖形化編輯界面DataV提供多種業(yè)務(wù)模塊級別而非圖表組件的工具，所見即所得的配置方式，無需編程能力，只需要通過拖拽，即可創(chuàng)造出專業(yè)的可視化應(yīng)用。添加、移動組件示例樣式配置示例數(shù)據(jù)配置示例DataV數(shù)據(jù)交互分析DataV支持圖形化的配置圖表之間的交互聯(lián)動，通過圖表之間的參數(shù)傳遞實現(xiàn)數(shù)據(jù)的交互分析。組件A:設(shè)置回調(diào)ID（x,y）組件B:使用回調(diào)ID（x,y）DataV多種適配與發(fā)布DataV特別針對拼接大屏端的展示做了分辨率優(yōu)化，能夠?qū)Ψ浅Ｒ?guī)拼接的大屏分辨率做適配優(yōu)化。DataV提供三種發(fā)布方式：公開分享、密碼訪問、Token驗證。公開分享企業(yè)版密碼訪問和Token驗證課程目錄常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺介紹大數(shù)據(jù)計算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI介紹與基本操作數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAI

7.1機(jī)器學(xué)習(xí)平臺PAI介紹7.2機(jī)器學(xué)習(xí)平臺PAI基本操作什么是機(jī)器學(xué)習(xí)PAI阿里云機(jī)器學(xué)習(xí)平臺PAI（

PlatformofArtificialIntelligence）：是構(gòu)建在阿里云MaxCompute計算平臺之上，集數(shù)據(jù)處理、建模、離線預(yù)測、在線預(yù)測為一體的機(jī)器學(xué)習(xí)平臺。為算法開發(fā)者提供了豐富的MPI、PS、BSP等編程框架和數(shù)據(jù)存儲接口，同時提供了基于WEB的可視化控制臺，降低了使用門檻。PAI上手簡單、算法豐富、一站式體驗并支持深度學(xué)習(xí)。機(jī)器學(xué)習(xí)PAIPAI的功能與及應(yīng)用可視化建模和分布式訓(xùn)練交互式AI研發(fā)自動化建模在線預(yù)測服務(wù)PAI跟DataWorks是無縫打通的，實現(xiàn)SQL、UDF、UDAF、MR等多種數(shù)據(jù)處理，基于PAI平臺上訓(xùn)練模型，生成的模型可以通過EAS部署到線上環(huán)境，并支持周期性調(diào)度，也可以發(fā)布到DataWorks與其它上下游任務(wù)節(jié)點打通依賴關(guān)系。另外調(diào)度任務(wù)區(qū)分生產(chǎn)環(huán)境以及開發(fā)環(huán)境，可以做到數(shù)據(jù)安全隔離。即數(shù)據(jù)在Max