項目4 工業(yè)互聯(lián)網(wǎng)平臺實時數(shù)據(jù)開發(fā)

項目4工業(yè)互聯(lián)網(wǎng)平臺實時數(shù)據(jù)開發(fā)拓展資料1.創(chuàng)建數(shù)據(jù)庫（1）創(chuàng)建數(shù)據(jù)庫1）方法一：①如下REF_Ref113267880\r\h0所示，右鍵單擊數(shù)據(jù)庫，單擊“新建數(shù)據(jù)庫”。新建數(shù)據(jù)庫②如REF_Ref113267888\r\h0所示，填寫數(shù)據(jù)庫名稱為“root_edu”，字符集選擇“utf8”，排序規(guī)則選擇“utf8_general_ci”。在完成設(shè)置后，單擊“確定”，即可以在左側(cè)欄對應(yīng)連接節(jié)下查看新建立的數(shù)據(jù)庫。填寫數(shù)據(jù)庫2）方法二：①如REF_Ref113267901\r\h0所示，在Navicat上方主菜單欄單擊“新建查詢”，新建查詢②如REF_Ref113267916\r\h0所示，在新建查詢頁面中，首先選擇對應(yīng)的連接，然后在編輯框中編寫創(chuàng)建數(shù)據(jù)庫語句“CREATEDATABASEroot_edu”，最后單擊“運行”。在頁面下方可以查看執(zhí)行結(jié)果。查看執(zhí)行結(jié)果（2）創(chuàng)建數(shù)據(jù)表根據(jù)業(yè)務(wù)需求，對每日產(chǎn)量數(shù)據(jù)進行統(tǒng)計，統(tǒng)計的數(shù)據(jù)字段包括數(shù)據(jù)采集的時間、產(chǎn)量、設(shè)備id、數(shù)據(jù)日期，設(shè)計字段表如REF_Ref113267928\r\h0所示數(shù)據(jù)表字段名類型長度注釋timestamptimestamp時間outputdouble產(chǎn)量device_idvarchar100設(shè)備idrecode_datevarchar100數(shù)據(jù)日期1）方式一：①如REF_Ref113267951\r\h0所示，選擇數(shù)據(jù)庫目錄下的表，單擊右鍵，選擇“新建表”。新建表②如REF_Ref113267966\r\h0所示，首先填寫第一個字段timestamp的信息，添加完成后根據(jù)字段表逐個添加字段，添加完成后單擊保存。填寫字段信息③如REF_Ref113267991\r\h0所示，最后填寫創(chuàng)建的表名“output”，單擊保存。創(chuàng)建的表名“output”④刷新右側(cè)表目錄，在表目錄下即可查看新創(chuàng)建的表。2）方式二：①新建查詢，選擇對應(yīng)的連接和數(shù)據(jù)庫名稱。②在“新建查詢”的編輯框中編寫SQL語句，然后單擊運行。根據(jù)需要設(shè)計的表格，編寫如下SQL語句。CREATETABLEoutput_fuben(`timestamp`timestampCOMMENT'時間',outputDOUBLECOMMENT'產(chǎn)量',device_idVARCHAR(100)COMMENT'設(shè)備id',record_dateVARCHAR(100)COMMENT'數(shù)據(jù)日期')注意：由于timestamp與MySQL中的關(guān)鍵字相同，在創(chuàng)建時需要加上著重號。③在右側(cè)找到數(shù)據(jù)庫目錄下的表，單擊右鍵刷新，在表的目錄下可以找到新創(chuàng)建的表，右鍵單擊“設(shè)計表”，可查看表的字段信息如下REF_Ref124326631\r\h0所示，與方式一的字段一致。查看字段信息2.離線數(shù)據(jù)開發(fā)（1）批量計算流數(shù)據(jù)（或數(shù)據(jù)流）是指沿時間軸分布，在數(shù)量上無限的一系列動態(tài)數(shù)據(jù)集合體，數(shù)據(jù)的價值隨著時間的流而降低，因此必須實時計算給出秒級響應(yīng)。實時計算，就是流計算，顧名思義，就是對數(shù)據(jù)流進行處理。離線計算，也就是批計算，則是統(tǒng)一收集數(shù)據(jù)，存儲到數(shù)據(jù)庫中，然后對數(shù)據(jù)進行批量處理的數(shù)據(jù)計算方式。流計算和批計算的區(qū)別如下REF_Ref118191963\r\h0所示。流計算與批計算的區(qū)別比較內(nèi)容流計算批計算數(shù)據(jù)時效性實時、低時延非實時、高時延數(shù)據(jù)特征動態(tài)、無邊界靜態(tài)應(yīng)用場景實時、時效性較高場景（業(yè)務(wù)監(jiān)控）實時性低、離線計算場景（數(shù)據(jù)分析、離線報表）運行方式持續(xù)進行一次性完成（2）離線數(shù)據(jù)開發(fā)的校驗過程1）首先，校驗任務(wù)的發(fā)布數(shù)是否超過最大發(fā)布數(shù)，如果校驗失敗，則發(fā)出異常，任務(wù)結(jié)束；如果校驗通過，則執(zhí)行下一步。2）校驗任務(wù)流編排是否有效，如果校驗失敗，則發(fā)出異常，任務(wù)結(jié)束；如果校驗通過，則執(zhí)行下一步。3）校驗發(fā)布狀態(tài)是否正確，如果是已發(fā)布狀態(tài)，則發(fā)出異常，任務(wù)結(jié)束；如果是未發(fā)布狀態(tài)，則執(zhí)行下一步。4）校驗是否配置調(diào)度，如果未配置調(diào)度則發(fā)出異常，任務(wù)結(jié)束；如果已配置調(diào)度，則執(zhí)行下一步。5）執(zhí)行任務(wù)與調(diào)度綁定，綁定完成后執(zhí)行下一步。6）執(zhí)行工作流定義轉(zhuǎn)換，轉(zhuǎn)換完成后上線調(diào)度任務(wù)。7）進行上線任務(wù)調(diào)度。8）結(jié)束任務(wù)。離線數(shù)據(jù)開發(fā)的校驗流程圖如REF_Ref118192848\r\h0所示。離線數(shù)據(jù)開發(fā)校驗過程（3）任務(wù)流編排任務(wù)流的編排步驟為：新增外部數(shù)據(jù)源>完成任務(wù)編排>配置調(diào)度計劃>發(fā)布和啟動編排任務(wù)>瀏覽計算結(jié)果，流程圖如下REF_Ref118192869\r\h0所示。任務(wù)流的編排步驟（2）離線任務(wù)運維一個工作流包含多個任務(wù)節(jié)點，一個工作流配置一個定時調(diào)度計劃，定時調(diào)度計劃每個周期生產(chǎn)一個工作流實例，工作流實例中包含多個任務(wù)實例。任務(wù)流編輯器編輯完成后即生成一個任務(wù)流。任務(wù)流進行發(fā)布后能夠進行工作流調(diào)度，在任務(wù)流調(diào)度中進行上線、下線、補數(shù)據(jù)操作，生成對應(yīng)的工作流實例。每個工作流實例會在Flink中生成多個任務(wù)實例。離線任務(wù)運維的流程圖如下REF_Ref124327217\r\h0所示。離線任務(wù)運維的流程圖工作流：大數(shù)據(jù)的計算、分析和處理，一般由多個任務(wù)單元組成（Hive、Sparksql、Spark、Shell等），每個任務(wù)單元完成特定的數(shù)據(jù)處理邏輯。工作流預(yù)估出每個任務(wù)處理所需時間，根據(jù)先后順序，計算出每個任務(wù)執(zhí)行的起止時間，通過定時跑任務(wù)的方式，讓整個系統(tǒng)保持穩(wěn)定的運行。定時調(diào)度：存在某些任務(wù)，需要系統(tǒng)定期、自動執(zhí)行?；诮o定時間點，給定時間間隔或者給定執(zhí)行次數(shù)自動執(zhí)行任