能源大數(shù)據(jù)分析理論與實踐 課件 2.數(shù)據(jù)獲取與預(yù)處理

數(shù)據(jù)獲取與預(yù)處理02DataAcquisitionAndPreprocessing數(shù)據(jù)獲取與預(yù)處理概述DataAcquisitionAndPreprocessingOverview2.1.1數(shù)據(jù)獲取在現(xiàn)實應(yīng)用中，多個源系統(tǒng)的數(shù)據(jù)兼容性較差，因此需要對獲取的異構(gòu)數(shù)據(jù)進(jìn)行處理。ETL方法提供了一個數(shù)據(jù)獲取與預(yù)處理的標(biāo)準(zhǔn)流程和技術(shù)工具。數(shù)據(jù)獲取是指從各種相關(guān)數(shù)據(jù)源獲取數(shù)據(jù)的過程，也指ETL的數(shù)據(jù)獲取環(huán)節(jié)，是數(shù)據(jù)分析與挖掘的基礎(chǔ)。數(shù)據(jù)獲取是ETL處理的第一步，也是最重要的一步，數(shù)據(jù)被成功獲取后，才可以進(jìn)行轉(zhuǎn)換并加載到數(shù)據(jù)倉庫中。2.1.1數(shù)據(jù)獲取傳統(tǒng)數(shù)據(jù)獲取和大數(shù)據(jù)獲取有如下不同：數(shù)據(jù)源方面，傳統(tǒng)數(shù)據(jù)獲取的數(shù)據(jù)源單一，而大數(shù)據(jù)獲取系統(tǒng)還需要從社交系統(tǒng)、互聯(lián)網(wǎng)系統(tǒng)及各種類型的機(jī)器設(shè)備上獲取數(shù)據(jù)。數(shù)據(jù)量方面，互聯(lián)網(wǎng)系統(tǒng)和機(jī)器系統(tǒng)產(chǎn)生的數(shù)據(jù)量要遠(yuǎn)遠(yuǎn)大于企業(yè)系統(tǒng)產(chǎn)生的數(shù)據(jù)量。數(shù)據(jù)結(jié)構(gòu)方面，傳統(tǒng)數(shù)據(jù)獲取系統(tǒng)獲取的數(shù)據(jù)都是結(jié)構(gòu)化數(shù)據(jù)，而大數(shù)據(jù)獲取系統(tǒng)需要獲取大量的視頻、音頻、照片等非結(jié)構(gòu)化數(shù)據(jù)，以及網(wǎng)頁、博客、日志等半結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)產(chǎn)生速度，傳統(tǒng)數(shù)據(jù)獲取系統(tǒng)獲取的數(shù)據(jù)幾乎都是由人操作生成的，遠(yuǎn)遠(yuǎn)慢于機(jī)器生成數(shù)據(jù)的速度。2.1.2數(shù)據(jù)清洗與數(shù)據(jù)轉(zhuǎn)換在一般情況下，數(shù)據(jù)倉庫分為ODS、DW兩個部分。ODS是數(shù)據(jù)庫到數(shù)據(jù)倉庫的一種過渡，數(shù)據(jù)結(jié)構(gòu)一般與數(shù)據(jù)源保持一致，便于減少ETL的工作復(fù)雜性，而且ODS的數(shù)據(jù)周期一般比較短。ODS的數(shù)據(jù)最終流入DW，DW是數(shù)據(jù)的歸宿，這里保存著所有從ODS到來的數(shù)據(jù)，而且這些數(shù)據(jù)不會被修改。數(shù)據(jù)轉(zhuǎn)換：它是在ODS到DW的過程中轉(zhuǎn)換的，將數(shù)據(jù)轉(zhuǎn)換為適用于查詢和分析的形式和結(jié)構(gòu)。數(shù)據(jù)從操作型源系統(tǒng)獲取后，需要進(jìn)行多種轉(zhuǎn)換操作，通常是最復(fù)雜的部分，也是ETL處理中用時最長的一步。數(shù)據(jù)清洗：數(shù)據(jù)轉(zhuǎn)換一個最重要的功能是數(shù)據(jù)清洗，目的是只有“合規(guī)”的數(shù)據(jù)才能進(jìn)入目標(biāo)數(shù)據(jù)倉庫。這步操作在不同系統(tǒng)間交互和通信時尤為必要。2.1.3數(shù)據(jù)加載數(shù)據(jù)加載就是將轉(zhuǎn)換后的數(shù)據(jù)導(dǎo)入目標(biāo)數(shù)據(jù)倉庫中。這步操作需要重點考慮兩個問題，一是數(shù)據(jù)加載的效率問題，二是一旦加載過程中失敗了，如何再次執(zhí)行加載過程。要提高數(shù)據(jù)加載的效率，加快加載速度，可以采用如下兩種做法：保證足夠的系統(tǒng)資源。在進(jìn)行數(shù)據(jù)加載時，禁用數(shù)據(jù)庫約束（唯一性、非空性、檢查約束等）和索引，當(dāng)加載過程完全結(jié)束后，再啟用這些約束，重建索引。ETL系統(tǒng)一般會從多個應(yīng)用系統(tǒng)中整合數(shù)據(jù)，常用實現(xiàn)方法有三種：借助ETL工具采用SQL方式ETL工具和SQL方式相結(jié)合為了提高ETL處理的效率，通常數(shù)據(jù)獲取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載操作會并行執(zhí)行。數(shù)據(jù)獲取技術(shù)DataAcquisitionTechnique2.2.1數(shù)據(jù)獲取技術(shù)概述數(shù)據(jù)獲取需要在調(diào)研階段做大量的工作。如果已經(jīng)明確了需要獲取的數(shù)據(jù)，下一步就該考慮從源系統(tǒng)獲取數(shù)據(jù)的方法了。數(shù)據(jù)獲取方法的選擇高度依賴于源系統(tǒng)和目標(biāo)數(shù)據(jù)倉庫環(huán)境的業(yè)務(wù)需要。隨著大數(shù)據(jù)的蓬勃發(fā)展，數(shù)據(jù)獲取的來源廣泛且數(shù)據(jù)量巨大，數(shù)據(jù)類型豐富，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，它們大多存在于分布式數(shù)據(jù)庫中。目前大數(shù)據(jù)獲取主要方法如下：數(shù)據(jù)庫獲取系統(tǒng)日志獲取網(wǎng)絡(luò)數(shù)據(jù)獲取感知設(shè)備數(shù)據(jù)獲取針對軟件系統(tǒng)的數(shù)據(jù)獲取，有如下三種方式：接口對接方式開放數(shù)據(jù)庫方式基于底層數(shù)據(jù)交換的數(shù)據(jù)直接獲取方式2.2.2網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲可以按照我們制定的規(guī)則自動瀏覽網(wǎng)絡(luò)中的數(shù)據(jù)，這些規(guī)則稱為網(wǎng)絡(luò)爬蟲算法。網(wǎng)絡(luò)爬蟲由控制節(jié)點、爬蟲節(jié)點、資源庫構(gòu)成?？刂乒?jié)點主要負(fù)責(zé)根據(jù)URL分配線程，并調(diào)用爬蟲節(jié)點進(jìn)行具體的爬取爬蟲節(jié)點會按照相關(guān)的算法，對網(wǎng)頁進(jìn)行具體的爬取，爬取后會將爬取結(jié)果存儲到對應(yīng)的資源庫中。通用網(wǎng)絡(luò)爬蟲通用網(wǎng)絡(luò)爬蟲的爬取目標(biāo)是整個互聯(lián)網(wǎng)上的所有網(wǎng)頁。主要由初始URL集合、URL隊列、網(wǎng)頁爬取模塊、網(wǎng)頁分析模塊、網(wǎng)頁數(shù)據(jù)庫、鏈接過濾模塊等構(gòu)成。通用網(wǎng)絡(luò)爬蟲在爬取的時候會采取一定的爬取策略，主要有深度優(yōu)先策略和廣度優(yōu)先策略。這類網(wǎng)絡(luò)爬蟲主要應(yīng)用于大型搜索引擎中，有非常高的應(yīng)用價值。聚焦網(wǎng)絡(luò)爬蟲聚焦網(wǎng)絡(luò)爬蟲是按照預(yù)先定義好的主題有選擇地進(jìn)行網(wǎng)頁爬取的一種爬蟲?？梢源蟠蠊?jié)省爬蟲爬取時所需的帶寬資源和服務(wù)器資源。聚焦網(wǎng)絡(luò)爬蟲應(yīng)用在對特定信息的爬取中，主要為某一類特定的人群提供服務(wù)，主要由初始URL集合、URL隊列、網(wǎng)頁爬取模塊、網(wǎng)頁分析模塊、網(wǎng)頁數(shù)據(jù)庫、鏈接過濾模塊、內(nèi)容評價模塊、鏈接評價模塊等構(gòu)成。聚焦網(wǎng)絡(luò)爬蟲的爬取策略主要有四種：基于內(nèi)容評價的爬取策略基于鏈接評價的爬取策略基于強化學(xué)習(xí)的爬取策略基于語境圖的爬取策略增量式網(wǎng)絡(luò)爬蟲增量式更新指在更新的時候只更新改變的地方，未改變的地方則不更新，所以只爬取內(nèi)容發(fā)生變化的網(wǎng)頁或新產(chǎn)生的網(wǎng)頁，對于未發(fā)生內(nèi)容變化的網(wǎng)頁則不會爬取。深層網(wǎng)絡(luò)爬蟲在互聯(lián)網(wǎng)中，按存在方式分類，網(wǎng)頁可以分為表層網(wǎng)頁和深層網(wǎng)頁：表層網(wǎng)頁：不需要提交表單，使用靜態(tài)的鏈接就能夠到達(dá)的靜態(tài)網(wǎng)頁；深層網(wǎng)頁：隱藏在表單后面，不能通過靜態(tài)鏈接直接獲取，是需要提交一定的關(guān)鍵詞之后才能夠到達(dá)的網(wǎng)頁。在互聯(lián)網(wǎng)中，深層網(wǎng)頁的數(shù)量往往比表層網(wǎng)頁的數(shù)量要多很多，因此需要深層網(wǎng)絡(luò)爬蟲。深層網(wǎng)絡(luò)爬蟲在爬取深層網(wǎng)頁時需要自動填寫好對應(yīng)的表單，表單填寫方式有兩種：①基于領(lǐng)域知識的表單填寫：建立一個填寫表單的關(guān)鍵詞庫，在需要填寫的時候，根據(jù)語義分析選擇對應(yīng)的關(guān)鍵詞進(jìn)行填寫。②基于網(wǎng)頁結(jié)構(gòu)分析的表單填寫：會根據(jù)網(wǎng)頁結(jié)構(gòu)進(jìn)行分析，并自動地進(jìn)行表單填寫，一般在領(lǐng)域知識有限的情況下使用。數(shù)據(jù)預(yù)處理DataPre-processing2.3.1數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量是指數(shù)據(jù)在特定應(yīng)用環(huán)境中是否滿足預(yù)期的要求。包括以下幾個方面：準(zhǔn)確性：數(shù)據(jù)與實際情況的符合程度，數(shù)據(jù)值與實際值的一致性高低。完整性：數(shù)據(jù)是否包含了需要的全部信息，有無遺漏或缺失。一致性：數(shù)據(jù)在不同的數(shù)據(jù)源、數(shù)據(jù)記錄等方面是否保持一致，數(shù)據(jù)之間有無沖突或矛盾。及時性：數(shù)據(jù)是否及時地進(jìn)行采集、處理、傳輸和更新，以保證數(shù)據(jù)的實效性和時效性?？衫斫庑裕簲?shù)據(jù)是否易于被理解，數(shù)據(jù)結(jié)構(gòu)和格式是否清晰，數(shù)據(jù)值和字段是否具有明確的含義?？煽啃裕簲?shù)據(jù)是否可信、可靠，其產(chǎn)生的過程和來源是否可靠，數(shù)據(jù)是否經(jīng)過驗證和核實。可用性：指數(shù)據(jù)是否易于訪問、檢索和使用，數(shù)據(jù)存儲和管理系統(tǒng)的性能是否足夠高效。導(dǎo)致數(shù)據(jù)質(zhì)量不高的根源主要如下：數(shù)據(jù)采集問題數(shù)據(jù)存儲問題數(shù)據(jù)處理問題數(shù)據(jù)管理問題數(shù)據(jù)使用問題2.3.2數(shù)據(jù)清洗數(shù)據(jù)清洗是審查和校驗數(shù)據(jù)的過程，旨在刪除重復(fù)信息、糾正錯誤并確保一致性。缺失數(shù)據(jù)處理：刪除缺失數(shù)據(jù)：適用于少量缺失且影響較小時，但可能引入樣本偏差。插補缺失數(shù)據(jù)：適用于缺失較多或影響較大時。插補的方法可以分為三類：（1）均值插補（2）回歸插補（3）多重插補創(chuàng)建指示變量：對于分類變量的缺失數(shù)據(jù)，新增指示變量（0/1）標(biāo)記缺失情況，避免插補誤差。其他：利用聚類或?qū)ｉT模型處理缺失數(shù)據(jù)。在處理缺失數(shù)據(jù)時，還需要注意以下三個問題：①缺失數(shù)據(jù)的模式②數(shù)據(jù)的完整性③插補方法的合理性2.3.2數(shù)據(jù)清洗噪聲數(shù)據(jù)是指數(shù)據(jù)中存在錯誤或異常（偏離期望值）的數(shù)據(jù)，即測量變量中存在隨機(jī)誤差或方差。噪聲數(shù)據(jù)處理：分箱：通過考察相鄰數(shù)據(jù)來確定最終值。

分箱的方法有四種：（1）等深分箱法（2）等寬分箱法（3）用戶自定義區(qū)間法（4）最小熵法。

在分箱之后，要對每個“箱子”中的數(shù)據(jù)進(jìn)行平滑處理：（1）按均值進(jìn)行平滑處理（2）按中位數(shù)進(jìn)行平滑處理（3）按邊界值進(jìn)行平滑處理。聚類：將數(shù)據(jù)集合分組為若干個簇，在簇外的值為孤立點，應(yīng)對這些孤立點進(jìn)行刪除或替換。相似或相鄰的數(shù)據(jù)聚合在一起形成各個聚類集合，在這些聚類集合之外的數(shù)據(jù)為異常數(shù)據(jù)?；貧w：如果變量之間存在函數(shù)關(guān)系，則可以使用回歸分析方法進(jìn)行函數(shù)擬合，通過使用擬合值或平滑數(shù)據(jù)來更新變量數(shù)值，從而實現(xiàn)噪聲數(shù)據(jù)去除。2.3.3數(shù)據(jù)集成數(shù)據(jù)集成是將來自不同數(shù)據(jù)源的數(shù)據(jù)整合到統(tǒng)一的數(shù)據(jù)集中，以便分析、決策支持和業(yè)務(wù)應(yīng)用。其過程涉及數(shù)據(jù)整合、匹配、沖突解決、質(zhì)量控制、元數(shù)據(jù)管理和安全等方面。模式識別和對象匹配是在數(shù)據(jù)集成過程中的兩個重要任務(wù)，用于識別和匹配不同數(shù)據(jù)源中的模式和對象，以提高數(shù)據(jù)集成的準(zhǔn)確性和效率。模式識別：對表征事物或現(xiàn)象的模式進(jìn)行自動處理和判讀。對象匹配：將不同數(shù)據(jù)源中的對象進(jìn)行匹配和對應(yīng)。在進(jìn)行模式識別和對象匹配時，需要考慮以下幾個方面：①特征提?。涸谶M(jìn)行模式識別和對象匹配時，需要選擇合適的特征并進(jìn)行提取。②相似度度量：方法包括歐氏距離、曼哈頓距離、余弦相似度等。③匹配算法：算法包括基于規(guī)則的匹配、基于機(jī)器學(xué)習(xí)的匹配、基于統(tǒng)計的匹配、基于圖的匹配等。④沖突解決：可以通過規(guī)則、投票機(jī)制、權(quán)重分配、機(jī)器學(xué)習(xí)等方法來確定最佳匹配結(jié)果。2.3.3數(shù)據(jù)集成數(shù)據(jù)冗余是指數(shù)據(jù)存儲或集成過程中產(chǎn)生的重復(fù)或多余數(shù)據(jù)，包括重復(fù)數(shù)據(jù)和無關(guān)數(shù)據(jù)。需處理數(shù)據(jù)冗余以減少存儲占用和分析誤差?？赏ㄟ^一下幾種方式來實現(xiàn)：規(guī)則和約束：通過定義規(guī)則和約束來防止數(shù)據(jù)冗余的產(chǎn)生。數(shù)據(jù)規(guī)范化：數(shù)據(jù)規(guī)范化是一種將數(shù)據(jù)劃分成更小、更規(guī)范的單元的過程。數(shù)據(jù)清洗和去重：去除重復(fù)和冗余的數(shù)據(jù)。數(shù)據(jù)合并和歸約：將重復(fù)和冗余的數(shù)據(jù)進(jìn)行合并和歸約。數(shù)據(jù)壓縮：通過編碼或壓縮技術(shù)減少存儲占用。數(shù)據(jù)分析和挖掘：通過數(shù)據(jù)分析和挖掘技術(shù)，可以識別和消除數(shù)據(jù)冗余。2.3.3數(shù)據(jù)集成在數(shù)據(jù)集成過程中，不同數(shù)據(jù)源可能存在沖突（如值、格式、單位、覆蓋范圍不一致）。為確保數(shù)據(jù)質(zhì)量和準(zhǔn)確性，需要進(jìn)行沖突檢測與處理。步驟如下：（1）確定沖突類型。常見類型包括數(shù)據(jù)值、格式、單位或覆蓋范圍不同。（2）數(shù)據(jù)沖突檢測。利用算法或規(guī)則檢測相同實體在不同數(shù)據(jù)源中的特征是否一致或存在矛盾。（3）沖突解析。當(dāng)發(fā)現(xiàn)沖突時，需要進(jìn)行沖突解析來確定集成數(shù)據(jù)的準(zhǔn)確值。常見的沖突解析方法如下：①人工解析②投票機(jī)制③權(quán)重分配④規(guī)則和模型。（4）沖突解析后的數(shù)據(jù)集成。應(yīng)用解析后的數(shù)據(jù)，形成最終集成結(jié)果。沖突檢測與處理較復(fù)雜，需根據(jù)數(shù)據(jù)需求、質(zhì)量要求和沖突類型選擇合適方法，并考慮數(shù)據(jù)源的可靠性和權(quán)威性。2.3.4數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是數(shù)據(jù)預(yù)處理的重要環(huán)節(jié)，通過轉(zhuǎn)換提高數(shù)據(jù)質(zhì)量和可用性，使其更適合分析和建模。主要方法包括數(shù)據(jù)規(guī)范化、數(shù)據(jù)離散化、數(shù)據(jù)泛化和數(shù)據(jù)脫敏。數(shù)據(jù)規(guī)范化：將被挖掘?qū)ο蟮奶卣鲾?shù)據(jù)按比例縮放，使其落入一個小的特定區(qū)間。常用方法有三種：①小數(shù)定標(biāo)規(guī)范化：將原始數(shù)據(jù)除以一個固定值，將數(shù)據(jù)映射到[-1,1]之間。②最小值—最大值規(guī)范化：將原始數(shù)據(jù)映射到0～1之間的特定區(qū)間，保留數(shù)據(jù)的相對大小關(guān)系。③Z-Score規(guī)范化：將原始數(shù)據(jù)轉(zhuǎn)化為均值為0、標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布。2.3.4數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)離散化：將連續(xù)型數(shù)據(jù)轉(zhuǎn)換為離散型數(shù)據(jù)的過程，將數(shù)據(jù)劃分為若干個區(qū)間或類別。常見方法如下：①等寬離散化：將數(shù)據(jù)根據(jù)固定的寬度劃分為若干個區(qū)間，每個區(qū)間的寬度相同。②等頻離散化：將數(shù)據(jù)根據(jù)相同的樣本數(shù)量劃分為若干個區(qū)間，每個區(qū)間中包含的樣本數(shù)量相同。③聚類離散化：用聚類算法將數(shù)據(jù)聚類為若干個簇，每個簇表示一個離散化的類別。④決策樹離散化：使用決策樹算法將連續(xù)型數(shù)據(jù)轉(zhuǎn)換為決策樹的劃分節(jié)點，將數(shù)據(jù)分為不同的類別。2.3.4數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)泛化：把較低層次的概念用較高層次的概念替換來匯總數(shù)據(jù)，或者通過減小維度，在較小維度的概念空間中匯總數(shù)據(jù)。常用的方法如下：①基于數(shù)據(jù)立方體的數(shù)據(jù)聚集：用于從多維數(shù)據(jù)集中提取有用的信息。數(shù)據(jù)立方體是一個多維數(shù)組，其中每個維度表示數(shù)據(jù)的一個特征，構(gòu)建步驟：選擇維度→設(shè)計度量→聚合數(shù)據(jù)→構(gòu)建數(shù)據(jù)立方體。②面向特征的歸納：旨在從數(shù)據(jù)中歸納出特征間的關(guān)系、規(guī)律和模式。主要過程包括以下步驟：

特征選擇→歸納分析→模式評估與驗證。2.3.4數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)脫敏：通過對敏感數(shù)據(jù)進(jìn)行部分或完全的刪除、替換或隱藏，以抹去個人敏感信息。常見方法如下：①刪除（Deletion）：直接刪除或部分刪除包含敏感信息的數(shù)據(jù)。②替換（Substitution）：將敏感數(shù)據(jù)替換為不可識別的偽造值。③脫敏屏蔽（Masking）：在數(shù)據(jù)中通過覆蓋、屏蔽或空白值等方式隱藏敏感信息，以避免敏感信息的識別。④加密（Encryption）：使用加密算法對敏感信息進(jìn)行加密，只有授權(quán)的用戶才能解密和訪問。具體方法的選擇取決于數(shù)據(jù)類型、隱私需求和分析任務(wù)。2.3.5數(shù)據(jù)歸約數(shù)據(jù)歸約是在保持?jǐn)?shù)據(jù)原貌的前提下，最大限度地精簡數(shù)據(jù)，以降低數(shù)據(jù)規(guī)模。主要包括維歸約和數(shù)據(jù)歸約兩種方法。維歸約：目的是將高維數(shù)據(jù)集轉(zhuǎn)換為低維表示，以減少數(shù)據(jù)集的維度并保留主要的信息。①特征集選擇（FSS)：篩選最相關(guān)和有價值的特征，去除無關(guān)或冗余特征。②主成分分析(PCA)：將高維數(shù)據(jù)映射到低維子空間，提取主要特征。③線性判別分析(LDA)：監(jiān)督學(xué)習(xí)方法，尋找最能區(qū)分類別的投影方向。④非負(fù)矩陣分解(NMF)：將高維矩陣分解為兩個低維非負(fù)矩陣，以降低維度。⑤t-SNE：基于數(shù)據(jù)相似性，將高維數(shù)據(jù)映射到低維，保持局部關(guān)系，適用于可視化。2.3.5數(shù)據(jù)歸約數(shù)據(jù)歸約：通過聚合、壓縮或采樣等方法減少數(shù)據(jù)點，以簡化分析和處理，提高計算效率并降低存儲需求。常見方法如下：①聚合（Aggregation）：按規(guī)則匯總數(shù)據(jù)，減少數(shù)據(jù)規(guī)模。②采樣（Sampling）：從數(shù)據(jù)集中選取部分樣本作為代表，如隨機(jī)、均勻、分層采樣等。③插值（Interpolation）：在數(shù)據(jù)點之間插值，填補缺失值，提高數(shù)據(jù)密度。④壓縮（Compression）：使用壓縮算法減少數(shù)據(jù)存儲空間，如gzip、LZW、哈夫曼編碼等。數(shù)據(jù)歸約提高效率，但可能造成信息損失，需根據(jù)任務(wù)需求權(quán)衡選擇。數(shù)據(jù)集的構(gòu)建ConstructionOfDataSets2.4.1數(shù)據(jù)集的劃分?jǐn)?shù)據(jù)預(yù)處理后可存入數(shù)據(jù)倉庫，供分析或訓(xùn)練時提取。通常，數(shù)據(jù)會被劃分或重抽樣以適應(yīng)模型應(yīng)用。在機(jī)器學(xué)習(xí)算法中，通常將原始數(shù)據(jù)集劃分為三個部分：訓(xùn)練集（TrainingSet）、驗證集（ValidationSet）和測試集（TestSet）。訓(xùn)練集是用于訓(xùn)練的樣本集合，主