數(shù)據(jù)挖掘模型生命周期管理.docx

數(shù)據(jù)挖掘模型生命周期過程廣州市安正軟件科技有限公司 陳云為成功地利用數(shù)據(jù)挖掘模型，我們需要從開發(fā)階段直至生產(chǎn)環(huán)境對模型進(jìn)行全面跟蹤管理與評估。挖掘模型生命周期過程是由以下階段組成的高效交替過程。n 確定商業(yè)目標(biāo) 最初的階段集中在理解項(xiàng)目目標(biāo)和從業(yè)務(wù)的角度理解需求，同時(shí)轉(zhuǎn)化為數(shù)據(jù)挖掘問題的定義，完成目標(biāo)的初步計(jì)劃。確定所需模型以及模型的應(yīng)用類型，制定策略保證模型部署后，業(yè)務(wù)單位了解模型的使用方法。 典型模型包括用于客戶行為、風(fēng)險(xiǎn)管理和信用評分的預(yù)測建模模型。應(yīng)用領(lǐng)域包括客戶保有、信貸發(fā)放、交易驗(yàn)證、欺詐檢測和促銷等。這些因素推動(dòng)數(shù)據(jù)采集和模型開發(fā)過程。n 數(shù)據(jù)理解數(shù)據(jù)理解階段從初始的數(shù)據(jù)收集開始，通過一些活動(dòng)的處理，目的是熟悉數(shù)據(jù)，檢查數(shù)據(jù)的質(zhì)量，初步發(fā)現(xiàn)數(shù)據(jù)的特征，或是探測引起興趣的樣本子集去構(gòu)建隱含信息的假設(shè)。影響數(shù)據(jù)質(zhì)量的幾個(gè)主要問題包括：缺失值、不合理值、不同數(shù)據(jù)源的不一致、異常值。n 數(shù)據(jù)準(zhǔn)備數(shù)據(jù)準(zhǔn)備（預(yù)處理）階段包括從未處理數(shù)據(jù)中構(gòu)造最終數(shù)據(jù)集的所有活動(dòng)。這些數(shù)據(jù)將作為模型工具的輸入值。這個(gè)階段的任務(wù)有時(shí)一個(gè)能執(zhí)行多次，沒有任何規(guī)定的順序。任務(wù)包括表、記錄和屬性的選擇，以及為模型工具轉(zhuǎn)換和清洗數(shù)據(jù)。 現(xiàn)實(shí)中的數(shù)據(jù)通常是不完整的、不一致的、含噪聲，污染數(shù)據(jù)的普遍存在導(dǎo)致了數(shù)據(jù)清理的必要性，所謂“垃圾進(jìn)垃圾出”。形成污染數(shù)據(jù)的原因包括：濫用縮寫詞、數(shù)據(jù)輸入錯(cuò)誤、不同的慣用語、重復(fù)記錄、缺失值、不同的計(jì)量單位等。n 建立模型選擇和應(yīng)用不同的模型技術(shù)，調(diào)整模型參數(shù)到最佳值。一般，有些技術(shù)可以解決一類相同的數(shù)據(jù)挖掘問題。有些技術(shù)在數(shù)據(jù)形成上有特殊要求，因此需要經(jīng)常跳回到數(shù)據(jù)準(zhǔn)備階段。這個(gè)過程涉及采用挖掘統(tǒng)計(jì)和虛擬化技術(shù)、變量轉(zhuǎn)換、過濾異常、數(shù)據(jù)替換、細(xì)分、聚合、預(yù)測建模運(yùn)算和模型驗(yàn)證等。n 模型評估在最后部署模型之前，重要的事情是較徹底地評估模型。檢查構(gòu)造模型的步驟，確保模型可以達(dá)成業(yè)務(wù)目標(biāo)。這個(gè)階段的關(guān)鍵目的是確定是否有重要業(yè)務(wù)問題沒有被充分的考慮。在這個(gè)階段結(jié)束后，關(guān)于數(shù)據(jù)挖掘結(jié)果使用的一個(gè)決定必須達(dá)成共識。隨著越來越多地采用分析方法支持業(yè)務(wù)決策，預(yù)測模型已被視為企業(yè)的重要智能資產(chǎn)。每一種模型都是重要的，對企業(yè)利潤水平、法規(guī)遵從和規(guī)避法律/經(jīng)濟(jì)風(fēng)險(xiǎn)具有重要作用。這種情況促使越來越多的企業(yè)將模型驗(yàn)證作為常規(guī)業(yè)務(wù)流程。n 結(jié)果發(fā)布通常，模型的創(chuàng)建不是項(xiàng)目的結(jié)束。模型的作用是從數(shù)據(jù)中找到知識，獲得的知識需要便于用戶使用的方式重新組織和展現(xiàn)。根據(jù)需求，這個(gè)階段可以產(chǎn)生簡單的報(bào)告，