談數(shù)據(jù)挖掘技術在第三方物流企業(yè)的應用

談數(shù)據(jù)挖掘技術在第三方物流企業(yè)的應用內(nèi)容內(nèi)容摘要：數(shù)據(jù)發(fā)掘是商務智能技術的主要構成部分，是一個新的主要的研究領域。本文介紹了商務智能技術應用現(xiàn)在狀況和構成，論述了數(shù)據(jù)發(fā)掘技術在第三方物流企業(yè)的應用。本文關鍵詞語：商務智能數(shù)據(jù)發(fā)掘第三方物流研究在當今競爭日益劇烈的市場環(huán)境中，第三方物流企業(yè)都希望能夠從浩如煙海的商務數(shù)據(jù)以及其他相關的物流業(yè)務數(shù)據(jù)中發(fā)現(xiàn)帶來巨額利潤的商機。只要那些利用先進的成功地采集、分析、理解信息并根據(jù)信息進行的物流企業(yè)能力獲得競爭優(yōu)勢，才是物流市場的贏家。因而，越來越多的物流管理者開始借助商務智能技術來發(fā)現(xiàn)物流運營經(jīng)過中存在的問題，找到有利的物流解決方案。商務智能技術應用現(xiàn)在狀況我們國家參加了wto，在很多領域，如金融、保險、物流等領域?qū)⒅鸩綄ν忾_放，這就意味著很多第三方物流企業(yè)將面臨來自國際大型跨國物流公司的宏大競爭壓力。國外發(fā)達國家各種企業(yè)采取商務智能的水平已經(jīng)遠遠跨越了我們國家。美國paloalto管理集團公司1999年對歐洲、北美和日本375家大中型企業(yè)的商務智能技術的采取情況進行了調(diào)查。結果顯示，在金融領域，商務智能技術的應用水平已經(jīng)到達或接近70%，在營銷領域也到達50%，而且在其他應用領域?qū)υ摷夹g的采用水平都提升約50%。如今，很多第三方物流企業(yè)都把數(shù)據(jù)看成難得珍貴的財富，紛紛利用商務智能發(fā)現(xiàn)其中隱藏的信息，借此獲得巨額的回報。據(jù)idc對歐洲和北美62家采取了商務智能技術的企業(yè)的調(diào)查分析發(fā)現(xiàn)，這些企業(yè)的3年平均投資回報率為401%，其中25%的企業(yè)的投資回報率跨越600%。調(diào)查結果還顯示，一個企業(yè)要想在復雜的環(huán)境中獲得成功，高層管理者必需能夠控制極其復雜的商業(yè)構造，若沒有詳實的事實和數(shù)據(jù)支持，是很難辦到的。因而，隨著數(shù)據(jù)發(fā)掘技術的不斷改良和日益成熟，它必將被更多的第三方物流企業(yè)采取，使更多的物流管理者得到更多的商務智能。商務智能技術的構成詳細地說，商務智能技術有數(shù)據(jù)倉庫(datawarehousing)、聯(lián)機分析處理(on-lineanalyticalprocessing，簡稱olap)、數(shù)據(jù)發(fā)掘〔datamining〕，包含這三者在內(nèi)的用于綜合、探察和分析商務數(shù)據(jù)的先進的信息技術的統(tǒng)稱就是商務智能技術。數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間變化的重要用于決策支持的數(shù)據(jù)的集合。一般來說，大的物流公司或企業(yè)內(nèi)存在著各種各樣的信息系統(tǒng)，這些應用驅(qū)動的操作型信息系統(tǒng)為企業(yè)不同的物流業(yè)務系統(tǒng)效勞，具有不同接口和不同的數(shù)據(jù)表示方法，相互孤立。利用數(shù)據(jù)倉庫技術能夠動態(tài)地將各個物流企業(yè)子系統(tǒng)中的數(shù)據(jù)抽取集成到一起，進行清洗、轉(zhuǎn)換等處理之后加載到數(shù)據(jù)倉庫中，通過周期性的刷新，為物流用戶提供一個統(tǒng)一的干凈的數(shù)據(jù)視圖，為數(shù)據(jù)分析提供一個高質(zhì)量的數(shù)據(jù)源。對于數(shù)據(jù)倉庫中的數(shù)據(jù)，能夠使用一些加強的查詢和報表工具進行復雜的查詢和即時的報表制造，能夠利用olap技術從多種角度對物流業(yè)務數(shù)據(jù)進行多方面的匯總、統(tǒng)計、計算，還能夠利用數(shù)據(jù)發(fā)掘技術自動發(fā)現(xiàn)其中隱含的有用的物流信息。數(shù)據(jù)發(fā)掘又稱知識發(fā)現(xiàn)〔knowledgediscoveryindatabase，簡稱kdd〕，是從大量數(shù)據(jù)中抽取有意義的、隱含的、以前未知的并有潛在使用價值的知識的經(jīng)過。數(shù)據(jù)發(fā)掘是一個多學科穿插性學科，它牽涉統(tǒng)計學、數(shù)據(jù)庫、形式辨別、可視化以及高性能計算等多個學科。利用數(shù)據(jù)發(fā)掘技術能夠分析各種類型的數(shù)據(jù)，例如構造化數(shù)據(jù)、半構造化數(shù)據(jù)以及非構造化數(shù)據(jù)、靜態(tài)的歷史數(shù)據(jù)和動態(tài)數(shù)據(jù)流數(shù)據(jù)等。數(shù)據(jù)發(fā)掘技術在第三方物流企業(yè)的應用分析數(shù)據(jù)發(fā)掘是從大量的、不完全的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的數(shù)據(jù)中發(fā)現(xiàn)其潛在規(guī)律的技術，是當下計算機科學研究的熱門之一。隨著信息技術的高速發(fā)展，積累的有關物流行業(yè)的數(shù)據(jù)量劇增，怎樣從大量的物流數(shù)據(jù)中提取有用的知識成為第三方物流企業(yè)燃眉之急。數(shù)據(jù)發(fā)掘就是為順應需要應運而生發(fā)展起來的數(shù)據(jù)處理技術。數(shù)據(jù)發(fā)掘的對象關系數(shù)據(jù)庫(relationaldatabase)中通常存儲和管理的是構造化的數(shù)據(jù)，它將一個實體的各方面信息通過離散的屬性進行描繪敘述。而文本數(shù)據(jù)庫〔textdatabase〕或文檔數(shù)據(jù)庫〔documentdatabase〕則通常存儲和管理的是半構造化的數(shù)據(jù)，例如新聞稿件、研究論文、電子郵件、書籍以及web頁面等都屬于半構造化數(shù)據(jù)?？臻g數(shù)據(jù)庫、多媒體數(shù)據(jù)庫中存放的是非構造化數(shù)據(jù)，例如地圖、圖片、音頻、視頻等都屬于非構造化數(shù)據(jù)。相對于半構造化和非構造化數(shù)據(jù)來說，針對構造化數(shù)據(jù)的數(shù)據(jù)發(fā)掘技術比較成熟，市場上有許多的商品軟件能夠使用，用的較多的包含ibmintelligentminer、sasenterpriseminer、sgimineset、clementinespss以及microsoftsqlserver2000等。關于半構造化和非構造化的數(shù)據(jù)發(fā)掘軟件尚不多，相應的算法相對還較少。從另一個角度來說，數(shù)據(jù)發(fā)掘的分析對象分為兩種類型：靜態(tài)數(shù)據(jù)和數(shù)據(jù)流〔datastream〕數(shù)據(jù)。如今的多數(shù)數(shù)據(jù)發(fā)掘算法是用于分析靜態(tài)數(shù)據(jù)的。數(shù)據(jù)發(fā)掘的分析無論要分析的數(shù)據(jù)對象的類型怎樣，常用的數(shù)據(jù)發(fā)掘分析包含關聯(lián)分析、序列分析、分類、預測、聚類分析以及時間序列分析等。關聯(lián)分析關聯(lián)分析是由rakeshapwal等人首先提出的。兩個或兩個以上變量的取值之間存在某種規(guī)律性，就稱為關聯(lián)。數(shù)據(jù)關聯(lián)是數(shù)據(jù)庫中存在的一類主要的、可被發(fā)現(xiàn)的知識。關聯(lián)分為簡單關聯(lián)、時序關聯(lián)和因果關聯(lián)。關聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關聯(lián)網(wǎng)。一般用支持度和可信度兩個閥值來度量關聯(lián)規(guī)則的相關性，還不斷引入興趣度、相關性等參數(shù)，使得所發(fā)掘的規(guī)則更符合需求。關聯(lián)分析重要用于發(fā)現(xiàn)不同事件之間的關聯(lián)性，即一個事件發(fā)生的同時，另一個事件也經(jīng)常發(fā)生。關聯(lián)分析的重點在于快速發(fā)現(xiàn)那些有實用價值的關聯(lián)發(fā)生的事件。其重要根據(jù)是事件發(fā)生的概率和條件概率應該符合一定的統(tǒng)計意義。對于構造化的數(shù)據(jù)，以物流客戶的采購習慣數(shù)據(jù)為例，利用關聯(lián)分析，能夠發(fā)現(xiàn)物流客戶的關聯(lián)采購需要。例如，對于第三方物流企業(yè)來說，一個托運貨物的貨主很可能同時有貨物的包裝、流通加工等物流業(yè)務的需求。利用這種知識能夠采用積極的物流運營策略，擴展物流客戶采購物流效勞的范圍，吸引更多的物流客戶。通過調(diào)整效勞的內(nèi)容便于物流顧客采購到各種物流效勞，或者通過降低一種物流業(yè)務的價格來促進另一種物流業(yè)務的銷售等。分類分析分類分析是通過分析具有類其余樣本的特點，得到?jīng)Q定樣本屬于各種類其余規(guī)則或方法。利用這些規(guī)則和方法對未知類其余樣本分類時應該具有一定的精確度。分類分析能夠根據(jù)顧客的消費水安然平靜基本特征對物流顧客進行分類，找出對第三方物流企業(yè)有較大利益奉獻的主要的物流客戶的特征，通過對其進行個性化物流效勞，提升他們的忠實度。聚類分析聚類分析是根據(jù)物以類聚的原理，將自己沒有類其余樣本聚集成不同的組，而且對每一個這樣的組進行描繪敘述的經(jīng)過。其重要根據(jù)是聚到同一個組中的樣本應該相互類似，而屬于不同組的樣本應該足夠不類似。以第三方物流企業(yè)的客戶關系管理為例，利用聚類分析，根據(jù)物流客戶的個人特征以及物流業(yè)務消費數(shù)據(jù)，能夠?qū)⒖蛻羧后w進行細分。例如，能夠得到這樣的一個物流業(yè)務消費群體：生產(chǎn)企業(yè)對物流業(yè)務中運輸需求占41%，對物流業(yè)務中倉儲業(yè)務的需求占23%；商業(yè)企業(yè)對物流業(yè)務中運輸需求占59%，對物流業(yè)務中倉儲業(yè)務需求占77%。針對不同的客戶群，能夠施行不同的物流效勞方式，進而提升客戶的滿意度。數(shù)據(jù)發(fā)掘流程定義問題：第三方物流企業(yè)首先清楚明晰地定義出各種物流業(yè)務問題，確定數(shù)據(jù)發(fā)掘的目的。數(shù)據(jù)預備：首先第三方物流企業(yè)在大型數(shù)據(jù)庫和數(shù)據(jù)倉庫目的中提取數(shù)據(jù)發(fā)掘的目的數(shù)據(jù)集進行數(shù)據(jù)選擇；其次進行數(shù)據(jù)的預處理，包含檢查數(shù)據(jù)的完好性及數(shù)據(jù)的一致性、填補丟失的域，刪除無效數(shù)據(jù)等。數(shù)據(jù)發(fā)掘：第三方物流企業(yè)根據(jù)數(shù)據(jù)功能的類型和數(shù)據(jù)的特點選擇相應的算法，在凈化和轉(zhuǎn)換過的數(shù)據(jù)集上進行數(shù)據(jù)發(fā)掘。結果分析：第三方物流企業(yè)對數(shù)據(jù)發(fā)掘的結果進行解釋和評價，轉(zhuǎn)換成為能夠最終被理解的知識。知識的運用：第三方物流企業(yè)將分析所得到的知識集成到物流業(yè)務信息系統(tǒng)的組織構造中去。評價數(shù)據(jù)發(fā)掘軟件需要考慮的問題越來越多的軟件供給商參加了數(shù)據(jù)發(fā)掘這一領域的競爭。第三方物流企業(yè)怎樣正確評價一個商業(yè)軟件，選擇適宜的軟件成為數(shù)據(jù)發(fā)掘成功應用的關鍵。評價一個數(shù)據(jù)發(fā)掘軟件重要應從下面四個重要方面：計算性能：如該軟件能否在不同的物流業(yè)務平臺運行；軟件的架構；能否連接不同的數(shù)據(jù)源；操作大數(shù)據(jù)集時，性能變化是線性的還是指數(shù)的；算的效率；能否基于組件構造易于擴展；運行的穩(wěn)定性等；功能性：如軟件能否提供足夠多樣的算法；能否避免發(fā)掘經(jīng)過黑箱化；軟件提供的算法能否應用于多種類型的數(shù)據(jù)；第三方物流企業(yè)能否調(diào)整算法和算法的參數(shù)；軟件能否從數(shù)據(jù)集隨機抽取數(shù)據(jù)建立預發(fā)掘模型；能否以不同的形式表現(xiàn)發(fā)掘結果等?？捎眯裕喝缬脩艚缑婺芊裼押?；軟件能否易學易用；軟件面對的用戶是初學者、高級用戶還是專家；毛病報告對用戶調(diào)試能否有很大幫助。輔助功能：如能否允許第三方物流企業(yè)更改數(shù)據(jù)集中的毛病值或進行數(shù)據(jù)清洗；能否允許值的全局替代；能否將連續(xù)數(shù)據(jù)離散化；能否根據(jù)用戶制訂的規(guī)則從數(shù)據(jù)集中提取子集；能否將數(shù)據(jù)中的空值用某一適當均值或用戶指定的值代替；能否將一次分析的結果反應到另