基于寬表的自助取數(shù)系統(tǒng)設計說明

1、基于寬表的自助取數(shù)網(wǎng)絡系統(tǒng)設計摘 要：電信運營商在日益激烈的市場競爭中，對營銷IT支撐系統(tǒng)的依賴程度越來越高。營業(yè)人員在營銷活動中，如何與時地獲取針對不同客戶的營銷數(shù)據(jù)，成為直接影響營銷效果的關鍵因素之一。在分析營銷人員個性化實時取數(shù)需求的基礎上，構(gòu)建一種基于不同分析主題寬表的自助取數(shù)網(wǎng)絡系統(tǒng)，方便營銷人員通過簡單的界面操作實現(xiàn)快捷、實時的自助取數(shù)功能。關鍵詞：電信運營商；企業(yè)數(shù)據(jù)倉庫；針對性營銷；寬表；自助取數(shù)中圖分類號：TP393.08 文獻標志碼：ADesign of Intelligent Data Acquire Network System Based on Wide TableX

2、iang Yong1,Zhang Qing1, WangHaixia1,Liu Ming2（1China Telecom Corporation Ltd. Guangzhou Research Institute, Guangzhou 510630, China；2University of Electronic Science and Technology of China, Chengdu 610054, China）Abstract: Under the increasingly fierce market competition circumstance, telecom operat

3、ors depend more and more on marketing IT support system. To promptly acquire different marketing data for different customers becomes a key factor to the effect of sale. In this assay, based on the analysis of the needs for ad-hoc and real-time marketing data access, we construct wide tables for dif

4、ferent topics and design an auto-data fetch functional framework, which enables the sales staff retrieve marketing data conveniently, quickly and real-timely, through simple UI operation.Key words: Telecom operators; Enterprise data warehouse; Targeted marketing; Wide table; Intelligent data acquire

5、1 引言中國電信業(yè)競爭越來越激烈，市場情況瞬息萬變。為促進企業(yè)有效益、可持續(xù)發(fā)展，有效控制離網(wǎng)率和流失率，電信運營商開展了一系列針對性營銷活動。所謂針對性營銷，是指根據(jù)客戶的消費需求、消費特征等對客戶進行細分，針對不同需求特征的客戶群，提供差異化的產(chǎn)品、套餐或服務的營銷過程。在此過程中，離不開各類營銷數(shù)據(jù)的決策支持，這些都不同程度地需要使用和依賴于各種IT支撐系統(tǒng)。通常情況下，營銷過程所需的各類數(shù)據(jù)都由功能齊全、系統(tǒng)復雜的經(jīng)營分析類系統(tǒng)提供。由于這類系統(tǒng)通常都直接建立在企業(yè)數(shù)據(jù)倉庫之上，分析主題相對固定，運算量較大，因此，其數(shù)據(jù)獲取的實效性和個性化都存在明顯的不足。本文針對當前營銷支撐系統(tǒng)中存

6、在的取數(shù)效率不足的問題，提出了一種用于營銷人員以自助方式獲取數(shù)據(jù)支持的網(wǎng)絡系統(tǒng)功能框架。文章其他部分組織如下：第2節(jié)對相關工作進行說明；第3節(jié)對本文的系統(tǒng)定位和功能設計等進行描述；第4節(jié)給出系統(tǒng)參考實現(xiàn)和使用效果描述；最后總結(jié)全文。2 相關工作本文提出的自助取數(shù)系統(tǒng)，是在企業(yè)數(shù)據(jù)倉庫基礎上，建立由不同主題寬表構(gòu)成的數(shù)據(jù)集市，需要運用到數(shù)據(jù)倉庫和數(shù)據(jù)集市的相關知識、技術和手段。文獻1-4只是從數(shù)據(jù)倉庫基本概念，到數(shù)據(jù)挖掘方法和技術，進行了較為詳實的介紹；文獻5對數(shù)據(jù)集市相關知識做了介紹。這些文獻都沒涉與到自助取數(shù)的相關介紹。而自助取數(shù)功能的設計，將直接提高營銷人員在營銷活動中取得的效果。3 系統(tǒng)

7、設計自助取數(shù)，是通過B/S模式（用戶使用瀏覽器）提供了一系列的取數(shù)方式（如模板取數(shù)、客戶細分、自定義取數(shù)等），使分析人員可以不直接訪問數(shù)據(jù)庫或在沒有IT支撐的情況下通過web界面方便、快捷、簡單地獲取所需數(shù)據(jù)。自助取數(shù)能夠降低針對性營銷IT支撐的成本，提高業(yè)務人員對IT支撐的滿意度。營銷人員可以依托自助取數(shù)功能實現(xiàn)閉環(huán)的針對性營銷，提高針對性營銷中營銷數(shù)據(jù)獲取的方便性和快捷性，幫助多個角度分析客戶，培養(yǎng)用數(shù)據(jù)說話、科學營銷的習慣和技能，從而促進業(yè)務人員在營銷策劃、管理中的發(fā)散性思維。自助取數(shù)網(wǎng)絡系統(tǒng)，由數(shù)據(jù)庫（用作寬表數(shù)據(jù)集市等）、應用服務（自助取數(shù)業(yè)務邏輯處理模塊）和web服務（營銷人員操作

8、門戶）組成。本文主要介紹數(shù)據(jù)庫寬表設計和自助取數(shù)功能框架設計。3.1 功能定位針對性營銷全過程分為客戶理解、營銷策劃、營銷執(zhí)行和營銷評估等四個階段。從業(yè)務操作、功能應用的角度出發(fā)，自助取數(shù)功能主要應用于客戶理解階段。同時，也對其它階段予以支持。階段功能體現(xiàn)如下：1）客戶理解階段：營銷策劃和管理人員通過自助取數(shù)得到目標客戶的帳單費用和通話行為等信息后，輔以其他的手段深入分析客戶消費與行為特征，更好支持客戶理解。2）營銷策劃階段：獲取客戶的屬性類、擁有類、行為類、價值類和反饋等數(shù)值后，用戶可以利用excel等常用軟件，進行相對簡單的營銷策劃。3）營銷執(zhí)行階段：營銷執(zhí)行人員可以通過自助取數(shù)功能得到需

9、要關注客戶的每日購買、通話和消費行為。4）營銷評估階段：可以將目標客戶清單導入到自助取數(shù)功能模塊中，獲取目標客戶連續(xù)多個帳務月的帳單和通話量指標，再利用excel等常用軟件，實現(xiàn)對目標客戶群簡單的效果評估分析。3.2 寬表設計圖1描述了自助取數(shù)功能的數(shù)據(jù)架構(gòu)。為了保證數(shù)據(jù)的一致性，避免系統(tǒng)資源的浪費，自助取數(shù)功能建議直接從EDW/ODS系統(tǒng)獲取數(shù)據(jù)。圖1 自助取數(shù)功能的數(shù)據(jù)架構(gòu)自助取數(shù)數(shù)據(jù)集市的寬表，根據(jù)加載頻度可分為以下兩類：1） 按月加載的匯總表。包括帳單信息匯總表、通話信息匯總表和小靈通短消息信息匯總表等。根據(jù)目標對象，分別有產(chǎn)品實例月匯總表、月匯總表和客戶月匯總表。這些表中的帳單、話單

10、等指標按帳務月進行匯總，相對數(shù)據(jù)挖掘?qū)挶矶?，指標的粒度要適當歸并以適應自助取數(shù)的需求。各省需要根據(jù)EDW的性能、存儲空間等實際情況，基于數(shù)據(jù)挖掘?qū)挶硪砸晥D的形式生成月匯總表，或者ETL生成獨立的月匯總表。2） 按日增量或者全量加載的日更新表。日更新表中保存的是從EDW中直接抽取的數(shù)據(jù)，主要是產(chǎn)品實例和客戶的基本屬性的最新數(shù)據(jù)。針對營銷策劃分析和管理人員對自助取數(shù)的業(yè)務需求，可以將其分為三大主題：1） 帳務月取數(shù)：主要是基于按月匯總的帳單、通話量等指標進行數(shù)值約束的查詢?nèi)?shù)，所以也稱為數(shù)值約束取數(shù)。具體包括收入取數(shù)、通話量取數(shù)等；2） 日期段取數(shù)：包括新增清單、拆機清單、到達清單和到期清單等二

11、級取數(shù)主題，具體又涉與主產(chǎn)品實例、附屬產(chǎn)品實例、單產(chǎn)品優(yōu)惠、優(yōu)惠和群組優(yōu)惠的清單取數(shù)。考慮到寬帶的特殊性，需要單列寬帶產(chǎn)品實例清單取數(shù)和寬帶優(yōu)惠清單取數(shù)。同時，由于群組優(yōu)惠和優(yōu)惠下往往關聯(lián)多個產(chǎn)品實例，還需要單列群組優(yōu)惠關聯(lián)產(chǎn)品清單取數(shù)和優(yōu)惠關聯(lián)產(chǎn)品清單取數(shù)。因為總是需要選定一個時間窗，所以稱為日期段取數(shù)。具體包括主產(chǎn)品實例業(yè)務量取數(shù)、附屬產(chǎn)品實例業(yè)務量取數(shù)、寬帶產(chǎn)品實例業(yè)務量取數(shù)、單產(chǎn)品優(yōu)惠業(yè)務量取數(shù)、賬戶優(yōu)惠業(yè)務量取數(shù)、群組優(yōu)惠業(yè)務量取數(shù)等；3） 數(shù)據(jù)挖掘打分數(shù)據(jù)取數(shù)：獲取數(shù)據(jù)挖掘打分寬表中的打分數(shù)據(jù)。具體包括客戶分群取數(shù)、客戶價值取數(shù)、客戶忠誠度取數(shù)和流失預警取數(shù)等。各種取數(shù)主題交叉組合

12、，會產(chǎn)生更加復雜的取數(shù)需求，需要基于自助取數(shù)的主題劃分，進行數(shù)據(jù)準備，設計界面和功能。3.3 功能設計營銷和管理人員的自助取數(shù)業(yè)務（操作）流程，一般分為四步，如圖2所示：圖2 自助取數(shù)業(yè)務流程示意圖為了覆蓋完整的業(yè)務流程，同時，為了更好地體現(xiàn)模塊化設計思想，可將自助取數(shù)的功能模塊劃分成七個子模塊：配置管理、智能取數(shù)、取數(shù)結(jié)果管理、取數(shù)任務管理、用戶管理、統(tǒng)計審計和自組織管理。其功能框架如下圖3所示。圖3 自助取數(shù)功能框架下面對各個功能子模塊進行介紹。3.3.1 配置管理通過配置管理得到各種約束參數(shù)模板和結(jié)果字段模板，利用這些配置模板來滿足各種差異化的取數(shù)需求。約束參數(shù)指標很多，用戶需要的只會是

13、一小部分，過多的約束參數(shù)會導致使用難度很大。為了降低使用難度，要針對不同的取數(shù)主題設定約束參數(shù)模板。約束參數(shù)可分為兩大類：Ø 數(shù)值指標的約束參數(shù)：各種帳單指標、通話量指標等。應該支持同類數(shù)值指標的簡單運算，生成新的數(shù)值指標。Ø 屬性的約束參數(shù)：客戶的營銷服務屬性、客戶等級等基本屬性，對于產(chǎn)品實例包括產(chǎn)品類型屬性、關聯(lián)的附屬產(chǎn)品類型、產(chǎn)品落地區(qū)域、關聯(lián)的套餐等。所謂的“結(jié)果字段”，是結(jié)果文件清單中的顯示信息，主要是產(chǎn)品實例與其客戶的各種基本屬性、套餐購買信息、附屬產(chǎn)品實例擁有信息等。不同用戶、在不同的取數(shù)主題中對結(jié)果字段的需不一樣的。結(jié)果字段的配置管理，就是針對不同的取數(shù)主題

14、，把一般需要的字段設置為結(jié)果字段，并保存為模板。3.3.2 智能取數(shù)智能取數(shù)功能子模塊主要包含以下三個功能點：1) 規(guī)則定義取數(shù)：用戶對數(shù)據(jù)的需非常多樣化的，需要通過設定時間、產(chǎn)品、套餐、地域等維度約束、設定各種帳務月指標和通話量指標的數(shù)值圍來實現(xiàn)。這種通過界面設定約束參數(shù)的過程，就是一個規(guī)則定義的過程。基于界面上設定的規(guī)則，再生成取數(shù)SQL，提交執(zhí)行以獲得清單結(jié)果。規(guī)則定義中，能夠?qū)?shù)值型約束參數(shù)限定數(shù)值圍：即：X1<=約束指標A<=X2，其中的X1,X2為用戶填寫的數(shù)值變量。用戶可以只填一個變量，或者同時填寫兩個變量。如果都不填寫，則約束指標A不會作為取數(shù)中的查詢約束參數(shù)。2)

15、 文件上傳取數(shù)：把特定類型的數(shù)值或者字符存放于EXCEL或者TXT等格式的文件中，上傳該文件實現(xiàn)取數(shù)?？梢曰?、客戶編號、編號、寬帶、VPN群組號等字段類型進行上傳。用戶可以基于“規(guī)則定義取數(shù)”模塊，在取數(shù)界面上設定各種規(guī)則參數(shù)的值或者值圍，以作為取數(shù)的約束條件，進行參數(shù)過濾查詢。3) SQL模板取數(shù)：IT人員定義SQL取數(shù)模板，業(yè)務人員使用SQL模板取數(shù)的模式。SQL模板中的變量參數(shù)設定規(guī)則中，對于某些變量參數(shù)，例如日期、地域、套餐、產(chǎn)品等應該盡可能提供界面進行選取。3.3.3 取數(shù)結(jié)果管理取數(shù)結(jié)果管理主要包括如下功能：1) 結(jié)果文件管理：主要從取數(shù)任務狀態(tài)顯示、取數(shù)任務查看、取數(shù)任務刪除和

16、取數(shù)任務執(zhí)行等角度，來管理取數(shù)結(jié)果文件。2) 取數(shù)任務邏輯復用：用戶點擊打開已經(jīng)結(jié)束的取數(shù)任務，在舊的取數(shù)邏輯基礎上進行一定的修改，從而復用以往的取數(shù)任務邏輯，提高取數(shù)工作效率。3) 結(jié)果文件格式轉(zhuǎn)換：取數(shù)任務結(jié)束后，自助取數(shù)功能模塊根據(jù)用戶要求生成了特定格式的清單文件。3.3.4 取數(shù)任務管理取數(shù)任務管理子功能包括以下三個功能點：1) 結(jié)果文件生成：根據(jù)用戶需要的文件格式，生成對應格式的清單文件。該文件保存于服務器硬盤上，用戶可以下載應用。2) 任務的執(zhí)行控制：出于系統(tǒng)的性能考慮，需要對系統(tǒng)的任務執(zhí)行情況作相應的調(diào)度和控制。取數(shù)任務被提交時，檢測該用戶是否有正在執(zhí)行的取數(shù)任務。如果有，則將提

17、交的任務強制轉(zhuǎn)為預約取數(shù)，否則立即執(zhí)行該任務。即需要保證用戶在一個時間點只能有一個取數(shù)任務被執(zhí)行。3) 取數(shù)結(jié)束通知：取數(shù)任務執(zhí)行結(jié)束后，無論成功或者失敗，都可以通過小靈通短信或者等方式通知用戶。3.3.5 自組織管理自助取數(shù)功能模塊實現(xiàn)自組織功能，實現(xiàn)自我學習、持續(xù)優(yōu)化，從而提高自助取數(shù)的靈活性和客戶滿意度。主要包括如下功能點：1) 預約取數(shù)的自組織：對取數(shù)主題進行劃分后，統(tǒng)計不同取數(shù)主題下任務執(zhí)行所需的平均時間。根據(jù)時間長短從高到低進行排序，將排在前面20%的取數(shù)主題定義為低效取數(shù)主題。這樣，用戶提交取數(shù)任務后，自助取數(shù)功能模塊將屬于低效取數(shù)主題的取數(shù)任務強制轉(zhuǎn)為預約取數(shù)。屬于低效取數(shù)主題

18、的取數(shù)任務被要求在系統(tǒng)空閑時間執(zhí)行，當IT人員優(yōu)化了其SQL邏輯后，預約取數(shù)的自組織功能才會將低效取數(shù)主題重新定義為非低效取數(shù)主題。2) 約束參數(shù)的自組織：約束參數(shù)的自組織功能，簡而言之就是根據(jù)約束參數(shù)的被使用次數(shù)，對約束參數(shù)進行界面顯示的動態(tài)排序，使用次數(shù)越多的約束參數(shù)越排在前面。主要體現(xiàn)在兩個方面：定義約束參數(shù)模板時，待選的約束參數(shù)動態(tài)排序，便于用戶選擇常用的約束參數(shù)進入?yún)?shù)模板；基于模板在界面上顯示約束參數(shù)列表時，模板的約束參數(shù)基于約束參數(shù)排序記錄將參數(shù)在界面上顯示出來。使用頻次越多的參數(shù)排在界面的前面。這種排序顯示能夠不斷提高常用約束參數(shù)的顯示排序，從而逐漸自組織地改善參數(shù)顯示的合理性

19、，提高用戶的使用滿意度。3) 結(jié)果字段的自組織：根據(jù)結(jié)果字段的使用頻次，對結(jié)果字段進行自動排序。使用次數(shù)越多的結(jié)果字段，在定義結(jié)果字段模板時，其界面顯示順序就越靠前。這種自組織的動態(tài)排序，能夠降低用戶定義結(jié)果字段模板的難度。由于結(jié)果字段往往很多，常用的結(jié)果字段排在前列，有利于用戶選擇使用。4) 存儲空間的自組織：取數(shù)結(jié)果以文件的形式保存在計算機硬盤上，硬盤空間不夠會導致結(jié)果文件生成失敗。存儲空間的自組織管理自動監(jiān)控硬盤剩余空間，當剩余空間小于預設值時自動告警，并自動刪除部分取數(shù)結(jié)果文件。3.3.6 統(tǒng)計與審計從多種角度、層次記錄、分析和統(tǒng)計各應用、用戶的訪問情況和取數(shù)情況，有助于后續(xù)的開發(fā)與運

20、維支撐工作的開展，也有助于管控數(shù)據(jù)的獲取、防止客戶資料的泄漏。3.3.7 用戶管理主要包括的增、刪、改、查操作，以與用戶權限的控制，并能進行用戶個性化定制設置，如取數(shù)結(jié)果文件格式、自助取數(shù)條件保存和復用等。4 系統(tǒng)效果圖4 自助取數(shù)系統(tǒng)中條件配置界面圖5 自助取數(shù)系統(tǒng)中執(zhí)行取數(shù)界面圖4和圖5是某電信運營商自助取數(shù)系統(tǒng)中的相關界面。從系統(tǒng)上線后投入實際運營的使用情況來看，本文提出的自助取數(shù)網(wǎng)絡系統(tǒng)功能設計方案，可以有效解決營銷過程中存在的以下關鍵問題： 1）取數(shù)流程過長目前的IT數(shù)據(jù)支撐流程中，營銷人員從擬定取數(shù)工作聯(lián)系單到最終獲得數(shù)據(jù)，往往需要經(jīng)過較多的工序，反復溝通的成本較大、周期較長。營銷人員自助取數(shù)方式，能夠有效地減少取數(shù)環(huán)節(jié)，實現(xiàn)快速取數(shù)響應。 2）取數(shù)需求過于集中日常工作中的取數(shù)需求通常在時間上較為集中，根據(jù)經(jīng)驗，取數(shù)需求主要集中在月初和月中。這容易導致取數(shù)需求難以得到快速響應。營銷人員自助取數(shù)方式，能夠有效緩解I