大數(shù)據(jù)運(yùn)營平臺科技項目技術(shù)方案（純方案66頁）

1、大數(shù)據(jù)運(yùn)營平臺科技工程技術(shù)建議書大數(shù)據(jù)平臺各功能模塊說明如下：1.數(shù)據(jù)匯聚子平臺系統(tǒng)支持文件方式和數(shù)據(jù)流實時處理方式采集清洗寬帶DPI數(shù)據(jù)。系統(tǒng)采用文件方式采集清洗3G DPI數(shù)據(jù)系統(tǒng)采用文件方式采集清洗AAA數(shù)據(jù)系統(tǒng)采用文件方式采集清洗OIDD數(shù)據(jù)系統(tǒng)采用文件方式采集清洗ODS數(shù)據(jù)系統(tǒng)采用數(shù)據(jù)脫敏技術(shù)，提高大數(shù)據(jù)平臺平安性和保密等級。 系統(tǒng)利用HDFS驅(qū)動提供的Format功能，實現(xiàn)hadoop云平臺系統(tǒng)級、 業(yè)務(wù)級數(shù)據(jù)加密。系統(tǒng)采用分布式ETL并行處理架構(gòu)，提高數(shù)倍數(shù)十倍ETL速度系統(tǒng)可以靈活調(diào)度作業(yè)資源，已保證每個作業(yè)都能獲得相應(yīng)的系統(tǒng)資 源。2.大數(shù)據(jù)處理子平臺 系統(tǒng)采用KDC (Ke

2、y Distribution Center)平安認(rèn)證中心實現(xiàn)用戶安 全訪問。系統(tǒng)可以為每個租戶分配獨立的存儲空間(HDFS)和計算資源(MR Slot), 實現(xiàn)資源獨立。系統(tǒng)提供基于多租戶的數(shù)據(jù)授權(quán)，可以控制各租戶的數(shù)據(jù)訪問權(quán)限。系統(tǒng)提供平臺參數(shù)配置和用戶管理。系統(tǒng)提供平臺運(yùn)行狀態(tài)監(jiān)控和告警管理。系統(tǒng)提供客戶管理、合同管理、基礎(chǔ)產(chǎn)品管理、結(jié)算管理等業(yè)務(wù)管理功 能。系統(tǒng)支持多個同步標(biāo)簽的服務(wù)程序和多個離線標(biāo)簽的服務(wù)程序。3.外部能力開放子系統(tǒng)系統(tǒng)采用分布式K-V數(shù)據(jù)庫，主要用于存放標(biāo)簽結(jié)果數(shù)據(jù)系統(tǒng)提供高并發(fā)查詢服務(wù)系統(tǒng)支持多個DSP廠商程序算法模型加載和數(shù)據(jù)訪問。系統(tǒng)提供SQL語句優(yōu)化及MapR

3、educe定制服務(wù)，優(yōu)化廠商作業(yè)性能。系統(tǒng)支持交互式SQL查詢，用戶可以通過圖形化界面定義查詢參數(shù)，執(zhí) 行自己的查詢?nèi)蝿?wù)。系統(tǒng)提供在線WEB報表制作發(fā)布服務(wù)。4.信息推送子平臺系統(tǒng)可以根據(jù)流量分發(fā)規(guī)那么，對數(shù)據(jù)流量進(jìn)行精確控制分發(fā)。系統(tǒng)可以根據(jù)運(yùn)營商流量的廣告營銷策略進(jìn)行廣告推送。系統(tǒng)提供廣告提單功能。系統(tǒng)對符合廣告推送條件的流量進(jìn)行廣告引導(dǎo)推送。系統(tǒng)通過cookie定向、IP分析等用戶分析技術(shù)實現(xiàn)廣告的精準(zhǔn)推送。系統(tǒng)提供用戶流量提醒，并通過用戶流量消費(fèi)分析可進(jìn)行流量經(jīng)營營 銷。4.2大數(shù)據(jù)處理子平臺4. 2.1多租戶能力.1.1平臺平安管控系統(tǒng)采用KDC (Key Distribution

4、Center)平安認(rèn)證中心實現(xiàn)用戶平安 訪問。系統(tǒng)提供統(tǒng)一用戶管理，包括操作系統(tǒng)用戶管理、云平臺用戶管理和數(shù)據(jù)訪 問控制(Token),如下列圖所示：統(tǒng)一用戶管理數(shù)據(jù)訪問控制(Token)云平臺用戶管理操作系統(tǒng)用戶管理為保證平臺平安，名稱節(jié)點采用雙機(jī)熱備HA方式工作。J .2平臺資源管理系統(tǒng)支持基于多租戶的資源管理，可以為每個租戶分配獨立的存儲空間（HDFS）和計算資源（MR Slot）,實現(xiàn)資源獨立，如下列圖所示：統(tǒng)一人數(shù)據(jù)平臺，多租戶隔離共享 HDFS管理可以配置用戶的HDFS信息。HDFS信息包括：1）文件數(shù)限額。2）可用文件數(shù)3）空間限額4）可用空間5）用戶目錄6）目錄數(shù)7）文件數(shù)8）

5、文件總大小 MapReduce 管理可以增加、刪除或修改隊列信息。隊列信息包括:1）隊列名2）容量設(shè)置3）可用容量4）最大容量5）是否支持job優(yōu)先級6）用戶資源百分比限制7）用戶可占隊列容量系數(shù)8）隊列中并發(fā)task上限值9）每個用戶并發(fā)task上限值10）每個隊列中可容納job總數(shù)的系數(shù)11）初始化后并發(fā)執(zhí)行的job數(shù)資源套餐管理系統(tǒng)可以設(shè)置資源套餐，套餐內(nèi)容包含存儲空間（HDFS）和計算資源（MR Slot）0用戶開通業(yè)務(wù)時，只需選擇相應(yīng)的套餐即可。平臺數(shù)據(jù)授權(quán)系統(tǒng)提供基于多租戶的數(shù)據(jù)授權(quán)，可以控制各租戶的數(shù)據(jù)訪問權(quán)限，包括：hive表數(shù)據(jù)訪問權(quán)限Hive表權(quán)限管理內(nèi)容包括：系統(tǒng)可以設(shè)置

6、用戶的HIVE表訪問權(quán)限，并允許用戶訪問授權(quán)的HIVE表, 用戶不能使用非授權(quán)的HIVE表。用戶沒有創(chuàng)立/刪除HIVE表的操作權(quán)限。HIVE表只能由系統(tǒng)管理員統(tǒng)一 創(chuàng)立/刪除。用戶可以增加/修改/刪除HIVE表里的字段，也可以增加/修改/刪除HIVE 表里字段的內(nèi)容。HIVE表權(quán)限管理內(nèi)容包括：表名所屬數(shù)據(jù)庫操作權(quán)限，包括八種權(quán)限：一 Alter （修改表結(jié)構(gòu)）Update （修改數(shù)據(jù)）一 Create （創(chuàng)立）Lock （鎖定或解除表）Select （訪問數(shù)據(jù)）一 Drop （刪除）Index （創(chuàng)立索引）一 Show DataBase （查看可用數(shù)據(jù)庫）2. hbase表數(shù)據(jù)訪問權(quán)限Hba

7、se表權(quán)限管理內(nèi)容包括：系統(tǒng)可以設(shè)置HBASE表的訪問權(quán)限，并允許用戶訪問授權(quán)的HBASE表。 用戶不能查看Hbase中非授權(quán)表的內(nèi)容。多個用戶可以同時操作同一個指定的表；用戶沒有創(chuàng)立/刪除HBASE表的操作權(quán)限。HBASE表只能由系統(tǒng)管理員統(tǒng) 一創(chuàng)立/刪除。用戶可以增加/修改/刪除HBASE表里的字段，也可以增加/修改/刪除 HBASE表里字段的內(nèi)容。Hbase表權(quán)限管理內(nèi)容包括：表名colFamily 列表操作權(quán)限，包括四種權(quán)限：R （只讀）W （可寫）c （創(chuàng)立修改刪除）A （控制）3.字段級訪問權(quán)限系統(tǒng)通過授權(quán)文件Token可以實現(xiàn)字段級控制，如下列圖所示:TokenRecordIDT

8、imestampMDNSource IPRequest URLRefererUserAgentDestinatio n IPCookie1701296120120801 09:13:0013524908163180.153.5.Ill :/ NoDefucweb61.152.108 .66ckl=; tg=O;平臺統(tǒng)一管理平臺統(tǒng)一管理包括集群參數(shù)配置、節(jié)點參數(shù)配置、組件參數(shù)配置和用戶管理。1.集群參數(shù)配置集群參數(shù)包含：集群名稱ganglia 地址一備機(jī)名稱備機(jī)IP一 hadoop配置文件路徑hbase配置文件路徑hive配置文件路徑一 Zookeeper配置文件路徑等信息。.節(jié)點參數(shù)配置節(jié)點參

9、數(shù)包含：節(jié)點名稱節(jié)點地址一 NameNode角色服務(wù)啟動一DataNode角色服務(wù)啟動一 Zookeeper角色服務(wù)啟動一網(wǎng)卡設(shè)備網(wǎng)卡IP一掩碼Mask廣播地址Beast網(wǎng)卡MAC一狀態(tài)等信息。.組件參數(shù)配置組件參數(shù)包含：一 組件配置類型選擇,提供Hadoop, Hbase, Hive, zookeeper組件配置。-組件配置文件選擇等信息。.用戶管理平臺用戶管理包含用戶管理和群組管理，可以增加刪除hadoop用戶群組信 息和用戶信息。Hadoop用戶群組信息包括：1)用戶名稱2)群組名稱hadoop用戶信息包括：1) 基本信息2)用戶名所在用戶組HDFS配置文件數(shù)限額空間限額MapReduc

10、e 配置所屬隊列集中監(jiān)控告警管理集中監(jiān)控告警管理包括節(jié)點運(yùn)行狀態(tài)監(jiān)控、HDFS組件監(jiān)控、MapReduce組件 監(jiān)控、HIVE組件監(jiān)控、HBase組件監(jiān)控和告警管理。節(jié)點運(yùn)行狀態(tài)監(jiān)控通過圖形化界面直觀顯示節(jié)點運(yùn)行狀態(tài)和性能數(shù)據(jù)，包括節(jié)點負(fù)荷、存儲能 力、業(yè)務(wù)性能。節(jié)點負(fù)荷包括：1分鐘負(fù)荷5分鐘負(fù)荷15分鐘負(fù)荷CPU使用率內(nèi)存使用率硬盤使用率。HDFS組件監(jiān)控HDFS組件監(jiān)控內(nèi)容包括：1）查看IIDFS概況，包括：一狀態(tài)：當(dāng)前集群的HDFS運(yùn)行狀態(tài)?？?cè)萘浚寒?dāng)前集群的HDFS配置的數(shù)據(jù)存儲空間的總?cè)萘?。剩余容量：?dāng)集群HDFS處于運(yùn)行狀態(tài)時顯示，記錄當(dāng)前集群的剩余數(shù) 據(jù)存儲空間或剩余空間的百分比

11、。數(shù)據(jù)節(jié)點：當(dāng)前集群的HDFS配置的總數(shù)據(jù)節(jié)點數(shù)量及當(dāng)前正在運(yùn)行的 數(shù)據(jù)節(jié)點數(shù)量。2） HDFS瀏覽器,包括：瀏覽HDFS文件系統(tǒng)顯示HDFS文件系統(tǒng)的文件參數(shù)（名稱/用戶/組/權(quán)限/文件大小/修改 日期/數(shù)據(jù)塊/數(shù)據(jù)分布機(jī)器）MapReduce組件監(jiān)控MapReduce組件監(jiān)控內(nèi)容包括：-顯示任務(wù)（Job）的信息列表，包括任務(wù)編號、優(yōu)先級、用戶、任務(wù)狀 態(tài)、任務(wù)開始時間、Map進(jìn)度、Reduce進(jìn)度。一雙擊任務(wù)查看任務(wù)詳細(xì)信息，包括作業(yè)類型、作業(yè)進(jìn)度、作業(yè)數(shù)、待 執(zhí)行的作業(yè)、正在執(zhí)行的作業(yè)、完成的作業(yè)、終止的作業(yè)、失敗、終 止的作業(yè)嘗試。HIVE組件監(jiān)控HIVE組件監(jiān)控內(nèi)容包括：1）查看HI

12、VE概況，包括：一顯示HIVE運(yùn)行狀態(tài)顯示HIVE數(shù)據(jù)庫列表2）業(yè)務(wù)表瀏覽顯示HIVE表的信息列表，包含表名和狀態(tài)。雙擊表名查看該表的字段定義信息。一直接提交SQL查詢語句，并返回執(zhí)行結(jié)果。HBase組件監(jiān)控HBase組件監(jiān)控內(nèi)容包括：一顯示HBase表的信息列表，包含表名和狀態(tài)。一雙擊表名查看該表的數(shù)據(jù)域信息，包括數(shù)據(jù)域名稱、部署機(jī)器、起始 鍵值、結(jié)束鍵值、狀態(tài)、分割根、分割。告警管理平臺提供告警面板功能，可以實時監(jiān)測整個平臺的各種故障信息，告警內(nèi)容 包括：1）節(jié)點磁盤空間缺乏：系統(tǒng)在出現(xiàn)某個節(jié)點磁盤空間缺乏的情況報警。2）群集HDFS磁盤缺乏：群集中單個節(jié)點空間足夠，但群集HDFS磁盤空間

13、不 足時報警。3）節(jié)點CPU負(fù)載過高：節(jié)點在CUP負(fù)載異常情況下報警。4）節(jié)點內(nèi)存缺乏：節(jié)點在內(nèi)存缺乏情況報警。5）服務(wù)異常告警：監(jiān)測HDFS, HIVE, HBASE, Zookeeper等各個關(guān)鍵服務(wù)的 運(yùn)行狀態(tài)，如果發(fā)現(xiàn)異常，將輸出告警信息。6）節(jié)點失效故障：當(dāng)名稱節(jié)點與數(shù)據(jù)節(jié)點之間的網(wǎng)絡(luò)異常，超過心跳維持的 時間，將判定該節(jié)點已經(jīng)失效，退出服務(wù)。7）網(wǎng)絡(luò)故障告警：當(dāng)發(fā)現(xiàn)某些節(jié)點的網(wǎng)絡(luò)連接異常，將輸出網(wǎng)絡(luò)故障信息、。 平臺發(fā)生故障時，系統(tǒng)將產(chǎn)生告警，而且輸出告警的信息和告警類型，同時包含屢次告警的時間等，根據(jù)電信維護(hù)流程的要求，需要維護(hù)人員確認(rèn)告警，并 按照流程正確處置告警信息?？梢暬瘶I(yè)

14、務(wù)管理可視化業(yè)務(wù)管理包括客戶管理、合同管理、基礎(chǔ)產(chǎn)品管理和結(jié)算管理。.客戶管理系統(tǒng)提供圖形化客戶管理功能，包括客戶注冊、登錄、產(chǎn)品訂購、token管 理、服務(wù)申請、服務(wù)開通等。.合同管理系統(tǒng)提供圖形化合同管理功能，包括：1）合同基本信息管理：合同信息錄入、查詢、合同相關(guān)的業(yè)務(wù)信息關(guān)聯(lián)、 合同審批、合同生效時間、合同終止時間等。2）合同附件信息管理：合同附件的查詢、上傳、更新、審批等。3）合同執(zhí)行情況管理：合同執(zhí)行狀態(tài)、合同執(zhí)行進(jìn)度、合同執(zhí)行偏差評估 等。合同錄入完成后通過接口直接導(dǎo)入CRM數(shù)據(jù)庫。.基礎(chǔ)產(chǎn)品管理基礎(chǔ)產(chǎn)品配置包括以下產(chǎn)品類別：1）數(shù)據(jù)出售類產(chǎn)品：通過對電信數(shù)據(jù)資源進(jìn)行脫敏、加工、

15、提煉后的數(shù)據(jù) 進(jìn)行出售。這類數(shù)據(jù)產(chǎn)品根據(jù)數(shù)據(jù)所涉及的地理屬性，分為全國性數(shù)據(jù) 和省數(shù)據(jù)。2）數(shù)據(jù)咨詢類產(chǎn)品：通過對數(shù)據(jù)的分析、挖掘，面向不同的行業(yè)提供咨詢 類報告，這些報告所用的數(shù)據(jù)也分全國性數(shù)據(jù)和省數(shù)據(jù)。3）數(shù)據(jù)能力產(chǎn)品：這類產(chǎn)品通過能力平臺提供實時API接口數(shù)據(jù)查詢和大 數(shù)據(jù)作業(yè)服務(wù)。4）解決方案產(chǎn)品：這類產(chǎn)品只面向合作伙伴，因為解決方案類產(chǎn)品需要結(jié) 合行業(yè)合作伙伴，整合自有數(shù)據(jù)、自有渠道、合作伙伴渠道等提供行業(yè) 解決方案。.結(jié)算管理結(jié)算管理應(yīng)涵蓋以下功能：1）外部結(jié)算管理對合作伙伴的結(jié)算管理，根據(jù)合同，收入完成情況等要素對合作伙伴進(jìn)行費(fèi)用結(jié)算。目錄 TOC o 1-5 h z 三、總體方

16、案建議4概述4 HYPERLINK l bookmark79 o Current Document 關(guān)鍵技術(shù)4 HYPERLINK l bookmark81 o Current Document 大數(shù)據(jù)平臺架構(gòu)4 HYPERLINK l bookmark108 o Current Document 海量數(shù)據(jù)存儲5 HYPERLINK l bookmark141 o Current Document 并行計算能力6 HYPERLINK l bookmark161 o Current Document 系統(tǒng)邏輯框圖8 HYPERLINK l bookmark163 o Current Docume

17、nt 功能介紹9 HYPERLINK l bookmark165 o Current Document 功能模塊總述9大數(shù)據(jù)處理子平臺11421多租戶能力11422標(biāo)簽服務(wù)20數(shù)據(jù)匯聚子平臺21 HYPERLINK l bookmark24 o Current Document 寬帶DPI數(shù)據(jù)采集清洗214.3.23G DPI數(shù)據(jù)采集清洗.24 HYPERLINK l bookmark26 o Current Document 數(shù)據(jù)采集清洗24 HYPERLINK l bookmark28 o Current Document 數(shù)據(jù)采集清洗24 HYPERLINK l bookmark30 o

18、 Current Document 數(shù)據(jù)采集清洗26436數(shù)據(jù)脫敏27 HYPERLINK l bookmark34 o Current Document 數(shù)據(jù)加密28 HYPERLINK l bookmark36 o Current Document 數(shù)據(jù)ETL處理29 HYPERLINK l bookmark38 o Current Document 9作業(yè)智能排隊調(diào)度.29 HYPERLINK l bookmark98 o Current Document 4.4外部服務(wù)能力子平臺31標(biāo)簽查詢服務(wù)31 HYPERLINK l bookmark51 o Current Document D

19、SP廠商程序接入32 HYPERLINK l bookmark53 o Current Document 廠商作業(yè)性能優(yōu)化33 HYPERLINK l bookmark59 o Current Document 交互式SQL查詢33 HYPERLINK l bookmark61 o Current Document 在線報表34 HYPERLINK l bookmark100 o Current Document 信息推送子平臺34流量分發(fā)模塊34流量分發(fā)規(guī)那么34 HYPERLINK l bookmark66 o Current Document 廣告提單管理35 HYPERLINK l b

20、ookmark83 o Current Document 廣告引導(dǎo)管理40 HYPERLINK l bookmark85 o Current Document 廣告計劃檢索41 HYPERLINK l bookmark91 o Current Document 內(nèi)部業(yè)務(wù)支撐42四、產(chǎn)品配置清單431、大數(shù)據(jù)處理子平臺43 HYPERLINK l bookmark96 o Current Document 2、數(shù)據(jù)匯聚子平臺443、外部服務(wù)能力子平臺442）內(nèi)部結(jié)算依據(jù)考核計劃、考核結(jié)果、關(guān)聯(lián)收入完成情況、數(shù)據(jù)使用情況 等進(jìn)行收入結(jié)算。3）結(jié)算包括現(xiàn)金結(jié)算、轉(zhuǎn)賬結(jié)算、結(jié)算公式管理、結(jié)算期限管理等

21、。結(jié)算的費(fèi)用種類包括了兩大類：大數(shù)據(jù)平臺查詢服務(wù)費(fèi)用結(jié)算和大數(shù)據(jù)平臺 資源使用費(fèi)用結(jié)算。大數(shù)據(jù)平臺的查詢服務(wù)可按照查詢次數(shù)或者包月服務(wù)來計費(fèi)；A大數(shù)據(jù)平臺的資源使用包括了存儲、運(yùn)算和數(shù)據(jù)三類，其中數(shù)據(jù)資源根據(jù)字 段和使用記錄數(shù)來計費(fèi)，存儲和運(yùn)算資源那么可以采用租費(fèi)的結(jié)算方式。2. 2標(biāo)簽服務(wù)同步標(biāo)簽服務(wù)寬帶DPI數(shù)據(jù)流經(jīng)過實時數(shù)據(jù)處理后，支持多個同步標(biāo)簽的服務(wù)程序。同步標(biāo)簽數(shù)據(jù)處理支持優(yōu)先級設(shè)置，通過優(yōu)先級決定同步標(biāo)簽服務(wù)程序的執(zhí)行順序，可以支持并發(fā)執(zhí)行和順序執(zhí)行；可以通過數(shù)據(jù)的URL、關(guān)鍵字、關(guān)鍵字段設(shè)置數(shù)據(jù)處理的范圍，從而滿足 不同的同步標(biāo)簽處理要求。離線標(biāo)簽服務(wù)寬帶DPI文件和3GDPI

22、文件經(jīng)過數(shù)據(jù)處理后，支持多個離線標(biāo)簽的服務(wù)程 序。離線標(biāo)簽數(shù)據(jù)處理可靈活設(shè)置各廠商作業(yè)執(zhí)行時間。通過字段級Token控制，實現(xiàn)離線標(biāo)簽數(shù)據(jù)處理可以訪問的字段類型，從 而實現(xiàn)靈活的數(shù)據(jù)訪問控制功能。離線標(biāo)簽提供廠商性能優(yōu)化功能，以保證各廠商作業(yè)在規(guī)定的時間內(nèi)完成。子平臺4. 3.1寬帶DPI數(shù)據(jù)采集清洗浙江電信11個地市的寬帶DPI數(shù)據(jù)通過CN2網(wǎng)絡(luò)匯聚到大數(shù)據(jù)平臺。如下 圖所示：大數(shù)據(jù)平臺不僅支持寬帶DPI文件匯聚，同時支持寬帶DPI數(shù)據(jù)流實時匯 聚。寬帶DPI數(shù)據(jù)流實時匯聚DPI數(shù)據(jù)實時入庫 Storm同步標(biāo)簽 Storm消息分發(fā) Kafka大數(shù)據(jù)平臺實時采集清洗寬帶DPI數(shù)據(jù)流，處理流程如

23、下列圖所示：離線標(biāo)簽Kettle處理流程說明如下：. Kafka消息系統(tǒng)實時接收前端寬帶DPI數(shù)據(jù)流；. Kafka消息系統(tǒng)將接收到的寬帶DPI數(shù)據(jù)流分發(fā)至同步標(biāo)簽和實時入庫兩 個模塊；.同步標(biāo)簽?zāi)K采用Storm組件實時處理寬帶DPI數(shù)據(jù)流，為寬帶DPI數(shù)據(jù)流打上標(biāo)簽。.實時入庫模塊采用Storm組件將寬帶DPI數(shù)據(jù)流以文件形式寫入云平臺 HDFS,后續(xù)可以對寬帶DPI文件進(jìn)行離線標(biāo)簽處理。寬帶DPI數(shù)據(jù)清洗寬帶DPI數(shù)據(jù)清洗主要是針對兩類流量進(jìn)行清洗： 一類是非瀏覽器發(fā)起的 請求；另一類是瀏覽器發(fā)起的非用戶點擊請求；最終清洗后留下的url為用戶的真實點擊；寬帶DPI數(shù)據(jù)清洗規(guī)那么要求如下：

24、可以實現(xiàn)“用戶有效點擊”的 Get的實時提取。（此處“用戶有效點 擊”的定義為：用戶在瀏覽器輸入的有效網(wǎng)址，點擊瀏覽器書簽，用戶在網(wǎng)頁 中發(fā)起的任意主動點擊行為）。通過清洗規(guī)那么的設(shè)定，實現(xiàn)“用戶有效點擊”的 Get的實時提取。規(guī)那么庫1：根據(jù)后綴過濾圖片、腳本等針對單條url的規(guī)那么。對應(yīng)現(xiàn)象：圖片、腳本等頁面元素。規(guī)那么描述：一般非頁面資源的文件后綴名有一定規(guī)那么可循，后綴滿足匹 配指定字串，那么被識別為非頁面請求而被過濾去除。特征字符串可配置添加，例如如下：redis-cli sadd blockedurlpa t terns2.JS? . jpg . jpeg .png . gif .

25、 css . swf規(guī)那么庫2:過濾帶有指定特征字符串的url針對單條url的規(guī)那么。對應(yīng)現(xiàn)象:廣告、框架、廣告聯(lián)盟。規(guī)那么描述：一般廣告、圖片服務(wù)或框架頁面會帶有固定的特征字串，選 擇可靠的字串可以排除大量的非頁面請求URLo如下規(guī)那么可配置添加：redis-cli sadd blockedurlpa t ternsal lyes, com cpro. baidu. com cache, google, com admaster. com. cn “iframecjhq. baidu. com/quotenew規(guī)那么庫3:過濾重復(fù)包針對多條URL請求的規(guī)那么對應(yīng)現(xiàn)象:一個緩沖區(qū)域長度內(nèi)的重復(fù)

26、包。規(guī)那么描述：在緩沖內(nèi)判斷是否有重復(fù)請求出現(xiàn)，如有那么只提取第一個規(guī)那么庫4:識別非頁面類型請求（包含Js發(fā)出的請求）針對單條URL的規(guī)那么對應(yīng)現(xiàn)象：瀏覽器與Js腳本發(fā)出非頁面類型的請求。規(guī)那么描述：瀏覽器與Js腳本發(fā)出的非頁面類型請求有一定特征，其中主 要是Accept字段值，一般非頁面的請求，如圖片請求那么會包含“image/ 字串，這類請求一般不屬于頁面類型。當(dāng) Accept 字段值中不包含“text/html或application/xhtml+xml 子串并不能識別該請求是不是頁面請求，因此而保存下來。規(guī)那么庫5：保存白名單中的請求針對單條URL的規(guī)那么對應(yīng)現(xiàn)象：有些URL的特征設(shè)

27、定為白名單項規(guī)那么描述：設(shè)置白名單直接放行已明確需要的URL請求，這樣就不會浪 費(fèi)實時計算資源而做進(jìn)一步判斷，提高了系統(tǒng)的吞吐量。白名單可以配置，例如如下：redis-cli sadd allowedurlpa t terns : baidu. com/s?” Jttp :cn. bing. com/search?” littp:ww w. google, com. hk/search?3. 23G DPI數(shù)據(jù)采集清洗系統(tǒng)通過FTP方式采集3G DPI文件，3G DPI數(shù)據(jù)采集清洗網(wǎng)絡(luò)架構(gòu)如下:外部環(huán)境3G DPI數(shù)據(jù)采集清洗軟件3G DPI設(shè)備3G DPI接口服務(wù)器千兆千兆交換機(jī)超髭3G D

28、PI接口服務(wù)器Hadoop大數(shù)據(jù)平臺千兆千兆3G DPI文件清洗流程如下：將3G DPI文件的zip壓縮格式轉(zhuǎn)成gz壓縮格式。對3G DPI文件進(jìn)行數(shù)據(jù)清洗，包括加協(xié)議號，過濾重復(fù)的記錄，文件加lU o輸出正常文件和重單文件寫入HDFS。4. 3. 3AAA數(shù)據(jù)采集清洗城域網(wǎng)中獲取到 GET報文數(shù)據(jù)中用戶標(biāo)識是IP地址，由于每次用戶登 錄撥號IP地址均可能不同，在進(jìn)行用戶分析時用戶的標(biāo)識應(yīng)該為AD帳號。需要 獲取Radius數(shù)據(jù)，將用戶上網(wǎng)撥號AAA過程中IP和AD信息的導(dǎo)入，匹配用戶 上網(wǎng)行為記錄中的IP地址和AD賬號的數(shù)據(jù)原始信息，完成用戶上網(wǎng)記錄身份的 辨識。實現(xiàn)獨立運(yùn)行的AAA rad

29、ius解報文模塊，實時提取AAA報文中的Attribute Value Pairs 中的對應(yīng)報文段，將其 User-Name FramedTP-Address Acct-Status-Type并組合當(dāng)前的系統(tǒng)時間戳形成一條完整的用戶身份配對的撥 號上下線狀態(tài)數(shù)據(jù)的記錄，用于與偽CDR數(shù)據(jù)進(jìn)行匹配。4. 3. 40IDD數(shù)據(jù)采集清洗系統(tǒng)通過FTP方式采集OIDD文件。OIDD數(shù)據(jù)采集清洗網(wǎng)絡(luò)架構(gòu)如下:外部環(huán)境OIDD數(shù)據(jù)采集清洗軟件OIDD文件通過分布式ETL工具Kettle寫入HDFSO OIDD數(shù)據(jù)接口OIDD數(shù)據(jù)表一：sada_ticket,表結(jié)構(gòu)如下： hive desc formatt

30、ed sada_ticket;OK# col name# col namedata_typecommentstringNone（用戶號碼）stringNone（開始時間）stringNone（基站）stringNone（上電標(biāo)記）prod_inst_numstart_time base_station power_flag# PartitionInformation# col namedata_typecommentdatelabelstringNoneloadstampstringNone# DetailedTable InformationDatabase:oiddOIDD數(shù)據(jù)表二:sad

31、a oidd day,表結(jié)構(gòu)如下:hive desc formatted sada_oidd_day;# DetailedDatabase:# DetailedDatabase:Table Information oiddOK# col_namedata_typecommentprod_inst_numstringNone（用戶號碼）start_timestringNone（開始時間）base_stationstringNone（基站）sectorstringNone（扇區(qū)）power_flagstringNone（上電標(biāo)記）# PartitionInformation# col_nameda

32、ta_typecommentdatelabelstringNoneloadstampstringNone4. 3. 5ODS數(shù)據(jù)采集清洗系統(tǒng)通過FTP方式采集ODS文件,ODS數(shù)據(jù)采集清洗網(wǎng)絡(luò)架構(gòu)如下:外部環(huán)境ODS數(shù)據(jù)采集清洗軟件ODS設(shè)備千兆之ODS接口服務(wù)器千兆交換機(jī)千兆ODS接口服務(wù)器千兆Hadoop大數(shù)據(jù)平臺ODS文件通過分布式ETL工具Kettle寫入HDFS ODS數(shù)據(jù)接口ODS 數(shù)據(jù)表：rpt_telecom_user_info,表結(jié)構(gòu)如下:hive desc formatted rpt_telecom user_info; OK# col namedata_typecomme

33、ntwbisp acntnumstringNone（帳號加密）user_agestringNone（用戶年齡）user_sexstringNone（用戶性別）user_typestringNone（用戶類型）user_areastringNone（用戶所屬區(qū)域）desc_coststringNone（費(fèi)用范圍描述）wb_access_tpstringNone（寬帶訪問類型）act_op_ratestringNone（活躍操作頻度）promgroupstringNone（套餐類型）guangwang_flagstringNone（是否光釬標(biāo)記）a_connect_collegestringNon

34、e0agrmnt_const_exp_dtstringNone（協(xié)議有效日期）balancestringNone（余額）pi_sub_stat_tpstringNone（是否在用）update_statusstringNone（更新狀態(tài)）lst_update_tmpstringNone（最后更新日期）latstringNone（緯度）IngstringNone（經(jīng)度）Partition Informationcol_namedata_type commentdatelabeldatelabelstringNone# DetailedTable InformationDatabase:ods4.

35、 3. 6數(shù)據(jù)脫敏數(shù)據(jù)脫敏也被稱為數(shù)據(jù)混淆、數(shù)據(jù)保密、數(shù)據(jù)消毒、數(shù)據(jù)擾頻、數(shù)據(jù)匿名 化和數(shù)據(jù)認(rèn)證。采用數(shù)據(jù)脫敏技術(shù)，可以幫助大數(shù)據(jù)平臺提高平安性和保密等 級，以防止其數(shù)據(jù)被濫用，同時滿足集團(tuán)對數(shù)據(jù)平安性的規(guī)范要求，以及由管 理/審計機(jī)關(guān)所要求的隱私標(biāo)準(zhǔn)。從實現(xiàn)手段上看,針對不同的數(shù)據(jù)內(nèi)容,會有多種數(shù)據(jù)脫敏方式。在Hadoop平臺上，利用采集清洗及流處理的功能，可以實現(xiàn)對各個字段，針對性的脫敏 處理，并且保證在數(shù)據(jù)進(jìn)入hadoop之前已經(jīng)是脫敏之后的數(shù)據(jù)。另外針對AD的脫敏尤為關(guān)鍵，AD是唯一能將DPI數(shù)據(jù)關(guān)聯(lián)到ODS客戶數(shù) 據(jù)的字段，我們對所有進(jìn)入大數(shù)據(jù)平臺的AD都統(tǒng)一采用sha-1的加密方式

36、，轉(zhuǎn)換成只有大數(shù)據(jù)平臺能夠認(rèn)識的客戶唯一標(biāo)示。需要進(jìn)行脫敏處理的信息如下:需脫敏字段描述脫敏前脫敏后Ad寬帶設(shè)備號實際adsha加密結(jié)果（該算法不可反解）user_age用戶年齡實際年齡年齡段信息，如5年一段，取起始 數(shù)值顯示，如25表示25-29address用戶地址實際地址，精確到戶小區(qū)、樓盤或商圈信息，如武林商 圈lat&lng位置經(jīng)緯度實際經(jīng)緯度精確到0.001,約1000平方米, 注：lng*lat = 0. 001*0. 001 （度）=約 95. 18 米*111. 32 米u(yù)ser_name用戶姓名實際姓名僅保存用戶姓氏desc_cost用戶消費(fèi)情況實際消費(fèi)金額每150元一檔：

37、0 （表示0T49）,150, 3004. 3. 7數(shù)據(jù)加密大數(shù)據(jù)平臺以HDFS為基礎(chǔ)，利用HDFS驅(qū)動提供的Format功能，實現(xiàn) hadoop云平臺系統(tǒng)級、業(yè)務(wù)級數(shù)據(jù)加密。HDFS數(shù)據(jù)加密原理圖如下：數(shù)據(jù)加密不修改HDFS內(nèi)核，不影響將來HDFS的升級維護(hù)。數(shù)據(jù)加密后，保證HDFS數(shù)據(jù)透明訪問，同時支持SQL查詢服務(wù)。3. 8數(shù)據(jù)ETL處理平臺采用ETL工具實現(xiàn)高速ETL處理，處理效率強(qiáng)。功能包括：ETL作業(yè)GUI設(shè)計器的功能。ETL作業(yè)自動調(diào)度器的功能。ETL作業(yè)多路并發(fā)提取的功能。ETL作業(yè)多路并發(fā)轉(zhuǎn)換的功能。ETL作業(yè)多路并發(fā)加載的功能。ETL作業(yè)管理功能。ETL作業(yè)日志管理功能。3

38、. 9作業(yè)智能排隊調(diào)度.作業(yè)靈活調(diào)度系統(tǒng)可以制定作業(yè)調(diào)度計劃進(jìn)行作業(yè)調(diào)度。對于臨時出現(xiàn)的需要緊急運(yùn)行的作業(yè)，可以靈活調(diào)整作業(yè)調(diào)度計劃保證緊急 任務(wù)優(yōu)先執(zhí)行。.資源智能調(diào)整系統(tǒng)保證每個作業(yè)都能獲得相應(yīng)的系統(tǒng)資源，同時對于臨時出現(xiàn)的需要緊急 運(yùn)行的作業(yè)，可以靈活調(diào)整資源配置保證緊急任務(wù)優(yōu)先執(zhí)行。當(dāng)一個隊列空閑，其系統(tǒng)資源可以被其他隊列搶占使用。一旦空閑隊列有作 業(yè)提交時，會返回該隊列的系統(tǒng)資源，直到滿足該隊列最低配置，甚至搶占其他 隊列資源。系統(tǒng)可以動態(tài)增加隊列，并且新提交的隊列會慢慢滿足最低資源配置，甚至搶占其他隊列資源。 TOC o 1-5 h z 4、信息推送子平臺45 HYPERLINK

39、l bookmark102 o Current Document 五、所提供設(shè)備情況46 HYPERLINK l bookmark104 o Current Document 六、系統(tǒng)連接示意圖48 HYPERLINK l bookmark106 o Current Document 七、場地及環(huán)境準(zhǔn)備要求49 HYPERLINK l bookmark110 o Current Document 八、工程進(jìn)度安排50九、分工界面511、買方職責(zé)51 HYPERLINK l bookmark115 o Current Document 2、賣方職責(zé)51 HYPERLINK l bookmark1

40、17 o Current Document 十、測試及驗收52十一、培訓(xùn)計劃541、培訓(xùn)概述54 HYPERLINK l bookmark122 o Current Document 2、培訓(xùn)目標(biāo)54 HYPERLINK l bookmark124 o Current Document 3、培訓(xùn)方式54 HYPERLINK l bookmark126 o Current Document 4、培訓(xùn)內(nèi)容54 HYPERLINK l bookmark128 o Current Document 5、培訓(xùn)工作總結(jié)55 HYPERLINK l bookmark130 o Current Documen

41、t 十二、技術(shù)承諾56十三、技術(shù)服務(wù)、支持、保修571、服務(wù)簡述57 HYPERLINK l bookmark135 o Current Document 2、機(jī)構(gòu)設(shè)置57 HYPERLINK l bookmark137 o Current Document 3、服務(wù)原那么57 HYPERLINK l bookmark139 o Current Document 4、服務(wù)流程58 HYPERLINK l bookmark143 o Current Document 5、故障處理流程60 HYPERLINK l bookmark145 o Current Document 6、服務(wù)明細(xì)62 HY

42、PERLINK l bookmark147 o Current Document 服務(wù)類型62 HYPERLINK l bookmark149 o Current Document 日常服務(wù)63 HYPERLINK l bookmark151 o Current Document 現(xiàn)場服務(wù)64 HYPERLINK l bookmark153 o Current Document 巡檢服務(wù)64 HYPERLINK l bookmark155 o Current Document 例行工作會議服務(wù)65 HYPERLINK l bookmark157 o Current Document 文檔提供和

43、更新服務(wù)65 HYPERLINK l bookmark159 o Current Document 十四、技術(shù)文檔674.4外部服務(wù)能力子平臺4.1標(biāo)簽查詢服務(wù)分布式K-V數(shù)據(jù)庫采用分布式K-V數(shù)據(jù)庫,主要用于存放標(biāo)簽結(jié)果數(shù)據(jù),并支持以下基礎(chǔ)功能:.數(shù)據(jù)查詢接口以API的方式提供通用的根據(jù)key查詢value的高速查詢接口。.數(shù)據(jù)加載支持?jǐn)?shù)據(jù)直接以文件或者分布式文件系統(tǒng)批量導(dǎo)入的方式,并提供導(dǎo)入的 API 接口。另外除了數(shù)據(jù)追加的方式，還需要支持?jǐn)?shù)據(jù)的刪除或修改功能。.分布式模式數(shù)據(jù)存儲采用類似HDFS的分布式存儲模型,另外計算資源也需要采用分布 式集群調(diào)用的方式以此來保證數(shù)據(jù)的可靠性和系統(tǒng)的

44、可擴(kuò)展性。.統(tǒng)一的元數(shù)據(jù)管理對元數(shù)據(jù)進(jìn)行統(tǒng)一的存儲和管理。并提供訪問API供業(yè)務(wù)管理平臺調(diào)用。.系統(tǒng)管理提供集群監(jiān)控、服務(wù)管理、日志管理、監(jiān)控報警等一整套系統(tǒng)管理功能。高并發(fā)查詢服務(wù)該模塊基于nginx+Apache MINA的框架開發(fā)。其中nginx提供高并發(fā)的對外 服務(wù)，而Apache MINA是一個高性能和高可用性的網(wǎng)絡(luò)應(yīng)用框架。可以完成以下 功能：.基于token的用戶平安認(rèn)證采用基于Token （令牌）的用戶身份驗證機(jī)制，使用戶在訪問受保護(hù)的服 務(wù)資源時僅需提供Token,而不需要提供用戶名和密碼。Token是包含用戶名、有效期和某些專有信息并通過共享密鑰加密的信息字符串。對于通過W

45、eb Application訪問查詢服務(wù)的用戶來說，這種認(rèn)證方式可以有 效防止服務(wù)器的用戶賬戶泄露。對于已經(jīng)授權(quán)訪問服務(wù)的用戶，獲取和使用Token的總體流程：1）用戶憑借自身的賬戶向電信申請和獲取Tokeno2）攜帶已獲取的Token查詢有權(quán)限的數(shù)據(jù)標(biāo)簽Token的生成除了需要獲取Token時用戶輸入的信息外，還需要服務(wù)器端指 定的加密密鑰。系統(tǒng)管理員可以對生成Token的加密密鑰進(jìn)行配置。.用戶訪問權(quán)限控制基于KT數(shù)據(jù)庫的元數(shù)據(jù)管理，增加用戶對元數(shù)據(jù)的權(quán)限信息，查詢訪問的 時候首先進(jìn)行用戶識別，然后根據(jù)用戶的元數(shù)據(jù)權(quán)限信息進(jìn)行訪問控制。.高并發(fā)低延時的查詢接口采用web服務(wù)的方式封裝K-V

46、數(shù)據(jù)庫的高速查詢接口，并提供短連接和長連 接兩種方式。需要支持對K-V數(shù)據(jù)庫的接口分發(fā)功能。.查詢緩存服務(wù)對一些訪問熱度較高的數(shù)據(jù)或表通過緩存的方式提高查詢響應(yīng)效率，并減少 Flash卡訪問頻率，增加壽命。4. 2DSP廠商程序接入系統(tǒng)允許每個廠商程序?qū)氇毩⒌腃acheo系統(tǒng)支持多個廠商程序算法模型 加載和數(shù)據(jù)訪問。系統(tǒng)支持多租戶作業(yè)的統(tǒng)一任務(wù)調(diào)度。用戶提交業(yè)務(wù)應(yīng)用作業(yè) 申請，云平臺統(tǒng)一封裝各業(yè)務(wù)應(yīng)用作業(yè)。如果用戶網(wǎng)絡(luò)時延較大，可以有以下兩種方式實現(xiàn)實時數(shù)據(jù)查詢：1）將K/V內(nèi)存數(shù)據(jù)庫安裝于用戶端。2）系統(tǒng)進(jìn)行數(shù)據(jù)分發(fā)。4. 4. 3廠商作業(yè)性能優(yōu)化4.431 SQL語句優(yōu)化系統(tǒng)支持SQL語

47、句優(yōu)化，可以解決數(shù)據(jù)傾斜的問題。系統(tǒng)提供MapReduce定制服務(wù)，當(dāng)SQL語句效率不高時，可以將SQL語句轉(zhuǎn) 化成高效的MapReduce作業(yè)直接執(zhí)行。MapReduce 定制服務(wù)我們提供MapReduce定制服務(wù)，當(dāng)SQL語句效率不高時，可以將SQL語句轉(zhuǎn) 化成高效的MapReduce作業(yè)直接執(zhí)行。SQL語句會產(chǎn)生大量的中間數(shù)據(jù)，從而影響作業(yè)執(zhí)行效率。MapReduce不產(chǎn) 生中間數(shù)據(jù)。MapReduce作業(yè)和SQL語句相比擬，作業(yè)執(zhí)行效率可以提高37倍。4. 4. 4交互式SQL查詢用戶可以通過圖形化界面定義查詢參數(shù)，執(zhí)行自己的查詢?nèi)蝿?wù)。系統(tǒng)接口如下：系統(tǒng)兼容標(biāo)準(zhǔn)的SQL語法，可以通過S

48、QL語句訪問查詢。系統(tǒng)支持JDBC連接方式，適合JAVA應(yīng)用。系統(tǒng)支持ODBC連接方式，適合WIN應(yīng)用。系統(tǒng)提供CLI命令接口，適合UNIX應(yīng)用。系統(tǒng)支持Corba協(xié)議，適合IDL服務(wù)對象接口。系統(tǒng)支持SOAP協(xié)議，適合遠(yuǎn)程RPC調(diào)用。4. 4. 5在線報表系統(tǒng)提供豐富的報表展現(xiàn)形式，支持表格、餅圖、柱狀圖、折線圖，用戶可 以自由選擇報表展現(xiàn)形式。報表的定義和配置都要求可視化的靈活操作，要求可見即可得，且結(jié)果能夠 靈活導(dǎo)出。生成的報表可輸出各種文件格式，如EXCEL、HTML、XML、RTF等。.信息推送子平臺1. 1.流量分發(fā)模塊可以控制流量的轉(zhuǎn)發(fā)，判斷流量能否進(jìn)行廣告投放，可以精確控制符合

49、業(yè)務(wù) 需要的流量，轉(zhuǎn)發(fā)到服務(wù)器上，啟動廣告投放計劃。具體的流量控制轉(zhuǎn)發(fā)規(guī)那么可 以靈活的配置。4. 1. 2.流量分發(fā)規(guī)那么系統(tǒng)提供統(tǒng)一的規(guī)那么配置，根據(jù)廣告投放的策略可以靈活的修改。支持的流量分發(fā)規(guī)那么包括：域名、URL規(guī)那么設(shè)置能控制流量只轉(zhuǎn)發(fā)到指定的域名或者URL的報文。控制流量分發(fā)總量可以控制轉(zhuǎn)發(fā)流量的總流量大小。譬如對搜狗流量，我們可以控制其搜索的 流量只轉(zhuǎn)發(fā)多個個CPM到指定的服務(wù)器上。3、頻次控制可以設(shè)置對用戶廣告推送的頻次控制，每個用戶與其IP地址、ADSL賬戶關(guān) 聯(lián)。通過限制IP、ADSL的頻次控制用戶流量轉(zhuǎn)發(fā)到服務(wù)器的頻次。4、地域定向規(guī)那么可以根據(jù)IP地址判斷用戶所在地區(qū)

50、，可以只將特定地區(qū)的用戶流量進(jìn)行分發(fā)。如武漢某企業(yè)用戶可能只希望了解湖北地區(qū)的網(wǎng)民搜索、訪問行為，可以對 地域設(shè)置只轉(zhuǎn)發(fā)武漢的流量到企業(yè)的服務(wù)器上進(jìn)行數(shù)據(jù)分析，一方面減輕了下游 企業(yè)的服務(wù)器壓力，另一方面最大限度保護(hù)了其他地區(qū)的用戶隱私，降低運(yùn)營商 數(shù)據(jù)的流量浪費(fèi)。5、黑名單控制對一些特定的群體投放廣告會產(chǎn)生各種風(fēng)險問題的，系統(tǒng)提供黑白名單控 制，將具體對象的IP或者ADSL賬戶設(shè)置為黑名單。禁止向這些用戶推送廣告。 以此提升用戶整體的體驗效果，降低用戶的投訴。1. 3.廣告提單管理廣告主賬戶信息管理系統(tǒng)提供對廣告主賬戶信息的管理，可以分級授權(quán)，超級管理員可以管理系 統(tǒng)中所有的廣告，通過系統(tǒng)配

51、置授權(quán)給廣告主，這些廣告主可以獲取賬戶和密碼 登錄系統(tǒng)對個人的廣告策略進(jìn)行管理。沒有賬號的廣告主需要在官網(wǎng)點擊右上角“注冊”按鈕，填寫相關(guān)信息申請 注冊。郵箱 I郵箱作為賬戶名聯(lián)系人：聯(lián)系人姓名手機(jī)j手機(jī)號碼QQQ竭碼驗證碼fcW 看不清網(wǎng)址 :/開通平臺首頁動念定IRJ洞察產(chǎn)品案例提供數(shù)據(jù)技術(shù)關(guān)于我們也可通過廣告平臺登陸頁面的“新用戶注冊”按鈕到官網(wǎng)申請注冊。用戶名f I用戶名密碼:密碼登錄首頁動態(tài)定向洞察產(chǎn)品案例提供蛇技術(shù)關(guān)于我們密碼找回新用戶注冊廣告提單投放管理在投放管理模塊，可上傳創(chuàng)意，對通過審核的創(chuàng)意組建立推廣單元進(jìn)行廣告 投放。創(chuàng)意組管理通過投放管理一創(chuàng)意組管理，進(jìn)入創(chuàng)意組管理頁面

52、。創(chuàng)意組列表顯示的信息 包括序號、創(chuàng)意組名稱、所選模板、尺寸（已上傳尺寸數(shù)和未上傳尺寸數(shù)）和審 核狀態(tài)，可按創(chuàng)意組名稱和審核狀態(tài)查詢。創(chuàng)總組名稱請甘市核狀態(tài)創(chuàng)意組名稱所選模板尺寸市核狀態(tài)1隼支新宣傳默認(rèn)模板已上傳：2未上q 2個尺寸局部通過局部通過，分置|鹿泠|拜謔投球單元2名學(xué)8默認(rèn)模板已上傳：10未上傳21未通過5g I刪除3集至宣傳默認(rèn)模板已上傳：1未上傳：30局部通過SS I蒯除|素建投放單元4里包組A默認(rèn)模板己上傳:6未上傳25局部通過設(shè)置I刪錚|新連挎改單元，上一頁 1 下一頁 當(dāng)麗第1頁.每頁呈示10條，共4條在創(chuàng)意組列表可點擊創(chuàng)意組名稱可查看該創(chuàng)意組信息；將鼠標(biāo)放到指定創(chuàng)意 組

53、的審核狀態(tài)上，顯示該創(chuàng)意組創(chuàng)意審核情況；點擊指定創(chuàng)意組右側(cè)的“設(shè)置” 按鈕進(jìn)行創(chuàng)意組設(shè)置；點擊指定創(chuàng)意組右側(cè)的“刪除”按鈕刪除該創(chuàng)意組，如果 正在投放的創(chuàng)意組被刪除，該創(chuàng)意組對應(yīng)的推廣單元變?yōu)闀和顟B(tài)；對于已經(jīng)通 過審核的創(chuàng)意組，可點擊該創(chuàng)意組右側(cè)的“新建投放單元”進(jìn)入新建推廣單元頁面對該創(chuàng)意組新建推廣單元設(shè)置投放策略。投放管理通過投放管理-投放管理，進(jìn)入投放管理頁面。在投放管理頁面可按時間維 度查看到推廣單元趨勢圖和推廣單元列表，時間維度包括今天、昨天、本周、上 周、本月、上月和近30天，也可點擊時間對話框通過時間控件點擊指定日期自 定義查看單元列表信息。今天 昨天 本周 上周 本月 上月近

54、3味2014-12-15 72014-12-17從 20141215 到 2014-12-17gR消本二一 十二月 2014 )十二月 2014 )3012345630123456789101112137891011121314131617181920141516KEB181920212223242526272122232425262728293031123282930311234567891045678910/ 周日周一周二周三周四周五周六 周日周一周二周三周四周五周六推廣單元趨勢圖可通過下拉框選擇全部推廣計劃或者指定某個推廣單元，還 可定義趨勢圖表展示的指標(biāo)，包括花費(fèi)、展現(xiàn)數(shù)、點擊數(shù)、平均

55、點擊率和平均點 擊本錢。推廣單元列表2014-11-23 - 2014-12-22今天 昨天 本周 上周 本月 上月近現(xiàn)推廣單元：全部推廣單元皿 趨勢圖 W，硼.展現(xiàn)數(shù)O點擊數(shù)O平均點擊率O平均點擊本錢抵日花費(fèi)用 國區(qū)血C O每日花費(fèi)推廣單元列表展示該指定時間內(nèi)的所有推廣計劃，包括推廣單元名稱、狀態(tài)、 有效期、每日預(yù)算、展現(xiàn)數(shù)、點擊數(shù)、點擊率、總費(fèi)用、平均本錢、本頁總計和 全部總計，可輸入指定推廣計劃名稱進(jìn)行查詢。鼠標(biāo)放到推廣單元名稱上，點擊 出現(xiàn)的“鉛筆”圖標(biāo)可在彈出的對話框中修改推廣單元名稱和出價；點擊推廣單 元名稱可查看該投放單元對應(yīng)的創(chuàng)意組創(chuàng)意列表，也可對該創(chuàng)意組進(jìn)行編輯；點擊某個屬性

56、右側(cè)的上下列圖標(biāo)使推廣單元列表按照該指標(biāo)的升序或者降序進(jìn)行排 列。新增推廣單元i百推廣單元復(fù)制推廣單元啟用日產(chǎn)HK0請輸入推廣單元名稱朝？ J推廣單元有效期默認(rèn)出價每H演算點擊率總費(fèi)用平均點擊本錢Io默認(rèn)的單元沒育今曰排期2014-12-20-2014-12-311.5030.003825.26%0.010.011219測試地域投放用戶者停2014-12-19形5束時間2.00100000-0 00-1219玩一玩用戶智停2014-12-19無結(jié)束時間22.003.0000-0.00-1220測試標(biāo)及投放用戶暫停2014-12-20形5束時間3 00100000-0 00-220SB枷筌堿_用

57、戶暫停20141220穆東時間1.005.0000-0.00-1220測H式 CPC用戶暫停2014-12-205 時間1 005 0000-0 00-12201555CPC 新測試用戶暫停2014.12-20根束時間1.005.0000-0.00-CPC12201606設(shè)置小額點O擊壟價用戶暫停2014-12-20根束時間0 605 0000-0 00-本頁尊計-3825.26%0.010.01全部總計-9263-0.01-在該推廣單元列表中，可對推廣單元進(jìn)行新增、設(shè)置、復(fù)制、啟用、暫停和 刪除歸檔操作，還可點擊列表下方的“查看已歸檔的推廣計劃”按鈕查看已歸檔 的推廣計劃。數(shù)據(jù)統(tǒng)計報表可在首

58、頁，或者通過進(jìn)入“數(shù)據(jù)中心-投放統(tǒng)計”查詢廣告投放統(tǒng)計報告。 可通過“昨天”、“本周”、“上月”和“本月”按鈕快捷查詢對應(yīng)時間范圍內(nèi) 的數(shù)據(jù)報表，也可按自定義時間維度查詢廣告投放數(shù)據(jù)報表。自定義時間需點擊 時間對話框，選擇起止時間后點擊確定即可。能查看的數(shù)據(jù)指標(biāo)包括：展現(xiàn)數(shù)、點擊數(shù)、平均點擊率、平均點擊單價、總花 費(fèi)、勝出率、到達(dá)率、注冊數(shù)、平均注冊單價（CPA）和注冊轉(zhuǎn)化率。2014-10-27-2014-11-02昨天 本周 上周 本月 上月價拜32仄 2014-10-28 到 2014-10-28十月20141=1昌n昌MgIM2829 30 12345678910111213 14 1

59、516171192620 222292330243112345678統(tǒng)計報表提供六種查看方式，點擊即可切換查看，報表以圖形和表格形式展 現(xiàn)，圖形報表包括柱狀和線狀，可選擇柱狀和線狀代表的指標(biāo)通過圖形報表直觀 展示特定指標(biāo)數(shù)據(jù)趨勢；圖形報表按照指定的查看方式（6種之一）羅列具體數(shù)據(jù)。媒，果總覽定向效果總覽果總覽創(chuàng)意效果總覽關(guān)鍵詞效果總覽點擊數(shù)住狀指標(biāo)：展現(xiàn)數(shù)表格形式展現(xiàn)的數(shù)據(jù)，可通過點擊對應(yīng)指標(biāo)右側(cè)的上下箭頭按鈕按照該指標(biāo) 的上升或者下降順序進(jìn)行排序。推廣單元展現(xiàn)數(shù)點擊數(shù)平均點擊率平均點擊單價總花費(fèi)注冊數(shù)CPAgj360-IT2-C779373790.486%0.45171 465254%0 0

60、00%0融360微頻2-C789683720.471%0.48178.785.727%0.000%0融360-汽車1-C735593720.506%0.47173.993.590%0.000%0圖形報表支持更改展示形式，可通過點擊右上角按鈕設(shè)置為數(shù)據(jù)展示、雙線 形展示、雙柱狀展示、還原，還可點擊最后一個按鈕進(jìn)行圖形報表截圖。BI區(qū)也CO數(shù)據(jù)總覽直觀顯示廣告主按時間篩選查詢后，當(dāng)前投放所花費(fèi)的金額、點擊價格、注 冊數(shù)、CPA、注冊轉(zhuǎn)化率，讓廣告主對目前的投放狀況一目了然三、總體方案建議.概述大數(shù)據(jù)平臺是第三代數(shù)據(jù)處理技術(shù)，其中Hadoop平臺是業(yè)界主流的云計算 平臺解決方案，我公司具備多年電信行