流監(jiān)測對外服務(wù)與對接平臺交互接口設(shè)計(jì)_v7

1、流監(jiān)測對外服務(wù)與對接平臺交互接口設(shè)計(jì)1. 概述流監(jiān)測系統(tǒng)對外提供流量監(jiān)測服務(wù)以及拒絕服務(wù)攻擊追溯服務(wù)，由于核心服務(wù)器部署在安全內(nèi)網(wǎng)，需要通過對接平臺提供相應(yīng)的服務(wù)功能。系統(tǒng)整體呈現(xiàn)三個(gè)部分：l 客戶：使用本系統(tǒng)的服務(wù)，接收流量報(bào)表，提交拒絕服務(wù)攻擊追溯請求及接收查詢結(jié)果。l 服務(wù)層：流監(jiān)測系統(tǒng)，負(fù)責(zé)對外提供具體服務(wù)l 對接平臺：負(fù)責(zé)將客戶的請求轉(zhuǎn)發(fā)給流監(jiān)測系統(tǒng)，并將流監(jiān)測系統(tǒng)的結(jié)果轉(zhuǎn)發(fā)給客戶。2. 接口形式客戶需首先通過對接平臺向服務(wù)層提交注冊申請，注冊通過后才能進(jìn)行后續(xù)服務(wù)交互，每個(gè)客戶都具有唯一的UUID作為其標(biāo)識。服務(wù)層和客戶的接口都采用文件形式，所有該客戶有關(guān)的文件名中都有該UUID標(biāo)

2、志，對接平臺需控制只有授權(quán)用戶才能訪問自己的數(shù)據(jù)文件，以免客戶數(shù)據(jù)文件泄漏或者被非授權(quán)篡改。關(guān)于客戶身份驗(yàn)證方式，請參見3.1客戶注冊部分內(nèi)容。3. 業(yè)務(wù)文件內(nèi)容結(jié)構(gòu)3.1. 客戶注冊新客戶需要首先提交注冊申請，只有注冊成功、獲得審批的客戶，才能提交查詢服務(wù)和獲取下發(fā)的數(shù)據(jù)?？蛻籼峤蛔缘馁Y料用于流監(jiān)測系統(tǒng)內(nèi)部審核使用，通過審核后。該客戶可以通過對接平臺向流監(jiān)測系統(tǒng)發(fā)送歷史流量查詢請求和DDOS攻擊定位請求，以及接收日常報(bào)表。注冊文件命名格式為:reg_uuid_datetime.json.ok，例如：reg_018c2998-9bd0-11e3-bab6-00e04c0b916_201412

3、12153200.json.ok=客戶注冊提交json文件中包含：客戶名稱（customer_name），客戶UUID(customer_uuid)，客戶IP(customer_ip)，客戶密碼(customer_password)，客戶申請業(yè)務(wù)(task_type)，客戶查詢IP范圍（ip_searchrange。如客戶：某政務(wù)網(wǎng)站，該網(wǎng)站IP為-00，該客戶可以根據(jù)自身網(wǎng)站的IP范圍提交查詢的IP范圍，等待工作人員審批。審批后提交的任務(wù)查詢IP范圍只能在該范圍內(nèi)）。范例如下： "customer_name":"某政務(wù)網(wǎng)站"

4、,"customer_uuid":"018c2998-9bd0-11e3-bab6-00e04c0b9160","customer_password":"x3ad3241""customer_ip":"33","task_type":"flowsearch, ddostask, report", #分為三類，flowsearch為流量查詢業(yè)務(wù)，ddostask為DDOS定位業(yè)務(wù)，report為日常報(bào)表"ip_se

5、archrange":"-00",注冊申請文件放于reg/up/目錄中，審批通過后，應(yīng)答文件放于reg/down/目錄中，文件格式與請求文件相同。=應(yīng)答文件內(nèi)包含審批過后的審核日志和客戶ID等信息，文件內(nèi)容為"task_status” :”success”“task_log”:”task_finished”"customer_name":"某政務(wù)網(wǎng)站"," customer_uuid":"018c2998-9bd0-11e3-bab6-00e04c0b916

6、0"," customer_ip":"33",新增一行注冊狀態(tài)task_status 值為success ,failed。詳細(xì)原因會在task_log中給出。文件內(nèi)容為"task_status” :”failed”“task_log”:”客戶申請業(yè)務(wù)的IP地址范圍超出許可范圍”"customer_name":"某政務(wù)網(wǎng)站","customer_uuid":"018c2998-9bd0-11e3-bab6-00e04c0b9160","

7、;customer_ip":"33",3.2. 客戶注銷與業(yè)務(wù)變更客戶的注銷由流監(jiān)測服務(wù)層發(fā)起，會在reg/down/下輸出文件，名為,reg-customerdelete_018c2998-9bd0-11e3-bab6-00e04c0b916_20141212153200.json.ok"customer_uuid":"018c2998-9bd0-11e3-bab6-00e04c0b9160",客戶的業(yè)務(wù)變更由客戶發(fā)起，在reg/up/下輸出文件，請求與應(yīng)答文件的內(nèi)容與注冊相同，文件類型為reg-change

8、，例如：reg-change_018c2998-9bd0-11e3-bab6-00e04c0b916_20141212153200.json.ok3.3. 客戶身份驗(yàn)證客戶注冊時(shí)提供了客戶UUID(customer_uuid)，客戶IP(customer_ip)，客戶密碼(customer_password)三個(gè)信息參與用戶身份驗(yàn)證，UUID作為用戶標(biāo)識，密碼作為認(rèn)證，IP地址作為發(fā)起請求與獲取結(jié)果的IP地址限制。3.4. 客戶歷史流量查詢請求客戶提交json文件中包含：客戶名稱，客戶密碼，客戶UUID，任務(wù)ID (task_id客戶內(nèi)部唯一，用于區(qū)別客戶多次發(fā)送的請求),客戶IP，客戶查詢請

9、求SQL語句。 "customer_name":"某政務(wù)網(wǎng)站","customer_uuid":"018c2998-9bd0-11e3-bab6-00e04c0b9160","customer_password":"x3ad3241"“task_id”:”22201”"customer_ip":"33","search_type"”:"flow_trieval", /(flow_tr

10、ieval 數(shù)據(jù)檢索) (flow_chart 數(shù)據(jù)流量圖)"search_port”:”80,8080”, (同樣支持search_dport ,search_sport)“search_ip”:”0”, (同樣支持search_dip ,search_sip)“search_time”:”20150101-20150106” (數(shù)據(jù)查詢時(shí)間最多支持1周的數(shù)據(jù))“search_proto”:”tcp,udp,icmp”,“search_router_ip”:”00”,(FLOW來源路由器IP)“search_tcpflag”:”,flag

11、s U,A,P and flags not R” (U,A,P,R,S,F 6個(gè)標(biāo)志位，選中置位為1的在flags里面表示，選中置為為0的在flags not中表示，沒有選擇的不寫)“search_column”:”time,sip(源IP),dip,rip(路由器IP),sport(源端口),dport,flag（tcp標(biāo)志位）,province（路由器省份）,operator（路由器運(yùn)營商）” /以上字段為可選字段/對于flow_chart類型的查詢以下項(xiàng)目不同-/ search_column被chart_column代替，表示畫圖的縱坐標(biāo)類型/最終的圖表顯示為一個(gè)橫坐標(biāo)為時(shí)間 以5分鐘為

12、單位，縱坐標(biāo)為該時(shí)間點(diǎn)的bytes和packets sum() 結(jié)果“chart_column”:”bytes,packets”, /在這里表示縱坐標(biāo)為sum(bytes)和sum(packets)該文件命名為:flowsearch_018c2998-9bd0-11e3-bab6-00e04c0b916_20141212153200.json.ok放入云平臺服務(wù)器 /UUID/flowsearch/up/下等待流監(jiān)測系統(tǒng)獲取。通過審批后，運(yùn)行的結(jié)果文件會以同名文件的命名方式放入/UUID/flowsearch /down/ 內(nèi)文件內(nèi)容為"task_stat” :”success”“t

13、ask_log”:”task_finished”"customer_uuid":"018c2998-9bd0-11e3-bab6-00e04c0b9160","customer_ip":"33","customer_password":"x3ad3241"“task_id”:”22201”,"task_result":(20141213,0,453534),(20141213,0,453534),(

14、 20141213,0,453534)返回的結(jié)果長度會根據(jù)系統(tǒng)內(nèi)部配置和檢索的數(shù)目進(jìn)行調(diào)整，默認(rèn)為10MB.如果失敗，失敗原因會在task_log中給出，沒有search_result該項(xiàng)。3.5. 客戶DDOS攻擊定位請求客戶提交json文件中包含：客戶名稱，客戶密碼，客戶UUID，任務(wù)ID(唯一，用于區(qū)別客戶多次發(fā)送的請求),客戶IP，客戶定位IP(ddos_ip)，定位時(shí)間(ddos_time)，攻擊類別（ddos_type為可選參數(shù)）。 "customer_name":"某政務(wù)網(wǎng)站","customer_passw

15、ord":"x3ad3241""customer_uuid":"018c2998-9bd0-11e3-bab6-00e04c0b9160","customer_ip":"33",“task_id”:”22201”,"ddos_ip":"67",“ddos_time”:”20141212-20141215”,“ddos_type”:”SYN_FLOOD” /客戶的初步判斷，為可選字段該文件命名為:ddos_018c299

16、8-9bd0-11e3-bab6-00e04c0b916_20141212153200.json.ok放入ddos/up/目錄下等待流監(jiān)測系統(tǒng)獲取。運(yùn)行的結(jié)果會以同名文件放入ddos/down/內(nèi)文件內(nèi)容為"task_stat” :”success”“task_log”:”task_finished”"customer_name":"某政務(wù)網(wǎng)站","customer_password":"x3ad3241"" customer_uuid":"018c2998-9bd0-11e

17、3-bab6-00e04c0b9160",“task_id”:”22201”,"customer_ip":"33",task_result: /tcp syn flood攻擊數(shù)據(jù)結(jié)果展示 “ddos_type”:”syn_flood”“router_stat”:(1111,3242),(2222,324234),(3333,432),(666,21312),(5555,2344234),/攻擊路由器流量統(tǒng)計(jì)“flag_stat”:(syn,34232892),(ack,4234),(fin,234234),/受攻擊地址的tcp f

18、lag統(tǒng)計(jì)信息，其中syn遠(yuǎn)遠(yuǎn)大于其他flag“port_stat”:”(80,23412),(8080,32423)”,“attackip_stat”:(1,9902342,0),(1,87335,0),(,633112,1)/攻擊IP地址的流量統(tǒng)計(jì)TOP50 其中最后每項(xiàng)中分別表示IP,BYTES,FAKE fake表示該ip為真實(shí)或者虛假IP地址 1為虛假 0為真實(shí)task_result: /udp flood攻擊數(shù)據(jù)結(jié)果展示 “ddos_type”:”udp_flood”“router_stat”:(1111,3242),

19、(2222,324234),(3333,432),(666,21312),(5555,2344234),/攻擊路由器流量統(tǒng)計(jì) “attackip_stat”:(1,9902342,0),(1,87335,0),(,633112,1)/攻擊IP地址的流量統(tǒng)計(jì)TOP50 其中最后每項(xiàng)中分別表示IP,BYTES,FAKE fake表示該ip為真實(shí)或者虛假IP地址 1為虛假 0為真實(shí)“port_stat”:”(80,23412),(8080,32423)”,如果失敗，失敗原因會在task_log中給出，沒有后續(xù)task_result該項(xiàng)。

20、3.6. 日常報(bào)表流監(jiān)測系統(tǒng)推送的報(bào)表文件，該部分服務(wù)使用csv格式作為承載文件,以約定的命名方式將文件推送給對接平臺。推送報(bào)表文件的命名格式：文件類型(報(bào)名名稱)_UUID_時(shí)間戳.csv.ok，例如：客戶流量報(bào)表的文件如下：report_-customer-stat-day_789579a-1212-11e4-b5ef-cd494ab11aea_20140829115500.csv.okcsv文件第一行包含該報(bào)表列名，每種報(bào)表分為 天(day)，周(week)，月(month)報(bào)表，可以按照配置按時(shí)推送。如客戶傳輸協(xié)議報(bào)表CUSTOMER_PROTOCOL的 l 天報(bào)表為CUSTOMER-

21、PROTOCOL-DAYl 周報(bào)表為CUSTOMER-PROTOCOL-WEEKl 月報(bào)表為CUSTOMER-PROTOCOL-MONTH推送文件放入 report /down/目錄，如上述的csv文件內(nèi)容為：第一行為列名，之后為具體數(shù)據(jù)：TIME,CUSTOMER_ID,ROUTER_GROUP,PROTOCOL,INBYTE,INPACKET,OUTBYTE,OUTPACKET13543211,111,3232,6,1231,224,332,1113543211,111,3232,6,1231,224,332,113.6.1. 客戶傳輸協(xié)議報(bào)表報(bào)表名稱：CUSTOMER-PROTOCOL-

22、DAY 報(bào)表列屬性：TIME,CUSTOMER_ID,ROUTER_GROUP,PROTOCOL,INBYTE,INPACKET,OUTBYTE,OUTPACKET3.6.2. 客戶應(yīng)用協(xié)議報(bào)表報(bào)表名稱：CUSTOMER-SRCPORT-DAY 報(bào)表列屬性：TIME,CUSTOMER_ID, ROUTER_GROUP,PROTOCOL,PORT,OUTBYTE,OUTPACKET報(bào)表名稱：CUSTOMER-DSTPORT-DAY 報(bào)表列屬性：TIME,CUSTOMER_ID, ROUTER_GROUP,PROTOCOL,PORT,INBYTE,INPACKET3.6.3. 客戶IP地址報(bào)表報(bào)表

23、名稱：CUSTOMER-IPSRC-DAY 報(bào)表列屬性：TIME,CUSTOMER_ID, ROUTER_GROUP,IP,SRC_BYTE,SRC_PACKET報(bào)表名稱：CUSTOMER-IPDST-DAY 報(bào)表列屬性：TIME,CUSTOMER_ID,ROUTER_GROUP,IP,DST_BYTE, DST_PACKET3.6.4. 客戶對端IP地址報(bào)表報(bào)表名稱：CUSTOMER-PEERIPSRC-DAY 報(bào)表列屬性：TIME,CUSTOMER_ID,ROUTER_GROUP,IP,SRC_BYTE,SRC_PACKET報(bào)表名稱：CUSTOMER-PEERIPDST-DAY 報(bào)表列屬性

24、：TIME,CUSTOMER_ID,ROUTER_GROUP,IP,DST_BYTE,DST_PACKET3.6.5. 客戶區(qū)域流量報(bào)表報(bào)表名稱：CUSTOMER-REGION-DAY 報(bào)表列屬性：TIME,CUSTOMER_ID,ROUTER_GROUP,REGION_ID,INBYTE,INPACKET,OUTBYTE,OUTPACKET3.6.6. 客戶IP地址數(shù)量報(bào)表報(bào)表名稱：CUSTOMER-IPCOUNT-DAY 報(bào)表列屬性：TIME,CUSTOMER_ID,ROUTER_GROUP,SRCCOUNT,DSTCOUNT3.7. 告警數(shù)據(jù)告警屬于及時(shí)推送數(shù)據(jù)。使用json文件作為存儲

25、方式，推送文件放入alarm /down/，命名方法為該文件命名為: alarm_UUID_時(shí)間戳.json.ok，如alarm_018c2998-9bd0-11e3-bab6-00e04c0b916_20141212153200.json.ok提交json文件中包含：客戶名稱，客戶密碼，客戶UUID，客戶IP，告警類型，告警日志，具體告警信息。例如：一個(gè)基線告警的json文件,基線告警，啟示時(shí)間201408，結(jié)束時(shí)間為還在繼續(xù)（0為還在持續(xù)，具體時(shí)間標(biāo)識該告警已經(jīng)結(jié)束），baseline_stat 為基線流量 alarm_stat為告警時(shí)的流量。 "customer_name&qu

26、ot;:"某政務(wù)網(wǎng)站","customer_password":"x3ad3241"" customer_uuid":"018c2998-9bd0-11e3-bab6-00e04c0b9160"," customer_ip":"33","alarm_type":"baseline alarm", #告警類別 包含ddos和baseline“alarm_starttime”:”201408”“alarm_

27、endtime”:”0”“baseline_stat:(201401,100),(201402,110),(201403,120),(201404,120),(201405,130),(201406,130), (201407,130), (201408,130), (201409,130), (201409,130), (201410,130),”“alarm_stat: (201401,100),(201402,110),(201403,120),(201404,120),(201405,130),(201406,130), (201407,130), (201408,560), (201

28、409, 560), (201409, 793), (201410,830),”一個(gè)DDOS攻擊告警的json文件 "customer_name":"某政務(wù)網(wǎng)站","customer_password":"x3ad3241""customer_uuid":"018c2998-9bd0-11e3-bab6-00e04c0b9160","customer_ip":"33","alarm_type":&quo

29、t;ddos_alarm", #告警類別 包含ddos和baseline"ddostype":"syn_flood", #ddos攻擊類別 包含synflood ,udpflood,httpflood等“attack_stat”:”130GB/s”“attack_log”:”tcp flag syn 超過正常均值100倍?！薄癮ttack_sip”:1,1, #攻擊源IP列表3.8 用戶側(cè)歷史流量查詢接口用于流監(jiān)測內(nèi)部引擎向用戶側(cè)請求的數(shù)據(jù)查詢。請求由流監(jiān)測內(nèi)部發(fā)起，經(jīng)由云平臺發(fā)送

30、請求至用戶側(cè)。用戶根據(jù)數(shù)據(jù)請求完成數(shù)據(jù)查詢后，經(jīng)由云平臺返回到流監(jiān)測內(nèi)部。發(fā)起的查詢?nèi)蝿?wù)功能和接口類似于3.4客戶歷史流量查詢請求，只是發(fā)起方向?qū)φ{(diào)。流監(jiān)測發(fā)起任務(wù)的內(nèi)容保存為json格式。提交json文件中包含：客戶名稱，客戶UUID，任務(wù)ID(task_id客戶內(nèi)部唯一，用于區(qū)別多次發(fā)送的請求),客戶IP，客戶查詢請求SQL語句。 "customer_name":"某運(yùn)營商","customer_uuid":"018c2998-9bd0-11e3-bab6-00e04c0b9160",“task_id”:”22

31、201”"customer_ip":"33","search_sql":"select time,sip,byte, from flowdata where time=2001-2002 and dip=13",該文件命名為:flowsearch_018c2998-9bd0-11e3-bab6-00e04c0b916_20141212153200.json.ok放入云平臺服務(wù)器 /UUID/flowsearch/down/下等待流監(jiān)測系統(tǒng)獲取。通過審批后，運(yùn)行的結(jié)果文件會以同名文件的命名方式放入/UUID/flowsearch /up/ 內(nèi)文件內(nèi)容為"task_stat” :”success”“task_log”:”task_finished”"custo