《簡單的不像技術(shù)活-風險監(jiān)測中的時間窗口計算》

簡單得不像技術(shù)活

--風險檢測中時間窗口計算Agenda風控側(cè)寫時間窗口統(tǒng)計的需求場景和各種實現(xiàn)點擊欺詐和布隆過濾的一種改進支付欺詐和區(qū)間樹的應(yīng)用技巧區(qū)間樹在內(nèi)存使用上的優(yōu)化通用場景下靈活性和實時性兼顧的方案818黃牛搶購的風險特征（值）計算的案例數(shù)據(jù)一個通用的內(nèi)存分布式框架介紹Profile窗口數(shù)據(jù)計算Case1點擊欺詐中布隆過濾改良應(yīng)用什么是點擊欺詐檢測什么點擊者身份重復點擊布隆過濾怎么用Daily有限內(nèi)存任意時長（窗口長度）Case1點擊欺詐中布隆過濾改良應(yīng)用 Cont.Hash一次（GBF）讀寫一次Case1點擊欺詐中布隆過濾改良應(yīng)用 Cont.TimingBloomFilte(r)logN+C32位的counter足夠記錄130年2×（logN+1）布隆過濾的其他幾種改進版本CBFSBFDCF是數(shù)據(jù)結(jié)構(gòu)更是算法Case2支付欺詐和區(qū)間樹的應(yīng)用技巧判斷支付欺詐的一個有效特征時間序列上額度變化分析求導Case2支付欺詐和區(qū)間樹的應(yīng)用技巧Cont.（key，value，CalFuncs）（用戶id：11111118，交易金額，Sum）每個葉子節(jié)點：最小時間單位（精度）普通算術(shù)函數(shù)sum比較函數(shù)max統(tǒng)計函數(shù)countDistinctCase2支付欺詐和區(qū)間樹的應(yīng)用技巧Cont.10年末單機250G3臺物理服務(wù)器計算延遲<10ms4G的虛機=運維麻煩Case3區(qū)間樹在內(nèi)存使用上的優(yōu)化內(nèi)存占用更少數(shù)據(jù)結(jié)構(gòu)更簡單計算函數(shù)可累積適用場景受限時間長度上通過2倍空間，避免移除操作窗口運算的通用性抽象和流式計算:Libra事件驅(qū)動的設(shè)計方法SEDA(stagedevent-drivenarchitecture)消息驅(qū)動的架構(gòu)設(shè)計實時計算平臺Libra以及使用情況818的實際數(shù)據(jù)3億次登陸×6個實時指標/天，4wTPS峰值，計算延遲95%低于10ms，99%低于30ms百萬下單×60+窗口指標/天支付×20+窗口指標/天800+計算節(jié)點降維（打擊？）全息數(shù)據(jù)==>特征數(shù)據(jù)Kernel函數(shù)機器學習？AGenericDynamoFramework統(tǒng)一的具備水平擴展的訪問接口抽象共通的操作接口提供備份之間的最終一致性實現(xiàn)自定義的初始化，持久化能力自動增加新備份的能力？自定義？支持的數(shù)據(jù)結(jié)構(gòu)ApproachA.