大模型下的多模態(tài)智能風(fēng)控落地實踐 2024-王小東

大模型下的多模態(tài)智能風(fēng)控落地實踐新希望金科AI中心總經(jīng)理2024.08.171大模型下金融風(fēng)控面臨的新問題和挑戰(zhàn)1大模型下金融風(fēng)控面臨的新問題和挑戰(zhàn)3基于大模型的多模態(tài)智能風(fēng)控解決方案4基于大模型的多模態(tài)智能風(fēng)控應(yīng)用案例、欺詐手段層出不窮、欺詐手段層出不窮1、模型性能出現(xiàn)瓶頸、模型性能出現(xiàn)瓶頸32、團伙作案更加難以發(fā)現(xiàn)4、AI欺詐手段日益高明11高逼真的生成式AI技術(shù)：實時AI換臉+頭聲音/圖像/語言/視頻，算法精度高，處理速度快，配合屏幕打光和高清顯示屏等。除了人臉，還有身份證生成，房屋22智能對話能力：利用ASR識別客戶說了什么，利用LLM語言大模型，實時和用戶實現(xiàn)智能對話，準(zhǔn)確理解意圖和生成回復(fù)內(nèi)容，利用TTS實時合成生成內(nèi)容讀給客戶聽。33語音生成能力：以語音大模型為基座，基于5秒/更長語音訓(xùn)練個人音色，并使用聲音克隆技術(shù)復(fù)刻個人音色。支持將文本轉(zhuǎn)換成富有感染力和真實性的語音，支持情緒，語調(diào)的聲音合成技術(shù)，使信息傳達更加生動有力。身份證陰影遮擋字攻擊手段層出不窮，技術(shù)升級迫在眉睫攻擊手段層出不窮，技術(shù)升級迫在眉睫照片挖孔圓筒面具3D面具手機翻拍此處不公開此處不公開AI換臉、換聲、視頻生成、數(shù)字人等AI攻擊案例生成內(nèi)容豐富造假成本低生成類容逼真度高生成內(nèi)容豐富造假成本低ll才，視頻編輯人才等才可以批量生成偽冒身份材料，生成式AI出現(xiàn)后只需要會提示工程/簡單微1大模型下金融風(fēng)控面臨的新問題和挑戰(zhàn)2大模型下金融風(fēng)控破局之道2大模型下金融風(fēng)控破局之道3基于大模型的多模態(tài)智能風(fēng)控解決方案4基于大模型的多模態(tài)智能風(fēng)控應(yīng)用案例智能打點標(biāo)注屏幕錄制截屏、抓拍音視頻通訊能力模型開發(fā)模型編排模型集市模型管理模型微調(diào)模型發(fā)布智能打點標(biāo)注屏幕錄制截屏、抓拍音視頻通訊能力模型開發(fā)模型編排模型集市模型管理模型微調(diào)模型發(fā)布大模型智能催收智能營銷智能風(fēng)控代碼Review風(fēng)險報告生成金融數(shù)字人智能催收智能營銷智能風(fēng)控代碼Review風(fēng)險報告生成金融數(shù)字人智能客服智能客服智能助手智能助手智能面簽智能面簽智能反欺詐智能反欺詐法律文書生成法律文書生成代碼助手代碼助手VSVSVisualVisualGLM/QwenVL等相同點相同點ll參數(shù)量上10B的模型。l模型都可以對結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)進行高維參數(shù)表l基本都是基于Transformer這種架構(gòu)的不同網(wǎng)絡(luò)結(jié)構(gòu)不同點不同點l生成式大模型是大模型中的一種，主要進行文本，l生成式大模型生成的內(nèi)容不可控，不精準(zhǔn)很難在金l非生成式大模型，以概率輸出的大模型可在金融領(lǐng)域參與策略決策和應(yīng)用。方案1不公開方案1不公開方案2非生成式：訓(xùn)練模型概率實現(xiàn)方案2非生成式：訓(xùn)練模型概率實現(xiàn)痛點痛點ll正負樣本積累至少1W+。l寫不同神經(jīng)網(wǎng)絡(luò)代碼構(gòu)建模型，模l模型開發(fā)周期長，模型區(qū)分能力弱l模型推理代碼，模型建模代碼不規(guī)大模型解決大模型解決ll正負樣本100+。l模型主干網(wǎng)絡(luò)統(tǒng)一，Head層不同。l模型開發(fā)周期短，半天內(nèi)開發(fā)一個l模型推理，建模代碼統(tǒng)一。模型服務(wù)模型編排模型部署基礎(chǔ)模型開發(fā)模型服務(wù)模型編排模型部署l基于多幀視頻流建模，識別人像中上下幀差異，證件被編輯，眼球反光，邊框，摩爾紋等細節(jié)特征完成真假甄別。1大模型下金融風(fēng)控面臨的新問題和挑戰(zhàn)3基于大模型的多模態(tài)智能風(fēng)控解決方案3基于大模型的多模態(tài)智能風(fēng)控解決方案4基于大模型的多模態(tài)智能風(fēng)控應(yīng)用案例UncuratedDataAugmentedCuratedUncuratedDataEmbeddingDeduplicationEmbeddingDeduplicationl用視覺經(jīng)典網(wǎng)絡(luò)計算圖像Embedding，使用Kmeans聚類，從人像、身份證、房屋、流水、結(jié)婚證、經(jīng)營場所等未標(biāo)注數(shù)據(jù)中檢索出與精心整理過的數(shù)據(jù)集中存在相似度很高的那部分樣本。最后，給定一個查詢此處不公開此處不公開預(yù)處理——輸出視覺大模型通用大模型特征模塊頭部模塊卷積視覺大模型通用大模型特征模塊頭部模塊卷積l基于算法模型識別時樣本量，精度，模型推理資源等要求，用戶可以選擇不同的視覺基礎(chǔ)模型，基于模型微調(diào)完成圖像子任務(wù)的開發(fā)，并能以概率的方式輸出模型結(jié)果。pythonpythontrain.py\--input“imageInputLayer”\--base_model“cv_big_model”\--convolition“convolition2dLayer”\--class“softMax”\--model_path“./models/face_abnormal”\--model_type“cv”\--output_dir“./checkpoints/”\--max_source_length100\--max_target_length100\--per_device_train_batch_size4\--per_device_eval_batch_size4\--gradient_accumulation_steps16\--save_steps50\--eval_steps50\--learning_rate2e-4通用大模型房屋大模型流水大模型偽造大模型版面大模型模型微調(diào)證件翻拍打印斷裂拼接裁剪遮擋通用大模型房屋大模型流水大模型偽造大模型版面大模型模型微調(diào)證件翻拍打印斷裂拼接裁剪遮擋l語音大模型的模型思路和視覺一樣，差異在于先將語音轉(zhuǎn)成頻譜圖后，再利用視覺建模能力。通用大模型合成音大模型模型微調(diào)語音 ——質(zhì)量檢測 通用大模型合成音大模型模型微調(diào)語音 ——質(zhì)量檢測 拼接攻擊模仿攻擊 拼接攻擊模仿攻擊原有模型開發(fā)基于大模型模型開發(fā)原有模型開發(fā)基于大模型模型開發(fā)數(shù)據(jù)標(biāo)注模型業(yè)務(wù)代碼任務(wù)多耗時長數(shù)據(jù)標(biāo)注模型業(yè)務(wù)代碼任務(wù)多耗時短VSVS子模型開發(fā)效率從月到天主干網(wǎng)絡(luò)(多分類時只需要跑一次)預(yù)處理預(yù)處理輸出方案1：大模型+微調(diào)l大模型網(wǎng)絡(luò)層次較深，眼部感受野在淺層網(wǎng)絡(luò)可識別，深層網(wǎng)絡(luò)l方案1：大模型+微調(diào)l大模型網(wǎng)絡(luò)層次較深，眼部感受野在淺層網(wǎng)絡(luò)可識別，深層網(wǎng)絡(luò)l臉上半部和整個人臉基于大模型微調(diào)都會過擬合，基礎(chǔ)模型學(xué)習(xí)的全局圖像特征不適合小物體。臉上半部l基于人臉檢測后，取臉上半部使l基于人臉檢測后，取臉上半部使用Alexnet，VGG等網(wǎng)絡(luò)特征做方案2：小模型+微調(diào)方案2：小模型+微調(diào)ll研發(fā)的模型原子接口有時候沒法直接用于生產(chǎn)，比如人臉比對模型容易受光照，姿態(tài)，表情，臉部遮擋的影響，只有臉部符合一定要求人l模型編排提供可視化拖拉拽的能力，基于原子模型組裝模型接口。ll模型開發(fā)部署后需要對輸入、格式化輸出、模型異常、業(yè)務(wù)邏輯等進行代碼加工，基于MaaS平臺提供的l模型在線IDE在線部署模型業(yè)務(wù)邏輯，不需要基于Docker虛擬化只部署基礎(chǔ)原ll原子模型、經(jīng)過加工后帶有業(yè)務(wù)邏輯的模型、經(jīng)過多個子模型編排的模型都可以形成模型集市，方便查看模l支持圖像、語音、文本等AI小程序/H5/APP等算法MaaS服務(wù)流媒體控制服務(wù)小程序/H5/APP等算法MaaS服務(wù)流媒體控制服務(wù)等推流/拉流服務(wù)(GO)推流/拉流服務(wù)(GO)AI實時檢測l只看單張圖如果臉部沒有被編輯，頭l只看單張圖如果臉部沒有被編輯，頭發(fā)和臉部縫合不好等異常是很難發(fā)現(xiàn)l利用視頻流+AI大模型+小模型可很l呈現(xiàn)類攻擊(需要借助屏幕介質(zhì)播l注入類攻擊(劫持攝像頭實時篡改)：看不到屏幕信息，能看到實時的換臉視頻流，利用多幀流建模+單幀臉部AI換臉?biāo)惴z測+眼球變化+背景+時果識別是否存在視頻流AI換臉。1大模型下金融風(fēng)控面臨的新問題和挑戰(zhàn)3基于大模型的多模態(tài)智能風(fēng)控解決方案4基于大模型的多模態(tài)智能風(fēng)控應(yīng)用案例4基于大模型的多模態(tài)智能風(fēng)控應(yīng)用案例身份證+活體+雙錄實時反欺詐梅爾頻譜梅爾頻譜 聲紋比對人臉比對人像背微表情欺詐檢測聲紋團活體偽冒基礎(chǔ)防增強防偽行為風(fēng)聲紋比對人臉比對人像背微表情欺詐檢測聲紋團活體偽冒基礎(chǔ)防增強防偽行為風(fēng)別字體造字體造假翻拍翻拍打印識別份證份證11多層級欺詐識別l根據(jù)用戶欺詐層次的不同動態(tài)調(diào)用不同的活體識別方式完成認證?；铙w22多模態(tài)身份防偽33深度圖像分析44身份防偽分l提出了針對活體大頭照識別信用分，欺詐分，合規(guī)分，中介分的解決方案，解活體正常演示AI換臉攻擊面具攻擊模擬嘴部攻擊活體正常演示AI換臉攻擊面具攻擊模擬嘴部攻擊l虛擬人智能雙錄既然是無人化，就必須用各種音視頻算法保證用戶是真人，不存在欺詐，用戶意愿真/別/自拍他拍識別/裸體識別/拍攝場景識/別/自拍他拍識別/裸體識別/拍攝場景識別/換臉檢測等此處不公開1大模型下金融風(fēng)控面臨的新問題和挑戰(zhàn)3基于大模型的多模態(tài)智能風(fēng)控解決方案4基于大模型的多模態(tài)智能風(fēng)控應(yīng)用案例生成內(nèi)容逼真造假成本低生成內(nèi)容豐富lAIGC+大模型降低了仿冒他人身份的門檻，降低了成本，為黑灰產(chǎn)攻擊提供了新型手段，同時逼真度生成內(nèi)容逼真造假成本低生成內(nèi)容豐富lAIGC+大模型降低了仿冒他人身份的門檻，降低了成本，為黑灰產(chǎn)攻擊提供了新型手段，同時逼真度也進一步提升達到以lAIGC應(yīng)用層出不窮，數(shù)字人，AI換臉，AI換聲，視頻生成等APP和應(yīng)用到處l借助大模型和AIGC可生成各種虛假照片，包括身份證，人房產(chǎn)證等，每類圖像的造假都高達好幾十種，每個子任務(wù)都開發(fā)模型，模型數(shù)量可高逼真的模擬人對話，做活體，做雙錄等，欺詐方式和真實lAI算法不斷演進，后續(xù)只會更加成熟和更此處不公開多，開發(fā)周期長，負樣本量也不夠開發(fā)模多，開發(fā)周期長，負樣本量也不夠開發(fā)?？梢?，少量的試用不端到端風(fēng)控模態(tài)融合圖文描述多模態(tài)關(guān)系網(wǎng)絡(luò)端到端風(fēng)控模態(tài)融合圖文描述l對圖像進行描述