華為：2024年金融數(shù)據(jù)中心存儲頂層架構(gòu)白皮書

HUAWEI金融數(shù)據(jù)中心存HUAWEI非經(jīng)本公司書面許可，任何單位和個(gè)人不得擅自摘抄、復(fù)制本文檔內(nèi)容的部分或全部，并不得以任何形式HUAWVEI金融數(shù)據(jù)中心存儲頂層架構(gòu)白皮書您購買的產(chǎn)品、服務(wù)或特性等應(yīng)受華為公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分產(chǎn)品、服務(wù)或特性可能不在您的購買或使用范圍之內(nèi)。除非合同另有約定，華為公司對本文檔內(nèi)容不做任何明示或由于產(chǎn)品版本升級或其他原因，本文檔內(nèi)容會不定期進(jìn)行更新。除非另有約定，本文檔僅作為使用指導(dǎo)，地址：客戶服務(wù)郵箱：客戶服務(wù)電話：客戶服務(wù)傳真：HUAWEI金融數(shù)據(jù)中心存 42存儲目標(biāo)架構(gòu)規(guī)劃原則 73存儲目標(biāo)架構(gòu)詳細(xì)規(guī)劃 9 4結(jié)語 36HUAWVEI金融數(shù)據(jù)中心存儲頂層架構(gòu)白皮書11.1背景近年來，在全球經(jīng)濟(jì)增長緩慢，貿(mào)易戰(zhàn)和地區(qū)沖突持續(xù)的背景下，金融行業(yè)的營收壓力增大，資產(chǎn)規(guī)模增長顯著放緩。借助科技的力量，金融機(jī)構(gòu)的數(shù)字化進(jìn)程在后疫情時(shí)代持續(xù)深化。一方面，金融機(jī)構(gòu)利用數(shù)字化技術(shù)持續(xù)為客戶提供無所不在的智能化體驗(yàn)，以滿足多樣性的客戶需求；另一方面，金融機(jī)構(gòu)也在積極利用智能化技術(shù)構(gòu)建敏銳的業(yè)務(wù)洞察力，以快速應(yīng)對各種市場變化。因此，1.2金融存儲趨勢、技術(shù)&市場洞察金融機(jī)構(gòu)一直是率先將新興IT技術(shù)的應(yīng)用于業(yè)務(wù)場景的行業(yè)。憑借云計(jì)算，大數(shù)據(jù)和人工智能等技術(shù)的應(yīng)用，金融機(jī)構(gòu)正在優(yōu)化我們看到，隨著手機(jī)銀行和線上支付技術(shù)在金融行業(yè)的廣泛應(yīng)用，金融服務(wù)觸達(dá)客戶的時(shí)間和空間進(jìn)一步擴(kuò)展，促使金融機(jī)構(gòu)的始布局人工智能(AI)應(yīng)用，尤其是大模型技術(shù)的研發(fā)，利用AI使能業(yè)務(wù)運(yùn)營、產(chǎn)品營銷、風(fēng)險(xiǎn)控制和客戶服務(wù)等業(yè)務(wù)領(lǐng)域，進(jìn)一步提升金融服務(wù)的智能化水平。根據(jù)IDC的報(bào)告，90%的銀行已經(jīng)開始業(yè)務(wù)應(yīng)用的需要，也驅(qū)動著金融機(jī)構(gòu)的數(shù)字基礎(chǔ)設(shè)施架構(gòu)的轉(zhuǎn)變。以兼具韌性和靈活的云原生應(yīng)用，逐步淘汰傳統(tǒng)封閉的架構(gòu)，重構(gòu)創(chuàng)新開放的存算分離架構(gòu)，建設(shè)具有高可靠，高擴(kuò)展性的基礎(chǔ)1.3金融數(shù)據(jù)中心存儲底座建設(shè)總體要求金融機(jī)構(gòu)需要系統(tǒng)化構(gòu)建面向未來的金融基礎(chǔ)設(shè)施，這個(gè)目標(biāo)架構(gòu)以高可用、高安全、可信合規(guī)、綠色低碳為主要特點(diǎn)，支持金融服務(wù)的極致體驗(yàn)、業(yè)務(wù)敏捷、泛在智能和開放創(chuàng)新?；谶@些特業(yè)務(wù)分級：將業(yè)務(wù)系統(tǒng)根據(jù)重要性和服務(wù)范圍進(jìn)行科學(xué)的分類和分級，通常建議分為3~4檔；資源保障，以存算分離架構(gòu)在確保穩(wěn)定低時(shí)延的同時(shí)，提升系統(tǒng)整體可靠性；非關(guān)鍵環(huán)境可根據(jù)TCO、運(yùn)維習(xí)慣和系統(tǒng)擴(kuò)展性的綜合。容災(zāi)：傳統(tǒng)基礎(chǔ)設(shè)施采用兩地三中心/四中心，云原生系統(tǒng)采用。備份：采用全閃存熱備+海量對象存儲溫備+公有云冷備實(shí)現(xiàn)多級備份；采用云上業(yè)務(wù)、云下備份的方式進(jìn)行混合多云的數(shù)據(jù)集中。歸檔：采用海量對象溫歸檔+藍(lán)光/磁帶/公有云冷歸檔實(shí)現(xiàn)多級。數(shù)據(jù)&AI：打通數(shù)倉、數(shù)據(jù)湖和AI訓(xùn)練離、湖倉一體等實(shí)現(xiàn)數(shù)智融合；通過超高并發(fā)度、高性能存算網(wǎng)的2存儲目標(biāo)架構(gòu)規(guī)劃原則4、彈性伸縮能力：存儲平臺的設(shè)計(jì)應(yīng)有較強(qiáng)的彈性，3存儲目標(biāo)架構(gòu)詳細(xì)規(guī)劃3.1.1金融行業(yè)生產(chǎn)交易場景的趨勢和變化金融行業(yè)數(shù)字化轉(zhuǎn)型發(fā)展，使得金融服務(wù)的業(yè)務(wù)模式發(fā)生了顯著的變化。從多數(shù)銀行公布的年報(bào)來看，新興金融服務(wù)交易量年度平均增長都在50%以上，而且主要來自網(wǎng)上支付等新興技術(shù)的應(yīng)用。因此前端渠道接入系統(tǒng)這類直接面向客戶提供服務(wù)的請求接入類系統(tǒng)的服務(wù)模式正在快速發(fā)生變化。新興的業(yè)務(wù)模式擴(kuò)大了金融服務(wù)的觸達(dá)渠道，從傳統(tǒng)的線下網(wǎng)點(diǎn)服務(wù)擴(kuò)展到線上服務(wù)；延伸了金融服務(wù)時(shí)長，從原來的5*8小時(shí)服務(wù)延長到7*24小時(shí)不間斷業(yè)務(wù)服務(wù)。另一方面，數(shù)字化的深入，凸顯數(shù)據(jù)的重要性，金融行業(yè)數(shù)十年積累的用戶數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)是重要的數(shù)字資產(chǎn)。金融行業(yè)在整體數(shù)據(jù)量方面已經(jīng)達(dá)到了EB（Petabyte，即千萬億字節(jié)）級別。新報(bào)告，目前金融機(jī)構(gòu)的數(shù)據(jù)量普遍達(dá)到PB級，尤其是國有大型銀行的核心業(yè)務(wù)系統(tǒng)存儲規(guī)模也已達(dá)到百PB級，并且未來五年預(yù)計(jì)年均增幅將達(dá)到24.33%。3.1.2金融行業(yè)生產(chǎn)交易場景業(yè)務(wù)需求這些業(yè)務(wù)模式變化和數(shù)據(jù)量的增長，也正在深刻影響并重塑著金融行業(yè)的數(shù)據(jù)中心基礎(chǔ)架構(gòu)。為適應(yīng)未來業(yè)務(wù)發(fā)展，數(shù)據(jù)中心基礎(chǔ)設(shè)施，必須滿足業(yè)務(wù)所需的吞吐性能和可靠性要求，并具備面向未來的擴(kuò)展性要求：業(yè)務(wù)量的激增，對數(shù)據(jù)基礎(chǔ)設(shè)施的性能、吞吐量提出了更高要求。從性能上講，一般業(yè)務(wù)處理平均有大約50次數(shù)據(jù)庫請求，每次數(shù)據(jù)庫請求約1000次左右存儲讀寫(注：基于銀行核心系統(tǒng)的交以上的時(shí)延，對業(yè)務(wù)整體增加50秒以上的時(shí)延。從吞吐量上講，中等銀行生產(chǎn)業(yè)務(wù)的峰值交易大約5000筆/秒(即：5000TPS)來估算，峰值業(yè)務(wù)處理需要的存儲IO請求能力約為1.5M-2.5M的存儲在高吞吐和高性能需求下，采用存算一體架構(gòu)，將對無疑是個(gè)靠性，數(shù)據(jù)加密和數(shù)據(jù)壓縮等繁瑣的數(shù)據(jù)存儲處理，因此服務(wù)器的CPU資源捉襟見肘。但是通過存算分離架構(gòu)，所有數(shù)據(jù)存儲的IO服務(wù)時(shí)間的延長，對整體架構(gòu)可用性的提出更高要求。金融業(yè)戶的流失。以中等規(guī)模銀行為例，核心系統(tǒng)交易量一般在1000-3000筆每秒。因此，系統(tǒng)服務(wù)中斷和不可用的每一秒，則意味著1000筆以上的交易損失和用戶流失，甚至監(jiān)管層的懲罰。例如，星展銀行在2023年先后5次大規(guī)模中斷業(yè)務(wù)服務(wù)，新加坡金管局(MAS)要求其提供16億美金的額外資本，并在2023年11月對新對于數(shù)據(jù)中心而言，如果要滿足整體業(yè)務(wù)可用性99.999%的要求，即年停機(jī)時(shí)間5分鐘以內(nèi)，則數(shù)據(jù)中心基礎(chǔ)架構(gòu)的可靠性必須要提升到99.9999%以上，即年度故障時(shí)間30秒以內(nèi)。當(dāng)前，部分金融機(jī)構(gòu)采用基于x86服務(wù)器的存算一體架構(gòu)，該架構(gòu)在可靠性上只能達(dá)到99%。金融行業(yè)統(tǒng)計(jì)表明，x86服務(wù)器超過5年以上之后，故障率超過0.5%，因此采用服務(wù)器本地磁盤的數(shù)據(jù)庫存儲，隨著數(shù)據(jù)中心集群規(guī)模的擴(kuò)大，頻繁的故障和恢復(fù)，會對生產(chǎn)交易系統(tǒng)的業(yè)務(wù)連續(xù)性帶來嚴(yán)峻挑戰(zhàn)。而在存算分離架構(gòu)下，服務(wù)器只負(fù)責(zé)數(shù)據(jù)邏輯處理，所有數(shù)據(jù)的持久化和可靠性等能力都由存儲設(shè)備統(tǒng)一完成，即使服務(wù)器發(fā)生故障，也不影響其他數(shù)據(jù)庫實(shí)例計(jì)算節(jié)點(diǎn)的數(shù)據(jù)訪問。同時(shí)，利用存儲的RAID和快照等技術(shù)，極大提業(yè)務(wù)種類的增加，對業(yè)務(wù)之間數(shù)據(jù)交換更加頻繁，各類運(yùn)銀行生產(chǎn)交易系統(tǒng)是各類系統(tǒng)運(yùn)營數(shù)據(jù)和報(bào)表等系統(tǒng)的數(shù)據(jù)源，如何實(shí)時(shí)的獲取有效的數(shù)據(jù)，并且對生產(chǎn)系統(tǒng)的業(yè)務(wù)影響最小，成為各業(yè)務(wù)系統(tǒng)與生產(chǎn)交易系統(tǒng)之間不可調(diào)和的矛盾。在存算一體架構(gòu)下，必須通過專用ETL工具直接對數(shù)據(jù)庫數(shù)據(jù)進(jìn)行操作，對業(yè)務(wù)系統(tǒng)造成性能干擾，因此只能選擇在夜間業(yè)務(wù)低谷時(shí)段抽取數(shù)據(jù)，對后端系統(tǒng)的實(shí)時(shí)性造成影響。在存算分離架構(gòu)下，可充分利用存儲的一致性快照和克隆等能力，快速構(gòu)建生產(chǎn)交易系統(tǒng)的數(shù)據(jù)庫副本，滿足各類后端系統(tǒng)對業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)性需求，并且對生產(chǎn)端數(shù)據(jù)庫業(yè)務(wù)的性能影響最小。比如，每日批量作業(yè)希望每日夜間定時(shí)從主庫上利用存儲的一致性快照和克隆等能力，快速生成一個(gè)數(shù)據(jù)庫因此，面向未來，為了滿足業(yè)務(wù)性能，可靠性和擴(kuò)展性的要求，基于共享存儲池和分層解耦的存算分離架構(gòu)將是主流的架構(gòu)選擇方3.1.3金融行業(yè)生產(chǎn)交易場景目標(biāo)架構(gòu)從金融行業(yè)來看，越來越多的金融客戶傾向于采用分層解耦、按需分配的統(tǒng)一資源池架構(gòu)打造生產(chǎn)交易平臺，參考架構(gòu)如下圖所示：1、根據(jù)業(yè)務(wù)系統(tǒng)的服務(wù)等級，從吞吐性能和的等級，一般建議分成3級或者4級。比如Tier1采用物理服務(wù)器滿足高性能高可靠要求；Tier2滿足大部分金融業(yè)務(wù)處理的通用需求；Tier3滿足一般性能和可靠性要求的業(yè)務(wù)處理，比如開發(fā)測試業(yè)務(wù)系統(tǒng)分配標(biāo)準(zhǔn)的計(jì)算和存儲資源，內(nèi)部通過Quota配額和3.2數(shù)據(jù)分析-大數(shù)據(jù)存算分離架構(gòu)3.2.1金融大數(shù)據(jù)分析發(fā)展趨勢和變化中國金融大數(shù)據(jù)產(chǎn)業(yè)快速發(fā)展，成為金融行業(yè)業(yè)務(wù)增長的新引近幾年，隨著移動金融、互聯(lián)網(wǎng)信貸等新業(yè)務(wù)形態(tài)的出現(xiàn)，金融大數(shù)據(jù)應(yīng)用得到長足發(fā)展，已經(jīng)滲透到金融行業(yè)的方方面面，廣泛應(yīng)用到營銷、風(fēng)控、運(yùn)營等多種關(guān)鍵業(yè)務(wù)中，極大的提升了金融《IDCPeerScape：金融領(lǐng)域中數(shù)據(jù)管理分析服務(wù)最佳實(shí)踐案例》報(bào)告顯示，2023年，中國金融行業(yè)大數(shù)據(jù)市場支出規(guī)模達(dá)到29.7億美元，預(yù)計(jì)到2027年將增長至64.6億美元，CAGR達(dá)到21.4%。未來幾年，金融大數(shù)據(jù)市場仍將保持較高的增速，是數(shù)據(jù)管理、數(shù)據(jù)分析廠商爭奪的主要市場，目標(biāo)客戶覆蓋大型和中小型隨著大數(shù)據(jù)應(yīng)用的深入，大數(shù)據(jù)平臺從注重?cái)?shù)據(jù)處理走向注重諾貝爾經(jīng)濟(jì)學(xué)獎獲得者羅納德·科斯（RonaldCoase）曾經(jīng)說+AI時(shí)代的到來讓這句話有了更多的現(xiàn)實(shí)意義，如果說石油滋養(yǎng)了工業(yè)時(shí)代，那么海量非結(jié)構(gòu)化數(shù)據(jù)就是智能時(shí)代的石油。金融大數(shù)3.2.2金融大數(shù)據(jù)分析業(yè)務(wù)需求隨著外部數(shù)據(jù)規(guī)模和金融客戶應(yīng)用場景的變化對大數(shù)據(jù)平臺提1、能獲客：大數(shù)據(jù)平臺要具備PB級的海量文件分析能力，能夠從2、能活客：大數(shù)據(jù)平臺要具備極致高性能，存儲系統(tǒng)需要具備毫秒級時(shí)延、TB級高帶寬，能夠抵擋業(yè)務(wù)高峰浪涌，支持T+0的數(shù)據(jù)實(shí)時(shí)分析，為金融反詐、信貸評估等業(yè)務(wù)提供實(shí)時(shí)生產(chǎn)決策能力，3、降本增效：近幾年金融大數(shù)據(jù)投資預(yù)算逐年走高，但是隨著AI時(shí)代的到來和監(jiān)管要求的趨嚴(yán)（如要求數(shù)據(jù)留存期大于10年投資預(yù)算的增長顯然無法趕上非結(jié)構(gòu)化數(shù)據(jù)量的增長速度，剪刀差越來越大，這就要求金融大數(shù)據(jù)平臺一方面要降低單位容量的投資成本，另一方面還要提升單位容量的性能，支持海量數(shù)據(jù)低成本存4、支持平滑演進(jìn)：大數(shù)據(jù)平臺需要具備支持面向未來的平滑演進(jìn)，支持HDFS、S3多種數(shù)據(jù)訪問協(xié)議，平臺升級過程中，老的存儲集5、更簡單的數(shù)據(jù)管理：支持多任務(wù)資源隔離，保障關(guān)鍵任務(wù)高效執(zhí)行，具備跨域的數(shù)據(jù)管理能力，全局?jǐn)?shù)據(jù)可視、可管、可用，并3.2.3金融大數(shù)據(jù)分析平臺架構(gòu)演進(jìn)趨勢湖倉融合架構(gòu)領(lǐng)跑大數(shù)據(jù)的下半場，成為金融大數(shù)據(jù)的重點(diǎn)布局技術(shù)。傳統(tǒng)數(shù)據(jù)湖和數(shù)據(jù)倉庫分離建設(shè)，數(shù)據(jù)湖擅長存儲和處理各種類型、大量原始數(shù)據(jù)，而數(shù)據(jù)倉庫則更擅長結(jié)構(gòu)化數(shù)據(jù)的存儲和高效查詢，各自都有一定的局限性。湖倉融合架構(gòu)結(jié)合了兩者的優(yōu)點(diǎn)，能夠在同一系統(tǒng)中處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，提供統(tǒng)一的數(shù)據(jù)管理和分析平臺，從而提高數(shù)據(jù)處理效率和分析能力，降低數(shù)據(jù)管理成本。這種架構(gòu)特別適用于需要實(shí)時(shí)分析大量復(fù)雜數(shù)據(jù)的場基于專業(yè)分布式存儲的存算分離方案是大數(shù)據(jù)湖倉融合的基礎(chǔ)。傳統(tǒng)存算一體模式采用Hadoop原生存儲底座進(jìn)行數(shù)據(jù)存儲，單命名空間支撐的文件數(shù)量少、三副本冗余機(jī)制存儲空間利用率低、跨域數(shù)據(jù)管理能力弱，無法支撐湖倉融合架構(gòu)下海量的結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲訴求。專業(yè)分布式存儲因其良好的協(xié)議擴(kuò)展性、容量密度、空間利用率和性能，可以很好的應(yīng)對湖倉融合架構(gòu)下對存儲的各類要求，因此基于專業(yè)分布式存儲進(jìn)行存算分3.2.4金融大數(shù)據(jù)分析平臺目標(biāo)架構(gòu)Hadoop有多種計(jì)算引擎，包括離線、實(shí)時(shí)、內(nèi)存、流式等，各種計(jì)算引擎都有自己擅長處理的文件格式，保證各種計(jì)算引擎的性能，但是這也造成了一份數(shù)據(jù)的重復(fù)存儲。拉通各個(gè)計(jì)算引擎的文件存儲格式，做到一份數(shù)據(jù)存儲支撐多種引擎，可以大幅降低存存算分離是大數(shù)據(jù)平臺持續(xù)演進(jìn)的關(guān)鍵所在，通過存算分離改解決了不同大數(shù)據(jù)集群間計(jì)算、存儲資源利用率不均的問題，又使得大數(shù)據(jù)計(jì)算節(jié)點(diǎn)可以和用戶的其他計(jì)算節(jié)點(diǎn)能夠按業(yè)務(wù)峰谷靈活調(diào)配，一舉兩得，我們推薦的大數(shù)據(jù)方案架構(gòu)如下圖所示，支持HUAWVEI金融數(shù)據(jù)中心存儲頂層架構(gòu)白皮書傳統(tǒng)存算一體方案存儲資源是瓶頸，計(jì)算資源利用率往往不足到50%以上，改造之后的計(jì)算、存儲設(shè)備總臺數(shù)案節(jié)省30%以上。（4）存儲底座采用分布式元數(shù)據(jù)管理方式，單一命名空間支持百億級文件統(tǒng)一管理，較存算一體方案的單命名空間億級文件數(shù)量提升退出往往是一大難題，華為存算分離方案通過元數(shù)據(jù)網(wǎng)關(guān)支持新老集群統(tǒng)一納管和數(shù)據(jù)靈活遷移，老集群可（3）統(tǒng)一存儲底座，同時(shí)支持多廠家、多版本Hadoop，適配無隨著數(shù)據(jù)量的急劇膨脹，一方面數(shù)據(jù)的跨地域訪問日益頻繁，如何消除數(shù)據(jù)重力讓全域數(shù)據(jù)自由流動成為了亟需解決的問題；另一方面大數(shù)據(jù)平臺多用戶、多任務(wù)分析已經(jīng)成為常態(tài)，存儲資源隔更新，全局?jǐn)?shù)據(jù)視圖實(shí)時(shí)永新；支持全局?jǐn)?shù)據(jù)自由流動，激活數(shù)據(jù)（2）SmartQos實(shí)現(xiàn)精細(xì)化資源管理，多用戶、多業(yè)務(wù)并行不悖，3.3金融AI業(yè)務(wù)場景3.3.1金融AI趨勢與變化HUAWVEI金融數(shù)據(jù)中心存儲頂層架構(gòu)白皮書AI模型的數(shù)據(jù)將成為新常態(tài)。個(gè)方面已經(jīng)顯現(xiàn)出不同的價(jià)值。目前大量金融客戶加大A在提升金融產(chǎn)品營銷能力方面，AI技術(shù)可以幫助銀行實(shí)現(xiàn)客戶領(lǐng)域AI應(yīng)用可以提升銀行的風(fēng)險(xiǎn)防范與處置能力，使其能夠在使能新業(yè)態(tài)方面，AI結(jié)合IoT、區(qū)3.3.2金融客戶落地AI業(yè)務(wù)需求型的訓(xùn)練和提升起著至關(guān)重要的作用，數(shù)據(jù)的數(shù)量與質(zhì)量將決定著AI模型智能化的程度。當(dāng)前金融客戶在AI模型訓(xùn)練與推理過程中遇到如下關(guān)鍵挑戰(zhàn)：2、金融客戶的價(jià)值數(shù)據(jù)往往散落在眾多分散的數(shù)據(jù)中心中，形成了據(jù)跨域搬遷，導(dǎo)致通常數(shù)據(jù)準(zhǔn)備時(shí)間在大模型生產(chǎn)全流程中占比超復(fù)搬遷成為大模型基礎(chǔ)設(shè)施建設(shè)過程中首先要考慮的問題。以某大300TB數(shù)據(jù)，分散在多個(gè)銀行數(shù)據(jù)中心中存儲。如何讓分散在不同該銀行技術(shù)部門最頭痛的問題。因此，構(gòu)建一個(gè)高效的數(shù)據(jù)存儲和4、從訓(xùn)練到推理是AI大模型實(shí)現(xiàn)商業(yè)閉環(huán)的必經(jīng)之路，目前的金3.3.3金融AI業(yè)務(wù)場景目標(biāo)架構(gòu)AI數(shù)據(jù)湖方案是一個(gè)數(shù)據(jù)全局管理，數(shù)據(jù)存儲、編織、管流動一體的數(shù)據(jù)存儲解決方案，助力構(gòu)建企現(xiàn)對企業(yè)內(nèi)部多源異構(gòu)數(shù)據(jù)的統(tǒng)一存儲和管理，還能夠提供高效的數(shù)據(jù)處理和分析能力，為企業(yè)提供全方位的數(shù)據(jù)服務(wù)。通過構(gòu)建AI數(shù)據(jù)湖，企業(yè)可以打破傳統(tǒng)數(shù)據(jù)中心的限制，實(shí)現(xiàn)數(shù)據(jù)的全局可視設(shè)中，數(shù)據(jù)要素的流通是實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化的關(guān)鍵?？梢酝ㄟ^構(gòu)建全局文件系統(tǒng)，支持多中心數(shù)據(jù)資產(chǎn)的全局可清晰地了解自身數(shù)據(jù)資源的分布和狀況。同時(shí)，通過優(yōu)化數(shù)據(jù)存儲模型的訓(xùn)練提供源源不斷的數(shù)據(jù)支持。此外，數(shù)據(jù)的流通還能夠促進(jìn)私域數(shù)據(jù)的共享和整合。金融行業(yè)的數(shù)據(jù)具有獨(dú)特的價(jià)值和特征，通過將這些數(shù)據(jù)進(jìn)行融合和分析，可以挖掘出更多有價(jià)值的信息和所以，理想的AI數(shù)據(jù)湖解決方案應(yīng)具備以下幾個(gè)核心能力：2、高性能：AI工作負(fù)載通常涉及大量的數(shù)據(jù)處理和計(jì)算，因此存級低延遲的性能，以滿足模型訓(xùn)練與推理的性能需求；3、大容量以及可擴(kuò)展性：隨著AI多模態(tài)的發(fā)展，AI模型和數(shù)據(jù)集越來越大，存儲系統(tǒng)需要具備足夠的容量來存儲這些數(shù)據(jù)和模型，4、數(shù)據(jù)韌性和安全：AI數(shù)據(jù)通常具有很高的價(jià)值，因此存儲系統(tǒng)必須保證數(shù)據(jù)的安全性和可靠性，能夠抵御硬件故障、數(shù)據(jù)損壞等風(fēng)險(xiǎn)，提供數(shù)據(jù)備份和恢復(fù)功能，具備主動預(yù)防勒索攻擊的能力。對于敏感信息，存儲具備安全功能，保護(hù)數(shù)據(jù)不被未經(jīng)授權(quán)的訪問5、知識實(shí)時(shí)更新及記憶能力：AI在推理應(yīng)用場景需要提供大庫容RAG知識庫，為大模型增加知識儲備，加速行業(yè)知識更新；使用方案應(yīng)提供合理性價(jià)比，數(shù)據(jù)可以自動分級，根據(jù)數(shù)據(jù)訪問頻率按3.4.1金融行業(yè)容災(zāi)趨勢和變化3.4.2金融行業(yè)存儲容災(zāi)架構(gòu)業(yè)務(wù)需求分為例）RPORTO30分鐘本地高可用+（兩地三中心）+≤5分鐘<4小時(shí)本地高可用+（兩地三中心）+要≤30<24小時(shí)同城主備+備份≤243~7天3.4.3金融行業(yè)存儲容災(zāi)架構(gòu)本地高可用：兩地三中心：√多樣化，提供多種選擇：雙活+同步復(fù)制方案支持同異步互轉(zhuǎn)，力3.5數(shù)據(jù)保護(hù)3.5.1金融行業(yè)數(shù)據(jù)保護(hù)趨勢和變化金融行業(yè)以其高度信息化和嚴(yán)格的信息安全標(biāo)準(zhǔn)而著稱，近年HUAWVEI金融數(shù)據(jù)中心存儲頂層架構(gòu)白皮書來，金融行業(yè)勒索軟件攻擊事件不斷上升，給金融機(jī)構(gòu)的數(shù)據(jù)安全帶來了前所未有的挑戰(zhàn)。不僅嚴(yán)重影響了金融行業(yè)的正常運(yùn)行，更讓金融系統(tǒng)的穩(wěn)定性面臨前所未有的考驗(yàn)。這不僅是對金融機(jī)構(gòu)應(yīng)急響應(yīng)能力的考驗(yàn)，更是對整個(gè)金融行業(yè)網(wǎng)絡(luò)安全防護(hù)體系的全面審視。金融安全無小事，任何一環(huán)的疏漏都可能引發(fā)連鎖反應(yīng)，威Veritas最近的研究發(fā)現(xiàn)，金融行業(yè)一直是勒索軟件陰影下的去三年的年度報(bào)告。在報(bào)告涉及的行業(yè)中，金融行業(yè)始終被網(wǎng)絡(luò)威脅所牽動。在過去三年中，金融行業(yè)企業(yè)年度報(bào)告中提及"網(wǎng)絡(luò)攻擊"的次數(shù)增加了55%。同時(shí)，勒索軟件的提及率從2020年到2022年上升了88%?！衲潮泵楞y行于2020年遭遇勒索軟件Maze攻擊，被竊取和泄露上千萬張信用卡信息；●某南美國家銀行于2020年遭遇勒索軟件Revil攻擊，被迫HUAWVEI金融數(shù)據(jù)中心存儲頂層架構(gòu)白皮書●某國際保險(xiǎn)公司于2021年遭遇勒索軟件CryptoLocker攻●某巨頭保險(xiǎn)集團(tuán)于2021年遭遇勒索軟件Avaddon攻擊，●某銀行北美分析機(jī)構(gòu)于2023年遭到勒索軟件攻擊，導(dǎo)致部《中國數(shù)據(jù)災(zāi)備產(chǎn)業(yè)白皮書暨數(shù)據(jù)災(zāi)備建設(shè)調(diào)研報(bào)告2021》架構(gòu)分析顯示，普遍缺乏數(shù)據(jù)防勒索措施。異地備份的比例只有約10%，本地備份的完備性也不足：只備份了關(guān)鍵的核心數(shù)據(jù)庫應(yīng)用，整體行業(yè)情況如下：●災(zāi)備系統(tǒng)建設(shè)水平不一：區(qū)域發(fā)展差異及金融機(jī)構(gòu)實(shí)力的不均，導(dǎo)致災(zāi)備系統(tǒng)的建設(shè)水平參差不齊。大中型金融機(jī)構(gòu)在災(zāi)備體常運(yùn)行時(shí)備份系統(tǒng)并不承載生產(chǎn)業(yè)務(wù)，同時(shí)傳統(tǒng)備份恢復(fù)技術(shù)的也無法滿足生產(chǎn)業(yè)務(wù)的利用訴求，導(dǎo)致備份相關(guān)資源投入大3.5.2金融行業(yè)備份業(yè)務(wù)需求對金融企業(yè)而言，應(yīng)用系統(tǒng)的可靠性、可用性保障的重要性永遠(yuǎn)是第一位的，全行業(yè)都會把業(yè)務(wù)連續(xù)性及災(zāi)備建設(shè)作為IT運(yùn)營工金融行業(yè)災(zāi)備建設(shè)通常包括存儲、計(jì)算和網(wǎng)絡(luò)的設(shè)計(jì)，目前金融行業(yè)主流的災(zāi)備建設(shè)方案為以存儲產(chǎn)品為核心實(shí)現(xiàn)災(zāi)備建設(shè)。建設(shè)總體原則是根據(jù)不同應(yīng)用對性能和容災(zāi)的訴求進(jìn)行存儲選型，按HUAWVEI