高通量數(shù)據(jù)網(wǎng)架構(gòu)與關(guān)鍵技術(shù)白皮書

高通量數(shù)據(jù)網(wǎng)架構(gòu)及關(guān)鍵技術(shù)白皮書前 言202222022202222022520234IC年全球數(shù)據(jù)規(guī)模將突破175ZB，如何實(shí)現(xiàn)海量數(shù)據(jù)的高效傳輸是算本白皮書從網(wǎng)絡(luò)承載、智能管控、端側(cè)優(yōu)化三個(gè)方面提出了高通聯(lián)合編寫單位：（排序不分先后）編寫組成員：（排序不分先后）目 錄背景 1算存運(yùn)三力協(xié)同助力數(shù)字經(jīng)濟(jì)蓬勃發(fā)展 1算力時(shí)代海量數(shù)據(jù)遷移新需求 2高通數(shù)據(jù)網(wǎng)本概念 6高通數(shù)據(jù)網(wǎng)構(gòu) 9基礎(chǔ)設(shè)施層 9應(yīng)用終端 10承載網(wǎng) 10算力中心 11高通量協(xié)議層 11高通量網(wǎng)絡(luò)協(xié)議 11高通量傳輸協(xié)議 11高通量應(yīng)用算法 12高通量管控層 12端側(cè)管控 12網(wǎng)側(cè)管控 12云側(cè)管控 12服務(wù)運(yùn)營層 13用戶服務(wù)訂閱 13用戶操作平臺(tái) 13云網(wǎng)信息資源庫 13高通數(shù)據(jù)網(wǎng)鍵技術(shù) 14廣域流量調(diào)度技術(shù) 14SRv6網(wǎng)絡(luò)編程技術(shù) 14流量識(shí)別與引流 16廣域擁塞感知與控制 16智能管控技術(shù) 17可用帶寬資源實(shí)時(shí)感知 17流量智能調(diào)度 18傳輸協(xié)議優(yōu)化技術(shù) 19基于TCP的傳輸協(xié)議優(yōu)化 19其他傳輸協(xié)議的優(yōu)化 20數(shù)據(jù)智能壓縮技術(shù) 21數(shù)據(jù)壓縮技術(shù)概述 21壓縮算法選擇策略 22數(shù)據(jù)傳輸安全保障技術(shù) 22流量按需安全隔離 22網(wǎng)絡(luò)層安全防護(hù) 23高通數(shù)據(jù)應(yīng)用景 24東數(shù)西算業(yè)務(wù) 24超智算海量數(shù)據(jù)傳輸 24科技項(xiàng)目數(shù)據(jù)匯交 25企業(yè)數(shù)據(jù)上云備份與災(zāi)備 25總結(jié)展望 27縮略列表 28參考獻(xiàn) 30背景2025P%[]根據(jù)國家互聯(lián)網(wǎng)信息辦公室《數(shù)字中國發(fā)展報(bào)告(2022數(shù)據(jù)資源規(guī)?？焖僭鲩L，22ZB7%，全球占比達(dá)5%]224E，同1%4%[]。數(shù)據(jù)"存得好"、算力"算得快"、網(wǎng)絡(luò)"傳得穩(wěn)"，數(shù)字基礎(chǔ)設(shè)施才能充分發(fā)揮大數(shù)據(jù)的要素價(jià)值[4][5]6]。供給端（需求端設(shè)施才能充分發(fā)揮大數(shù)據(jù)的要素價(jià)值。圖1算力、存力、運(yùn)力協(xié)同發(fā)展算力時(shí)代海量數(shù)據(jù)遷移新需求合理的時(shí)效傳輸?shù)酱媪?算力基礎(chǔ)設(shè)施成為算力經(jīng)濟(jì)發(fā)展的新需求。（一）東數(shù)西算決的問題[7]。（二）超智算承載

圖2東數(shù)西算冷溫?cái)?shù)據(jù)傳輸XR、視頻媒體制作等在超算與智算服務(wù)場景下，數(shù)據(jù)傳輸通常包括兩種需求：輸，由于帶寬需求大、連接穩(wěn)定性高，通常采用光網(wǎng)絡(luò)承載。用戶到智算中心/強(qiáng)IP圖3超算/智算承載場景提出的新的挑戰(zhàn)。目前海量大數(shù)據(jù)遷移主要有兩種方式：1）通過快遞存儲(chǔ)介質(zhì)線下遷移2017徑搬運(yùn)，面臨數(shù)據(jù)損毀、數(shù)據(jù)泄露等安全風(fēng)險(xiǎn)。2）通過運(yùn)營商網(wǎng)絡(luò)線上遷移通過三千兆接入（千兆寬帶、G、WFi6）及高速骨干網(wǎng)絡(luò)，中國聯(lián)通構(gòu)ITT~B絡(luò)技術(shù)存在以下問題：限等問題。（1G以上無法承擔(dān)。表1不同數(shù)據(jù)量在不同帶寬情況下的理論傳輸時(shí)長數(shù)據(jù)量帶寬100M帶寬1G帶寬10G帶寬10TB12天29小時(shí)3小時(shí)100TB121天12天29小時(shí)1PB1243天125天12天高通量數(shù)據(jù)網(wǎng)基本概念決算力時(shí)代的瓶頸問題，助力數(shù)字經(jīng)濟(jì)飛躍發(fā)展。計(jì)算、大數(shù)據(jù)處理等領(lǐng)域。用于描述能量傳遞的速度和量度。2022大有效帶寬，提高單位帶寬下的數(shù)據(jù)傳輸體量，以增大數(shù)據(jù)通量。面提升數(shù)據(jù)承載效率，有如下主要目標(biāo)：/智算訓(xùn)練數(shù)據(jù)上傳與下載等典型場景，大部分業(yè)務(wù)屬于時(shí)效性要求業(yè)務(wù)，而不一定是實(shí)時(shí)性要求業(yè)潮汐特征，以及網(wǎng)絡(luò)多路徑能力提升網(wǎng)絡(luò)總吞吐，實(shí)現(xiàn)有效帶寬最大化。傳輸效率最大化：TCP/UDP數(shù)據(jù)量，全面提升端到端傳輸效率。時(shí)延乘積）TCPsocketbuffer41000km30socketGbp，無法充分發(fā)揮網(wǎng)絡(luò)帶寬潛力。圖4中國聯(lián)通現(xiàn)網(wǎng)長距大數(shù)據(jù)遷移（1000km）帶寬利用率測試網(wǎng)絡(luò)丟包最小化：以大數(shù)據(jù)傳輸為承載目標(biāo)的高通量數(shù)據(jù)網(wǎng)絡(luò)對(duì)時(shí)延的要求并不苛刻，但由于TCP絡(luò)側(cè)傳輸路徑調(diào)優(yōu)、負(fù)載均衡等技術(shù)實(shí)現(xiàn)最小化網(wǎng)絡(luò)丟包。現(xiàn)網(wǎng)影響最小化：運(yùn)營商網(wǎng)絡(luò)中承載的業(yè)務(wù)除了超算、智算、東數(shù)西算產(chǎn)生影響。541%～79%，14～27業(yè)務(wù)的影響，需要從技術(shù)、網(wǎng)絡(luò)配置等多維度綜合考慮。業(yè)務(wù)的影響，需要從技術(shù)、網(wǎng)絡(luò)配置等多維度綜合考慮。5中國聯(lián)通現(xiàn)網(wǎng)大數(shù)據(jù)遷移對(duì)背景流影響測試高通量數(shù)據(jù)網(wǎng)架構(gòu)6基礎(chǔ)設(shè)施層

圖6高通量數(shù)據(jù)網(wǎng)架構(gòu)彈性敏捷的運(yùn)力網(wǎng)絡(luò)，支撐算力/存力的靈活調(diào)度，針對(duì)不同用戶對(duì)算力、存力的需求，提供并匹配最佳的資源和服務(wù)。通常情況下，高通量數(shù)據(jù)網(wǎng)中的數(shù)據(jù)業(yè)務(wù)流量走向有三種主要形式：端-云數(shù)據(jù)業(yè)務(wù)：由云數(shù)據(jù)中心負(fù)責(zé)提供存力/（數(shù)據(jù)導(dǎo)出等）；企業(yè)或合作伙伴側(cè)發(fā)起P2P的數(shù)據(jù)遷移（如：數(shù)據(jù)拷貝、數(shù)據(jù)共享等）；（災(zāi)備服務(wù)等）。圖7高通量數(shù)據(jù)網(wǎng)業(yè)務(wù)流壓縮算法執(zhí)行等均在應(yīng)用終端側(cè)實(shí)現(xiàn)。承載網(wǎng)運(yùn)力資源和服務(wù)。CPE、PECPE是大數(shù)據(jù)遷移業(yè)務(wù)的用戶入PE設(shè)備對(duì)接云算力/資源，配合協(xié)同控制器的調(diào)度，快速實(shí)現(xiàn)業(yè)務(wù)開通及后續(xù)調(diào)整。務(wù)。-WW/算力服務(wù)的有效協(xié)同，存力/NaaS服務(wù)實(shí)現(xiàn)最優(yōu)運(yùn)力匹配，運(yùn)力服務(wù)通過云網(wǎng)信息資源庫數(shù)據(jù)的要素價(jià)值。高通量協(xié)議層敏捷的高吞吐運(yùn)力網(wǎng)絡(luò)，針對(duì)不同用戶需求匹配并提供最佳的資源和服務(wù)。構(gòu)建高通量數(shù)據(jù)遷移服務(wù)，需要網(wǎng)絡(luò)層具備以下能力：（一等，實(shí)現(xiàn)網(wǎng)絡(luò)帶寬資源充分利用；（二擁塞控制等，實(shí)現(xiàn)網(wǎng)絡(luò)高吞吐。（三）構(gòu)建基于任務(wù)的智能管控調(diào)度能力，包括基于不同用戶對(duì)傳輸時(shí)間、傳輸成本的綜合考量，實(shí)現(xiàn)任務(wù)按需拆分、任務(wù)與資源自適應(yīng)匹配、任務(wù)分發(fā)。以確保數(shù)據(jù)的可靠和高效傳輸。高通量數(shù)據(jù)傳輸控制協(xié)議需要具備以下能力：（一化；（二）通過智能管控和跨層協(xié)同機(jī)制，實(shí)現(xiàn)網(wǎng)絡(luò)擁塞狀態(tài)實(shí)時(shí)感知。降低信息熵，借助應(yīng)用層網(wǎng)關(guān)技術(shù)，保證數(shù)據(jù)歸一化和數(shù)據(jù)兼容性。高通量管控層Oerayeray流量均衡、彈性帶寬供給，為用戶提供高效、優(yōu)質(zhì)的高通量數(shù)據(jù)傳輸服務(wù)。斷點(diǎn)續(xù)傳等傳輸功能以及文件校驗(yàn)、加密傳輸?shù)劝踩δ?。?jù)傳輸。力、可視化管理及應(yīng)用服務(wù)。服務(wù)運(yùn)營層服務(wù)運(yùn)營層提供面向最終用戶的服務(wù)訂閱和自助操作能力。AI查看數(shù)據(jù)傳輸進(jìn)度。SLA高通量數(shù)據(jù)網(wǎng)關(guān)鍵技術(shù)廣域流量調(diào)度技術(shù)SRv66ateIP6SDN路徑確定性編排、高通量數(shù)據(jù)傳輸?shù)男枨?。SRv6MPLS技術(shù)，其涉及的網(wǎng)絡(luò)協(xié)議繁多，尤其是在跨域網(wǎng)絡(luò)SRv6SDNPESRv6VPNSRv6利用率。6egent組合、eget字段、V組合實(shí)現(xiàn)3程度釋放網(wǎng)絡(luò)的價(jià)值。圖8SRv6三層編程空間SRv6分利用網(wǎng)絡(luò)閑置資源，理論上可成倍提升數(shù)據(jù)傳輸通量。SRv6的分段路由和源路由特質(zhì)，使其天然具備流量工程能力。利用SRv6PyLt化利用。進(jìn)行路徑規(guī)劃時(shí)，網(wǎng)絡(luò)控制器可基于業(yè)務(wù)SLA徑的并行傳輸可以提升流量傳輸速率，降低任務(wù)完成時(shí)間。圖9基于R6lcy多st的端到端帶寬聚合基于任務(wù)的靈活引流依托當(dāng)前立體泛在的算力基礎(chǔ)設(shè)施提供高通量數(shù)據(jù)遷移服務(wù)，需要網(wǎng)絡(luò)根據(jù)不同任務(wù)的優(yōu)先級(jí)，提供差異化彈性服務(wù)。IPAPN6SLAAPN的差異化任務(wù)拆分。動(dòng)態(tài)網(wǎng)絡(luò)負(fù)載均衡統(tǒng)的基于五元組的哈希算法，容易出現(xiàn)路徑負(fù)載不均問題。實(shí)現(xiàn)全網(wǎng)各路徑帶寬資源的充分利用，提供精準(zhǔn)負(fù)載調(diào)節(jié)能力。Sub-RTT圖10廣域傳輸擁塞感知與控制RTT變化等信息，使網(wǎng)絡(luò)設(shè)備對(duì)擁塞ACK公平快速收斂。智能管控技術(shù)圖11本地承載網(wǎng)絡(luò)潮汐流量特征統(tǒng)計(jì)用率的可行途徑。5異常事件及可用資源情況，用以支撐網(wǎng)絡(luò)資源調(diào)度。網(wǎng)絡(luò)狀態(tài)智能預(yù)測分析傳輸?shù)姆€(wěn)定性。端到端智能編排智能管控系統(tǒng)支持基于用戶需求和算力全局信息的最優(yōu)路徑推薦和最優(yōu)套高通量數(shù)據(jù)傳輸，滿足業(yè)務(wù)多樣化體驗(yàn)要求。以用戶接入位置和云池位置為輸入，結(jié)合不同的時(shí)效性SLA以用戶位置為輸入，結(jié)合用戶對(duì)成本、時(shí)效性的要求，運(yùn)力資源套餐推薦。傳輸協(xié)議優(yōu)化技術(shù)基于TCP可靠的網(wǎng)絡(luò)傳輸協(xié)議需要確保數(shù)據(jù)在傳輸過程中不丟失、不損壞、不重復(fù)，并按正確的順序到達(dá)目的地，TCP是當(dāng)前廣泛使用和成熟的可靠傳輸協(xié)議，雖然當(dāng)前主流操作系統(tǒng)的內(nèi)核內(nèi)置TCP協(xié)議棧，并且客戶端對(duì)外可靠通信也依賴TCP，但是TCP的一些缺陷也限制其在大數(shù)據(jù)傳輸場景下的使用效果。廣域數(shù)據(jù)傳輸時(shí)，為了應(yīng)對(duì)網(wǎng)絡(luò)擁塞，TCP協(xié)議使用擁塞控制算法對(duì)發(fā)送絡(luò)傳輸吞吐的主要挑戰(zhàn)如下：TCPTCP擁塞控制回路長，擁塞感知不及時(shí)。端側(cè)僅通過ACK攜帶的信息進(jìn)行擁塞判斷，產(chǎn)生動(dòng)作距離發(fā)生擁塞時(shí)至少延遲一個(gè)RTTRTTACK過量調(diào)節(jié)導(dǎo)致欠吞吐。自身速率，統(tǒng)一速率調(diào)整，可能導(dǎo)致不公平、收斂慢。TCPBBRTCPTCP協(xié)議棧修改困難問題，通過分段式傳輸來提升數(shù)據(jù)穿越廣域網(wǎng)的傳輸效率。TCP外，UDP等其他傳輸協(xié)議也可用于文件傳輸服務(wù)。UDP作為無狀TCP重傳機(jī)制、擁塞控制等特性，因此存在不可靠、不穩(wěn)定等問題。UDPRBUDPTCP發(fā)送DONE信號(hào)表明數(shù)據(jù)包傳送完畢，來實(shí)現(xiàn)對(duì)所有數(shù)據(jù)的接收；naiegaeAK，同時(shí)通過基于丟包率的擁塞控制機(jī)制，保證網(wǎng)絡(luò)傳輸性能；UDT協(xié)議，設(shè)計(jì)和實(shí)現(xiàn)了功能和效率滿足需求的傳輸協(xié)議，同時(shí)具備可應(yīng)用于Ieret此外，以iQUIC/gQUIC/hQUIC等為典型代表的新型傳輸協(xié)議，在文件傳輸場景具備以下獨(dú)特優(yōu)勢：而提供低延遲和高性能的傳輸；升鏈路利用率，避免流間干擾，從而提高傳輸效率和性能；的需求。圖12客戶端和云端傳輸優(yōu)化設(shè)備部署使用xUIC通信QICAPPQIC數(shù)據(jù)智能壓縮技術(shù)成本的目標(biāo)。數(shù)據(jù)壓縮的原理是通過消除或減少數(shù)據(jù)中的冗余信息來減小數(shù)據(jù)的表示大壓縮算法有：LZ77LZW實(shí)現(xiàn)數(shù)據(jù)壓縮；ea用比較少的比特進(jìn)行編碼，達(dá)到壓縮數(shù)據(jù)的目的；這些壓縮機(jī)制可以組合使用，例如字典壓縮+霍夫曼編碼，或者預(yù)測編碼+霍情況進(jìn)行優(yōu)化，提升整體數(shù)據(jù)傳輸?shù)男?。為了?shí)現(xiàn)數(shù)據(jù)傳輸安全，數(shù)據(jù)傳輸網(wǎng)絡(luò)應(yīng)具備的關(guān)鍵能力如下：傳輸?shù)葮I(yè)務(wù)混跑。FeE可信安全。但此類隔離能力成本較高，用戶可按需選擇。為整個(gè)安全體系建設(shè)的重要一環(huán)。DDoSIPCHA-HA26eyanDDoS攻擊的防護(hù)能力。高通量數(shù)據(jù)網(wǎng)應(yīng)用場景東數(shù)西算業(yè)務(wù)數(shù)據(jù)的長距離傳輸。在東數(shù)西存場景下，將東部的數(shù)據(jù)按照不同的等級(jí)存儲(chǔ)于西部的數(shù)據(jù)中心。。對(duì)冷數(shù)據(jù)來說，計(jì)算不是常態(tài)，主要側(cè)重于存儲(chǔ)。海量的為例，一部90分鐘的電影，數(shù)據(jù)資產(chǎn)總量可達(dá)250TB，以前渲染周期長達(dá)六產(chǎn)支撐。超智算海量數(shù)據(jù)傳輸超算中心面向千行百業(yè)提供高性能計(jì)算服務(wù)和智能信息處理服務(wù)。超算中心在天氣預(yù)報(bào)、生命科學(xué)研究、地球科學(xué)、運(yùn)算化學(xué)、分子模型、天體物理模擬、域的最佳落地實(shí)踐。HPC100M10TB128科技項(xiàng)目數(shù)據(jù)匯交關(guān)要求，科技計(jì)劃產(chǎn)生的科學(xué)數(shù)據(jù)必須向科學(xué)數(shù)據(jù)中心匯交[10][11]。以氣象及地過數(shù)字對(duì)象標(biāo)識(shí)管理，實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的長期保存。大科學(xué)與大數(shù)據(jù)相伴，科學(xué)數(shù)據(jù)量體量龐大。以平方公里陣列射電望遠(yuǎn)鏡qareKereArraKA)B/s0～0PB2]KA5.4.企業(yè)數(shù)據(jù)上云備份與災(zāi)備在初次進(jìn)行關(guān)鍵數(shù)據(jù)上云災(zāi)備時(shí)，通過高通量數(shù)據(jù)遷移服務(wù)，可以幫助企業(yè)在節(jié)省遷移成本的同時(shí)，快速有效地完成海量數(shù)據(jù)的備份歸檔。重要數(shù)據(jù)，保障業(yè)務(wù)連續(xù)性和數(shù)據(jù)安全性。（混合云《202213云到云（公有云）egnITIT有云上部署容災(zāi)系統(tǒng)的場景。企業(yè)按照規(guī)模大小，需要備份/TB～PB,在初次進(jìn)行關(guān)鍵數(shù)據(jù)上云備份/災(zāi)備時(shí)，如何快速有效地（天級(jí)）完成海量數(shù)據(jù)的備份歸檔是運(yùn)力需要考慮的重要問題。總結(jié)與展望20224E1%4%需要先進(jìn)的運(yùn)力服務(wù)打通用戶與算力/是支撐存力、算力發(fā)展的關(guān)鍵因素，數(shù)據(jù)"存得好"、算力"算得快"、網(wǎng)絡(luò)"傳得穩(wěn)"，數(shù)字基礎(chǔ)設(shè)施才能充分發(fā)揮大數(shù)據(jù)的要素價(jià)值。經(jīng)濟(jì)發(fā)展?？s略語列表縮略語英文名稱中文釋義ACKAeearcer確認(rèn)字符AIArfalInegece人工智能APN6Apctn-aareI6trg基于Iv6APPAppcn應(yīng)用程序BBRteekahand-rpTme瓶頸帶寬和往返時(shí)間BDPanw-eayrct帶寬時(shí)延乘積CPEserree)qpmt客戶駐地設(shè)備GWtaer-aeay數(shù)據(jù)中心網(wǎng)關(guān)DDoStrbtdealfSrce分布式阻斷服務(wù)FeEFexteret靈活以太網(wǎng)GDPrsetcPt國內(nèi)生產(chǎn)總值HPCHghPrfneg高性能計(jì)算ITIfratnadmctnTogy信息通信技術(shù)IPIteretrtl網(wǎng)際互連協(xié)議Iv6ItretPtclern6互聯(lián)網(wǎng)協(xié)議第6版ITItentTcgy互聯(lián)網(wǎng)技術(shù)MPLS-rtlLaelSg多協(xié)議標(biāo)簽交換NaaSewr--a-eve網(wǎng)絡(luò)即服務(wù)P2PPeertoPeer點(diǎn)對(duì)點(diǎn)PErerEge供應(yīng)商的邊緣設(shè)備ICQckPIteretensUDPRTT-rpTe往返時(shí)延SDNfweeedewrk軟件定義網(wǎng)絡(luò)SKASqaremtrerray平方公里陣列射電望遠(yuǎn)鏡SLAevceLvlAgreet服務(wù)等級(jí)協(xié)議SRv6egetRtngI6基于I6TCPrassntrlrl傳輸控制協(xié)議TLVT,Lg,e類型、長度、值UDPeraagrmrl用戶數(shù)據(jù)報(bào)協(xié)議UDT-baedtaTanferrtl基于UDPvGWrlaeay虛擬網(wǎng)關(guān)VPNVrtalraetrk虛擬專用網(wǎng)絡(luò)F6essFy6第六代無線保真技術(shù)XRtnedeaty擴(kuò)展現(xiàn)實(shí)參考文獻(xiàn)“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃.ps//wwgn/ege/net/2-1//ne_671m.2.25aaAge2.IC.1