算網(wǎng)融合下的多云部署和數(shù)據(jù)存儲(chǔ)發(fā)展趨勢(shì)分析

算網(wǎng)融合下的多云部署和數(shù)據(jù)存儲(chǔ)發(fā)展趨勢(shì)分析翟爽

王旭東

張震（華為技術(shù)有限公司，深圳518129）摘要：算網(wǎng)融合因其能夠提供高效算力、先進(jìn)存力、高速運(yùn)力而成為加速產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型的重要抓手。在算網(wǎng)融合的演進(jìn)中也伴隨著多云協(xié)同、云網(wǎng)協(xié)同、云數(shù)協(xié)同、存算協(xié)同等挑戰(zhàn)。當(dāng)前各行各業(yè)的上云需求猛增，但是大部分選擇了混合多云的部署方式，而數(shù)據(jù)存儲(chǔ)作為承載業(yè)務(wù)的數(shù)據(jù)載體，如何協(xié)同數(shù)據(jù)存儲(chǔ)與多云的高效發(fā)展，推動(dòng)算網(wǎng)融合落地已經(jīng)變得越發(fā)重要。洞察了在多云發(fā)展過程中數(shù)據(jù)存儲(chǔ)的發(fā)展趨勢(shì)，以及在多云環(huán)境下數(shù)據(jù)管理、數(shù)據(jù)流動(dòng)中面臨的挑戰(zhàn)，同時(shí)提出數(shù)據(jù)存儲(chǔ)與云原生協(xié)同發(fā)展的建議，幫助企業(yè)在多云架構(gòu)下選擇適合的存儲(chǔ)類型。關(guān)鍵詞：多云；算網(wǎng)融合；數(shù)據(jù)存儲(chǔ)；云原生；全閃存儲(chǔ)0

引言自2006年云計(jì)算首次商用以來，隨著全球數(shù)字化轉(zhuǎn)型進(jìn)程加速，云計(jì)算正逐漸成為經(jīng)濟(jì)發(fā)展的首選數(shù)字化業(yè)務(wù)平臺(tái)?！丁笆奈濉睌?shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》明確指出“推進(jìn)云網(wǎng)協(xié)同和算網(wǎng)融合發(fā)展”，《“十四五”國家信息化規(guī)劃》明確要求構(gòu)建新型算力基礎(chǔ)設(shè)施。據(jù)Gartner機(jī)構(gòu)測(cè)算，2015—2021年全球云計(jì)算市場滲透率由4.3%上升到15.3%[1]，2021年全球公有云市場規(guī)模達(dá)到了3307億美元，增速達(dá)到32.5%，用戶已經(jīng)遍及互聯(lián)網(wǎng)、政務(wù)、金融、教育、制造等各個(gè)行業(yè)。我國已經(jīng)成為全球重要的云計(jì)算市場，2021年我國云計(jì)算市場規(guī)模達(dá)3229億元，同比增長54.4%，公有云市場2181億元，同比增長70.8%，私有云市場1048億元，同比增長28.7%[2]。其中，互聯(lián)網(wǎng)是云計(jì)算的主流應(yīng)用行業(yè)，而在政策的驅(qū)動(dòng)下，我國政務(wù)云規(guī)模持續(xù)高速增長。金融、交通、制造等行業(yè)的云計(jì)算應(yīng)用水平也在快速提高，成為最具潛力的領(lǐng)域。雖然云計(jì)算發(fā)展迅速，但是也正在變得越來越復(fù)雜。之前很多企業(yè)上云的愿景是將應(yīng)用負(fù)載放在單個(gè)云上，但隨著業(yè)務(wù)的需求和技術(shù)的發(fā)展，混合多云架構(gòu)因?yàn)槟軌驗(yàn)槠髽I(yè)提供更多選擇正變得更具吸引力。上云已經(jīng)由單一云架構(gòu)轉(zhuǎn)變?yōu)榛旌隙嘣频慕ㄔO(shè)方式。在多云架構(gòu)部署的模式下，如何實(shí)現(xiàn)數(shù)據(jù)的安全管理、高效流通、敏捷變更已經(jīng)成為企業(yè)管理者在選擇多云架構(gòu)時(shí)重點(diǎn)思考的問題。1

混合多云與存儲(chǔ)技術(shù)發(fā)展趨勢(shì)1.1

多元化的企業(yè)需求推動(dòng)多云市場的爆發(fā)式增長當(dāng)企業(yè)決定采用云計(jì)算作為基礎(chǔ)架構(gòu)時(shí)，需要考慮時(shí)間、成本、業(yè)務(wù)創(chuàng)新、風(fēng)險(xiǎn)管控、法律遵從、關(guān)鍵信息資產(chǎn)保護(hù)等多種因素。尤其對(duì)于業(yè)務(wù)全球化、多元化的大中型企業(yè)，單一的云商很難滿足分布地域廣、高耦合度、系統(tǒng)復(fù)雜的業(yè)務(wù)需求，因此多云架構(gòu)變成了一種新常態(tài)。多云的優(yōu)勢(shì)是讓企業(yè)選擇最適合其每個(gè)應(yīng)用負(fù)載的云服務(wù)，既可以選擇多種云平臺(tái)，也可以選擇不同的云形態(tài)，既不會(huì)被單一云資源鎖定，也能夠滿足在距離數(shù)據(jù)中心更近的位置上云。根據(jù)Flexera統(tǒng)計(jì)，如圖1所示，89%的企業(yè)選擇了多云的部署模式，其中80%選擇了混合云，7%選擇了混合公有云，2%選擇了混合私有云[3]。由此可見，混合多云的部署模式是絕大部分企業(yè)上云的選擇。圖1

企業(yè)多云部署趨勢(shì)

1.2

數(shù)據(jù)中心存儲(chǔ)技術(shù)的發(fā)展趨勢(shì)隨著人工智能、大數(shù)據(jù)、5G、物聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)規(guī)模呈現(xiàn)爆發(fā)式增長，數(shù)據(jù)已經(jīng)成為關(guān)鍵的生產(chǎn)要素。存儲(chǔ)作為數(shù)據(jù)的直接載體和數(shù)據(jù)中心的重要組成部分，守護(hù)著數(shù)字經(jīng)濟(jì)發(fā)展的生命線。中國算力大會(huì)發(fā)布了《中國存力白皮書（2022年）》，明確了數(shù)據(jù)中心存力規(guī)模為800EB，并闡述了數(shù)據(jù)存力的概念，指出數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展和數(shù)據(jù)存力的水平是衡量數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展的關(guān)鍵因素，是激活數(shù)據(jù)要素價(jià)值、提高數(shù)據(jù)匯聚能力的根本[4]。

Gartner發(fā)布的《2022年存儲(chǔ)與數(shù)據(jù)保護(hù)技術(shù)成熟度曲線報(bào)告》顯示，存儲(chǔ)發(fā)展趨勢(shì)主要包含以下重點(diǎn)方向：2021—2025年，部署支持主存儲(chǔ)工作負(fù)載的外部閃存存儲(chǔ)中采用NVMe-oF技術(shù)的比例由5%增長到30%；2022—2025年，推出至少一種混合云架構(gòu)部署模式的存儲(chǔ)廠商由15%增長到60%；2022—2025年，部署在邊緣的企業(yè)存儲(chǔ)比例由15%增長到40%；2026年，在數(shù)據(jù)中心、公有云和邊緣部署的非結(jié)構(gòu)化數(shù)據(jù)容量預(yù)計(jì)將是2022年的3倍[5]。在云計(jì)算存儲(chǔ)領(lǐng)域，容器存儲(chǔ)部署和數(shù)據(jù)處理單元專有硬件集成的存儲(chǔ)也成為兩大發(fā)展趨勢(shì)。

2

混合多云下數(shù)據(jù)基礎(chǔ)設(shè)施層建設(shè)面臨的挑戰(zhàn)

2.1

數(shù)據(jù)爆發(fā)式增長帶來的數(shù)據(jù)管理難題根據(jù)IDC報(bào)告，2022—2026年，企業(yè)生成的數(shù)據(jù)將從59ZB增長到155ZB，全球數(shù)據(jù)領(lǐng)域的規(guī)模預(yù)計(jì)將增加一倍以上。企業(yè)數(shù)據(jù)增長速度將是消費(fèi)者數(shù)據(jù)的兩倍[6]。ESG的多云成熟度調(diào)查也顯示，企業(yè)管理的非結(jié)構(gòu)化數(shù)據(jù)的三年復(fù)合年增長率為39.4%[7]。這將給企業(yè)的管理和數(shù)據(jù)保護(hù)帶來更大的挑戰(zhàn)，尤其是在多云的部署模式下。多云環(huán)境除了使用公有云、私有云、專有云等不同形態(tài)的云服務(wù)，還體現(xiàn)在使用不同云計(jì)算供應(yīng)商的資源服務(wù)，在多云環(huán)境下最大的難題是如何將割裂的數(shù)據(jù)和資源進(jìn)行統(tǒng)一管理，并應(yīng)對(duì)數(shù)據(jù)利用率低、運(yùn)維復(fù)雜、運(yùn)營成本高等挑戰(zhàn)。

希捷報(bào)告指出，2020年企業(yè)只有32%的可用數(shù)據(jù)被使用[8]。由于多云之間的架構(gòu)不同導(dǎo)致數(shù)據(jù)之間的訪問存在壁壘，要實(shí)現(xiàn)多云的數(shù)據(jù)存儲(chǔ)擴(kuò)展、數(shù)據(jù)的輕松流通和利用很困難，容易產(chǎn)生新的“數(shù)據(jù)孤島”。

在不同云之間保留數(shù)據(jù)會(huì)限制業(yè)務(wù)負(fù)載的可移動(dòng)性并增加合規(guī)風(fēng)險(xiǎn)。特別是目前云計(jì)算的存儲(chǔ)成本是不穩(wěn)定的，伴隨著數(shù)據(jù)的指數(shù)增長、成本的增加，隱藏的費(fèi)用支出大大提高了總擁有成本（TotalCostofOwnership，TCO），并且額外的高額費(fèi)用會(huì)讓數(shù)據(jù)被鎖定在某個(gè)云上。比如73%的受訪者表示，數(shù)據(jù)留存成本限制了他們企業(yè)最大化數(shù)據(jù)價(jià)值的能力。還有60%的受訪企業(yè)表示，由于存儲(chǔ)成本過高，刪除了他們認(rèn)為有價(jià)值的業(yè)務(wù)數(shù)據(jù)[7]?？梢钥吹剑絹碓蕉嗟钠髽I(yè)感受到了多云數(shù)據(jù)成本相關(guān)的挑戰(zhàn)。

2.2

多云讓不同數(shù)據(jù)資源形成了孤島由于多云建設(shè)采用了不同的技術(shù)堆棧、不同的數(shù)據(jù)平臺(tái)來實(shí)現(xiàn)數(shù)據(jù)整合和管理，所以企業(yè)很難遷移不同格式且駐留在不同存儲(chǔ)技術(shù)中的數(shù)據(jù)。雖然企業(yè)整合了公有云、私有云、傳統(tǒng)企業(yè)數(shù)據(jù)中心和邊緣數(shù)據(jù)中心等多種基礎(chǔ)資源來支撐各種云化應(yīng)用，但不同技術(shù)體系的數(shù)據(jù)中心仍是“數(shù)據(jù)孤島”，相互之間的數(shù)據(jù)共享與流動(dòng)十分困難且成本相當(dāng)高。可遷移性解決方案獲取和維護(hù)成本很高，并且缺乏可遷移性可能導(dǎo)致多云戰(zhàn)略的風(fēng)險(xiǎn)。由于“數(shù)據(jù)孤島”的長期存在，數(shù)據(jù)的遷移和流轉(zhuǎn)要面對(duì)更多的安全風(fēng)險(xiǎn)，如何使不同云上的數(shù)據(jù)實(shí)現(xiàn)合規(guī)管理也面臨著巨大的挑戰(zhàn)。

2.3

多云之間的數(shù)據(jù)資源流動(dòng)難在企業(yè)多云的場景下，數(shù)據(jù)資源往往需要被不同的應(yīng)用平臺(tái)處理，這就要求數(shù)據(jù)能在不同云平臺(tái)之間雙向自由流動(dòng)，但是每一個(gè)云商采用的存儲(chǔ)層硬件資源是不同的，這就形成了硬件資源被云商鎖定的局面，當(dāng)企業(yè)在建設(shè)多個(gè)云平臺(tái)時(shí)就會(huì)被迫采用不同的存儲(chǔ)硬件資源。而云商的存儲(chǔ)硬件資源之間的協(xié)議不互通、生態(tài)不適配、數(shù)據(jù)不一致、數(shù)據(jù)不可用等限制帶來了數(shù)據(jù)流動(dòng)的風(fēng)險(xiǎn)和瓶頸，從而造成完成數(shù)據(jù)遷移和數(shù)據(jù)可用的時(shí)間達(dá)到數(shù)周或者數(shù)月。在多云之間、邊緣和云之間的數(shù)據(jù)流動(dòng)需要占用大量的網(wǎng)絡(luò)帶寬和穩(wěn)定的低時(shí)延，因此，不穩(wěn)定的網(wǎng)絡(luò)傳輸效率也會(huì)帶來數(shù)據(jù)流動(dòng)的瓶頸。從全球的云計(jì)算和存儲(chǔ)產(chǎn)業(yè)發(fā)展來看，云和存儲(chǔ)之間建立了開放合作的生態(tài)和標(biāo)準(zhǔn)，其更具備前瞻性和協(xié)同性。在商務(wù)層面，云平臺(tái)與數(shù)據(jù)存儲(chǔ)設(shè)備分開采購；在技術(shù)層面，云平臺(tái)和數(shù)據(jù)存儲(chǔ)設(shè)備兼容互通。統(tǒng)一的數(shù)據(jù)存儲(chǔ)資源池能夠支撐多云間的數(shù)據(jù)實(shí)時(shí)共享和流動(dòng)，保障數(shù)據(jù)的完整一致性。

3

促進(jìn)多云和數(shù)據(jù)存儲(chǔ)協(xié)同高質(zhì)量發(fā)展的相關(guān)建議

3.1

部署多元數(shù)據(jù)存儲(chǔ)形態(tài)，分層解耦建設(shè)多云基礎(chǔ)設(shè)施數(shù)據(jù)存儲(chǔ)一直是高價(jià)值數(shù)據(jù)的最佳底座，并伴隨著數(shù)據(jù)應(yīng)用的演進(jìn)而發(fā)展。早期的數(shù)據(jù)應(yīng)用主要是數(shù)據(jù)庫系統(tǒng)以及大型主機(jī)應(yīng)用，此時(shí)的外置存儲(chǔ)以存儲(chǔ)區(qū)域網(wǎng)絡(luò)（StorageAreaNetwork，SAN）存儲(chǔ)為主。隨著互聯(lián)網(wǎng)、云計(jì)算的高速發(fā)展，不同用戶在使用云計(jì)算時(shí)產(chǎn)生的數(shù)據(jù)形式、應(yīng)用場景、訪問方式都存在較大的差異，云計(jì)算需要滿足各類場景下的多元用戶需求，統(tǒng)一存儲(chǔ)應(yīng)運(yùn)而生。在保證性能、可靠性的基礎(chǔ)上，存儲(chǔ)擴(kuò)展能力也得到了極大的提升。在IaaS層數(shù)據(jù)存儲(chǔ)架構(gòu)選擇上有多種方式，包括基于服務(wù)器存儲(chǔ)的分布式架構(gòu)、基于外置存儲(chǔ)的SAN架構(gòu)等，但是無論選擇哪種方式，當(dāng)前的IaaS層絕大部分采用了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)分離的分層解耦組網(wǎng)模式，即使是大型的公有云服務(wù)商也不例外。尤其是在以混合云或者私有云為主的多云部署方式下，數(shù)據(jù)中心的外置存儲(chǔ)設(shè)備作為分層解耦的架構(gòu)更具備優(yōu)勢(shì)。其帶來的數(shù)據(jù)管理、數(shù)據(jù)流動(dòng)、成本控制更加符合多云發(fā)展的現(xiàn)狀。多云架構(gòu)下應(yīng)當(dāng)選擇多元化的存儲(chǔ)類型，并采用分層解耦的建設(shè)方式。

3.2

數(shù)據(jù)集中共享，存儲(chǔ)云原生能力加速賦能企業(yè)多云數(shù)字化轉(zhuǎn)型企業(yè)業(yè)務(wù)創(chuàng)新持續(xù)加速，需要進(jìn)一步縮短應(yīng)用上市的周期，擁抱容器技術(shù)成為了當(dāng)今絕大部分企業(yè)的選擇。應(yīng)用云上開發(fā)、云下部署既能利用公有云的敏捷彈性降低開發(fā)測(cè)試成本，又能利用私有云保證數(shù)據(jù)安全和主權(quán)。由于云上云下的開發(fā)和應(yīng)用架構(gòu)不一致以及業(yè)務(wù)割裂，無法保證應(yīng)用的一致性交付、一致性運(yùn)維，云上PaaS/SaaS服務(wù)下推到云下企業(yè)數(shù)據(jù)中心需要對(duì)企業(yè)信息技術(shù)（InformationTechnology，IT）架構(gòu)進(jìn)行容器化改造。有狀態(tài)應(yīng)用在進(jìn)行云化改造時(shí)，云原生應(yīng)用場景對(duì)服務(wù)的敏捷度、靈活性要求非常高,很多場景期望容器的快速啟動(dòng)、靈活的調(diào)度。云原生時(shí)代的存儲(chǔ)系統(tǒng)，除了要滿足性能、穩(wěn)定性、可靠性的要求以外，還要滿足業(yè)務(wù)系統(tǒng)對(duì)敏捷性的要求，能夠通過統(tǒng)一的編排系統(tǒng)配合業(yè)務(wù)上線，并且可以實(shí)現(xiàn)快速擴(kuò)容。首先，存儲(chǔ)支持標(biāo)準(zhǔn)接口規(guī)范，實(shí)現(xiàn)與容器的對(duì)接，采用專業(yè)存儲(chǔ)代替服務(wù)器本地盤，具有高可靠性，計(jì)算和存儲(chǔ)靈活更換、擴(kuò)展。在這一基礎(chǔ)上，網(wǎng)絡(luò)附屬存儲(chǔ)（NetworkAttachedStorage，NAS）是最適合作為容器底座的存儲(chǔ)，一方面，業(yè)務(wù)系統(tǒng)可以非常方便地掛載和卸載到NAS文件系統(tǒng)上，契合容器彈性伸縮的訴求；另一方面，NAS擁有豐富的企業(yè)級(jí)特性，如多租戶、配額等，與容器面向應(yīng)用級(jí)的多租戶、服務(wù)質(zhì)量（QualityofService，QoS）等訴求可以配合使用。此外，NAS還可以將文件系統(tǒng)開銷卸載到存儲(chǔ)上，在大并發(fā)應(yīng)用下，性能不受主機(jī)操作系統(tǒng)開銷影響。在容器標(biāo)準(zhǔn)接口和災(zāi)備插件的配合下，數(shù)據(jù)存儲(chǔ)可以為容器提供應(yīng)用級(jí)的跨云、跨數(shù)據(jù)中心容災(zāi)，使云原生關(guān)鍵應(yīng)用擁有和傳統(tǒng)應(yīng)用一樣的容災(zāi)能力，避免單節(jié)點(diǎn)故障、單數(shù)據(jù)中心故障和集群故障，達(dá)到數(shù)據(jù)零丟失的可用容災(zāi)級(jí)別。這種高可用機(jī)制只需通過存儲(chǔ)底層實(shí)現(xiàn)，應(yīng)用無需為考慮高可用進(jìn)行任何改造，使企業(yè)只關(guān)注應(yīng)用本身，加速企業(yè)IT向多云架構(gòu)邁進(jìn)。

3.3

積極擁抱多云架構(gòu)，打造多云時(shí)代安全可靠的存儲(chǔ)底座數(shù)據(jù)存儲(chǔ)是多云架構(gòu)優(yōu)劣的關(guān)鍵，應(yīng)當(dāng)積極發(fā)揮數(shù)據(jù)存儲(chǔ)和云技術(shù)的能力，構(gòu)建數(shù)據(jù)分級(jí)存儲(chǔ)、全局文件系統(tǒng)、存儲(chǔ)容器化和Diskless數(shù)據(jù)中心架構(gòu)的能力。探索本地與云上冷熱數(shù)據(jù)分層管理、數(shù)據(jù)容災(zāi)備份等技術(shù)路線，打造具備高可靠、高性能、多協(xié)議、低成本的統(tǒng)一存儲(chǔ)。從產(chǎn)、學(xué)、研、用等多維度推進(jìn)，鼓勵(lì)在多云建設(shè)時(shí)采用數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)升級(jí)，通過制定政策促進(jìn)企業(yè)在上云過程中建設(shè)統(tǒng)一的數(shù)據(jù)存儲(chǔ)資源池，并制定云平臺(tái)和數(shù)據(jù)存儲(chǔ)的互聯(lián)互通標(biāo)準(zhǔn)。加快閃存數(shù)據(jù)存儲(chǔ)的應(yīng)用節(jié)奏，并將其納入企業(yè)數(shù)字化轉(zhuǎn)型工作計(jì)劃。加大新型存儲(chǔ)架構(gòu)的產(chǎn)業(yè)扶持力度和科研資金投入，引導(dǎo)企業(yè)聯(lián)合高校、科研院所將新型存儲(chǔ)架構(gòu)的基礎(chǔ)研究、技術(shù)創(chuàng)