互聯(lián)網(wǎng)邊緣云平臺架構

互聯(lián)網(wǎng)邊緣云平臺架構本文件適用于互聯(lián)網(wǎng)邊緣云或行業(yè)邊緣云平臺的開發(fā)和建設。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構成本文件必不可少的條款引用文件，僅該日期對應的版本適用于本文件不注日期的引用文件，其最新版本(包括所有的修改版本)適用于本文件GB/T32399—2015信息技術云計算參考架構GB/T32400—2015信息技術云計算概覽與詞匯3術語和定義GB/T32399—2015和GB/T32400—2015界定的以及下列術語和定義適用于本文件。云計算cloudcomputing為云服務客戶提供云能力類型中的基礎設施能力類型的一種云服務器類別。為云服務客戶提供云能力類型中的平臺能力類型的一種云服務類別。軟件即服務sofwareasaservice;Sas2為云服務客戶提供云能力類型中的應用能力類型的一種云服務類別。一種在網(wǎng)絡邊緣或靠近用戶接入點側(cè)部署云計算能力的平臺。4互聯(lián)網(wǎng)邊緣云概述4.1互聯(lián)網(wǎng)邊緣云定義互聯(lián)網(wǎng)邊緣云平臺，是一種在網(wǎng)絡邊緣或靠近用戶接入點側(cè)部署云計算能力的平臺。該技術將傳統(tǒng)的集中式云計算能力下沉，讓靠近用戶的網(wǎng)絡邊緣側(cè)提供計算、存儲、網(wǎng)絡、加速、人工智能及大數(shù)據(jù)處理等能力，同時為第三方服務應用提供開放的部署平臺，面向用戶提供種類多樣的第三方服務，最終實現(xiàn)節(jié)省后向帶寬、低時延、大連接的高效服務分發(fā)。傳統(tǒng)的集中式云計算將業(yè)務處理數(shù)據(jù)回傳至云數(shù)據(jù)中心，采用集中式數(shù)據(jù)存儲，并利用超強的計算能力來集中式解決計算和存儲問題。但是隨著萬物互聯(lián)時代的到來，各類業(yè)務如車聯(lián)網(wǎng)、工業(yè)控制、4K/8K、虛擬現(xiàn)實或增強現(xiàn)實技術等所產(chǎn)生的數(shù)據(jù)量呈現(xiàn)爆炸式增長，以及對時延、帶寬和安全等方面的嚴格要求，簡單的集中式云計算平臺都將無法滿足邊緣云是結合云計算、大數(shù)據(jù)、人工智能及物聯(lián)網(wǎng)等技術并支撐各行業(yè)數(shù)字化轉(zhuǎn)型的關鍵基礎設施。未來，邊緣云將提供更加開放的邊緣業(yè)務能力平臺，為應用開發(fā)者提供豐富的平臺服務能力及統(tǒng)一接口，降低開發(fā)門檻和成本，支撐上下游生態(tài)的集成，從而加速邊緣應用的創(chuàng)新、業(yè)務孵化和商用推進。4.2互聯(lián)網(wǎng)邊緣云需求cMBB(EnhancedMobileBroadband):以8K視頻、3D視頻、VR/AR為代表的增強寬帶業(yè)務將對網(wǎng)絡帶寬產(chǎn)生數(shù)百Gbps的超高需求，從而對回傳網(wǎng)絡造成巨大傳輸壓力。單方面投資擴容匯聚與城域網(wǎng)絡將大幅提高單位媒體流傳輸成本，無法實現(xiàn)投資收益URLLC(UItra-ReliableLow-LatencyCommunications):以V2X、工業(yè)互聯(lián)網(wǎng)為典型代表的超可靠低時延業(yè)務需要端到端1ms級超低時延支撐。僅僅依賴無線與固網(wǎng)物理層與傳輸層技術進步，無法滿足苛刻的時延需求。需要根據(jù)垂直行業(yè)特點，引入網(wǎng)絡與行業(yè)應用部署創(chuàng)新。mMTC(MasiveMachineTypeCommunication):以智慧城市、智能樓宇為典型代表的海量連接業(yè)務將產(chǎn)生海量數(shù)據(jù)，導致運營管理的巨大挑戰(zhàn)。各種實踐表明，僅僅由云端集中統(tǒng)一監(jiān)控無法支撐如此復雜的物聯(lián)系統(tǒng)，必須引入本地化的智能控制與管理技術4.2.2其他業(yè)務需求互聯(lián)網(wǎng)業(yè)務；一些中小規(guī)模的公司需要購買邊緣云服務或者邊緣資源，實現(xiàn)自定義的計算和流量加速。業(yè)務場景包括：部署CDN(ContentDeliveryNetwork),直播代理等。5邊緣云的部署架構與位置35.1按區(qū)域和時延分級分布式云架構按照區(qū)域和時延進行分類，可將中心云、區(qū)域云和邊緣云分成以下三級架構，如圖1所示：中心云(大區(qū)級)區(qū)域云(省級)邊爆云(地市級)邊柳云(區(qū)縣級圖1按區(qū)域和時延規(guī)范分布式云架構a)中心云：中心云部署在大區(qū)級位置，即：國內(nèi)特大城市，全國范圍內(nèi)中心云數(shù)量不超過10個，業(yè)務端到端時延80ms以內(nèi)。中心云不部署互聯(lián)網(wǎng)邊緣云業(yè)務網(wǎng)元模塊，主要部署互聯(lián)網(wǎng)邊緣云統(tǒng)一云管平臺和管理編排節(jié)點，包括業(yè)務管理和編排模塊、云管平臺、操作支持系統(tǒng)系統(tǒng)等。中心云將提供集中運維、統(tǒng)一生命周期管理、統(tǒng)一編排、統(tǒng)一配置分發(fā)能力b)區(qū)城云：區(qū)域云部署在省級位置，即：國內(nèi)省會城市和較重要的地級市，保證端到端時延50ms以內(nèi)。某些互聯(lián)網(wǎng)廠商，可能不包含此類省級節(jié)點。區(qū)域云主要用于部署互聯(lián)網(wǎng)邊緣云管理面，并同中心云進行協(xié)同管理，實現(xiàn)對整個區(qū)域內(nèi)互聯(lián)網(wǎng)邊緣云業(yè)務的管理和編排，并完成業(yè)務開通、周期管理和維護。對于部分運營商和互聯(lián)網(wǎng)廠商合作的場景，區(qū)域云還可能部署虛擬化核心網(wǎng)控制面網(wǎng)元，用以實現(xiàn)網(wǎng)絡功能虛擬化和虛擬化功能管理c)邊緣云：邊緣云分為地市級和區(qū)縣級邊緣云。邊緣云地市級部署位置在各省分的地級市，對應網(wǎng)絡架構中的網(wǎng)絡匯聚層，端到端時延為20ms以內(nèi)。邊緣云區(qū)縣級部署位置在各省分的縣級市和縣級以下單位，對應網(wǎng)絡架構中的接入站點或靠近基站側(cè)，端到端時廷10ms以內(nèi)。邊緣云將實際部署業(yè)務模塊和業(yè)務網(wǎng)元，同時邊緣云需要為業(yè)務方提供足夠的各類軟硬件資源。在管理節(jié)點方面，邊緣云由于資源容量限制?？蓛H部署輕量級管理節(jié)點，采用遠程運維和拉遠管理答方式。另外。在邊緣云基礎設施上，互聯(lián)網(wǎng)邊緣云還提供各類能力開放，供各類互聯(lián)網(wǎng)應用進行業(yè)務優(yōu)化和場景賦能。對于運營商和互聯(lián)網(wǎng)廠商合作的邊緣云，該邊緣云可實現(xiàn)虛擬化網(wǎng)元和邊緣云業(yè)務共平臺部署，如本地分流、基站信息開放等：d)設備接入層：該層不屬于分布式云三級架構，但是是接入互聯(lián)網(wǎng)邊緣云的主要組成部分，同時部分接入設備具備一定的計算能力。設備接入層包括以家庭網(wǎng)關、面向工程的智能設備、物聯(lián)網(wǎng)設備、工業(yè)級控制器等組成。設備接入層主要實現(xiàn)設備數(shù)據(jù)采集、少量本地計算的功能5.2按照業(yè)務要求分級分布式云架構5存儲硬件用于邊緣云儲存信息，存儲形式包括：分布式存儲和集中式存儲等。網(wǎng)絡硬件主要用于信令收發(fā)、業(yè)務流量轉(zhuǎn)發(fā)、路由控制等功能。包括：智能網(wǎng)卡、DPDK (DataPlaneDevelopmentKit)、SR-IoV(SingleRootIOVirtualization)等。邊緣云對網(wǎng)絡加速能力的支持也應考慮，包括各類網(wǎng)絡轉(zhuǎn)發(fā)面加速硬件的配置，如現(xiàn)場可編程門陣列、專門應用的集成電路等。8虛擬化資源8.1虛擬機資源池互聯(lián)網(wǎng)邊緣云可構建虛擬機資源池。虛擬機資源池在一臺物理服務器上，運行多臺“虛擬服務器”,虛擬機之間都是獨立的服務器，它們共享邊緣云服務器的計算資源、存儲資源、網(wǎng)絡資源等互聯(lián)網(wǎng)邊緣云可支持Hypervisor型和宿主模型。互聯(lián)網(wǎng)邊緣云可支持容器化部署及構建容器資源池的能力。容器化封裝是云原生應用的三大特征之一。容器化的交付方式，不僅有助于實現(xiàn)應用的快速部署和擴展，還可以實現(xiàn)進程級隔離，保證開發(fā)、交付和運維的一致性。容器化資源池主要是應對在5G網(wǎng)絡業(yè)務需求多樣化的背景下，利用輕量級的容器技術，配合微服務、DevOps等技術概念，能夠提升平臺架構的靈活性和豐富性。實際業(yè)務部署時，需考慮容器化的安全性風險等問題。8.3裸金屬資源池互聯(lián)網(wǎng)邊緣云可支持構建裸金屬資源池，用于規(guī)模較大條件較好的邊緣機房。裸金屬資源池(BareMetal)作為專屬物理服務器，在擁有彈性靈活的基礎上，具有高性能的計算能力。計算性能與傳統(tǒng)物理機無差別，具有安全物理隔離的特點。對于互聯(lián)網(wǎng)邊緣云的某些應用場景，對數(shù)據(jù)安全和監(jiān)管要求非常嚴格，虛擬機無法滿足用戶要求，需要獨占物理機，提供裸金屬服務器較為合適8.4網(wǎng)絡虛擬化網(wǎng)絡虛擬化就是在一個物理網(wǎng)絡上模擬出多個邏輯網(wǎng)絡來?；ヂ?lián)網(wǎng)邊緣云可選的網(wǎng)絡虛擬化方式包括虛擬局域向，即虛擬局域網(wǎng)，虛擬專用網(wǎng)，以及虛擬網(wǎng)絡設備等?？蛇x的支持協(xié)議包括互聯(lián)網(wǎng)安全協(xié)議、第二層轉(zhuǎn)發(fā)協(xié)議、工業(yè)標準的互聯(lián)網(wǎng)隧道協(xié)議、點對點隧道協(xié)議等。存儲虛擬化就是對存儲硬件資源進行抽象化表現(xiàn)。典型的虛擬化包括如下一些情況屏蔽系統(tǒng)的復雜性，增加或集成新的功能，仿真、整合或分解現(xiàn)有的服務功能等。虛擬化是作用在一個或者多個實體上的，而這些實體則是用來提供存儲資源或及服務的?；ヂ?lián)網(wǎng)邊緣云可選的支持存儲虛擬化的方式包括基于主機的虛擬存儲、基于存儲設備的虛擬化和基于網(wǎng)絡的虛擬存儲等方法。68.6GPU(圖形處理器)虛擬化GPU虛擬化是指，可以讓運行在數(shù)據(jù)中心服務器上的虛擬機實例共享使用同一塊或多塊GPU處理器進行圖形運算。邊緣云業(yè)務中，視頻處理、人工智能、渲染等場景，對GPU要求較高，因此對GPU虛擬化的支持是互聯(lián)網(wǎng)邊緣云需要具備的能力互聯(lián)網(wǎng)邊緣云可選的支持GPU虛擬化的方式包括集中GPU虛擬化實現(xiàn)、遠程接口、GPU設備仿真、透傳、全虛擬化、分片虛擬化等方式8.7.1集中拉遠管理拉遠管理的核心在于互聯(lián)網(wǎng)邊緣云不配置管理模塊。通過將虛擬化管理模塊集中部署在區(qū)域云或中心云的方式，僅保證計算節(jié)點與控制節(jié)點之間三層網(wǎng)絡互通即可(以實現(xiàn)快速安裝，管理，物理資源管理等功能)。存儲采用計算存儲超拉遠管理涉及到基礎設施、網(wǎng)元、網(wǎng)絡的分級統(tǒng)一管理。拉遠管理需要考慮網(wǎng)絡抖動或不可靠時的集群自治問題。8.7.2本地輕量化下沉輕量化下沉方案，指互聯(lián)網(wǎng)邊緣云可考慮部署精簡的管理節(jié)點和計算節(jié)點。輕量下沉主要是應對資源受限的場最，同時保證互聯(lián)網(wǎng)業(yè)務快速部署、便捷管理、無人值守維護等目標。輕量化下沉應該是以實現(xiàn)互聯(lián)網(wǎng)廠商邊緣自治為目標，自治之外的冗余組件都可以去掉?？蓞⒖嫉妮p量下沉方式如下：虛擬化節(jié)點提供無狀態(tài)部署能力，當互聯(lián)網(wǎng)邊緣云整體規(guī)模超過一定的服務器規(guī)模的情況，使用獨立的物理管理節(jié)點小于一定的服務器規(guī)模時，使用虛擬管理節(jié)點。所有的輕量下沉方案中，均可采用雙機高可用配置。推薦的本地輕量化下沉實現(xiàn)方式主要包括云管平臺組件裁剪、操作系統(tǒng)組件裁剪、輕量化存儲方案、減少業(yè)務管理進程模塊等。9邊緣云本地管理組件9.1虛擬資源管理VIMVIM,管理虛擬資源的平臺，管理一個域下的虛擬基礎設施，包括計算、存儲、網(wǎng)絡等資源。在整個三層分布式云架構中，每個邊緣云、區(qū)域云和中心云都對應一個虛擬基礎設施，都由一個虛擬資源管理模塊來管理。VIM不僅實現(xiàn)對虛擬機資源的管理，同時也能夠?qū)崿F(xiàn)對容器化資源池和裸金屬資源池的管理9.2物理基礎設施管理服務器、網(wǎng)絡交換機、存儲磁陣等通用硬件的管理，可以通過物理設施管理軟件(PIM)實施。目標是為虛擬化層提供統(tǒng)一、穩(wěn)定、可靠、高效的物理基礎設施。9.3虛擬網(wǎng)絡功能管理VNFM7互聯(lián)網(wǎng)邊緣云在某些場景下，需要同共平臺部署的運營商下沉用戶面網(wǎng)元進行協(xié)同，如：本地分流等，因此，需要在管理面部署VNFM。該管理網(wǎng)元主要負責VNF網(wǎng)元的生命周期管理，包括VNF網(wǎng)元的創(chuàng)建、修改、刪除、彈性擴縮容等對于同運營商合作共建的互聯(lián)網(wǎng)邊緣云邊緣業(yè)務平臺?？赡軙渴疬\營商虛擬化網(wǎng)元VNF。因此，可能會部署網(wǎng)元編排功能，用于對虛擬化網(wǎng)元進行管理和編排。9.5邊緣云運維隨著業(yè)務的發(fā)展，分布式云的規(guī)模不斷擴大，高度自動化的運維是必然選擇互聯(lián)網(wǎng)邊緣云需支持自動化及無人值守運維功能。依靠大數(shù)據(jù)和AI等技術，驅(qū)動運維進一步走向智能，能實現(xiàn)自動化運維和無人值守運維(Zero-touchO&M)。同時，邊緣云運維還要支持邊緣云日志、數(shù)據(jù)監(jiān)控、SLA等功能。互聯(lián)網(wǎng)邊緣云平臺內(nèi)置安全模塊，能夠?qū)崿F(xiàn)平臺安全防護、數(shù)據(jù)安全防護、網(wǎng)絡安全防護、身份認證與管理、租戶隔離、租戶計費等功能。邊緣云管理部分除了管理邊緣云自有資源和接入設備以外，還需要對上(區(qū)域云、中心云)提供接口，用以中心云、區(qū)域云進行邊緣云統(tǒng)一的編排管理。對于同運營商合作共建的互聯(lián)網(wǎng)邊緣云邊緣業(yè)務平臺，電信級網(wǎng)元的運維都在區(qū)域云或中心云，邊緣云不配置電信網(wǎng)元運維功能。10邊緣云能力開放邊緣云需要提供PaaS平臺，為APP提供快速集成能力和生態(tài)兼容環(huán)境。邊緣云平臺不僅提供各種基礎服務能力，通過制定MEC-EnabledAPI規(guī)范，對外提供通用的能力開放框架，服務于第三方應用，并對其進行管理，邊緣云平臺可以安全高效地將基礎網(wǎng)絡服務能力提供給第三方應用消費，還可在第三方應用之間實現(xiàn)服務能力的可靠共享，促進豐富的邊緣應用生態(tài)，以滿足各種邊緣應用場景，10.1平臺基礎能力10.1.1邊緣APP與服務的管理主要包括APP或者服務的注冊、訂閱、發(fā)布、查詢、刪除、注銷等部署于互聯(lián)網(wǎng)邊緣云平臺的APP,可以從互聯(lián)網(wǎng)邊緣云平臺獲取其需要的服務，也可以通過互聯(lián)網(wǎng)邊緣云平臺，對外提供調(diào)用接口，來提供服務供其他用戶使用。為了實現(xiàn)上述目的，互聯(lián)網(wǎng)邊緣云平臺需要支持對APP的管理。對第三方應用提供如下功能：a)服務/應用注冊和發(fā)現(xiàn)：b)服務/應用終止和注銷：810.1.2微服務框架互聯(lián)網(wǎng)邊緣云平臺應提供微服務框架及相關能力。微服務框架是指將大型復雜軟件應用拆分成多個簡單應用，每個簡單應用描述著一個小業(yè)務，系統(tǒng)中的各個簡單應用可被獨立部署。各個微服務之間是松耦合的，可以獨立地對每個服務進行升級、部署、擴展和重新啟動等流程從而實現(xiàn)頻繁更新而不會對最終用戶產(chǎn)生任何影響。相比傳統(tǒng)的單體架構，微服務架構具有降低系統(tǒng)復雜度、獨立部署、獨立擴展、跨語言編程等特點。微服務框架及相關能力有助于實現(xiàn)邊緣云彈性、敏捷、快速部署等特點10.1.3用戶身份識別能力互聯(lián)網(wǎng)邊緣云業(yè)務平臺應實現(xiàn)對第三方應用的身份進行認證，只有經(jīng)過授權的第三方應用發(fā)出的API請求，平臺才會接納并轉(zhuǎn)發(fā)到平臺內(nèi)部的服務中去。經(jīng)過授權的邊緣云平臺應用實例可根據(jù)用戶身份激活或者去激活與之關聯(lián)的配置規(guī)則。利用身份識別服務，第三方應用可將外部應用標識映射為用戶在移動網(wǎng)絡內(nèi)部的標識，實現(xiàn)面向特定用戶的數(shù)據(jù)操作。接入管理方面，采用規(guī)范模塊的開放接口定義、權限與范圍，實現(xiàn)安全可靠的接入認證，實現(xiàn)最小授權的訪問控制。采取隔離措施，隔離組件的數(shù)據(jù)面與控制面，防止數(shù)據(jù)面的異常導致控制面混亂。進行安全監(jiān)控，漏洞管理，包括平臺及應用的漏洞，可以對版本、漏洞進行自動掃描并預警，提供應用安全感知及加固的輔助措施檢測流量和成脅，包括流量中的惡意流量、入侵攻擊、病毒木馬等。提供從下到上的異常報警機制，對報警進行收集分析，并創(chuàng)建異常應對措施庫，提升平臺的健壯性。重要數(shù)據(jù)需要高可控、高可用，以加密的方式進行網(wǎng)絡傳輸，來保障數(shù)據(jù)的安全性。10.1.5云邊協(xié)同互聯(lián)網(wǎng)邊緣云應支持云邊協(xié)同能力，實現(xiàn)中心云-區(qū)域云-邊緣云-終端各個層級的協(xié)同及保10.2運營商邊緣云能力10.2.1分流能力基于互聯(lián)網(wǎng)邊緣云平臺的分流能力可以把一部分業(yè)務導向到本地網(wǎng)絡，如園區(qū)網(wǎng)、校園網(wǎng)中，或者分流到部署在邊緣業(yè)務平臺上的應用中，級解傳輸帶寬壓力，同時減少時延，提升低時延高帶寬業(yè)務的用戶感知。分流能力的實現(xiàn)需要運營商提供用戶面網(wǎng)元下沉，并同互聯(lián)網(wǎng)邊緣云平臺配合完成，如圖3所示：當各種應用部署在邊緣云平臺上后，它們對帶寬等網(wǎng)絡資源的需求各不相同。針對不同的應用，帶寬管理服務可進行各種控制操作，包括帶寬大小、優(yōu)先級、靜態(tài)帶寬分配或動態(tài)帶寬分配策略等，并能根據(jù)針對第三方應用的服務策略進行統(tǒng)一管理10.2.6切片能力互聯(lián)網(wǎng)邊緣云應具備支持切片能力。通過基于5G服務化架構的網(wǎng)絡切片技術，運營商將能夠最大程度地提升網(wǎng)絡對外部環(huán)境、客戶需求、業(yè)務場景的適應性，提升網(wǎng)絡資源使用效率，最優(yōu)化運營商的網(wǎng)絡建設投資，構建靈活和敏捷的5G網(wǎng)絡。10.3互聯(lián)網(wǎng)邊緣云能力10.3.1狀態(tài)遷移能力狀態(tài)遷移能力，是指邊緣云平臺應打通各層級之間的網(wǎng)絡互通和數(shù)據(jù)互通，以確保在某層邊緣算力緊張的時候，進行算力的遷移，即在另外一個層級快速恢復新的服務；對應IDC內(nèi)部其實就是虛機和容器的遷移。如無法實現(xiàn)邊緣虛擬機和容器的遷移，則可考慮將關鍵的狀態(tài)進行遷移，或定期同步備份，以確保能極低的延時重建服務，確保用戶體驗的連續(xù)性。該能力未來還將涉及到跨運營商的切換涉及到不同的邊緣云平臺的切換，因此可能需要一個第三方的邊緣云平臺進行全局的協(xié)作確?？邕\營商時服務的連續(xù)性。10.3.2多層級資源統(tǒng)一調(diào)度能力多層級資源統(tǒng)一調(diào)度能力，是指邊緣云要將所有邊緣資源納管，統(tǒng)一調(diào)度。多層級資源統(tǒng)一調(diào)度可以從算法模型上，結合“端邊云”統(tǒng)籌考慮。對于通用的計算模型，搭建統(tǒng)一的計算框架，結合實際的場景，確定將何種類型的計算模型調(diào)度到何種類型的邊緣算力平臺上，以達到最優(yōu)的效果。10.3.3視頻實時編解碼能力為了支持本地視頻直播、本地視頻監(jiān)控、視頻云游戲等媒體類業(yè)務，需要邊緣業(yè)務平臺具備實時編解碼服務的能力。10.3.4緩存能力互聯(lián)網(wǎng)邊緣云平臺應支持透明緩存模式進行互聯(lián)網(wǎng)熱點內(nèi)容的本地緩存。邊緣云服務器和緩存服務器部署于邊緣市點，通過應用層數(shù)據(jù)解析，判定為熱點內(nèi)容并進行本地緩存。若用戶訪問內(nèi)容在本地命中，則從級存服務器提供服務對于未命中內(nèi)容，數(shù)據(jù)包進行隧道包頭封裝，經(jīng)核心網(wǎng)從源服務器下載。10.3.5視頻非編能力互聯(lián)網(wǎng)邊緣云平臺可搭載視頻非編相關能力，包括增強現(xiàn)實或虛擬現(xiàn)實泊染、3D全息、視頻非線性編輯、多角度視頻切換與整合等，以應對5G時代eMBB類場景在邊緣云平臺的相關處理，提升終端用戶的視頻感知與用戶體驗感。10.3.6人工智能能力