存算分離架構(gòu)發(fā)展趨勢解讀_第1頁
存算分離架構(gòu)發(fā)展趨勢解讀_第2頁
存算分離架構(gòu)發(fā)展趨勢解讀_第3頁
存算分離架構(gòu)發(fā)展趨勢解讀_第4頁
存算分離架構(gòu)發(fā)展趨勢解讀_第5頁
已閱讀5頁,還剩4頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

存算分離架構(gòu)發(fā)展趨勢解讀

來自twt社區(qū)同行交流,歡迎更多同行參與交流存算分離架構(gòu)是否會(huì)成為主流架構(gòu)?隨著軟件定義存儲(chǔ)的不斷發(fā)展,越來越多的開源分布式數(shù)據(jù)庫在特殊的數(shù)據(jù)存取領(lǐng)域站穩(wěn)了腳跟。而這些百花齊放的解決方案,不免讓大家眼花繚亂。企業(yè)的IT架構(gòu)是否會(huì)隨著這些技術(shù)的發(fā)展而呈現(xiàn)革命性的變化?存算分離架構(gòu)是否會(huì)成為開源分布式數(shù)據(jù)庫發(fā)展下的主流架構(gòu)?問題來自社區(qū)會(huì)員,探討來自twt社區(qū)眾多同行的分享,歡迎大家參與交流,各抒己見。*“爭議”欄目內(nèi)容來自同行分享的一手體驗(yàn)和觀察,僅代表個(gè)人觀點(diǎn)@某金融企業(yè)機(jī)構(gòu)師:只能說,存算分離是大數(shù)據(jù)架構(gòu)演進(jìn)的重要趨勢。下面采用一些官方的報(bào)告。Hadoop1.0時(shí)代,計(jì)算和存儲(chǔ)是高度融合,僅能處理單一的MapReduce分析業(yè)務(wù)。Hadoop2.0時(shí)代,計(jì)算層與數(shù)據(jù)開始解耦,通過Yarn實(shí)現(xiàn)了獨(dú)立的資源管理,并開始支持Spark等更多的計(jì)算引擎;而如今來到Hadoop3.0時(shí)代,計(jì)算存儲(chǔ)已分開演進(jìn),通過HadoopEC來支持冷數(shù)據(jù)的存儲(chǔ),同時(shí)引入外置存儲(chǔ),如S3,增強(qiáng)其存儲(chǔ)底座能力,逐步向數(shù)據(jù)湖架構(gòu)演進(jìn)。Hadoop3.0時(shí)代,計(jì)算正向輕量化和容器化方向發(fā)展,計(jì)算存儲(chǔ)分離演進(jìn)已成為事實(shí)。計(jì)算存儲(chǔ)分離后,我們用企業(yè)級的存儲(chǔ)基座替代原來的原生大數(shù)據(jù)存儲(chǔ)基座,好處是可以把當(dāng)前企業(yè)級存儲(chǔ)的先進(jìn)技術(shù)帶入到大數(shù)據(jù)里面來,如高可靠、高利用率、多協(xié)議融合等,更好地釋放數(shù)據(jù)的價(jià)值。@light_hu86某省金融系統(tǒng)工程師:也不能一概而言,根據(jù)業(yè)務(wù)的規(guī)模,使用場景的不同,業(yè)務(wù)類型的不同進(jìn)行綜合考慮。@JerryMisky金融銀行存儲(chǔ)架構(gòu)師:縱觀過去的20年,我們在算力、網(wǎng)絡(luò)、存儲(chǔ)方向的發(fā)展上都有了質(zhì)的飛躍,然而橫向?qū)Ρ葏s又不難發(fā)現(xiàn)三者并不是等效發(fā)展。網(wǎng)絡(luò),從此前主流100Mb到如今10GbE就緒,甚至邁進(jìn)25GbE、40GbE,趕超了100多倍;存儲(chǔ),HDD硬盤的性能提升雖然沒有網(wǎng)絡(luò)的大飛躍,但得益于SDD制程和工藝的迭代,存儲(chǔ)領(lǐng)域也有了相當(dāng)顯著的進(jìn)步,NVME的應(yīng)用已經(jīng)爐火純青;而回到算力上,即便是處理器工藝已經(jīng)邁入7nm,算力的提升也遠(yuǎn)不及前兩者的跨越。非平衡的三元演進(jìn)趨勢,加之?dāng)?shù)字化轉(zhuǎn)型中不同階段衍生出的差異性需求,迫切的期待創(chuàng)造一個(gè)更加隨心的架構(gòu)形態(tài)。存算分離架構(gòu)(DisaggregatedStorageandComputeArchitecture)似乎更像是當(dāng)下的眾望所歸,充分契合如今的信息技術(shù)格局與各行業(yè)務(wù)境況,其得天獨(dú)厚的優(yōu)勢也相得益彰:更靈活的選擇。計(jì)算資源與存儲(chǔ)空間的配置互不制約,即使身處在形態(tài)各異的業(yè)務(wù)場景,都可以因地制宜構(gòu)建個(gè)性化的配比,充分匹配業(yè)務(wù)的每一項(xiàng)資源要求。更高效的擴(kuò)容。計(jì)算資源先達(dá)到瓶頸?存儲(chǔ)空間先達(dá)到瓶頸?都能夠進(jìn)行獨(dú)立、按需擴(kuò)容,持續(xù)保障存算資源的高效使用,杜絕存算一體擴(kuò)容時(shí)帶來的資源浪費(fèi)。更安全的隔離。存、算各司其職,形成邏輯隔離。計(jì)算節(jié)點(diǎn)不再承擔(dān)數(shù)據(jù)存儲(chǔ),計(jì)算節(jié)點(diǎn)動(dòng)態(tài)增減甚至是故障宕機(jī),無需大量數(shù)據(jù)的遷移,絲毫不影響數(shù)據(jù)存儲(chǔ)的可靠性與完整性。@某銀行架構(gòu)師:需要區(qū)分具體場景,一般來說存儲(chǔ)與計(jì)算均衡發(fā)展的場景,尤其虛擬化場景,超融合已經(jīng)是確定的趨勢,如果是存算發(fā)展不均衡的情況下,比如計(jì)算密集型的高性能計(jì)算或者存儲(chǔ)密集型的視頻監(jiān)控,肯定還是存算分離的。分離式部署的優(yōu)點(diǎn):計(jì)算資源利用率低,存儲(chǔ)資源利用率高。超融合部署的優(yōu)點(diǎn):計(jì)算資源利用率高,存儲(chǔ)資源利用率高。根據(jù)兩者優(yōu)缺點(diǎn),結(jié)合實(shí)際場景有針對性看待。@radiumguo英特爾ITS:存算分離,分別進(jìn)行開發(fā)和優(yōu)化肯定是個(gè)趨勢。因?yàn)榉植际接?jì)算架構(gòu),云架構(gòu)是個(gè)趨勢。有些傳統(tǒng)的系統(tǒng)和應(yīng)用,原來使用OS級別的存儲(chǔ)管理能力,擴(kuò)展性的不夠的,無法匹配集群化分布式計(jì)算架構(gòu)發(fā)展,所以需要獨(dú)立的分布式的軟件定義存儲(chǔ)管理系統(tǒng)。有些廠商能力較強(qiáng),分布式計(jì)算和存儲(chǔ)都可以做的很好,又有很好的整合能力,提供存算一體的方案也不是落后的表現(xiàn)。@cpc1989某保險(xiǎn)公司存儲(chǔ)工程師:從架構(gòu)上來看,存算分離將計(jì)算和存儲(chǔ)分層、解耦,擴(kuò)展性更好,可以適應(yīng)不同的場景需求;但計(jì)算存儲(chǔ)整合在一起也有好處,架構(gòu)更加簡單,更易落地,資源利用率更高,也有適合的場景。@Ocean_華為IT技術(shù)咨詢顧問:對于大型數(shù)據(jù)中心而言,計(jì)算量和數(shù)據(jù)量巨大,計(jì)算和存儲(chǔ)分離能夠帶來顯著的優(yōu)勢,如計(jì)算和存儲(chǔ)單獨(dú)擴(kuò)展,需要計(jì)算擴(kuò)計(jì)算節(jié)點(diǎn),需要存儲(chǔ)擴(kuò)存儲(chǔ)節(jié)點(diǎn),非常利于大型數(shù)據(jù)中心的管理運(yùn)維。其次,計(jì)算和存儲(chǔ)分離之后,對整體系統(tǒng)的可靠性也是有好處的,計(jì)算側(cè)不用在為數(shù)據(jù)的可靠性擔(dān)心,這些能力都有獨(dú)立的存儲(chǔ)層提供,計(jì)算可以更加關(guān)注以為解決業(yè)務(wù)問題,而不是投入太多精力在數(shù)據(jù)不丟失,訪問不中斷上面。存算分離也不全是優(yōu)勢,也帶來了一些問題,比如說存儲(chǔ)分離之后,對于計(jì)算和存儲(chǔ)直接的網(wǎng)絡(luò)開銷就變大了,數(shù)據(jù)的局部性也不如存算一體的模式。因此判斷一個(gè)技術(shù)是否為未來趨勢,需要綜合計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的發(fā)展來看:現(xiàn)階段受摩爾定律失效的影響,CPU性能增長乏力,而相對而言網(wǎng)絡(luò)和存儲(chǔ)性能這些年提升比較快,因此網(wǎng)絡(luò)和存儲(chǔ)能力的增強(qiáng)一定程度上彌補(bǔ)了存算分離帶來的性能損失,使得在現(xiàn)網(wǎng)中部署存算分離架構(gòu)成為可行的方案。從未來來看,DPU技術(shù)會(huì)更加速存算分離架構(gòu)發(fā)展,不只是存儲(chǔ)會(huì)分離出來,內(nèi)存也會(huì)從計(jì)算節(jié)點(diǎn)獨(dú)立出來,形成一個(gè)高性能內(nèi)存池。從而計(jì)算節(jié)點(diǎn)可以動(dòng)態(tài)地從內(nèi)存池和存儲(chǔ)池分配資源,從而達(dá)到資源的最優(yōu)化利用。因此,我認(rèn)為存算分離是未來趨勢。@趙海

技術(shù)經(jīng)理:從性能角度講,存儲(chǔ)計(jì)算分離的架構(gòu)有利于發(fā)揮性能優(yōu)勢,各自發(fā)揮自己的優(yōu)勢。從很多技術(shù)發(fā)展的趨勢來看,最終都會(huì)走向?qū)I(yè)細(xì)分化的趨勢,畢竟沒有任何技術(shù)架構(gòu)或者平臺(tái)是萬能的,都是針對某種場景才能發(fā)揮最大的優(yōu)勢,沒有萬能鑰匙,技術(shù)發(fā)展的最終目標(biāo)就是把合適的技術(shù)應(yīng)用在合適的場景當(dāng)中。從安全角度講,存儲(chǔ)計(jì)算分離的架構(gòu)有利于企業(yè)更有針對性地應(yīng)用不同的安全策略來進(jìn)行管控。數(shù)據(jù)才是企業(yè)的資源,計(jì)算只不過是對資源進(jìn)行加工的工具而已,兩者在安全上面的要求和管控策略完全不同。@張鵬某金融科技公司高級技術(shù)主管:分布式數(shù)據(jù)庫中,有一種分布式存儲(chǔ)技術(shù)架構(gòu)是計(jì)算和存儲(chǔ)分離架構(gòu)。這種架構(gòu)為分布式數(shù)據(jù)庫資源彈性擴(kuò)展的訴求提供了新思路。除了基于無共享模式進(jìn)行分區(qū)分片,在云計(jì)算時(shí)代,一種新的創(chuàng)新架構(gòu)被提出,即計(jì)算-存儲(chǔ)分離架構(gòu)(大多NewSQL數(shù)據(jù)庫采用此種架構(gòu))。近十年互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡(luò)的性能得到了大幅度的提升,高效壓縮算法和存儲(chǔ)結(jié)構(gòu)的優(yōu)化也減少了IO數(shù)量,在數(shù)據(jù)本地化優(yōu)化較好的數(shù)據(jù)計(jì)算集群中,大量網(wǎng)絡(luò)帶寬處于閑置狀態(tài),然而存儲(chǔ)和計(jì)算耦合的架構(gòu)不能很好的實(shí)現(xiàn)彈性。云計(jì)算提供了解決思路,它的核心思想包括分層和虛擬化:對IT架構(gòu)分層后,每一層可以按各自的能力進(jìn)行極限擴(kuò)展;虛擬化后按租戶隔離,可以提供高效率的彈性計(jì)算,降低了成本。計(jì)算-存儲(chǔ)分離架構(gòu)即“云”的模式和形態(tài)之一,將數(shù)據(jù)計(jì)算和存儲(chǔ)進(jìn)行分層,并通過高速網(wǎng)絡(luò)連接。在這種架構(gòu)下,數(shù)據(jù)庫可以更加充分的利用不對稱的存儲(chǔ)資源和計(jì)算資源,讓不同層都可以按照各自最優(yōu)的模式進(jìn)行橫向擴(kuò)展。@donghuayi陜西重型汽車有限公司系統(tǒng)架構(gòu)師:還是要看具體的業(yè)務(wù)場景。@李靜XSKY產(chǎn)品解決方案總監(jiān):目前看是一個(gè)趨勢:1、從hadoop的架構(gòu)體系演進(jìn)也可以看到,從hadoop1.0-hadoop2.0-hadoop3.0,在hadoop2.0里面已經(jīng)可以看到存算分離的影子,hadoop3.0更加明確方向;2、隨著云/分布式的發(fā)展,敏態(tài)場景數(shù)據(jù)量快速增長,原有的融合模式資源使用率低下,推動(dòng)部分企業(yè)開始存算分離的試點(diǎn);3、技術(shù)的成熟度,對性能的改善等也促進(jìn)了存算分離方案的可落地;4、對于分布式數(shù)據(jù)庫,國家發(fā)布的《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范技術(shù)架構(gòu)》(JR/T0203-2020)要求:計(jì)算存儲(chǔ)分離,存儲(chǔ)分布式技術(shù)架構(gòu),目前很多金融客戶由于數(shù)據(jù)量的規(guī)模,實(shí)際并沒有做存算分離架構(gòu),而是采用本地盤方案,但未來隨著數(shù)據(jù)量的增長,必然會(huì)走向分離架構(gòu)。@潘延晟

系統(tǒng)工程師:我覺得存算分離準(zhǔn)確的說應(yīng)該會(huì)是大規(guī)模信息化架構(gòu)的趨勢,舉個(gè)例子說:以前接觸過一家大廠的項(xiàng)目實(shí)施,從硬件上架,系統(tǒng)安裝,數(shù)據(jù)庫安裝,中間件安裝,軟件調(diào)試部署,每一個(gè)環(huán)節(jié)都有一名獨(dú)立的工程師。從整個(gè)項(xiàng)目實(shí)施來說,這樣明確分工的確有很多好處,專人專職,可以讓每個(gè)環(huán)節(jié)更加精益求精,但如果換到中小規(guī)模的項(xiàng)目或公司,就很難實(shí)現(xiàn)這樣明確的崗位分工,更多的會(huì)是一專多能的人員實(shí)施方式。對比到整個(gè)架構(gòu)中也是一樣的,對于很多行業(yè),特別是到了一定體量的金融行業(yè)來說,業(yè)務(wù)的穩(wěn)定運(yùn)行高于一切,那么整個(gè)系統(tǒng)架構(gòu)勢必會(huì)越來越龐大,分工越來越明確,要求也越來越高,存算分離也就成了一種趨勢。但對于多數(shù)中小企業(yè)的信息化來說,可能還無法實(shí)現(xiàn)這樣專業(yè)的存算分離,更多的還是會(huì)為了節(jié)省成本,在業(yè)務(wù)中斷時(shí)間和成本之間尋找一個(gè)相對中立的方案架構(gòu)??蛇x的技術(shù)方案也會(huì)多種多樣,可

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論