存算分離架構(gòu)發(fā)展趨勢解讀

存算分離架構(gòu)發(fā)展趨勢解讀

來自twt社區(qū)同行交流，歡迎更多同行參與交流存算分離架構(gòu)是否會(huì)成為主流架構(gòu)？隨著軟件定義存儲(chǔ)的不斷發(fā)展，越來越多的開源分布式數(shù)據(jù)庫在特殊的數(shù)據(jù)存取領(lǐng)域站穩(wěn)了腳跟。而這些百花齊放的解決方案，不免讓大家眼花繚亂。企業(yè)的IT架構(gòu)是否會(huì)隨著這些技術(shù)的發(fā)展而呈現(xiàn)革命性的變化？存算分離架構(gòu)是否會(huì)成為開源分布式數(shù)據(jù)庫發(fā)展下的主流架構(gòu)？問題來自社區(qū)會(huì)員，探討來自twt社區(qū)眾多同行的分享，歡迎大家參與交流，各抒己見。*“爭議”欄目內(nèi)容來自同行分享的一手體驗(yàn)和觀察，僅代表個(gè)人觀點(diǎn)@某金融企業(yè)機(jī)構(gòu)師：只能說，存算分離是大數(shù)據(jù)架構(gòu)演進(jìn)的重要趨勢。下面采用一些官方的報(bào)告。Hadoop1.0時(shí)代，計(jì)算和存儲(chǔ)是高度融合，僅能處理單一的MapReduce分析業(yè)務(wù)。Hadoop2.0時(shí)代，計(jì)算層與數(shù)據(jù)開始解耦，通過Yarn實(shí)現(xiàn)了獨(dú)立的資源管理，并開始支持Spark等更多的計(jì)算引擎；而如今來到Hadoop3.0時(shí)代，計(jì)算存儲(chǔ)已分開演進(jìn)，通過HadoopEC來支持冷數(shù)據(jù)的存儲(chǔ)，同時(shí)引入外置存儲(chǔ)，如S3，增強(qiáng)其存儲(chǔ)底座能力，逐步向數(shù)據(jù)湖架構(gòu)演進(jìn)。Hadoop3.0時(shí)代，計(jì)算正向輕量化和容器化方向發(fā)展，計(jì)算存儲(chǔ)分離演進(jìn)已成為事實(shí)。計(jì)算存儲(chǔ)分離后，我們用企業(yè)級的存儲(chǔ)基座替代原來的原生大數(shù)據(jù)存儲(chǔ)基座，好處是可以把當(dāng)前企業(yè)級存儲(chǔ)的先進(jìn)技術(shù)帶入到大數(shù)據(jù)里面來，如高可靠、高利用率、多協(xié)議融合等，更好地釋放數(shù)據(jù)的價(jià)值。@light_hu86某省金融系統(tǒng)工程師：也不能一概而言，根據(jù)業(yè)務(wù)的規(guī)模，使用場景的不同，業(yè)務(wù)類型的不同進(jìn)行綜合考慮。@JerryMisky金融銀行存儲(chǔ)架構(gòu)師：縱觀過去的20年，我們在算力、網(wǎng)絡(luò)、存儲(chǔ)方向的發(fā)展上都有了質(zhì)的飛躍，然而橫向?qū)Ρ葏s又不難發(fā)現(xiàn)三者并不是等效發(fā)展。網(wǎng)絡(luò)，從此前主流100Mb到如今10GbE就緒，甚至邁進(jìn)25GbE、40GbE，趕超了100多倍；存儲(chǔ)，HDD硬盤的性能提升雖然沒有網(wǎng)絡(luò)的大飛躍，但得益于SDD制程和工藝的迭代，存儲(chǔ)領(lǐng)域也有了相當(dāng)顯著的進(jìn)步，NVME的應(yīng)用已經(jīng)爐火純青；而回到算力上，即便是處理器工藝已經(jīng)邁入7nm，算力的提升也遠(yuǎn)不及前兩者的跨越。非平衡的三元演進(jìn)趨勢，加之?dāng)?shù)字化轉(zhuǎn)型中不同階段衍生出的差異性需求，迫切的期待創(chuàng)造一個(gè)更加隨心的架構(gòu)形態(tài)。存算分離架構(gòu)（DisaggregatedStorageandComputeArchitecture）似乎更像是當(dāng)下的眾望所歸，充分契合如今的信息技術(shù)格局與各行業(yè)務(wù)境況，其得天獨(dú)厚的優(yōu)勢也相得益彰：更靈活的選擇。計(jì)算資源與存儲(chǔ)空間的配置互不制約，即使身處在形態(tài)各異的業(yè)務(wù)場景，都可以因地制宜構(gòu)建個(gè)性化的配比，充分匹配業(yè)務(wù)的每一項(xiàng)資源要求。更高效的擴(kuò)容。計(jì)算資源先達(dá)到瓶頸？存儲(chǔ)空間先達(dá)到瓶頸？都能夠進(jìn)行獨(dú)立、按需擴(kuò)容，持續(xù)保障存算資源的高效使用，杜絕存算一體擴(kuò)容時(shí)帶來的資源浪費(fèi)。更安全的隔離。存、算各司其職，形成邏輯隔離。計(jì)算節(jié)點(diǎn)不再承擔(dān)數(shù)據(jù)存儲(chǔ)，計(jì)算節(jié)點(diǎn)動(dòng)態(tài)增減甚至是故障宕機(jī)，無需大量數(shù)據(jù)的遷移，絲毫不影響數(shù)據(jù)存儲(chǔ)的可靠性與完整性。@某銀行架構(gòu)師：需要區(qū)分具體場景，一般來說存儲(chǔ)與計(jì)算均衡發(fā)展的場景，尤其虛擬化場景，超融合已經(jīng)是確定的趨勢，如果是存算發(fā)展不均衡的情況下，比如計(jì)算密集型的高性能計(jì)算或者存儲(chǔ)密集型的視頻監(jiān)控，肯定還是存算分離的。分離式部署的優(yōu)點(diǎn)：計(jì)算資源利用率低，存儲(chǔ)資源利用率高。超融合部署的優(yōu)點(diǎn)：計(jì)算資源利用率高，存儲(chǔ)資源利用率高。根據(jù)兩者優(yōu)缺點(diǎn)，結(jié)合實(shí)際場景有針對性看待。@radiumguo英特爾ITS：存算分離，分別進(jìn)行開發(fā)和優(yōu)化肯定是個(gè)趨勢。因?yàn)榉植际接?jì)算架構(gòu)，云架構(gòu)是個(gè)趨勢。有些傳統(tǒng)的系統(tǒng)和應(yīng)用，原來使用OS級別的存儲(chǔ)管理能力，擴(kuò)展性的不夠的，無法匹配集群化分布式計(jì)算架構(gòu)發(fā)展，所以需要獨(dú)立的分布式的軟件定義存儲(chǔ)管理系統(tǒng)。有些廠商能力較強(qiáng)，分布式計(jì)算和存儲(chǔ)都可以做的很好，又有很好的整合能力，提供存算一體的方案也不是落后的表現(xiàn)。@cpc1989某保險(xiǎn)公司存儲(chǔ)工程師：從架構(gòu)上來看，存算分離將計(jì)算和存儲(chǔ)分層、解耦，擴(kuò)展性更好，可以適應(yīng)不同的場景需求；但計(jì)算存儲(chǔ)整合在一起也有好處，架構(gòu)更加簡單，更易落地，資源利用率更高，也有適合的場景。@Ocean_華為IT技術(shù)咨詢顧問：對于大型數(shù)據(jù)中心而言，計(jì)算量和數(shù)據(jù)量巨大，計(jì)算和存儲(chǔ)分離能夠帶來顯著的優(yōu)勢，如計(jì)算和存儲(chǔ)單獨(dú)擴(kuò)展，需要計(jì)算擴(kuò)計(jì)算節(jié)點(diǎn)，需要存儲(chǔ)擴(kuò)存儲(chǔ)節(jié)點(diǎn)，非常利于大型數(shù)據(jù)中心的管理運(yùn)維。其次，計(jì)算和存儲(chǔ)分離之后，對整體系統(tǒng)的可靠性也是有好處的，計(jì)算側(cè)不用在為數(shù)據(jù)的可靠性擔(dān)心，這些能力都有獨(dú)立的存儲(chǔ)層提供，計(jì)算可以更加關(guān)注以為解決業(yè)務(wù)問題，而不是投入太多精力在數(shù)據(jù)不丟失，訪問不中斷上面。存算分離也不全是優(yōu)勢，也帶來了一些問題，比如說存儲(chǔ)分離之后，對于計(jì)算和存儲(chǔ)直接的網(wǎng)絡(luò)開銷就變大了，數(shù)據(jù)的局部性也不如存算一體的模式。因此判斷一個(gè)技術(shù)是否為未來趨勢，需要綜合計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的發(fā)展來看：現(xiàn)階段受摩爾定律失效的影響，CPU性能增長乏力，而相對而言網(wǎng)絡(luò)和存儲(chǔ)性能這些年提升比較快，因此網(wǎng)絡(luò)和存儲(chǔ)能力的增強(qiáng)一定程度上彌補(bǔ)了存算分離帶來的性能損失，使得在現(xiàn)網(wǎng)中部署存算分離架構(gòu)成為可行的方案。從未來來看，DPU技術(shù)會(huì)更加速存算分離架構(gòu)發(fā)展，不只是存儲(chǔ)會(huì)分離出來，內(nèi)存也會(huì)從計(jì)算節(jié)點(diǎn)獨(dú)立出來，形成一個(gè)高性能內(nèi)存池。從而計(jì)算節(jié)點(diǎn)可以動(dòng)態(tài)地從內(nèi)存池和存儲(chǔ)池分配資源，從而達(dá)到資源的最優(yōu)化利用。因此，我認(rèn)為存算分離是未來趨勢。@趙海

技術(shù)經(jīng)理：從性能角度講，存儲(chǔ)計(jì)算分離的架構(gòu)有利于發(fā)揮性能優(yōu)勢，各自發(fā)揮自己的優(yōu)勢。從很多技術(shù)發(fā)展的趨勢來看，最終都會(huì)走向?qū)I(yè)細(xì)分化的趨勢，畢竟沒有任何技術(shù)架構(gòu)或者平臺(tái)是萬能的，都是針對某種場景才能發(fā)揮最大的優(yōu)勢，沒有萬能鑰匙，技術(shù)發(fā)展的最終目標(biāo)就是把合適的技術(shù)應(yīng)用在合適的場景當(dāng)中。從安全角度講，存儲(chǔ)計(jì)算分離的架構(gòu)有利于企業(yè)更有針對性地應(yīng)用不同的安全策略來進(jìn)行管控。數(shù)據(jù)才是企業(yè)的資源，計(jì)算只不過是對資源進(jìn)行加工的工具而已，兩者在安全上面的要求和管控策略完全不同。@張鵬某金融科技公司高級技術(shù)主管：分布式數(shù)據(jù)庫中，有一種分布式存儲(chǔ)技術(shù)架構(gòu)是計(jì)算和存儲(chǔ)分離架構(gòu)。這種架構(gòu)為分布式數(shù)據(jù)庫資源彈性擴(kuò)展的訴求提供了新思路。除了基于無共享模式進(jìn)行分區(qū)分片，在云計(jì)算時(shí)代，一種新的創(chuàng)新架構(gòu)被提出，即計(jì)算-存儲(chǔ)分離架構(gòu)（大多NewSQL數(shù)據(jù)庫采用此種架構(gòu)）。近十年互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)的性能得到了大幅度的提升，高效壓縮算法和存儲(chǔ)結(jié)構(gòu)的優(yōu)化也減少了IO數(shù)量，在數(shù)據(jù)本地化優(yōu)化較好的數(shù)據(jù)計(jì)算集群中，大量網(wǎng)絡(luò)帶寬處于閑置狀態(tài)，然而存儲(chǔ)和計(jì)算耦合的架構(gòu)不能很好的實(shí)現(xiàn)彈性。云計(jì)算提供了解決思路，它的核心思想包括分層和虛擬化：對IT架構(gòu)分層后，每一層可以按各自的能力進(jìn)行極限擴(kuò)展；虛擬化后按租戶隔離，可以提供高效率的彈性計(jì)算，降低了成本。計(jì)算-存儲(chǔ)分離架構(gòu)即“云”的模式和形態(tài)之一，將數(shù)據(jù)計(jì)算和存儲(chǔ)進(jìn)行分層，并通過高速網(wǎng)絡(luò)連接。在這種架構(gòu)下，數(shù)據(jù)庫可以更加充分的利用不對稱的存儲(chǔ)資源和計(jì)算資源，讓不同層都可以按照各自最優(yōu)的模式進(jìn)行橫向擴(kuò)展。@donghuayi陜西重型汽車有限公司系統(tǒng)架構(gòu)師：還是要看具體的業(yè)務(wù)場景。@李靜XSKY產(chǎn)品解決方案總監(jiān)：目前看是一個(gè)趨勢：1、從hadoop的架構(gòu)體系演進(jìn)也可以看到，從hadoop1.0-hadoop2.0-hadoop3.0，在hadoop2.0里面已經(jīng)可以看到存算分離的影子，hadoop3.0更加明確方向；2、隨著云/分布式的發(fā)展，敏態(tài)場景數(shù)據(jù)量快速增長，原有的融合模式資源使用率低下，推動(dòng)部分企業(yè)開始存算分離的試點(diǎn)；3、技術(shù)的成熟度，對性能的改善等也促進(jìn)了存算分離方案的可落地；4、對于分布式數(shù)據(jù)庫，國家發(fā)布的《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范技術(shù)架構(gòu)》（JR/T0203-2020）要求：計(jì)算存儲(chǔ)分離，存儲(chǔ)分布式技術(shù)架構(gòu)，目前很多金融客戶由于數(shù)據(jù)量的規(guī)模，實(shí)際并沒有做存算分離架構(gòu)，而是采用本地盤方案，但未來隨著數(shù)據(jù)量的增長，必然會(huì)走向分離架構(gòu)。@潘延晟

系統(tǒng)工程師：我覺得存算分離準(zhǔn)確的說應(yīng)該會(huì)是大規(guī)模信息化架構(gòu)的趨勢，舉個(gè)例子說：以前接觸過一家大廠的項(xiàng)目實(shí)施，從硬件上架，系統(tǒng)安裝，數(shù)據(jù)庫安裝，中間件安裝，軟件調(diào)試部署，每一個(gè)環(huán)節(jié)都有一名獨(dú)立的工程師。從整個(gè)項(xiàng)目實(shí)施來說，這樣明確分工的確有很多好處，專人專職，可以讓每個(gè)環(huán)節(jié)更加精益求精，但如果換到中小規(guī)模的項(xiàng)目或公司，就很難實(shí)現(xiàn)這樣明確的崗位分工，更多的會(huì)是一專多能的人員實(shí)施方式。對比到整個(gè)架構(gòu)中也是一樣的，對于很多行業(yè)，特別是到了一定體量的金融行業(yè)來說，業(yè)務(wù)的穩(wěn)定運(yùn)行高于一切，那么整個(gè)系統(tǒng)架構(gòu)勢必會(huì)越來越龐大，分工越來越明確，要求也越來越高，存算分離也就成了一種趨勢。但對于多數(shù)中小企業(yè)的信息化來說，可能還無法實(shí)現(xiàn)這樣專業(yè)的存算分離，更多的還是會(huì)為了節(jié)省成本，在業(yè)務(wù)中斷時(shí)間和成本之間尋找一個(gè)相對中立的方案架構(gòu)?？蛇x的技術(shù)方案也會(huì)多種多樣，可