MASS4.0系統(tǒng)產(chǎn)品介紹.ppt

東方廣視MASS4.0系統(tǒng)產(chǎn)品介紹,北京東方廣視科技股份限公司,內(nèi) 容,東方廣視MASS4.0系統(tǒng)開發(fā)背景,1,東方廣視MASS4.0系統(tǒng)發(fā)展歷程,2,東方廣視MASS4.0系統(tǒng)產(chǎn)品簡介,3,東方廣視MASS4.0系統(tǒng)產(chǎn)品特點,4,第一部分 東方廣視MASS4.0系統(tǒng)開發(fā)背景,MASS4.0系統(tǒng)開發(fā)背景,廣電行業(yè)的VOD項目運(yùn)營系統(tǒng)，存在視頻媒體文件數(shù)量大、單個視頻媒體文件容量大、實時并發(fā)用戶量大的特點，因此對存儲系統(tǒng)的性能要求就會很高。提高存儲系統(tǒng)性能的傳統(tǒng)解決方案是完全采用大的盤陣存儲，這樣雖然能夠存儲大量的視頻媒體文件，也能夠保證存儲系統(tǒng)特定的讀寫性能要求，但是基于盤陣存儲的Raid策略導(dǎo)致存儲系統(tǒng)的性能很難突破一定的瓶頸，同時存儲系統(tǒng)的安全性、可靠性也很難保證，另外每個視頻播出服務(wù)器對應(yīng)一套存儲系統(tǒng)也會在一定程度上增加運(yùn)營商的成本。 目前東方廣視VOD3.0視頻點播系統(tǒng)業(yè)務(wù)已經(jīng)在全國各地投入大規(guī)模的實際運(yùn)營，VOD視頻點播業(yè)務(wù)用戶量的不斷增加，運(yùn)營商對公司服務(wù)器I/O能力、帶寬、海量存儲、部署成本等方面都提出了更高的要求。,MASS4.0系統(tǒng)開發(fā)背景,基于存儲系統(tǒng)本身需求的設(shè)計理念以及大型運(yùn)營業(yè)務(wù)拓展的進(jìn)一步要求，我們需要設(shè)計一種適合自身VOD系統(tǒng)的存儲系統(tǒng)，不僅使存儲系統(tǒng)性能能夠大幅度的提高，也能保證存儲系統(tǒng)的安全性、可靠性，同時通過支持分布式存儲來節(jié)省運(yùn)營商的成本，另外能夠滿足大規(guī)模并發(fā)用戶同時在線、提供用戶實時性業(yè)務(wù)請求，并能滿足運(yùn)營商期望通過低成本實現(xiàn)系統(tǒng)部署、業(yè)務(wù)運(yùn)營和擴(kuò)展的要求。東方廣視專門提出了適合公司產(chǎn)品自身特點的高性能高可靠性媒體區(qū)域存儲系統(tǒng)(MASS)4.0的設(shè)計方案。該系統(tǒng)在每一個存儲節(jié)點上實現(xiàn)分布式存儲、動態(tài)raid管理、自動本地數(shù)據(jù)調(diào)度、數(shù)據(jù)在線恢復(fù)、在整個網(wǎng)絡(luò)節(jié)點上實現(xiàn)向中央存儲服務(wù)器的數(shù)據(jù)調(diào)度、系統(tǒng)對動態(tài)擴(kuò)容提供支持。,第二部分 東方廣視MASS4.0系統(tǒng)發(fā)展歷程,MASS4.0系統(tǒng)發(fā)展歷程,東方廣視研發(fā)的本產(chǎn)品已經(jīng)3代，各版本特點如下 ： FAN1版本特點介紹： 提出FAN1的主要目的是為了解決IO訪問的優(yōu)先級管理，因為系統(tǒng)本身對服務(wù)讀寫的優(yōu)先級沒有考慮，在并發(fā)高峰期，會出現(xiàn)trs錄制丟包以及dbs讀取超時的情況，基于此原因設(shè)計了FAN1網(wǎng)絡(luò)文件系統(tǒng)。 目前項目中應(yīng)用主要是本版本。 主要采用linux系統(tǒng)自己提供的文件系統(tǒng)。 讀取性能特點：硬件配置15塊(硬盤數(shù)量)*750G(單硬盤容量)的盤陣組建的媒體區(qū)域存儲系統(tǒng)的讀取性能基本保持在300MB/s左右。 最大支持并發(fā)量性能特點：硬件配置為8核CPU、16G內(nèi)存的前期下，能夠穩(wěn)定支持480路并發(fā)用戶同時點播，最大支持并發(fā)量為300MB/s(文件系統(tǒng)讀取性能)*0.80(20%的富余帶寬)*8(轉(zhuǎn)換單位為位)/3.75Mb/s(片源碼率)=512。 優(yōu)缺點：優(yōu)點是實現(xiàn)了IO訪問的優(yōu)先級管理；缺點在于使用了linux自身提供的文件系統(tǒng)以及Raid策略，無法突破文件系統(tǒng)性能的瓶頸。,MASS4.0系統(tǒng)發(fā)展歷程,FAN2版本特點介紹： 提出FAN2的主要目的是為了解決FAN1文件系統(tǒng)由于使用了linux自身提供的文件系統(tǒng)以及Raid策略，而無法突破文件系統(tǒng)性能的瓶頸?；诖嗽驗榱颂岣呶募到y(tǒng)的性能而提出了FAN2的設(shè)計以提高文件系統(tǒng)的性能。 過渡性產(chǎn)品(中途夭折)，并未投入項目運(yùn)營。 在linux系統(tǒng)環(huán)境下設(shè)計適合公司產(chǎn)品的文件系統(tǒng)。 讀取性能特點：硬件配置16塊(硬盤數(shù)量)*1T(單硬盤容量)的盤陣組建的媒體區(qū)域存儲系統(tǒng)的讀取性能期望達(dá)到500MB/s左右。 最大支持并發(fā)量性能特點：硬件配置為8核CPU、16G內(nèi)存的前期下，期望支持720路并發(fā)用戶同時點播，預(yù)計最大支持并發(fā)量為500MB/s(文件系統(tǒng)讀取性能)*0.80(20%的富余帶寬)*8(轉(zhuǎn)換單位為位)/3.75Mb/s(片源碼率)=853。 優(yōu)缺點：優(yōu)點是解決FAN1文件系統(tǒng)由于使用了linux自身提供的文件系統(tǒng)以及Raid策略，存在的系統(tǒng)性能的瓶頸問題，提高文件系統(tǒng)的性能。另外將片源文件分布式存儲，也提高了系統(tǒng)的安全性。缺點是FAN2文件系統(tǒng)定義的塊的大小為512K，由于塊大小比較小，讀取磁盤性能的時間大多浪費在尋址上。,MASS4.0系統(tǒng)發(fā)展歷程,FAN3版本特點介紹： 提出FAN3的主要目的是為了解決FAN2文件系統(tǒng)由于塊的大小為512K，導(dǎo)致讀取磁盤性能的時間大多浪費在尋址上?；诖嗽驗榱诉M(jìn)一步優(yōu)化文件系統(tǒng)的性能而提出了FAN3的設(shè)計。 后期項目中準(zhǔn)備試運(yùn)營的產(chǎn)品。 在linux系統(tǒng)環(huán)境下設(shè)計適合自己產(chǎn)品的文件系統(tǒng)。 讀取性能特點：硬件配置24塊(硬盤數(shù)量)*1T(單硬盤容量)的盤陣組建的媒體區(qū)域存儲系統(tǒng)的讀取性能期望達(dá)到1000MB/s左右。 最大支持并發(fā)量性能特點：硬件配置為8核CPU、32G內(nèi)存的前期下，能夠穩(wěn)定支持1000路并發(fā)用戶同時點播，預(yù)計最大支持并發(fā)量為1000MB/s(文件系統(tǒng)讀取性能)*0.80(20%的富余帶寬)*8(轉(zhuǎn)換單位為位)/3.75Mb/s(片源碼率)=1700。 優(yōu)缺點：優(yōu)點是FAN3文件系統(tǒng)設(shè)計不再以條帶512K做Raid0，而是一個4M大小的塊做 Raid0。這樣就大大減少了磁盤性能浪費在尋址上的情況。缺點是由于緩存的增大，提高了內(nèi)存的壓力。盡管FAN3文件系統(tǒng)進(jìn)一步提升了文件系統(tǒng)的性能，但是在設(shè)計的過程中沒有充分考慮系統(tǒng)的安全性、可靠性，忽略了系統(tǒng)中可能出現(xiàn)的災(zāi)難恢復(fù)、異?；謴?fù)、單點故障等安全可靠性問題，需要在后期的版本中考慮并解決。,第三部分 東方廣視MASS4.0系統(tǒng)產(chǎn)品簡介,MASS4.0系統(tǒng)產(chǎn)品簡介,高性能高可靠性媒體區(qū)域存儲系統(tǒng)4.0(簡稱為MASS4.0系統(tǒng))是在現(xiàn)有Fan3架構(gòu)基礎(chǔ)上進(jìn)行機(jī)制上的修改使網(wǎng)絡(luò)文件系統(tǒng)更具有高效性和高可靠性，主要變動為文件存儲在各個存儲磁盤上，保證文件系統(tǒng)信息更加安全可靠；另外通過讀寫分離機(jī)制將故障影響系數(shù)降到最低，一旦寫故障，視頻服務(wù)器讀取操作不會受到任何的影響；將所有MAN（MediaAccessNode）構(gòu)建一個高速內(nèi)容交換網(wǎng)絡(luò)，當(dāng)任何一個MAN上磁盤故障或內(nèi)容丟失，均可通過這個網(wǎng)絡(luò)進(jìn)行內(nèi)容調(diào)度，提高了故障的平滑處理。,MASS4.0系統(tǒng)產(chǎn)品簡介,媒體區(qū)域存儲系統(tǒng)可以支持多種應(yīng)用需要，通過媒體區(qū)域存儲系統(tǒng)提供的libman接口庫，可以對媒體區(qū)域存儲系統(tǒng)中的媒體文件進(jìn)行訪問操作；通過媒體區(qū)域存儲系統(tǒng)提供的libmun接口庫可以將媒體內(nèi)容注入到媒體區(qū)域存儲系統(tǒng)中，媒體可支持靜態(tài)的VOD文件和動態(tài)的時移節(jié)目內(nèi)容等。 媒體注入時各種應(yīng)用服務(wù)使用媒體區(qū)域存儲系統(tǒng)提供的libmun接口庫時，可以配置文件格式為動態(tài)還是靜態(tài)格式，以及存儲的RAID策略，媒體區(qū)域存儲系統(tǒng)中的MUN根據(jù)不同端口接收兩種類型的媒體內(nèi)容，進(jìn)行區(qū)別化處理。 媒體區(qū)域存儲系統(tǒng)通過libman接口庫對外提供媒體的訪問，應(yīng)用服務(wù)通過libman與MAN進(jìn)行媒體訪問交互，當(dāng)所請求的MAN不存在應(yīng)用所請求的媒體內(nèi)容、或存儲的內(nèi)容故障時，MAN可以通過與其他MAN構(gòu)成的高速交換網(wǎng)絡(luò)向其他存儲該媒體內(nèi)容的MAN進(jìn)行索取，索取后通過libman返回給應(yīng)用服務(wù)，進(jìn)而屏蔽了應(yīng)用服務(wù)對媒體諸多因素的關(guān)心。,MASS4.0系統(tǒng)產(chǎn)品簡介,媒體區(qū)域存儲系統(tǒng)主要由三部分組成，首先是由libman提供的媒體區(qū)域存儲系統(tǒng)內(nèi)容訪問的接口層；再者就是由MAN組成的集群構(gòu)架了媒體區(qū)域存儲系統(tǒng)的內(nèi)容存儲調(diào)度層；最后就是由MMN提供的媒體區(qū)域存儲系統(tǒng)的設(shè)備、內(nèi)容等的管理層。,MASS4.0系統(tǒng)產(chǎn)品簡介,高性能高可靠性媒體區(qū)域存儲系統(tǒng)主要由MAN(Media Access Node媒體訪問節(jié)點)、CSS(Center Store Server 中央存儲)、MMN(Media ManagerNode媒體管理模板)、MUN(Media Update Node媒體更新節(jié)點)、MRN(Media Recovery Node 媒體恢復(fù)節(jié)點)、RSN(Remote Scheduling Node 遠(yuǎn)程調(diào)度節(jié)點)、libMan(為其他應(yīng)用程序提供的訪問組件)幾個組件組成。,MASS4.0系統(tǒng)產(chǎn)品簡介,各個模塊完成的主要職責(zé)功能如下： 1、媒體管理節(jié)點MMN主要職責(zé)功能 管理各個媒體訪問節(jié)點MAN的磁盤管理。 管理文件，包括文件創(chuàng)建，文件塊分配策略，文件刪除等。 負(fù)責(zé)媒體訪問節(jié)點MAN上的磁盤恢復(fù)。 負(fù)責(zé)媒體區(qū)域存儲系統(tǒng)的媒體訪問節(jié)點MAN的動態(tài)擴(kuò)容。 2、媒體訪問節(jié)點MAN主要職責(zé)功能 負(fù)責(zé)磁盤管理，包括磁盤故障監(jiān)控，新增磁盤自動識別。 負(fù)責(zé)磁盤格式化處理。 負(fù)責(zé)磁盤恢復(fù)。 提供TCP文件訪問接口，主要與LIBMAN和LIBMUN進(jìn)行交互，完成文件內(nèi)容的訪問與注入。 提供與其他MAN內(nèi)容共享接口，可相互進(jìn)行內(nèi)容調(diào)度。 負(fù)責(zé)本地文件塊管理，包括文件塊添加、更新、刪除等。 3、媒體更新節(jié)點MUN主要職責(zé)功能 負(fù)責(zé)接收來自各種應(yīng)用(如CDN、TRS、PVR等)通過LIBMAN接口集對媒體區(qū)域存儲系統(tǒng)的媒體訪問，包括打開文件、更新指定文件塊內(nèi)容、獲取文件信息等。 負(fù)責(zé)通過對媒體訪問節(jié)點MAN的訪問完成各種應(yīng)用對媒體區(qū)域存儲系統(tǒng)的訪問。,MASS4.0系統(tǒng)產(chǎn)品簡介,4、媒體恢復(fù)節(jié)點MRN主要職責(zé)功能 負(fù)責(zé)接收媒體管理節(jié)點發(fā)起的磁盤恢復(fù)任務(wù)。 負(fù)責(zé)根據(jù)磁盤上文件列表進(jìn)行文件塊的恢復(fù)。 5、遠(yuǎn)程調(diào)度節(jié)點RSN主要職責(zé)功能 媒體區(qū)域存儲系統(tǒng)對外的文件塊訪問接口。 媒體區(qū)域存儲系統(tǒng)中其它的媒體訪問節(jié)點MAN可以通過遠(yuǎn)程調(diào)度節(jié)點RSN對媒體區(qū)域存儲系統(tǒng)中的文件塊進(jìn)行讀取操作。 6、中央存儲CSS主要職責(zé)功能 使用其它文件系統(tǒng)存儲所有數(shù)據(jù)(如可以使用安全性很高的Raid5)。 接受各個媒體訪問節(jié)點MAN的訪問請求。 7、LIBMAN主要職責(zé)功能 為其它應(yīng)用程序提供的訪問組件。,第四部分 東方廣視MASS4.0系統(tǒng)產(chǎn)品特點,MASS4.0系統(tǒng)產(chǎn)品特點-高性能,硬件環(huán)境配置為24塊(硬盤數(shù)量)*1T(單硬盤容量)的雙Raid卡連接的盤陣、8核INTEL XEON 55XX系列的CPU處理器、DDR3 1066MHZ的32G內(nèi)存組建的單機(jī)版媒體區(qū)域存儲系統(tǒng)，且順序?qū)懭氪疟P數(shù)據(jù)約50MB/s的情況下(滿足40路時移電視注入需求)，即可實現(xiàn)隨機(jī)并發(fā)讀、寫的高性能特點。,MASS4.0系統(tǒng)產(chǎn)品特點-高性能,1、媒體區(qū)域存儲系統(tǒng)MASS4.0的高寫入性能 使用媒體區(qū)域存儲系統(tǒng)MASS4.0的視頻服務(wù)器需要在滿足推流存儲IO需求的同時，還要滿足40路以上3.75Mbps碼率時移電視內(nèi)容的實時注入以及完成內(nèi)容分發(fā)部署等操作，由于時移電視是實時錄制，因此需要在保證推流IO需求同時還需要同時對存儲IO寫入有著性能需求，至少需要3.75Mbps （每路時移電視碼率）40（時移電視總路數(shù)）（位到字節(jié)）18.75MByte/s（存儲子系統(tǒng)實際IO同步寫入能力）的寫入能力。 考慮到系統(tǒng)還需要其他如VOD內(nèi)容分發(fā)注入以及其他需求，因此視頻服務(wù)器應(yīng)該至少要保證在滿負(fù)荷播發(fā)并碼流的同時具備超過50MByte/s的存儲IO寫入性能。 通過測試，MASS4.0系統(tǒng)的磁盤文件寫入速度基本能夠穩(wěn)定保持在470MB/s左右到540MB/s左右，相比較以前xfs文件系統(tǒng)的磁盤文件寫入速度(一般在80MB/s左右)有了非常明顯的性能提高。這樣我們的媒體區(qū)域存儲系統(tǒng)更加能有利于VOD片源分發(fā)等其它業(yè)務(wù)的需求。,MASS4.0系統(tǒng)產(chǎn)品特點-高性能,2、媒體區(qū)域存儲系統(tǒng)MASS4.0的高讀取性能 視頻服務(wù)器如果想要對2000路并發(fā)推流支持，并需要考慮極端情況下（如所有用戶點播內(nèi)容均分布在不同的文件并隨機(jī)訪問）保證用戶觀看質(zhì)量，視頻服務(wù)器的存儲系統(tǒng)就必須實現(xiàn)對存儲IO的高效訪問，并使用隨機(jī)的讀取模型來達(dá)到對2000路并發(fā)的IO讀取需求，這樣我們理論上需要的讀取速度為3.5Mbps(每碼流碼率)2000（并發(fā)數(shù)量）8（位到字節(jié)） = 875MByte/s。 通過測試，MASS4.0系統(tǒng)的讀取參數(shù)配置50線程的情況下，并且有35套時移節(jié)目的寫入操作時，磁盤文件讀取速度基本能夠穩(wěn)定保持在970MB/s左右，最高能夠達(dá)到1010MB/s的讀取性能，綜合上面的測試數(shù)據(jù)已經(jīng)基本符合2000路并發(fā)點播的性能要求。,MASS4.0系統(tǒng)產(chǎn)品特點-高性能,3、媒體區(qū)域存儲系統(tǒng)MASS4.0的高并發(fā)用戶性能 通過測試單機(jī)版的MASS4.0系統(tǒng)支持1500路并發(fā)用戶點播(6個千兆輸出網(wǎng)卡推流)，相比較之前每個DBS最多支持1000路并發(fā)用戶點播性能有了明顯的提升。,MASS4.0系統(tǒng)產(chǎn)品特點-安全性,MASS4.0系統(tǒng)的硬件服務(wù)器的某個硬盤如果損壞，在不關(guān)閉服務(wù)器且不影響用戶正常使用的情況下，可以直接將壞的硬盤拔掉用新的硬盤替換，同時可以使用管理界面將壞硬盤的所有數(shù)據(jù)都自動恢復(fù)到新硬盤上，從而保證整個系統(tǒng)安全穩(wěn)定的運(yùn)行。 用戶正在訪問的數(shù)據(jù)內(nèi)容所對應(yīng)的磁盤出現(xiàn)故障時，媒體區(qū)域存儲系統(tǒng)能夠正常提供故障磁盤所對應(yīng)的數(shù)據(jù)內(nèi)容。 媒體區(qū)域存儲系統(tǒng)一定數(shù)量的磁盤被異常拔出時，媒體區(qū)域存儲系統(tǒng)能夠正常提供被拔出磁盤所對應(yīng)的數(shù)據(jù)內(nèi)容。 替換或增加新的硬盤時，媒體區(qū)域存儲系統(tǒng)能夠按照具體的負(fù)載均衡情況和Raid策略將相關(guān)的數(shù)據(jù)遷移到新硬盤中。,MASS4.0系統(tǒng)產(chǎn)品特點-可靠性,在媒體區(qū)域存儲系統(tǒng)中，當(dāng)出現(xiàn)磁