動漫與影視超級渲染云計算平臺.ppt

,動漫與影視超級渲染云計算平臺,裘初 博士 中國傳媒大學高性能計算中心 電話: 86-10-65783520 傳真: 86-10-65451007 郵件: 網(wǎng)站: ,Confidential,HPCC, CUC CONFIDENTIAL,2,中國傳媒大學簡介,中國傳媒大學（于1954年。原名北京廣播學院）是教育部直屬的國家“211工程”重點建設(shè)大學，創(chuàng)建 2004年8月，北京廣播學院更名為中國傳媒大學。 學校設(shè)有16個學院，24個博士點，48個碩士點，80個本科專業(yè)。學?，F(xiàn)有全日制在校生近15000人。 建校50多年來，學校培養(yǎng)了大批傳媒領(lǐng)域的高層次人才，為黨和國家的傳媒事業(yè)發(fā)展作出了重要貢獻，被譽為“中國廣播電視人才搖籃”。,HPCC, CUC CONFIDENTIAL,3,中國傳媒大學高性能計算中心簡介,中國傳媒大學高性能計算中心成立于2006年6月，是中國傳媒大學“十五”“211工程”實驗室建設(shè)重點項目。中心的建成不僅滿足了傳統(tǒng)大規(guī)模電磁仿真計算的要求，同時還滿足了與數(shù)字內(nèi)容處理相關(guān)學科的科研、開發(fā)和工程應(yīng)用等需要，為我校開展數(shù)字內(nèi)容管理、視頻圖像檢索、數(shù)字高清視頻壓縮編碼、動畫制作以及游戲設(shè)計等項目的研究提供了強有力的支持。 中心主要研究工作包括集群計算、網(wǎng)格計算、高性能計算方法和高性能計算應(yīng)用產(chǎn)業(yè)化等方面的內(nèi)容，先后承擔了國家科技重大專項、國家高新技術(shù)項目、北京市自然科學基金項目等各類課題24項，取得一系列重要的科研成果。,HPCC, CUC CONFIDENTIAL,4,主要內(nèi)容,渲染云計算平臺的基本概念 超百萬億次規(guī)模下渲染云計算平臺解決方案 “天河-酷卡”超級渲染云計算平臺的應(yīng)用案例 Q &A,HPCC, CUC CONFIDENTIAL,5,渲染云計算平臺的基本概念,什么是渲染云計算平臺？,HPCC, CUC CONFIDENTIAL,7,渲染應(yīng)用特點,CPU計算量大 渲染應(yīng)用通常會占用大量的CPU資源，一個分辨率較高的畫面在渲染時會耗費幾小時甚至十幾個小時的時間，CPU基本上滿負荷運行。 內(nèi)存帶寬高 渲染任務(wù)開始后，大量的材質(zhì)貼圖將被讀取到內(nèi)存中，然后開始渲染圖像，在此過程中，CPU與內(nèi)存的通訊非常頻繁。分辨率越高，材質(zhì)貼圖越多，內(nèi)存帶寬要求越高。 網(wǎng)絡(luò)帶寬高 在通過渲染農(nóng)場進行網(wǎng)絡(luò)渲染時，一旦管理服務(wù)器下達渲染任務(wù)，所有的計算節(jié)點便開始從網(wǎng)絡(luò)共享存儲中去讀取材質(zhì)貼圖和目標文件。因此，高帶寬的網(wǎng)絡(luò)將大大地縮短預(yù)讀數(shù)據(jù)的時間，提高整體的渲染效率。 存儲系統(tǒng)I/O能力強 在渲染過程中，渲染節(jié)點會產(chǎn)生大量的，近乎同時的I/O請求。尤其是在節(jié)點比較多的情況下，常規(guī)存儲系統(tǒng)的I/O性能很難滿足大規(guī)模渲染應(yīng)用的需求。因此，需要配備具有超強I/O性能的存儲系統(tǒng)，以確保系統(tǒng)能夠高效運行。,HPCC, CUC CONFIDENTIAL,8,渲染云計算平臺所面臨的挑戰(zhàn),網(wǎng)絡(luò)帶寬瓶頸 千兆的局域網(wǎng)環(huán)境可以滿足教學的要求，但是在千兆網(wǎng)絡(luò)環(huán)境下進行超大規(guī)模渲染計算的效率是極其低下的，需要更高帶寬和低延時的高速互聯(lián)網(wǎng)絡(luò)。 存儲I/O性能瓶頸 在渲染時，很多個節(jié)點同時對某個共享進行讀寫，單臺服務(wù)器的磁盤I/O無法滿足這個需求，導(dǎo)致渲染出現(xiàn)瓶頸，效率不高。 缺乏足夠的靈活性 由于渲染應(yīng)用需求具有較強的時效性、較高的復(fù)雜性，不同的渲染任務(wù)對操作系統(tǒng)、渲染軟件、渲染引擎和插件有不同的要求，要求系統(tǒng)具備較強的“隨需應(yīng)變”能力。 軟件版本更新速度快 操作系統(tǒng)會需要不定期的更新，三維軟件通常半年到一年就會進行一次更新，每個節(jié)點都需要安裝。渲染管理軟件也會必要的更新； 實際工作量=節(jié)點數(shù)操作系統(tǒng)數(shù)量軟件種類； 需要能夠進行智能的軟件分發(fā)和安裝，從而保證系統(tǒng)的可持續(xù)性使用。,HPCC, CUC CONFIDENTIAL,9,渲染云計算平臺所面臨的挑戰(zhàn),系統(tǒng)管理維護困難 渲染應(yīng)用的用戶往往都是藝術(shù)家，與專業(yè)系統(tǒng)管理員差距比較大； 同時，由于缺少針對用戶使用習慣和實際需求而定制開發(fā)的系統(tǒng)管理軟件，使得用戶更加難以對系統(tǒng)進行有效的管理、更新和維護，從而導(dǎo)致系統(tǒng)難以長期穩(wěn)定的運行。 “孤島式”的運營方式導(dǎo)致使用率低下 目前動漫渲染平臺大多采用“孤島式”的運營方式，由于本單位動漫渲染任務(wù)數(shù)量有限，使得渲染平臺大部分時間都處于空負載運行的狀態(tài)，而外單位的人員即使有相關(guān)的應(yīng)用需求，卻不知道哪里有這種資源可用。于是就出現(xiàn)了一邊是設(shè)備和軟件閑置無人問、一邊是用戶“踏破鐵鞋無覓處”的尷尬局面，造成了資源的極大浪費。 如何有效地整合現(xiàn)有的計算資源、數(shù)據(jù)資源和軟件資源，為用戶提供一個方便、透明的動漫渲染平臺，也是我們亟待解決的問題,HPCC, CUC CONFIDENTIAL,10,我們對渲染云計算平臺的理解,藝術(shù)創(chuàng)作與科學實踐同樣都需要智慧，而超級動漫渲染作為一個藝術(shù)與科學高度結(jié)合的產(chǎn)物，則更是需要二者的智慧大融合，并且技術(shù)的應(yīng)用始終要以服務(wù)于藝術(shù)創(chuàng)作為宗旨。 我們認為渲染云計算平臺的解決方案必須遵循這一宗旨，力求用高效的科技手段、個性化的方案定制來幫助藝術(shù)家順利地實現(xiàn)其藝術(shù)創(chuàng)作。 渲染云計算平臺 高性能計算集群 系統(tǒng)+ 渲染軟件 傳統(tǒng)的集群系統(tǒng)主要用于科學計算領(lǐng)域，關(guān)注的問題是如何獲得強大的計算能力。為了使其能夠適合于高帶寬、大I/O的渲染應(yīng)用需求，我們必須根據(jù)渲染應(yīng)用的特點，從集群系統(tǒng)的多個層次出發(fā)，對系統(tǒng)進行重新設(shè)計。,HPCC, CUC CONFIDENTIAL,11,超百萬億次規(guī)模下渲染云計算平臺解決方案,HPCC, CUC CONFIDENTIAL,12,總體思路,我們認為，超級渲染云計算平臺是軟件即服務(wù)SaaS、網(wǎng)格計算、虛擬化三者的有機結(jié)合： 虛擬化技術(shù)為平臺提供了必要的基礎(chǔ)設(shè)施； 網(wǎng)格計算技術(shù)為平臺提供了重要的技術(shù)基礎(chǔ)； 軟件即服務(wù)SaaS為平臺提供了一種完全創(chuàng)新的軟件使用模式。,HPCC, CUC CONFIDENTIAL,13,總體思路,超級渲染云計算平臺包括：基礎(chǔ)架構(gòu)層、平臺服務(wù)層、應(yīng)用服務(wù)層、服務(wù)管理和訪問接口五個組成部分。,HPCC, CUC CONFIDENTIAL,14,基礎(chǔ)架構(gòu)層,提供了必要的IT基礎(chǔ)設(shè)施，包括硬件設(shè)備和相關(guān)的系統(tǒng)軟件。 計算子系統(tǒng) 由系統(tǒng)管理節(jié)點、應(yīng)用管理節(jié)點和渲染節(jié)點三類節(jié)點服務(wù)器組成； 系統(tǒng)管理節(jié)點同時承擔了登錄節(jié)點、控制節(jié)點 、管理節(jié)點和安裝節(jié)點的所有任務(wù)，需要配備高性能、高可靠性的服務(wù)器； 應(yīng)用管理節(jié)點上部署渲染管理軟件，實現(xiàn)對各個渲染節(jié)點任務(wù)的管理和分發(fā)，需要配備高性能、高可靠性的服務(wù)器； 渲染節(jié)點是整個集群渲染系統(tǒng)的計算核心，主要功能就是執(zhí)行渲染計算。 互聯(lián)子系統(tǒng) 提供系統(tǒng)管理節(jié)點、應(yīng)用管理節(jié)點、渲染節(jié)點和存儲子系統(tǒng)之間連接通路； 實現(xiàn)了系統(tǒng)的管理、實時監(jiān)控和網(wǎng)絡(luò)文件訪問數(shù)據(jù)的傳遞，以及渲染節(jié)點之間的高速消息交換； 主流互聯(lián)技術(shù)包括千兆/萬兆以太網(wǎng)、Myrinet 光纖網(wǎng)絡(luò)和Infiniband 網(wǎng)絡(luò)； 幾乎所有的網(wǎng)絡(luò)渲染軟件都支持TCP/IP協(xié)議，用戶無須進行任何改動，渲染平臺即可平滑的遷移至萬兆以太網(wǎng)。,HPCC, CUC CONFIDENTIAL,15,基礎(chǔ)架構(gòu)層,存儲子系統(tǒng) 為集群渲染平臺提供集中的數(shù)據(jù)存儲空間； 渲染平臺在運行過程中，需要頻繁讀取各種場景、貼圖、材質(zhì)等文件，同時還會生成大量的圖片序列； 存儲子系統(tǒng)不僅要滿足渲染任務(wù)對存儲容量的要求，而且必須滿足渲染節(jié)點進行大量數(shù)據(jù)I/O對性能的要求； 目前主流的三種存儲架構(gòu)：DAS、NAS和SAN。 虛擬化子系統(tǒng) 將高性能計算集群的操作系統(tǒng)和應(yīng)用系統(tǒng)等動態(tài)部分與物理計算資源分離開來，構(gòu)建了基于動態(tài)架構(gòu)的集群系統(tǒng) 實現(xiàn)了計算資源的虛擬化，使得用戶能夠按需申請所需計算資源。,HPCC, CUC CONFIDENTIAL,16,基礎(chǔ)架構(gòu)層,操作系統(tǒng) 為了應(yīng)對渲染應(yīng)用復(fù)雜多樣的要求，渲染平臺必須支持多種操作系統(tǒng)平臺； 在很多情況下，需要在一個物理渲染節(jié)點上同時部署多個操作系統(tǒng)，并要求多個操作系統(tǒng)間的一鍵式切換； 目前主流的操作系統(tǒng)：Red Hat Linux, Suse Linux,Windows XP, Windows Server 2008等。 文件系統(tǒng) 文件系統(tǒng)可以為集群渲染提供并發(fā)的、高速的文件訪問，以及突出的數(shù)據(jù)I/O性能； 高效的文件系統(tǒng)可以滿足渲染過程中，渲染節(jié)點產(chǎn)生的大量近乎同時的I/O請求，滿足渲染節(jié)點對各種場景、貼圖、材質(zhì)等文件的并發(fā)訪問，以及渲染生成大量圖片序列的并行存儲，提供較高的數(shù)據(jù)I/O性能； 目前主流的文件系統(tǒng)：NFS、XFS、 PVFS2、Lustre和GPFS。,HPCC, CUC CONFIDENTIAL,17,基礎(chǔ)架構(gòu)層,集群管理系統(tǒng) 整合分散于操作系統(tǒng)、系統(tǒng)管理、作業(yè)管理、狀態(tài)監(jiān)控等軟件中的各個管理功能，實現(xiàn)了對集群多個層次的統(tǒng)一管理； 將渲染集群的所有渲染節(jié)點從異構(gòu)的、松散的狀態(tài)整合成一個緊密的具有單一映像的“虛擬超級計算機”，實現(xiàn)對渲染集群系統(tǒng)資源有效的管理和維護； 目前主流的集群管理系統(tǒng)： COMS、CHESS、OSCAR、xCAT、ROCKS等。,HPCC, CUC CONFIDENTIAL,18,平臺服務(wù)層,包括基礎(chǔ)網(wǎng)格服務(wù)、計算資源管理、數(shù)據(jù)資源管理、軟件資源管理和渲染作業(yè)管理等子系統(tǒng)。 基礎(chǔ)網(wǎng)格服務(wù)：屏蔽了基礎(chǔ)架構(gòu)層中各種資源的異構(gòu)性以及資源設(shè)備之間的復(fù)雜關(guān)聯(lián)，為用戶及上層應(yīng)用提供方便、透明的資源訪問； 計算資源管理：對平臺中所有計算資源進行管理，并為用戶提交的作業(yè)分配合理的資源，確保計算能力得到充分利用； 數(shù)據(jù)資源管理：對平臺上的所有數(shù)據(jù)資源進行統(tǒng)一管理，為用戶提供透明地訪問、存儲、傳輸和管理數(shù)據(jù)的接口，使得用戶能夠方便地實現(xiàn)數(shù)據(jù)共享； 軟件資源管理：提供一個開放的應(yīng)用軟件管理平臺，通過定義一組接口規(guī)范，實現(xiàn)“熱插拔式”的應(yīng)用軟件集中管理； 渲染作業(yè)管理：對任務(wù)的排隊、分幀、分發(fā)、渲染進行高效地調(diào)度與管理。,HPCC, CUC CONFIDENTIAL,19,應(yīng)用服務(wù)層,包括各種渲染軟件、引擎和插件，充分確保用戶復(fù)雜多樣渲染任務(wù)的順利進行。 目前常用的渲染軟件 Avid Softimage XSI Sumatra Alias/Wavefront MAYA Houdini 3DS MAX Lightwave 3D Animatek World Builder2C Bryce Poser Vue dEsprit Profesional,HPCC, CUC CONFIDENTIAL,20,服務(wù)管理,提供了用戶管理、權(quán)限管理、項目管理、會員管理，以及計費管理等后臺支撐服務(wù)。 用戶管理：利用PKI技術(shù)，構(gòu)建統(tǒng)一的X.509用戶證書信息庫，并在此基礎(chǔ)上實現(xiàn)統(tǒng)一認證和單點登錄； 權(quán)限管理：通過建立公共的系統(tǒng)平臺框架，與業(yè)務(wù)系統(tǒng)無縫集成，實現(xiàn)權(quán)限的集中管理和分散控制機制； 計費管理：提供基于資源用量的服務(wù)計費方式。,HPCC, CUC CONFIDENTIAL,21,訪問接口,包括門戶站點、應(yīng)用網(wǎng)關(guān)和編程接口三部分。 門戶站點：一方面提供了各種公共信息，另一方面為用戶訪問各種渲染服務(wù)提供統(tǒng)一的入口； 應(yīng)用網(wǎng)關(guān)：將平臺上的渲染服務(wù)對外映射成一個Web服務(wù)，降低業(yè)務(wù)系統(tǒng)和渲染平臺集成的難度； 編程接口：提供了C/C+、Python、 Perl、Shell等方式的編程接口，提供系統(tǒng)進一步定制開發(fā)的能力。,HPCC, CUC CONFIDENTIAL,22,“天河-酷卡”超級渲染云計算平臺的應(yīng)用案例,HPCC, CUC CONFIDENTIAL,23,“天河-酷卡”超級渲染云計算平臺,國家超算天津中心的“天河一號”擁有15,000個CPU和7,500個GPU，是目前世界上最快的超級計算機之一。 “天河-酷卡” 渲染云計算平臺由中國傳媒大學高性能計算中心與國家超算天津中心、北信酷卡公司聯(lián)合開發(fā)。通過對“天河一號”底層的網(wǎng)絡(luò)通信、資源管理系統(tǒng)以及應(yīng)用軟件的接口進行了相應(yīng)處理， “天河-酷卡”渲染云計算平臺中實現(xiàn)了渲染應(yīng)用與“天河一號”超級計算機的無縫結(jié)合，實現(xiàn)了渲染作業(yè)管理與渲染業(yè)務(wù)管理的無縫結(jié)合，實現(xiàn)了對各種主流三維軟件的完美支持。,HPCC, CUC CONFIDENTIAL,24,“天河-酷卡”超級渲染云計算平臺,目前，平臺已經(jīng)上線測試，并且創(chuàng)造了2,000個物理節(jié)點（24,000個處理器）同時對同一個模型進行并行渲染的世界紀錄，無論是從規(guī)模還是技術(shù)上來說，都達到了世界一流水平。 8月22日下午， “天河-酷卡”超級渲染云計算平臺發(fā)布會在人民大 會堂金色大廳舉行，全國人大常委會副委員長陳昌智出席，外交部、中聯(lián)部、科技部、新華社、廣電總局、天津濱海新區(qū)、國防科技大學有關(guān)領(lǐng)導(dǎo)和國內(nèi)外影視界人 士三百余人與會。 下一步，我們開發(fā)團隊將繼續(xù)推進平臺的研發(fā)工作，以天河一號為龍頭，整合分散在不同地理位置的各種資源（包括渲染集群、存儲資源、渲染模型庫、渲染業(yè)務(wù)管理等）， 為用戶提供一體化的信息和渲染服務(wù)。通過屏蔽資源的異構(gòu)性以及設(shè)備間的復(fù)雜關(guān)聯(lián)，為用戶提供一個方便、透明的資源使用平臺，并最終實現(xiàn)虛擬環(huán)境下的資源共享和