國家氣象中心臺(tái)風(fēng)路徑數(shù)值預(yù)報(bào)業(yè)務(wù)系統(tǒng)的并行運(yùn)行程序及系統(tǒng)實(shí)現(xiàn)

國家氣象中心臺(tái)風(fēng)路徑數(shù)值預(yù)報(bào)業(yè)務(wù)系統(tǒng)的并行運(yùn)行程序及系統(tǒng)實(shí)現(xiàn)

基于s12c2臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的特點(diǎn)熱帶雨林是中國沿海地區(qū)最嚴(yán)重的自然災(zāi)害之一。強(qiáng)風(fēng)、風(fēng)暴和潮汐往往嚴(yán)重危害人們的生命和財(cái)產(chǎn)安全。能否準(zhǔn)確的預(yù)報(bào)熱帶氣旋的移動(dòng)路徑是減輕損失的關(guān)鍵。國家氣象中心的臺(tái)風(fēng)路徑數(shù)值預(yù)報(bào)模式自從1996年投入業(yè)務(wù)運(yùn)行以來,已經(jīng)穩(wěn)定運(yùn)行6年。在這6年里,該模式經(jīng)歷了擴(kuò)大區(qū)域、兩次嵌入人造臺(tái)風(fēng)和細(xì)網(wǎng)格初始移動(dòng)等改進(jìn),技術(shù)上逐漸成熟,預(yù)報(bào)效果不斷提高。該系統(tǒng)自投入業(yè)務(wù)以來,一直在Cray92(C92)向量機(jī)上穩(wěn)定運(yùn)行。隨著時(shí)間的推移,C92的服務(wù)期已滿,各種硬件設(shè)備的維護(hù)已不能完全提供保障。為了保證業(yè)務(wù)運(yùn)行,國家氣象中心決定在國產(chǎn)超級計(jì)算機(jī)神威上建立新的臺(tái)風(fēng)路徑數(shù)值預(yù)報(bào)系統(tǒng),以代替C92機(jī)上基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)。國產(chǎn)超級計(jì)算機(jī)神威(SW)屬于可伸縮的大規(guī)模并行處理計(jì)算機(jī),通常稱之為MPP機(jī)(MassivelyParallelProcessor),它采用的是同構(gòu)、分布共享主存儲(chǔ)器體系結(jié)構(gòu),共有384個(gè)處理單元(PE)。每個(gè)處理單元內(nèi)存為128MB,處理單元間以內(nèi)部互連網(wǎng)絡(luò)連接,各處理單元既可獨(dú)立運(yùn)行也可通過相互間的網(wǎng)絡(luò)實(shí)現(xiàn)并行。每個(gè)處理單元還可通過16個(gè)I/O節(jié)點(diǎn)訪問磁盤陣列(簡稱IOP)。基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)是依托于C92向量機(jī)研制而成的,有3萬行串行程序,252個(gè)子程序。因而要在神威計(jì)算機(jī)上運(yùn)行原有的臺(tái)風(fēng)路徑預(yù)報(bào)模式,必須對原程序代碼進(jìn)行優(yōu)化及并行化,這樣才能保證在新環(huán)境下運(yùn)行的時(shí)間滿足業(yè)務(wù)需要。另外,國家氣象中心新一代中期預(yù)報(bào)模式由T106L19升級為T213L31,因此,向神威機(jī)并行化移植的臺(tái)風(fēng)模式系統(tǒng)的初估場及側(cè)邊界條件也需由T106L19產(chǎn)品改為T213L31產(chǎn)品。1細(xì)網(wǎng)格模式國家氣象中心的臺(tái)風(fēng)路徑數(shù)值預(yù)報(bào)模式是一個(gè)雙重嵌套的有限區(qū)域格點(diǎn)模式,有限區(qū)域外圍粗網(wǎng)格模式與全球業(yè)務(wù)譜模式嵌套,粗網(wǎng)格模式內(nèi)部再嵌套一個(gè)細(xì)網(wǎng)格模式。粗、細(xì)網(wǎng)格模式間采用時(shí)間同步單向嵌套。粗網(wǎng)格模式的預(yù)報(bào)范圍為:0°～50.625°N,84.375°～161.25°E,格距為0.9375°。細(xì)網(wǎng)格模式的預(yù)報(bào)范圍為:6.5625°～43.125°N,101.25°～150.9375°E,格距為0.46875°(大約50km)。模式水平方向采取的是經(jīng)緯網(wǎng)格坐標(biāo),垂直方向取σ坐標(biāo),層次為不等距15層,水平速度u、v,溫度T,比濕q都放在模式層的整層上,而垂直速度和位勢高度Φ放在模式層的半層上。模式的水平網(wǎng)格采用ArakawaC格式,變量在水平方向上交錯(cuò)分布。基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)主要包括如下幾個(gè)部分:①前處理(a)從背景場中消除不準(zhǔn)確的淺臺(tái)風(fēng),得出大尺度環(huán)境場;(b)構(gòu)造對稱的人造臺(tái)風(fēng)模型,并嵌入到大尺度環(huán)境場中,改善初始場中臺(tái)風(fēng)環(huán)流的描述;(c)有限區(qū)域多變量最優(yōu)插值客觀分析;(d)為了彌補(bǔ)在客觀分析時(shí)對臺(tái)風(fēng)結(jié)構(gòu)造成的影響,在分析場中二次嵌入對稱人造臺(tái)風(fēng)模型;②運(yùn)行臺(tái)風(fēng)路徑預(yù)報(bào)模式;③后處理生成預(yù)報(bào)產(chǎn)品。2緯圈并行化設(shè)計(jì)基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)運(yùn)行時(shí)間主要集中在臺(tái)風(fēng)路徑預(yù)報(bào)模式上,并行化將主要針對此模式展開,而前處理及后處理部分將串行移植到神威機(jī)上。臺(tái)風(fēng)路徑數(shù)值預(yù)報(bào)模式包括粗網(wǎng)格與細(xì)網(wǎng)格兩個(gè)區(qū)域,具有相同的預(yù)報(bào)方程、側(cè)邊界處理方案、時(shí)間積分方案及物理過程。通過對模式各部分的運(yùn)行時(shí)間進(jìn)行分析可以發(fā)現(xiàn),雙重嵌套模式時(shí)間積分的運(yùn)行時(shí)間占整個(gè)模式系統(tǒng)運(yùn)行時(shí)間的99%,而其中物理過程是計(jì)算量最為集中的部分。物理過程的計(jì)算是在每個(gè)緯圈上依次進(jìn)行的,各緯圈計(jì)算量接近,各緯圈的計(jì)算與本次時(shí)間積分中其它緯圈的計(jì)算結(jié)果無關(guān),只與上次時(shí)間積分中相鄰緯圈的計(jì)算結(jié)果有關(guān)。因此將采用如下并行化方案:①聯(lián)合采用數(shù)據(jù)并行和消息傳遞兩種并行模型,對緯圈實(shí)行并行,將與緯圈相關(guān)的數(shù)據(jù)與計(jì)算按塊分布的方式平均分配到各處理機(jī)上進(jìn)行并行計(jì)算;②采用HPF語言來實(shí)現(xiàn)整個(gè)系統(tǒng)的并行化設(shè)計(jì),對于一些性能要求高的子程序用并行函數(shù)實(shí)現(xiàn),以滿足時(shí)效要求。為了保證并行移植工作的順利進(jìn)行及并行結(jié)果的正確性,移植分以下幾步:①模式串行移植將C92機(jī)上的臺(tái)風(fēng)路徑數(shù)值預(yù)報(bào)模式代碼模塊移植到神威機(jī)器上,保證串行程序移植的正確。②程序的優(yōu)化為了進(jìn)一步減低系統(tǒng)運(yùn)行開銷,為系統(tǒng)的并行實(shí)現(xiàn)奠定良好的基礎(chǔ)對串行移植的程序代碼進(jìn)行優(yōu)化并驗(yàn)證優(yōu)化后串行模塊的正確性;③并行化處理將優(yōu)化成功的串行程序按上述并行化方案進(jìn)行并行處理;表1為模式并行效率檢驗(yàn)。從表中數(shù)據(jù)可以看出,在時(shí)間上,并行化后的模式能夠滿足業(yè)務(wù)時(shí)效需求,但從效能上看顯然不夠理想,其中神威機(jī)128MB的內(nèi)存是制約并行效能的一個(gè)重要因素,較小的內(nèi)存使得數(shù)據(jù)不得不經(jīng)常在內(nèi)外存做頻繁的交換,影響了并行效率。④并行化正確性檢驗(yàn)運(yùn)用多個(gè)個(gè)例數(shù)據(jù)對并行后的主模式進(jìn)行檢驗(yàn),在初值相同的前提下,將神威上運(yùn)行的并行結(jié)果與Cray92上運(yùn)行的串行結(jié)果進(jìn)行比較,檢驗(yàn)結(jié)果證明,模式的優(yōu)化及并行化是正確的。3t113l3基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)一直同原中期數(shù)值預(yù)報(bào)業(yè)務(wù)模式T106L19相嵌套。新一代中期數(shù)值預(yù)報(bào)模式T213L31于2002年正式投入業(yè)務(wù)運(yùn)行?；赥213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)將同新一代中期預(yù)報(bào)譜模式T213L31嵌套。同原中期預(yù)報(bào)系統(tǒng)T106L19模式相比,新一代中期預(yù)報(bào)譜模式T213L31有較高的模式分辨率及較完善的物理過程,同時(shí)其預(yù)報(bào)效果也有較大改進(jìn)。3.1路徑預(yù)報(bào)算法及檢驗(yàn)基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)于2002年6月30日投入實(shí)時(shí)運(yùn)行,對從No.05臺(tái)風(fēng)開始的14個(gè)臺(tái)風(fēng)進(jìn)行了24h及48h實(shí)時(shí)預(yù)報(bào)。14個(gè)臺(tái)風(fēng)中,西行登陸臺(tái)風(fēng)2個(gè)(No.16、No.18);西北行登陸臺(tái)風(fēng)1個(gè)(No.09);轉(zhuǎn)向臺(tái)風(fēng)6個(gè)(No.05、No.06、No.07、No.13、No.15、No.21);東北行臺(tái)風(fēng)1個(gè)(No.08);No.11號(hào)臺(tái)風(fēng)是打轉(zhuǎn)臺(tái)風(fēng);No.12、No.14、No.20等3個(gè)臺(tái)風(fēng)為北上臺(tái)風(fēng)。臺(tái)風(fēng)路徑預(yù)報(bào)誤差檢驗(yàn)結(jié)果表明,從總體來看,基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)由于同T213L31嵌套,其預(yù)報(bào)效果比基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)好,其中24h平均誤差減少24.5km,約占總平均誤差的13.2%,48h減少23.7km,約占7.4%,詳細(xì)誤差分析見表2。為了進(jìn)一步了解神威機(jī)臺(tái)風(fēng)路徑預(yù)報(bào)系統(tǒng)的預(yù)報(bào)特點(diǎn),分析了每個(gè)臺(tái)風(fēng)平均路徑誤差,圖1及圖2分別為所有臺(tái)風(fēng)24h及48h路徑預(yù)報(bào)誤差。從圖1可以看出,除No.13(兩系統(tǒng)預(yù)報(bào)路徑平均誤差分別為212.1km、203.8km)、No.15(誤差為89km、87.2km)、No.18(誤差為204.5km、146km)臺(tái)風(fēng)外,基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)預(yù)報(bào)的其余11個(gè)臺(tái)風(fēng)的24h平均誤差均比基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)平均誤差小。由此可以看出由于初始場及側(cè)邊界由T106L19升級為T213L31,基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的24h路徑預(yù)報(bào)得到改進(jìn)。兩個(gè)系統(tǒng)的48h路徑預(yù)報(bào)(圖2)各有千秋,基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)在12個(gè)臺(tái)風(fēng)48h平均路徑誤差檢驗(yàn)中,有6個(gè)臺(tái)風(fēng)(No.05、No.11、No.13、No.14、No.15、No.21)的平均路徑誤差小于基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的平均路徑預(yù)報(bào)誤差。6個(gè)臺(tái)風(fēng)中轉(zhuǎn)向路徑有4個(gè),為No.05、No.13、No.15、No.21;北上路徑一個(gè)No.14;打轉(zhuǎn)路徑一個(gè)No.11。而48h路徑誤差大于基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的6個(gè)臺(tái)風(fēng)中西行或西北行登陸的臺(tái)風(fēng)有兩個(gè):No.09、No.16,東北行臺(tái)風(fēng)一個(gè)No.08,西北行轉(zhuǎn)向的臺(tái)風(fēng)兩個(gè)No.06、No.07,北上路徑一個(gè)No.20。從2002年不同移向(轉(zhuǎn)向、西行登陸或西北行登陸、打轉(zhuǎn)、東北行及北上)臺(tái)風(fēng)的平均路徑誤差分析得出,①基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)對西行登陸或西北行登陸的臺(tái)風(fēng)48h路徑預(yù)報(bào)比基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)預(yù)報(bào)效果差;②對于轉(zhuǎn)向臺(tái)風(fēng)預(yù)報(bào)總體上預(yù)報(bào)效果好于基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)預(yù)報(bào);③兩個(gè)系統(tǒng)對西行或西北行登陸的臺(tái)風(fēng)預(yù)報(bào)均明顯比對轉(zhuǎn)向路徑的預(yù)報(bào)好,即對西行登陸或西北行登陸的臺(tái)風(fēng)有較好的預(yù)報(bào)能力;④而對北上路徑預(yù)報(bào)基本好于基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的預(yù)報(bào)。圖3為西行登陸或西北行登陸臺(tái)風(fēng)及轉(zhuǎn)向臺(tái)風(fēng)的誤差分布。3.2t106臺(tái)風(fēng)與s113臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的比較仔細(xì)分析每個(gè)轉(zhuǎn)向臺(tái)風(fēng)路徑誤差分布特點(diǎn)可以發(fā)現(xiàn),對于轉(zhuǎn)向臺(tái)風(fēng),通常在轉(zhuǎn)向之前基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的預(yù)報(bào)效果比基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)差或相當(dāng),而轉(zhuǎn)向之后同基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的路徑預(yù)報(bào)相當(dāng)或明顯好于基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的路徑預(yù)報(bào)?；赥213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)有效的減小了基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)對轉(zhuǎn)向臺(tái)風(fēng)的系統(tǒng)性預(yù)報(bào)誤差:臺(tái)風(fēng)轉(zhuǎn)向后所預(yù)報(bào)路徑比實(shí)況路徑偏西。圖4展示了兩個(gè)系統(tǒng)對轉(zhuǎn)向臺(tái)風(fēng)路徑預(yù)報(bào)的特點(diǎn)。從圖4可以看出,對于No.05臺(tái)風(fēng),基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)在轉(zhuǎn)向點(diǎn)之前的預(yù)報(bào)一直預(yù)報(bào)此臺(tái)風(fēng)將登陸我國;而基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)提前24h預(yù)報(bào)了No.05號(hào)臺(tái)風(fēng)的轉(zhuǎn)向趨勢。仔細(xì)分析了預(yù)報(bào)路徑的經(jīng)、緯度預(yù)報(bào)誤差發(fā)現(xiàn)(圖略),基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)有效的減小了基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)對轉(zhuǎn)向臺(tái)風(fēng)路徑預(yù)報(bào)西進(jìn)較快的趨勢,并提高了臺(tái)風(fēng)向北的移動(dòng)速度,兩者的作用使神威系統(tǒng)的預(yù)報(bào)減小了原基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)在預(yù)報(bào)轉(zhuǎn)向臺(tái)風(fēng)時(shí)系統(tǒng)性的偏西誤差,預(yù)報(bào)路徑較基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)預(yù)報(bào)偏東。而轉(zhuǎn)向后基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的預(yù)報(bào)路徑偏東趨勢在所有轉(zhuǎn)向臺(tái)風(fēng)中都存在,這使得基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)在臺(tái)風(fēng)轉(zhuǎn)向后的大部分路徑預(yù)報(bào)好于基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的路徑預(yù)報(bào)。3.3no.29和no.16臺(tái)風(fēng)預(yù)報(bào)誤差的原因不同分析西行登陸或西北行登陸的臺(tái)風(fēng),基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)24h預(yù)報(bào)路徑誤差較基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)預(yù)報(bào)誤差小,而48h(No.09及No.16臺(tái)風(fēng)11次預(yù)報(bào)平均)前者卻有較大的預(yù)報(bào)誤差。誤差主要來源于No.09:基于T213系統(tǒng)48h平均誤差為246.3(5)km,而基于T106系統(tǒng)48h平均誤差為118.9(5)km。分析兩個(gè)預(yù)報(bào)系統(tǒng)48h預(yù)報(bào)路徑誤差相差大于100km的預(yù)報(bào)可以看出,預(yù)報(bào)誤差并不具系統(tǒng)性,引起No.09和No.16臺(tái)風(fēng)預(yù)報(bào)誤差的原因不同。No.09臺(tái)風(fēng)路徑位于較高緯度,三次較大誤差為2002年7月23日12:00、7月24日00:00及7月25日00:00的48h預(yù)報(bào),兩個(gè)系統(tǒng)的預(yù)報(bào)誤差相差150～200km。比較幾次預(yù)報(bào)的500hPa高度場可以發(fā)現(xiàn):基于T213系統(tǒng)所預(yù)報(bào)的副高明顯弱于基于T106系統(tǒng)的預(yù)報(bào),而No.09臺(tái)風(fēng)的移動(dòng)主要受副高西進(jìn)及北抬影響。故在這三次預(yù)報(bào)中,基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的預(yù)報(bào)明顯比基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的預(yù)報(bào)偏東偏南。位于較低緯度的No.16臺(tái)風(fēng)兩次較大的誤差分別出現(xiàn)在2002年9月4日00:00預(yù)報(bào)及9月5日00:00的48h預(yù)報(bào)。造成No.16臺(tái)風(fēng)較大誤差的原因同No.09臺(tái)風(fēng)的預(yù)報(bào)截然不同?；赥213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)預(yù)報(bào)路徑西進(jìn)過快,經(jīng)度誤差分別為(預(yù)報(bào)-實(shí)況):9月4日00:00的48h預(yù)報(bào)為-4.866(SW)、-3.459(C92);9月5日00:00的48h預(yù)報(bào)為-3.334(SW)、-2.239(C92),西移速度過快導(dǎo)致基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)這兩次48h路徑預(yù)報(bào)誤差比基于T106臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)路徑預(yù)報(bào)誤差大100km左右。除No.09臺(tái)風(fēng)的48h預(yù)報(bào)外,三個(gè)西行或西北行登陸的臺(tái)風(fēng)預(yù)報(bào)路徑絕大部分比實(shí)況偏北,基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的預(yù)報(bào)偏北比較明顯(圖略),這一點(diǎn)也可能是導(dǎo)致基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)預(yù)報(bào)誤差較大的原因之一。4對轉(zhuǎn)向臺(tái)風(fēng)路徑預(yù)報(bào)的影響經(jīng)過對臺(tái)風(fēng)路徑預(yù)報(bào)模式的優(yōu)化及并行化,臺(tái)風(fēng)路徑數(shù)值預(yù)報(bào)系統(tǒng)成功的建立在SW上,預(yù)報(bào)時(shí)效滿足了業(yè)務(wù)需要,同時(shí)系統(tǒng)的嵌套模式由原來的T106L19升級為T213L31。臺(tái)風(fēng)路徑預(yù)報(bào)誤差分析表明:基于T213臺(tái)風(fēng)預(yù)報(bào)系統(tǒng)的總體平