中航信大數(shù)據(jù)思考與實(shí)踐

1、中航信大數(shù)據(jù)思考與實(shí)踐【賽迪網(wǎng)訊】我來(lái)自中國(guó)民航信息集團(tuán)公司（以下簡(jiǎn)稱中國(guó)航信）。中國(guó)航信的前身創(chuàng)建于80年代，30年來(lái)，一直為中國(guó)民航業(yè)提供信息化服務(wù)。中國(guó)航信正式組建于2002年10月，屬國(guó)資委管理的中央企業(yè)，現(xiàn)有員工近4000人，總部在北京。2000年10月，中國(guó)民航計(jì)算機(jī)信息中心聯(lián)合當(dāng)時(shí)所有國(guó)內(nèi)航空公司發(fā)起成立中國(guó)民航信息網(wǎng)絡(luò)股份有限公司，于2001年2月在香港聯(lián)交所主板掛牌上市交易。2008年7月，中國(guó)民航信息集團(tuán)公司以中國(guó)民航信息網(wǎng)絡(luò)股份有限公司為主體，完成主營(yíng)業(yè)務(wù)和資產(chǎn)重組并在香港成功整體上市。目前，中國(guó)航信是航空旅游行業(yè)領(lǐng)先的信息技術(shù)及商務(wù)服務(wù)提供商，主要業(yè)務(wù)是航空客運(yùn)業(yè)務(wù)處理

2、、航空旅游電子分銷、機(jī)場(chǎng)旅客處理、航空貨運(yùn)數(shù)據(jù)處理、航空財(cái)務(wù)結(jié)算清算、IT外包服務(wù)、互聯(lián)網(wǎng)旅游分銷平臺(tái)。包括淘寶、攜程、藝龍?jiān)趦?nèi)，它們銷售客票的原始數(shù)據(jù)都由中國(guó)航信提供。航信的電子客票服務(wù)，可以讓乘客方便地通過(guò)網(wǎng)絡(luò)購(gòu)買(mǎi)機(jī)票、網(wǎng)上值機(jī)，拿著第二代身份證就可以登機(jī)。我曾經(jīng)看到過(guò)這樣一個(gè)報(bào)道：美國(guó)某機(jī)場(chǎng)通過(guò)視頻監(jiān)控發(fā)現(xiàn)一個(gè)旅客把前面旅客的勞力士手表給偷了。隨著服務(wù)細(xì)化以及航信客戶-航空公司的要求越來(lái)越高、越來(lái)越細(xì)，中國(guó)航信也會(huì)逐步將圖像、聲音、視頻加入到數(shù)據(jù)庫(kù)當(dāng)中，增加數(shù)據(jù)庫(kù)的多樣性。目前，航信只是把圖片放到了數(shù)據(jù)庫(kù)中，視頻還沒(méi)有放到其中。中國(guó)航信目前運(yùn)行著超過(guò)2000臺(tái)硬件設(shè)備，每秒鐘事務(wù)處理能力

3、是11000TNX/S,每天為100萬(wàn)旅客提供訂票離港服務(wù)，每天交易量10億元。中航信目前存儲(chǔ)的數(shù)據(jù)大部分為結(jié)構(gòu)化數(shù)據(jù)，擁有超過(guò)2PB的存儲(chǔ)系統(tǒng)，每年結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)量為35%中國(guó)航信擁有3個(gè)正在運(yùn)行的數(shù)據(jù)中心，還有兩個(gè)在建數(shù)據(jù)中心，分別是在順義的30000平米數(shù)據(jù)中心以及浙江在嘉興的15000平米數(shù)據(jù)中心。未來(lái)，會(huì)根據(jù)客戶需求以及市場(chǎng)驅(qū)動(dòng)等因素，來(lái)決定在結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)的投資。目前，中航信最緊迫是要滿足航空公司的實(shí)時(shí)票價(jià)計(jì)算需求。實(shí)時(shí)票價(jià)，就是航空公司能夠在在某一時(shí)刻，根據(jù)歷史數(shù)據(jù)、當(dāng)下的需求，來(lái)自動(dòng)決定機(jī)票售價(jià)，既可以讓航空公司的利潤(rùn)最高，又能夠讓消費(fèi)者能夠接受。這個(gè)動(dòng)態(tài)票價(jià)點(diǎn)需要在幾秒

4、內(nèi)計(jì)算出來(lái)，需要結(jié)構(gòu)化大數(shù)據(jù)、并行計(jì)算等技術(shù)來(lái)進(jìn)行支撐。中航信現(xiàn)采用的傳統(tǒng)teradata關(guān)系數(shù)據(jù)庫(kù)，不能支持實(shí)時(shí)計(jì)算。航信成立之后的前20年，中國(guó)航信都是采用傳統(tǒng)的主機(jī)系統(tǒng)，設(shè)備都是舊M的UNIX。目前，中國(guó)航信正在從傳統(tǒng)的主機(jī)模式向開(kāi)放平臺(tái)進(jìn)行轉(zhuǎn)移，目前，酒店業(yè)務(wù)、貨運(yùn)業(yè)務(wù)、電子客票、機(jī)場(chǎng)離崗等等都在逐步地向開(kāi)放平臺(tái)進(jìn)行遷移。在開(kāi)放平臺(tái)上，中國(guó)航信主要應(yīng)用是的Oracle或者M(jìn)ySQL數(shù)據(jù)架構(gòu)之間相互比較獨(dú)立、煙囪式的，每個(gè)系統(tǒng)之間數(shù)據(jù)沒(méi)有物理上的聯(lián)系。而邏輯上的些微聯(lián)系也是根據(jù)業(yè)務(wù)需求，進(jìn)行的數(shù)據(jù)交換。這些數(shù)據(jù)在物理上是統(tǒng)一存儲(chǔ)，我們?cè)?年前實(shí)現(xiàn)了在開(kāi)放平臺(tái)上的虛擬化存儲(chǔ)技術(shù)，把所有的磁

5、盤(pán)、所有的應(yīng)用系統(tǒng)、主機(jī)都集成到我們的虛擬化云平臺(tái)上，可以根據(jù)需要在幾分鐘內(nèi)就部署一套系統(tǒng)，這在兩年前就完全實(shí)現(xiàn)了。中國(guó)航信在2002年投資一億部署Teradata的數(shù)據(jù)倉(cāng)庫(kù)。這是一個(gè)關(guān)系型數(shù)據(jù)庫(kù)，它能存儲(chǔ)大量數(shù)據(jù)，但缺點(diǎn)是反應(yīng)速度慢，沒(méi)法實(shí)時(shí)地為航空公司提供服務(wù)，不能在規(guī)定時(shí)間內(nèi)計(jì)算出票價(jià)，這個(gè)需求對(duì)于航空公司、客票代理、購(gòu)票人Teradata系統(tǒng)不都是非常有用的。過(guò)長(zhǎng)的等待時(shí)間會(huì)讓該功能失去功用了，因此能用于實(shí)時(shí)的計(jì)算，都是按天為單位來(lái)運(yùn)算的。在2000年時(shí)，覺(jué)得Teradata的存儲(chǔ)容量很大，可以存儲(chǔ)12年的數(shù)據(jù)，但我們現(xiàn)在存儲(chǔ)半年數(shù)據(jù)就滿了，且管理成本、運(yùn)維成本、擴(kuò)容成本都是千萬(wàn)級(jí)的，

6、也非常昂貴。根據(jù)預(yù)測(cè)，2020年的中國(guó)航空旅客運(yùn)輸量將達(dá)到7.7億人次左右，年復(fù)合增長(zhǎng)率為12.27%,并將成為全球第一的航空旅行大國(guó)。航空客運(yùn)銷售代理市場(chǎng)的規(guī)模將達(dá)到360億元左右，成長(zhǎng)空間巨大?？梢灶A(yù)見(jiàn)，支撐這一巨大規(guī)模的IT系統(tǒng)也將是及其復(fù)雜的。此外，中航信今天還面臨數(shù)據(jù)多樣性的挑戰(zhàn)。數(shù)據(jù)多樣性，這更多是由客戶驅(qū)動(dòng)，如航空公司、客票代理、旅客對(duì)價(jià)格的理解，對(duì)服務(wù)需求的理解，對(duì)服務(wù)要求的提高，會(huì)促使中航信決定是不是、何時(shí)應(yīng)用大數(shù)據(jù)，是結(jié)構(gòu)化的還是非機(jī)構(gòu)化的。比如中航信現(xiàn)有數(shù)據(jù)庫(kù)支持圖片，那就可以支持在乘客離崗時(shí)候照一張照片，在登機(jī)口利用照片核對(duì)是否同一人，符合之后才可以登機(jī)。但這里面的數(shù)據(jù)

7、保密問(wèn)題，對(duì)航空公司、信息服務(wù)提供商、乘客都是一個(gè)很大挑戰(zhàn)。在2011年，中航信就開(kāi)始研究大數(shù)據(jù)，是以事件交易服務(wù)為中心，主要面向旅客、面向航空公司來(lái)做大數(shù)據(jù)的服務(wù)。并在2011年底對(duì)國(guó)內(nèi)航空公司做了調(diào)研。航空公司要求航信能夠提供實(shí)時(shí)機(jī)票定價(jià)服務(wù)，根據(jù)市場(chǎng)需求，根據(jù)航線情況，能夠給出旅客能夠接受的最高價(jià)格，比如京滬航線，什么時(shí)候全價(jià)、什么時(shí)候能夠打八折、八五折、七折，或者更低的折扣，這就要求航信提供很快的服務(wù)，能夠根據(jù)當(dāng)時(shí)的市場(chǎng)需求、以及前幾年的歷史數(shù)據(jù)，以及飛機(jī)時(shí)刻，來(lái)計(jì)算出能夠航空公司所能賣出的最高價(jià)格，同時(shí)也能提高艙位的利用率。同時(shí)，也要監(jiān)測(cè)競(jìng)爭(zhēng)對(duì)手是不是有低價(jià)，如果競(jìng)爭(zhēng)對(duì)手給出低價(jià)，航

8、空公司也要立即跟進(jìn)。這都需要實(shí)時(shí)數(shù)據(jù)來(lái)支撐。目前，中國(guó)航信在EMC勺Greenplum進(jìn)行了大數(shù)據(jù)部署，這是基于事務(wù)性的、云計(jì)算部署，它解決了結(jié)構(gòu)化數(shù)據(jù)并行計(jì)算問(wèn)題，能夠快速計(jì)算、迅速反應(yīng)，但在圖像存儲(chǔ)上還有待完善。未來(lái)，航信最終會(huì)做hadoop,會(huì)采用全開(kāi)源的NoSQL+X8債勺硬件平臺(tái)，利用mapreduce、bigtable、GFS等類似的技術(shù)。特別是對(duì)于證券業(yè)、民航業(yè)、銀行業(yè)等結(jié)構(gòu)化數(shù)據(jù)較多的企業(yè)來(lái)說(shuō)，Greenplum是適用的，因?yàn)樗慕Y(jié)構(gòu)化數(shù)據(jù)+并行處理能力強(qiáng)大。而對(duì)于擁有大量圖像、聲音、視頻的非機(jī)構(gòu)化數(shù)據(jù)，hadoop更加適用。對(duì)企業(yè)來(lái)說(shuō)，任何技術(shù)都有好處和缺陷，關(guān)鍵要看企業(yè)客戶

9、需求是什么，客戶要拿來(lái)做什么。就好比：不可能開(kāi)著飛機(jī)大炮去打獵，得拿著獵槍。因此，服務(wù)提供商選擇什么樣的技術(shù)是基于客戶的需求，要選對(duì)工具和技術(shù)去支撐應(yīng)用，這是最關(guān)鍵的一點(diǎn)，看不到這點(diǎn)，會(huì)走冤枉路，花冤枉錢(qián)。中航信目前在做一個(gè)shopping,把中航信的酒店、機(jī)票還有價(jià)格放到平臺(tái)上面，底層用的是mysql,上層是一些Nosql的數(shù)據(jù)庫(kù)，這樣能夠快速響應(yīng)。因?yàn)榻y(tǒng)計(jì)發(fā)現(xiàn)，大概每900-1000個(gè)的訪問(wèn)者中只有一人進(jìn)行了購(gòu)買(mǎi)，大部分人是瀏覽。為了應(yīng)對(duì)這種情況，中航信采用了低成本的mysql,上面放一個(gè)高速緩存的nosql數(shù)據(jù)庫(kù)，上面再架設(shè)一個(gè)網(wǎng)站的方式來(lái)為客戶提供服務(wù)。民航主要用的是微軟數(shù)據(jù)庫(kù)架構(gòu)，正

10、逐步走向mapreduce、NoSQL逐步走向開(kāi)源系統(tǒng)、開(kāi)放架構(gòu)。由于中國(guó)航信研發(fā)人員比較多，能夠較好地對(duì)開(kāi)源內(nèi)容進(jìn)行編制和再創(chuàng)新，但最終還是航空公司和旅客的需求應(yīng)用來(lái)驅(qū)動(dòng)中國(guó)航信的架構(gòu)。比如未來(lái)旅客訂票需要圖像，又如我們提供的預(yù)定酒店服務(wù)，可以在網(wǎng)上展示酒店客房的實(shí)際情況，甚至可以模仿消費(fèi)者在房間里面走，而出現(xiàn)的視覺(jué)變化，房間的布局、顏色。以及窗外的景色，這就需要大數(shù)據(jù)的支持，必須是非結(jié)構(gòu)化大數(shù)據(jù)來(lái)支持，傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)是無(wú)法支持的?？蛻粼敢饣ㄥX(qián)購(gòu)買(mǎi)這個(gè)服務(wù)，或者競(jìng)爭(zhēng)讓這個(gè)服務(wù)以更低的成本得以實(shí)現(xiàn)。比如訂酒店，你可以看到周圍環(huán)境的布局以及酒店房間里面的情況，這樣消費(fèi)者可以更快地決定是否購(gòu)買(mǎi)。如果其他商家做不到，那就有獨(dú)特的競(jìng)爭(zhēng)優(yōu)勢(shì)。對(duì)商家來(lái)說(shuō)，是否能夠負(fù)擔(dān)這個(gè)成本，所有東西都取決于客戶的需求以及成本的匹配。在數(shù)據(jù)中心“大數(shù)據(jù)平臺(tái)”發(fā)展路線上，中國(guó)航信規(guī)劃了四個(gè)方面。第一是基礎(chǔ)的IDC建設(shè)，目前建設(shè)了兩個(gè)全新的數(shù)據(jù)中心；第二個(gè)是云存儲(chǔ)、云主機(jī)、云計(jì)算；第三個(gè)是開(kāi)放的云應(yīng)用，第四是把這些技術(shù)應(yīng)用到web上，如網(wǎng)上值機(jī)、根據(jù)座位圖來(lái)選擇座位，未來(lái)航信可以提供立體飛機(jī)倉(cāng)位示意圖，讓乘客可以更直觀地判斷位置的舒適程度等，只要航空公司需要，就可以很快開(kāi)發(fā)出這些服務(wù)。除了為民航提供服務(wù)之外，中國(guó)航信還對(duì)其他企事業(yè)單位開(kāi)放，提供包括信息服務(wù)，外包