淺析大數(shù)據(jù)時(shí)代下的電子商務(wù)

1、淺析大數(shù)據(jù)時(shí)代下的電子商務(wù)*摘要：云計(jì)算、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等新興服務(wù)促使人類(lèi)社會(huì)的數(shù)據(jù)種類(lèi)和規(guī)模正以前所未有的速度增長(zhǎng)，大數(shù)據(jù)時(shí)代正式到來(lái)。通過(guò)對(duì)大數(shù)據(jù)時(shí)代下電子商務(wù)的現(xiàn)狀、挑戰(zhàn)和機(jī)遇進(jìn)行詳細(xì)分析，提出構(gòu)建大數(shù)據(jù)時(shí)代下的電子商務(wù)服務(wù)模式，同時(shí)構(gòu)建大數(shù)據(jù)時(shí)代下的電子商務(wù)服務(wù)平臺(tái)。該平臺(tái)的建立能夠幫助電子商務(wù)企業(yè)克服整體管理水平薄弱等基本問(wèn)題，同時(shí)對(duì)企業(yè)擴(kuò)大業(yè)務(wù)量、擴(kuò)展市場(chǎng)占有率、增強(qiáng)綜合競(jìng)爭(zhēng)力等也具有非常重要的作用，它將會(huì)是未來(lái)電子商務(wù)發(fā)展的必然趨勢(shì)。關(guān)鍵詞：大數(shù)據(jù)；電子商務(wù)；云計(jì)算；MapReduceAbstract: Cloud computing, networking, social n

2、etworking and other new services to promote data types and scale of human society is growing at an unprecedented rate, the official arrival of the era of big data. By the status quo for the next big data era of e-commerce, a detailed analysis of the challenges and opportunities presented to build e-

3、commerce services in an era of large data models, while building e-commerce service platform era of big data. The establishment of the e-commerce platform to help companies overcome the overall management of weak fundamental issues, while enterprises to expand business volume, expand market share, e

4、nhance overall competitiveness, also has a very important role, it will be the future of e-commerce development the inevitable trend.Key words: Large data; E-commerce; Cloud computing; MapReduce0. 引言隨著互聯(lián)網(wǎng)的快速發(fā)展與變化，電子商務(wù)等承載了大量個(gè)人及交易信息，電子商務(wù)中的數(shù)據(jù)不僅量大，而且結(jié)構(gòu)復(fù)雜，其業(yè)務(wù)數(shù)據(jù)類(lèi)型繁多，這就意味著電商的數(shù)據(jù)必須在大容量數(shù)據(jù)分析和挖掘的基礎(chǔ)之上，才能獲得最真實(shí)的價(jià)值

5、，因此大數(shù)據(jù)應(yīng)用需求在電子商務(wù)中日趨重要。同時(shí)，中國(guó)的電子商務(wù)企業(yè)已經(jīng)認(rèn)識(shí)到大數(shù)據(jù)蘊(yùn)含著巨大的商業(yè)價(jià)值，但國(guó)內(nèi)互聯(lián)網(wǎng)巨頭作為率先使用大數(shù)據(jù)技術(shù)的用戶，僅僅是基于開(kāi)源軟件自主開(kāi)發(fā)大數(shù)據(jù)應(yīng)用，未形成企業(yè)級(jí)的個(gè)性化應(yīng)用。本論文首先通過(guò)對(duì)大數(shù)據(jù)時(shí)代下的電子商務(wù)發(fā)現(xiàn)狀、挑戰(zhàn)和機(jī)遇進(jìn)行分析，其次，提出構(gòu)建大數(shù)據(jù)時(shí)代下的電子商務(wù)服務(wù)模式，同時(shí)在大數(shù)據(jù)時(shí)代下構(gòu)建電子商務(wù)平臺(tái)。大數(shù)據(jù)時(shí)代下的電子商務(wù)服務(wù)模型的構(gòu)建不僅能促進(jìn)企業(yè)經(jīng)濟(jì)的發(fā)展，而且，它還可以加快實(shí)現(xiàn)電子商務(wù)企業(yè)信息化的建設(shè)。它是促進(jìn)電子商務(wù)企業(yè)經(jīng)濟(jì)發(fā)展的迫切需要；是使傳統(tǒng)企業(yè)經(jīng)濟(jì)向信息化經(jīng)濟(jì)過(guò)渡的有效途徑；是企業(yè)實(shí)現(xiàn)經(jīng)濟(jì)全球化、信息化的有效手段。1.

6、 大數(shù)據(jù)時(shí)代下的電子商務(wù)現(xiàn)狀1.1 大數(shù)據(jù)發(fā)展現(xiàn)狀大數(shù)據(jù)已成為全球語(yǔ)言。但對(duì)于大數(shù)據(jù)的定義也是眾說(shuō)紛紜，沒(méi)有統(tǒng)一的規(guī)范定義。大數(shù)據(jù)的“大”字不僅意味著數(shù)量的龐大，還代表著數(shù)據(jù)種類(lèi)繁多、結(jié)構(gòu)復(fù)雜，變化的速度也非?？欤@些特征的出現(xiàn)與互聯(lián)網(wǎng)的發(fā)展息息相關(guān)。它是繼云計(jì)算、物聯(lián)網(wǎng)之后IT 產(chǎn)業(yè)又一次顛覆性的技術(shù)變革，對(duì)于企業(yè)將產(chǎn)生巨大的影響。如今，大數(shù)據(jù)分析已經(jīng)成為行業(yè)研究的熱點(diǎn)，大數(shù)據(jù)正在以多種方式創(chuàng)造著巨大的價(jià)值。在大數(shù)據(jù)時(shí)代，未來(lái)數(shù)年數(shù)據(jù)量將會(huì)呈指數(shù)爆炸?？傮w來(lái)說(shuō)，未來(lái)大數(shù)據(jù)的發(fā)展趨勢(shì)主要會(huì)呈現(xiàn)出幾個(gè)特點(diǎn)：大數(shù)據(jù)會(huì)越來(lái)越多的進(jìn)入垂直領(lǐng)域；越來(lái)越實(shí)時(shí)化；大數(shù)據(jù)產(chǎn)業(yè)會(huì)發(fā)展成生態(tài)鏈；開(kāi)放性越來(lái)越強(qiáng)，大

7、數(shù)據(jù)會(huì)越來(lái)越多的走向數(shù)據(jù)互換和數(shù)據(jù)交易。1.2. 大數(shù)據(jù)時(shí)代下的電子商務(wù)企業(yè)現(xiàn)狀電子商務(wù)經(jīng)歷了三個(gè)時(shí)代：（1）基于用戶數(shù)的時(shí)代，此時(shí)電子商務(wù)企業(yè)通過(guò)收取會(huì)員費(fèi)、廣告費(fèi)等方式發(fā)展客戶來(lái)賺取利潤(rùn)；（2）基于銷(xiāo)量的時(shí)代，電商企業(yè)通過(guò)投放廣告來(lái)實(shí)現(xiàn)銷(xiāo)售量的增長(zhǎng)，以此來(lái)提升品牌影響力和企業(yè)價(jià)值；（3）基于數(shù)據(jù)的時(shí)代，電子商務(wù)公司通過(guò)對(duì)消費(fèi)者的海量數(shù)據(jù)的收集、分析、整合，挖掘出商業(yè)價(jià)值，促進(jìn)個(gè)性化和精確化營(yíng)銷(xiāo)的開(kāi)展。隨著電子商務(wù)的廣泛應(yīng)用，選擇網(wǎng)上購(gòu)物的消費(fèi)者越來(lái)越多，使得電子商務(wù)網(wǎng)站的數(shù)據(jù)越來(lái)越多，這正是典型的大數(shù)據(jù)。全球迎來(lái)大數(shù)據(jù)時(shí)代，數(shù)據(jù)成為越來(lái)越有用的資源，電子商務(wù)企業(yè)在開(kāi)發(fā)利用大數(shù)據(jù)的市場(chǎng)上存在

8、著巨大的發(fā)展前景。2. 大數(shù)據(jù)時(shí)代下電子商務(wù)的挑戰(zhàn)善于利用大數(shù)據(jù)的電子商務(wù)企業(yè)將會(huì)獲得新的發(fā)展方向和動(dòng)力。要收集和發(fā)揮大數(shù)據(jù)的潛力，電子商務(wù)企業(yè)仍有很多障礙和挑戰(zhàn)需要去克服。電子商務(wù)企業(yè)在大數(shù)據(jù)時(shí)代將會(huì)迎來(lái)重大的機(jī)遇和契機(jī)，同時(shí)也面臨著大數(shù)據(jù)處理能力和隱私保護(hù)等方面的挑戰(zhàn)。2.1 擁有大數(shù)據(jù)的挑戰(zhàn)在大數(shù)據(jù)時(shí)代下，電子商務(wù)的競(jìng)爭(zhēng)已經(jīng)成為基于數(shù)據(jù)的競(jìng)爭(zhēng)。數(shù)據(jù)就是電子商務(wù)企業(yè)的財(cái)富和金礦，誰(shuí)擁有大數(shù)據(jù)，誰(shuí)就有制勝的砝碼，誰(shuí)就可能成為大贏家。然而網(wǎng)絡(luò)上的消費(fèi)者并不會(huì)直接告訴企業(yè)其需求，電子商務(wù)企業(yè)必須去收集、分析、跟蹤、對(duì)比消費(fèi)者在互聯(lián)網(wǎng)上留下的種種“足跡”、評(píng)論、圖片、視頻等。當(dāng)今極速爆炸的信息量遠(yuǎn)

9、遠(yuǎn)超越了大部分企業(yè)IT 架構(gòu)和基礎(chǔ)設(shè)施的承載能力，其實(shí)時(shí)性要求也大大超越了現(xiàn)有的計(jì)算能力。挖掘大數(shù)據(jù)的價(jià)值類(lèi)似沙里淘金，由于大數(shù)據(jù)價(jià)值密度低的特性更加增添了數(shù)據(jù)收集工作的巨大性和繁重性。擁有大數(shù)據(jù)是利用大數(shù)據(jù)的前提條件，若不具備整合大數(shù)據(jù)收集和使用的能力，企業(yè)就很難在廣告和多個(gè)營(yíng)銷(xiāo)渠道中提供真正個(gè)性化和精確的產(chǎn)品和服務(wù)推薦，而擁有大數(shù)據(jù)的企業(yè)則能在競(jìng)爭(zhēng)中脫穎而出，不戰(zhàn)而勝。對(duì)于中小型電子商務(wù)企業(yè)來(lái)說(shuō)，擁有大數(shù)據(jù)的挑戰(zhàn)將顯得更加的突出和嚴(yán)峻。因此，面對(duì)此挑戰(zhàn)，電子商務(wù)企業(yè)首先應(yīng)該從思想上認(rèn)識(shí)到大數(shù)據(jù)的價(jià)值，高度重視數(shù)據(jù)的收集工作。其次，企業(yè)需要重構(gòu)其IT 架構(gòu)，加大基礎(chǔ)設(shè)施的承載能力，租用足夠的

10、空間，進(jìn)一步加強(qiáng)信息化投資和建設(shè)，適應(yīng)大數(shù)據(jù)時(shí)代的要求。2.2 處理大數(shù)據(jù)能力的挑戰(zhàn)2010 年12 月，美國(guó)的科學(xué)技術(shù)顧問(wèn)委員會(huì)、信息技術(shù)顧問(wèn)委員會(huì)向奧巴馬和國(guó)會(huì)提交的規(guī)劃數(shù)字化未來(lái)的專(zhuān)門(mén)報(bào)告中把數(shù)據(jù)收集和使用的工作提到了戰(zhàn)略的高度。該報(bào)告的第一個(gè)挑戰(zhàn)就是“數(shù)據(jù)”問(wèn)題，即：“如何收集、保存、維護(hù)、管理、分析、共享正在呈指數(shù)級(jí)別增長(zhǎng)的數(shù)據(jù)是我們必須面對(duì)的一個(gè)重要挑戰(zhàn)”。據(jù)統(tǒng)計(jì)，82的公司正受到處理海量信息的挑戰(zhàn)，而且他們花很多時(shí)間對(duì)其進(jìn)行研究，89的公司因超負(fù)荷處理數(shù)據(jù)而失去銷(xiāo)售機(jī)會(huì)。僅僅坐擁大數(shù)據(jù)并不夠，對(duì)大數(shù)據(jù)的分析和挖掘能力已成為企業(yè)的核心競(jìng)爭(zhēng)力。因此，建議電子商務(wù)企業(yè)著手部署“大數(shù)據(jù)戰(zhàn)

11、略”，引進(jìn)和培養(yǎng)大數(shù)據(jù)相關(guān)人才，創(chuàng)建基于大數(shù)據(jù)的研發(fā)團(tuán)隊(duì)，從技術(shù)層面上解決大數(shù)據(jù)的困難和挑戰(zhàn)，提高挖掘潛在商業(yè)價(jià)值的能力，從而有效地指導(dǎo)企業(yè)制訂精確的行動(dòng)綱領(lǐng)和采取高效的行動(dòng)。2.3. 對(duì)隱私保護(hù)的挑戰(zhàn)大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)用戶在互聯(lián)網(wǎng)的評(píng)論、圖片、視頻、個(gè)人信息、興趣愛(ài)好、交易信息、訪問(wèn)的網(wǎng)站等等均被企業(yè)記錄在案。企業(yè)掌握了大量消費(fèi)者的行為數(shù)據(jù)，對(duì)大數(shù)據(jù)進(jìn)行整合和分析，從而可以發(fā)現(xiàn)新的商機(jī)，創(chuàng)造新的價(jià)值。然而這些數(shù)據(jù)經(jīng)常包含消費(fèi)者的真實(shí)信息，如在淘寶網(wǎng)上交易時(shí)的真實(shí)姓名、家庭住址以及銀行賬號(hào)等重要的真實(shí)信息，逐漸引起了我們對(duì)個(gè)人隱私的擔(dān)憂。正如美國(guó)著名的計(jì)算機(jī)專(zhuān)家迪博德所言，在信息時(shí)代，計(jì)算機(jī)內(nèi)的

12、每一個(gè)數(shù)據(jù)、每一個(gè)字節(jié)，都是構(gòu)成一個(gè)隱私的血肉。信息加總和數(shù)據(jù)整合，對(duì)隱私的穿透力不僅僅是“112”的，很多時(shí)候，是大于2 的。3. 大數(shù)據(jù)下電子商務(wù)的機(jī)遇數(shù)據(jù)已經(jīng)如一股“洪流”注入了世界經(jīng)濟(jì)，成為全球各個(gè)經(jīng)濟(jì)領(lǐng)域的重要組成部分。企業(yè)可以分析和使用的數(shù)據(jù)在爆炸式增長(zhǎng)，通過(guò)對(duì)大數(shù)據(jù)的收集、整合、分析，企業(yè)可以發(fā)現(xiàn)新的商機(jī)，創(chuàng)造新的價(jià)值，帶來(lái)大市場(chǎng)、大利潤(rùn)和大發(fā)展。所以對(duì)于電子商務(wù)企業(yè)來(lái)說(shuō)，大數(shù)據(jù)時(shí)代蘊(yùn)藏著巨大的商機(jī)。3.1. 大數(shù)據(jù)有利于市場(chǎng)營(yíng)銷(xiāo)據(jù)統(tǒng)計(jì)：一個(gè)銷(xiāo)售人員為準(zhǔn)備交易而尋找相關(guān)信息所花費(fèi)的平均時(shí)間占工作時(shí)間的24，而這些時(shí)間和心血可以轉(zhuǎn)化為26 億收入，這些錢(qián)足夠一個(gè)中等財(cái)富規(guī)模的500

13、 強(qiáng)企業(yè)卷土而來(lái)。要做到“低成本、高效率”的營(yíng)銷(xiāo)，企業(yè)必須基于大數(shù)據(jù)的分析和優(yōu)化，把營(yíng)銷(xiāo)過(guò)程中的每一分潛在的價(jià)值都擠出來(lái)，從而節(jié)約成本、戰(zhàn)勝對(duì)手、占領(lǐng)市場(chǎng)。美國(guó)信息經(jīng)濟(jì)領(lǐng)域著名的教授達(dá)文波特認(rèn)為，能夠始終保證自己以“數(shù)據(jù)”最優(yōu)的方式經(jīng)營(yíng)的公司將會(huì)在競(jìng)爭(zhēng)中堅(jiān)持到最后，并不戰(zhàn)而勝。大數(shù)據(jù)技術(shù)能夠幫助他們獲得更多的生意，銷(xiāo)售人員預(yù)計(jì)實(shí)施大數(shù)據(jù)戰(zhàn)略將對(duì)銷(xiāo)售有顯著的影響。大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)媒體正在從單純的內(nèi)容提供方進(jìn)化成開(kāi)放生態(tài)的主導(dǎo)者，大數(shù)據(jù)時(shí)代的社會(huì)化營(yíng)銷(xiāo)重點(diǎn)是理解消費(fèi)者背后的海量數(shù)據(jù)，挖掘用戶需求，并最終提供個(gè)性化的跨平臺(tái)的營(yíng)銷(xiāo)解決方案。如果電商擁有了基于大數(shù)據(jù)的技術(shù)，在尋找潛在客戶上、銷(xiāo)售時(shí)間以及

14、預(yù)測(cè)交易成功的幾率上將會(huì)得到明顯改善。3.2 大數(shù)據(jù)有利于個(gè)性化和精準(zhǔn)的商品推薦隨著電子商務(wù)的發(fā)展和對(duì)大數(shù)據(jù)的分析與研究，在信息指數(shù)性增長(zhǎng)的同時(shí)，消費(fèi)者獲取、過(guò)濾、篩選、分析信息的能力卻沒(méi)有得到相應(yīng)的提高，這必然會(huì)導(dǎo)致消費(fèi)者淹沒(méi)在浩瀚的信息海洋中。傳統(tǒng)的商業(yè)模式在大數(shù)據(jù)時(shí)代下顯得落伍了，個(gè)性化和精準(zhǔn)的商品推薦成為未來(lái)電子商務(wù)發(fā)展的新方向。大數(shù)據(jù)為個(gè)性化商業(yè)應(yīng)用提供了充足的養(yǎng)分和可持續(xù)發(fā)展的沃土。同時(shí)，顧客的結(jié)構(gòu)、流量、點(diǎn)擊率、購(gòu)買(mǎi)的周期以及興趣，都會(huì)在電子商務(wù)平臺(tái)上產(chǎn)生大量的數(shù)據(jù)，通過(guò)對(duì)大數(shù)據(jù)的收集、整合和分析，電商可以對(duì)消費(fèi)者的品位和消費(fèi)意愿進(jìn)行準(zhǔn)確識(shí)別，主動(dòng)為其提供個(gè)性化和精準(zhǔn)的銷(xiāo)售產(chǎn)品和

15、服務(wù)，提高銷(xiāo)售額和利潤(rùn)率。在電商領(lǐng)域，亞馬遜就是一個(gè)值得表率的例子，它通過(guò)個(gè)性化技術(shù)為用戶進(jìn)行智能導(dǎo)購(gòu)，大幅度地提升了用戶的體驗(yàn)與銷(xiāo)售業(yè)績(jī)。3.3. 大數(shù)據(jù)在利用中為信息安全帶來(lái)發(fā)展契機(jī)隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新興IT 技術(shù)逐漸步入主流，大數(shù)據(jù)使得數(shù)據(jù)價(jià)值極大提高，無(wú)處不在的數(shù)據(jù)，對(duì)信息安全提出了更高要求。同時(shí)，大數(shù)據(jù)領(lǐng)域出現(xiàn)的許多新興技術(shù)與產(chǎn)品將為安全分析提供新的可能性；信息安全和云計(jì)算貫穿于大數(shù)據(jù)產(chǎn)業(yè)鏈的各個(gè)環(huán)節(jié)，云安全等關(guān)鍵技術(shù)將更安全地保護(hù)數(shù)據(jù)。大數(shù)據(jù)對(duì)信息安全的要求和促進(jìn)將推動(dòng)信息安全產(chǎn)業(yè)的大發(fā)展。4.大數(shù)據(jù)處理下的電子商務(wù)4.1. 大數(shù)據(jù)的IT基礎(chǔ)云計(jì)算架構(gòu)云計(jì)算是新型分布式網(wǎng)絡(luò)計(jì)

16、算架構(gòu)，特別適合向各種網(wǎng)絡(luò)應(yīng)用提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、軟件等在線服務(wù)，NIST 認(rèn)為這種架構(gòu)具有5 個(gè)關(guān)鍵功能、3 種服務(wù)模式和4種部署方式，如圖1所示。云計(jì)算的特征主要有：按需自助服務(wù)、泛在網(wǎng)絡(luò)訪問(wèn)、虛擬池化的資源、快速可伸縮性、可度量的服務(wù)，這些能力對(duì)當(dāng)前電商的基礎(chǔ)IT 設(shè)施來(lái)說(shuō)，都是必須要滿足的要求。圖1.云計(jì)算參考模型資料來(lái)源：陳云海，黃蘭秋. 大數(shù)據(jù)處理對(duì)電子商務(wù)的影響研究J.大數(shù)據(jù)技術(shù)與應(yīng)用,2013（3）.4.2. 大數(shù)據(jù)處理模式大數(shù)據(jù)處理模式從傳統(tǒng)的數(shù)據(jù)庫(kù)集群演進(jìn)到云計(jì)算MapReduce大規(guī)模并行處理架構(gòu)，實(shí)現(xiàn)任務(wù)的分解處理和結(jié)果合并，從而實(shí)現(xiàn)對(duì)可處理數(shù)據(jù)規(guī)模的無(wú)限擴(kuò)展，大數(shù)據(jù)

17、處理技術(shù)已被認(rèn)為是繼云計(jì)算、物聯(lián)網(wǎng)之后IT 產(chǎn)業(yè)又一次顛覆性的技術(shù)變革。4.1.1 數(shù)據(jù)庫(kù)集群模式集群是指通過(guò)協(xié)同工作方式運(yùn)行同一套應(yīng)用程序，針對(duì)客戶端及應(yīng)用程序提供單一系統(tǒng)映像，使用特定的連接方式，將硬件設(shè)備結(jié)合起來(lái)，構(gòu)成的松散耦合的計(jì)算節(jié)點(diǎn)集合，具備以下優(yōu)勢(shì)：性能提升、擴(kuò)展性提升、可靠性提升。數(shù)據(jù)庫(kù)集群是將集群技術(shù)引入數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)集群在技術(shù)上具備一定的局限性，具體介紹如下：采用PC 服務(wù)器作為功能節(jié)點(diǎn)，系統(tǒng)線纜眾多，硬件復(fù)雜度過(guò)高， 實(shí)施架設(shè)難度較大，可擴(kuò)展性受限；高速互聯(lián)設(shè)備必須通過(guò)主機(jī)的PCI插槽與主機(jī)相連，而PCI的傳輸速率無(wú)法滿足并行數(shù)據(jù)庫(kù)集群節(jié)點(diǎn)間的數(shù)據(jù)通信要求；數(shù)據(jù)庫(kù)安全性和

18、數(shù)據(jù)集可擴(kuò)展性提升空間極小，全面提升速度、數(shù)據(jù)同步、安全保證、可擴(kuò)展性4 個(gè)技術(shù)指標(biāo)是一大難題；隨著設(shè)備量的增加和應(yīng)用的復(fù)雜化，需要迅速追加投入以解決所引起的兼容性和可靠性等各類(lèi)問(wèn)題；并行數(shù)據(jù)庫(kù)主要采用shared-nothing 結(jié)構(gòu)，在擴(kuò)展性、容錯(cuò)性、成本、對(duì)異構(gòu)環(huán)境的支持能力等方面有所欠缺并相互影響，因此擴(kuò)展性非常有限。4.1.2. MapReduce 框架云計(jì)算架構(gòu)由大規(guī)模低端服務(wù)器組成服務(wù)器集群，提供海量存儲(chǔ)空間和大規(guī)模數(shù)據(jù)的處理能力，具備可靠性、擴(kuò)展性以及高可用性。MapReduce 框架包括： 分布式文件系統(tǒng)（HDFS）、并行編程模型MapReduce、并行執(zhí)行引擎。從HDFS角

19、度來(lái)看，Hadoop 的節(jié)點(diǎn)由存儲(chǔ)并提供定位塊服務(wù)的數(shù)據(jù)節(jié)點(diǎn)（data node）和管理分布式文件系統(tǒng)命名空間的命名節(jié)點(diǎn)（name node）組成，HDFS 主從結(jié)構(gòu)的體系架構(gòu)設(shè)計(jì)大大簡(jiǎn)化了分布式系統(tǒng)架構(gòu)。其文件系統(tǒng)的設(shè)計(jì)特點(diǎn)是：元數(shù)據(jù)集中管理、數(shù)據(jù)塊（64 MB）分散存儲(chǔ)以保證數(shù)據(jù)的安全性，數(shù)據(jù)復(fù)制（每份數(shù)據(jù)至少3個(gè)備份）實(shí)現(xiàn)高度容錯(cuò)。傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)實(shí)時(shí)應(yīng)能力較高，但對(duì)于TB 級(jí)或PB 級(jí)別的大數(shù)據(jù)集，數(shù)據(jù)挖掘的檢索速度則急劇下降，但引入HDFS與RDBMS 相結(jié)合的機(jī)制可以充分利用兩者優(yōu)勢(shì)，實(shí)現(xiàn)高效率的數(shù)據(jù)挖掘與決策支持。用于對(duì)集群上的大數(shù)據(jù)集進(jìn)行并行計(jì)算處理，是非關(guān)系型數(shù)據(jù)管理和分析技

20、術(shù)的典型代表。MapReduce 將數(shù)據(jù)處理任務(wù)抽象一系列的map（映射）和reduce（化簡(jiǎn)）操作對(duì)，分別完成數(shù)據(jù)的過(guò)濾和聚集操作，并通過(guò)簡(jiǎn)單的界面進(jìn)行管理。其計(jì)算流程和基本原理簡(jiǎn)單地說(shuō)，就是將大數(shù)據(jù)集分解為成百上千個(gè)小數(shù)據(jù)集，每個(gè)（或若干個(gè)）數(shù)據(jù)集分別由集群中的一個(gè)節(jié)點(diǎn)進(jìn)行處理并生成中間結(jié)果，這些中間結(jié)果又由大量的節(jié)點(diǎn)進(jìn)行合并，形成最終結(jié)果，如圖2 所示。圖2. MapReduce 并行計(jì)算流程資料來(lái)源：覃雄派，等.大數(shù)據(jù)分析RDBMS與MapReduce的競(jìng)爭(zhēng)與共生J.軟件學(xué)報(bào)，2012(1).幾種大數(shù)據(jù)處理模式的比較分析見(jiàn)表1，可見(jiàn)，MapReduce 大數(shù)據(jù)處理模式具有相對(duì)顯著的優(yōu)勢(shì)

21、。表1. 大規(guī)模數(shù)據(jù)處理模式的比較分析資料來(lái)源：覃雄派，等.大數(shù)據(jù)分析RDBMS與MapReduce 的競(jìng)爭(zhēng)與共生J.軟件學(xué)報(bào)，2012(1).基于MapReduce 計(jì)算模型編寫(xiě)分布式并行程序的主要編碼工作就是實(shí)現(xiàn)map 和reduce 函數(shù)，其他的分布式存儲(chǔ)、工作調(diào)度、負(fù)載平衡、容錯(cuò)處理、網(wǎng)絡(luò)通信等復(fù)雜問(wèn)題均由MapReduce 框架負(fù)責(zé)處理。MapReduce 原理簡(jiǎn)單、技術(shù)簡(jiǎn)潔、數(shù)據(jù)處理效率高，在系統(tǒng)層面解決了數(shù)據(jù)庫(kù)集群難以解決的擴(kuò)展性、容錯(cuò)性等問(wèn)題，MapReduce 免費(fèi)開(kāi)源， 基于異構(gòu)廉價(jià)服務(wù)器搭建可彈性伸縮的大規(guī)模集群，并行、分布式地處理和分析大規(guī)模數(shù)據(jù)，其構(gòu)建成本遠(yuǎn)低于數(shù)據(jù)庫(kù)

22、集群所采用的并行數(shù)據(jù)庫(kù)。4. 建議與意見(jiàn)4.1 加強(qiáng)對(duì)逆向物流的重視隨著電子商務(wù)的發(fā)展，我國(guó)逆向物流的發(fā)展也在不斷進(jìn)步，但是，與國(guó)外發(fā)達(dá)國(guó)家相比，我國(guó)企業(yè)對(duì)逆向物流的重視力度不夠，很多電子商務(wù)企業(yè)的逆向物流意識(shí)淡薄，再加上第三方物流在我國(guó)的不成熟，缺乏逆向物流服務(wù)，這些原因致使我國(guó)的逆向物流發(fā)展存在一定的障礙。電子商務(wù)環(huán)境下的逆向物流發(fā)展，將有利于企業(yè)效率的增加、物流業(yè)的發(fā)展壯大，更有利于建立顧客忠誠(chéng)度，可當(dāng)今的逆向物流存在這一系列的問(wèn)題，比如：商家不重視退貨管理、退貨標(biāo)準(zhǔn)不統(tǒng)一、逆向物流管理難度大及缺乏專(zhuān)業(yè)的逆向物流人才，面對(duì)上述問(wèn)題，企業(yè)應(yīng)該注重完善逆向物流的發(fā)展策略和管理信息系統(tǒng)，制定合

23、理的退貨政策，提高顧客的滿意度，加強(qiáng)對(duì)逆向物流人才的培養(yǎng)，從而提高顧客的忠誠(chéng)度與企業(yè)的美譽(yù)度，最終達(dá)到增加效率的目的。4.2. 尋找數(shù)據(jù)挖掘的方向目前，國(guó)內(nèi)網(wǎng)絡(luò)廣告投放正從傳統(tǒng)的面向群體的營(yíng)銷(xiāo)轉(zhuǎn)向個(gè)性化營(yíng)銷(xiāo)，從流量購(gòu)買(mǎi)轉(zhuǎn)向人群購(gòu)買(mǎi)。雖然市場(chǎng)大環(huán)境不好，但是具備數(shù)據(jù)挖掘能力的公司卻倍受資本青睞。從資本角度來(lái)看，什么樣的公司有價(jià)值，什么樣的公司沒(méi)有價(jià)值，從其擁有的數(shù)據(jù)規(guī)模、數(shù)據(jù)的活性和這家公司能運(yùn)用、解釋數(shù)據(jù)的能力，就可以看出這家公司的核心競(jìng)爭(zhēng)力。而這幾個(gè)能力正是資本關(guān)注的點(diǎn)。實(shí)際上，將用戶群精準(zhǔn)細(xì)分，直接找到要找的用戶正是社交內(nèi)容背后數(shù)據(jù)挖掘所帶來(lái)的結(jié)果。而通過(guò)各種算法實(shí)現(xiàn)的數(shù)據(jù)信息交易。目前，

24、國(guó)內(nèi)網(wǎng)絡(luò)廣告投放正從傳統(tǒng)的面向群體的營(yíng)銷(xiāo)轉(zhuǎn)向個(gè)性化營(yíng)銷(xiāo)，從流量購(gòu)買(mǎi)轉(zhuǎn)向人群購(gòu)買(mǎi)。未來(lái)的市場(chǎng)將更多地以人為中心，主動(dòng)迎合用戶需求，前提就是要找到這部分人群。4.3. 建立健全電子商務(wù)營(yíng)銷(xiāo)渠道由于開(kāi)展電子商務(wù)有投資成本低、管理方便等優(yōu)勢(shì)，所以很多創(chuàng)業(yè)者就首選在網(wǎng)上開(kāi)店，這使得實(shí)體店因?yàn)殇N(xiāo)售業(yè)績(jī)不好而逐漸倒閉，也使得很多消費(fèi)者不得不網(wǎng)上去購(gòu)物。網(wǎng)店的店主們?yōu)榱嗽黾泳W(wǎng)上市場(chǎng)的占有率及競(jìng)爭(zhēng)力，而不得不用各種營(yíng)銷(xiāo)渠道來(lái)吸引消費(fèi)者的注意力，比如：把商品價(jià)格降低、買(mǎi)商品送禮物等。目前，電子商務(wù)技術(shù)方面的競(jìng)爭(zhēng)很難拉開(kāi)企業(yè)與企業(yè)之間的差距，只有具有健全的電子商務(wù)營(yíng)銷(xiāo)渠道，企業(yè)的綜合競(jìng)爭(zhēng)力才能得到提高。因此，建立健全的電子商務(wù)營(yíng)銷(xiāo)渠道，不僅可以方便很多用戶消費(fèi)，而且還可以促進(jìn)電子商務(wù)企業(yè)的發(fā)展。4.4. 妥善處理隱私針對(duì)隱私保護(hù)方面的問(wèn)題，建議電子商務(wù)企業(yè)和國(guó)家從以下三方面著手：（1）電子商務(wù)企業(yè)應(yīng)該恪守行業(yè)道德，不能將消費(fèi)者的個(gè)人信息進(jìn)行交易和泄露。（2）企業(yè)應(yīng)該從技術(shù)層面上采用先進(jìn)的隱私保護(hù)技術(shù)進(jìn)一步加強(qiáng)用戶的隱私