大數(shù)據(jù)的概念及應(yīng)用精華

大數(shù)據(jù)的

概念、分析技術(shù)及應(yīng)用十月23目錄大數(shù)據(jù)的概念大數(shù)據(jù)分析與挖掘技術(shù)十月23網(wǎng)易云音樂的每日推薦十月23歌曲用戶經(jīng)過什么連接？?jī)墒自娛?3……自由的石頭，無畏地墜落向愛。卻在迷惘的路上，輕羽般離去。迷茫的孩子，悄悄地將它掩埋?！^于長(zhǎng)久的犧牲，

能把心變?yōu)橐粔K巖石。

呵，什么時(shí)候才算個(gè)夠？

那是天的事，我們的事……基本電荷單元十月231.60217649×10－19汪峰“歌詞”元素表十月239張專輯共117首歌曲光速十月23299792458m/s另一首十月23自由，在橋的這頭埋葬，光明，在橋的那頭破碎，已沒所謂絕望，微雨中，說聲再見大數(shù)據(jù)發(fā)展歷程十月232005年hadoop項(xiàng)目誕生：采用(HDFS)的數(shù)據(jù)存儲(chǔ)服務(wù)，以及MapReduce技術(shù)的高性能并行數(shù)據(jù)處理服務(wù)2008年末“大數(shù)據(jù)”得到部分美國(guó)知名計(jì)算機(jī)科學(xué)研究人員的認(rèn)可，業(yè)界組織計(jì)算社區(qū)聯(lián)盟發(fā)表白皮書《大數(shù)據(jù)計(jì)算：在商務(wù)、科學(xué)和社會(huì)領(lǐng)域創(chuàng)建革命性突破》。2009年印度政府建立了用于身份識(shí)別管理的生物識(shí)別數(shù)據(jù)庫，聯(lián)合國(guó)全球脈沖項(xiàng)目已研究了對(duì)如何利用手機(jī)和社交網(wǎng)站的數(shù)據(jù)源來分析預(yù)測(cè)從螺旋價(jià)格到疾病爆發(fā)之類的問題2009年中美國(guó)政府通過啟動(dòng)D網(wǎng)站的方式進(jìn)一步開放了數(shù)據(jù)的大門2010年2月肯尼斯?庫克爾在《經(jīng)濟(jì)學(xué)人》上發(fā)表了長(zhǎng)達(dá)14頁的大數(shù)據(jù)專題報(bào)告《數(shù)據(jù)，無所不在的數(shù)據(jù)》。庫克爾也因此成為最早洞見大數(shù)據(jù)時(shí)代趨勢(shì)的數(shù)據(jù)科學(xué)家之一2011年2月IBM的沃森超級(jí)計(jì)算機(jī)每秒可掃描并分析4TB(約2億頁文字量)的數(shù)據(jù)量，并在美國(guó)著名智力競(jìng)賽電視節(jié)目《危險(xiǎn)邊緣》“Jeopardy”上擊敗兩名人類選手而奪冠。后來紐約時(shí)報(bào)認(rèn)為這一刻為一個(gè)“大數(shù)據(jù)計(jì)算的勝利。”2011年5月麥肯錫(McKinsey&Company)全球研究院(MGI)發(fā)布了一份報(bào)告——《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)新領(lǐng)域》，大數(shù)據(jù)開始備受關(guān)注2011年12月工信部發(fā)布的物聯(lián)網(wǎng)十二五規(guī)劃上，把信息處理技術(shù)作為4項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來，其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分2012年1月份瑞士達(dá)沃斯召開的世界經(jīng)濟(jì)論壇上，大數(shù)據(jù)是主題之一，會(huì)上發(fā)布的報(bào)告《大數(shù)據(jù)，大影響》(BigData,BigImpact)宣稱，數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類別，就像貨幣或黃金一樣。2012年3月美國(guó)奧巴馬政府在白宮網(wǎng)站發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，標(biāo)志著大數(shù)據(jù)成為重要的時(shí)代特征。宣布2億美元投資大數(shù)據(jù)領(lǐng)域，是大數(shù)據(jù)技術(shù)從商業(yè)行為上升到國(guó)家科技戰(zhàn)略的分水嶺，“未來的新石油”，大數(shù)據(jù)技術(shù)領(lǐng)域事關(guān)國(guó)家安全和未來2012年4月美國(guó)軟件公司Splunk于19日在納斯達(dá)克成功上市，成為第一家上市的大數(shù)據(jù)處理公司2012年7月聯(lián)合國(guó)在紐約發(fā)布了一份關(guān)于大數(shù)據(jù)政務(wù)的白皮書，總結(jié)了各國(guó)政府如何利用大數(shù)據(jù)更好地服務(wù)和保護(hù)人民。2012年7月為挖掘大數(shù)據(jù)的價(jià)值，阿里巴巴集團(tuán)在管理層設(shè)立“首席數(shù)據(jù)官”一職，負(fù)責(zé)全面推進(jìn)“數(shù)據(jù)分享平臺(tái)”戰(zhàn)略，并推出大型的數(shù)據(jù)分享平臺(tái)——“聚石塔”，為天貓、淘寶平臺(tái)上的電商及電商服務(wù)商等提供數(shù)據(jù)云服務(wù)2014年4月世界經(jīng)濟(jì)論壇以“大數(shù)據(jù)的回報(bào)與風(fēng)險(xiǎn)”主題發(fā)布了《全球信息技術(shù)報(bào)告(第13版)》2014年5月美國(guó)白宮發(fā)布了2014年全球“大數(shù)據(jù)”白皮書的研究報(bào)告《大數(shù)據(jù)：抓住機(jī)遇、守護(hù)價(jià)值》2014年

“大數(shù)據(jù)”首次出現(xiàn)在當(dāng)年的《政府工作報(bào)告》中?！秷?bào)告》中指出，要設(shè)立新興產(chǎn)業(yè)創(chuàng)業(yè)創(chuàng)新平臺(tái)，在大數(shù)據(jù)等方面趕超先進(jìn)，引領(lǐng)未來產(chǎn)業(yè)發(fā)展?！按髷?shù)據(jù)”旋即成為國(guó)內(nèi)熱議詞匯2015年國(guó)務(wù)正式印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，《綱要》明確，推動(dòng)大數(shù)據(jù)發(fā)展和應(yīng)用，在未來5至10年打造精準(zhǔn)治理、多方協(xié)作的社會(huì)治理新模式，建立運(yùn)行平穩(wěn)、安全高效的經(jīng)濟(jì)運(yùn)行新機(jī)制，構(gòu)建以人為本、惠及全民的民生服務(wù)新體系2016年大數(shù)據(jù)“十三五”規(guī)劃，加快政府?dāng)?shù)據(jù)開放共享，促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展2017年11月十九大報(bào)告，深化供給側(cè)結(jié)構(gòu)性改革。加快建設(shè)制造強(qiáng)國(guó)，推動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合；加快建設(shè)創(chuàng)新型國(guó)家，國(guó)網(wǎng)絡(luò)強(qiáng)國(guó)交通強(qiáng)國(guó)數(shù)字技術(shù)、現(xiàn)代工程技術(shù)、顛覆性技術(shù)創(chuàng)新，為建設(shè)……數(shù)字中國(guó)、智慧社會(huì)提供有力支撐萌芽期概念提出政府插足研究機(jī)構(gòu)過熱期案例遍地開花內(nèi)部數(shù)據(jù)為主并購(gòu)風(fēng)起幻滅期國(guó)家推動(dòng)從概念到實(shí)用復(fù)蘇期從Gartner新技術(shù)曲線看大數(shù)據(jù)技術(shù)(1/3)十月23十月23從Gartner新技術(shù)曲線看大數(shù)據(jù)技術(shù)(2/3)十月23從Gartner新技術(shù)曲線看大數(shù)據(jù)技術(shù)(3/3)數(shù)據(jù)的變化在哪里（1/3）量十月231KB(Kilobyte千字節(jié))=1024B,

1MB(Megabyte兆字節(jié)兆)=1024KB,

1GB(Gigabyte吉字節(jié)千兆)=1024MB,

1TB(Trillionbyte萬億字節(jié)太字節(jié))=1024GB

1PB（Petabyte千萬億字節(jié)拍字節(jié)）=1024TB,

1EB（Exabyte百億億字節(jié)艾字節(jié)）=1024PB,

1ZB(Zettabyte十萬億億字節(jié)澤字節(jié))=1024EB,

1YB(Jottabyte一億億億字節(jié)堯字節(jié))=1024ZB,

1BB(Brontobyte一千億億億字節(jié))=1024YB.?美國(guó)地理及空間探測(cè)?美國(guó)能源部數(shù)據(jù)?全球可穿戴設(shè)備?美國(guó)國(guó)防部數(shù)據(jù)?國(guó)際海洋和大氣管理?物聯(lián)網(wǎng)數(shù)據(jù)?國(guó)家健康研究所?國(guó)家癌癥研究所?全球IP流量擠壓現(xiàn)象世界90%的數(shù)據(jù)是過去幾年里產(chǎn)生的。過去三十年中，全世界的數(shù)據(jù)量大約每?jī)赡暝鲩L(zhǎng)10倍——遠(yuǎn)超摩爾定律數(shù)據(jù)總量IDC的預(yù)測(cè)，2023年到2023年，0.8ZB到35ZB，44倍，年均40%中國(guó)存儲(chǔ)數(shù)據(jù)量目前約為600萬TB，占全球總量的15%，估計(jì)到2023年，占比將提升到22%數(shù)據(jù)的變化在哪里（2/3）質(zhì)十月23早前02985XX6789顧客5月消費(fèi)59元，MOU200分鐘昨天189XXXX1234顧客5月消費(fèi)59元，其中套內(nèi)49元，套外10元。手機(jī)流量150M：1日-10日75M、11-20日50M、21日-30日25M；視頻流量80M、游戲流量15M……。MOU200分鐘：本地主叫80分鐘、本地被叫60分鐘、漫游主叫20分鐘、漫游被叫40分鐘月度內(nèi)漫游地：北京今日189XXXX1234顧客5月消費(fèi)流量150M：第一次5月1日9點(diǎn)30分，基站ID3001，手機(jī)百度搜索，關(guān)鍵字“天氣”；第二次5月1日12點(diǎn)05分，基站ID2345，微博評(píng)論，關(guān)鍵字“馬刺”……MOU200分鐘：第一次5月2日17點(diǎn)12分，主叫，號(hào)碼139XXXX4321……LBS分析：前往2個(gè)加油站，共停留時(shí)間：43分鐘商場(chǎng)消費(fèi)線上支付11209元，超市消費(fèi)線上支付3207元……數(shù)據(jù)的變化在哪里（3/3）用十月23統(tǒng)計(jì)級(jí)應(yīng)用：時(shí)間、空間、人、物四個(gè)維度的交叉統(tǒng)計(jì)分析。以零售業(yè)為例零售研究：物-物消費(fèi)者洞察：物-人-物消費(fèi)者購(gòu)置途徑：人-物-時(shí)間大數(shù)據(jù)空間研究：物理空間-人-賽博空間個(gè)體級(jí)應(yīng)用：基于人與物關(guān)聯(lián)的歷史信息去推測(cè)將來的關(guān)聯(lián)狀態(tài)精確營(yíng)銷：新客推薦金融征信：風(fēng)險(xiǎn)定價(jià)人力招聘：人崗匹配……大數(shù)據(jù)變化的背后：大數(shù)據(jù)與云計(jì)算云計(jì)算構(gòu)建新的信息基礎(chǔ)設(shè)施在線化平臺(tái)化扁平化低成本大數(shù)據(jù)打破信息壁壘更透明更有效更可信十月23小結(jié)大數(shù)據(jù)：是經(jīng)過新處理模式能且才干提供更強(qiáng)的決策力、洞察發(fā)覺力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息十月23小結(jié)大數(shù)據(jù)的本質(zhì)：時(shí)間與空間維度下的人與物、人與人、物與物之間復(fù)雜的關(guān)聯(lián)關(guān)系，利用大數(shù)據(jù)，還原事物原貌、探究規(guī)律機(jī)理、預(yù)判發(fā)展變化十月23目錄大數(shù)據(jù)的概念大數(shù)據(jù)分析與挖掘技術(shù)十月23大數(shù)據(jù)分析挖掘技術(shù)背景：局部數(shù)據(jù)難以統(tǒng)觀全局，大數(shù)據(jù)需要跨視角、跨媒介、跨行業(yè)的海量數(shù)據(jù)融合和關(guān)聯(lián)分析，才干愈加好地進(jìn)行決策支撐處理措施：經(jīng)過面對(duì)海量多維數(shù)據(jù)的機(jī)器學(xué)習(xí)算法和數(shù)據(jù)關(guān)聯(lián)分析等措施，用直觀形象地方式，呈現(xiàn)數(shù)據(jù)之間潛在的關(guān)系十月23常見大數(shù)據(jù)分析挖掘技術(shù)深度學(xué)習(xí)經(jīng)過層次化的方式和海量的訓(xùn)練數(shù)據(jù)，從而提升分類或預(yù)測(cè)的精確性已在語音辨認(rèn)、圖像辨認(rèn)、人臉辨認(rèn)等領(lǐng)域取得巨大成功，目前也已開始應(yīng)用于內(nèi)容推薦、異常檢測(cè)等十月23多維數(shù)據(jù)關(guān)聯(lián)滿足顧客從多角度多層次進(jìn)行迅速數(shù)據(jù)查詢和分析的數(shù)據(jù)模型，面對(duì)分析決策，處理老式數(shù)據(jù)模型在數(shù)據(jù)維度高、條數(shù)多的情況下，無法有效表達(dá)數(shù)據(jù)構(gòu)造和語義，以及無法有效支持OLAP的問題。主要分析措施：鉆取、上卷、切片、切塊、旋轉(zhuǎn)十月23知識(shí)圖譜基于圖構(gòu)造刻畫實(shí)體之間關(guān)系的技術(shù)，采用可視化技術(shù)描述其相互聯(lián)絡(luò)為搜索、挖掘、語義了解等應(yīng)用提供基礎(chǔ)的知識(shí)庫，提升搜索效果，突破老式搜索體驗(yàn)，拉開語義搜索的序幕十月23數(shù)據(jù)可視化將數(shù)據(jù)之間的關(guān)系以圖形圖像的形式表達(dá)，將圖形與指標(biāo)的含義關(guān)聯(lián)，為顧客提供深度、直觀的數(shù)據(jù)及其構(gòu)造關(guān)系表達(dá)，使顧客能夠洞察其中的規(guī)律及本質(zhì)的特點(diǎn)。十月23案例：1854年倫敦霍亂地圖案例