互聯(lián)網(wǎng)大數(shù)據(jù)時代

1第1頁2提要大數(shù)據(jù)所帶來機遇和挑戰(zhàn)大數(shù)據(jù)概念及技術(shù)大數(shù)據(jù)時代思維和變革大數(shù)據(jù)在企業(yè)中應用案例第2頁3天天有2940億封電子郵件發(fā)生，假如這些是紙質(zhì)信件，在美國需要花費兩年時間處理。天天有200萬篇博客在網(wǎng)上公布，這些文章相當于《時代》雜志刊發(fā)770年總量。天天有2.5億張照片上傳至社交網(wǎng)站Facebook，假如都打印出來，摞在一起能有80個埃菲爾鐵塔那么高。天天有86.4萬小時視頻被上傳至視頻網(wǎng)站Youtube，相當于不間斷播放視頻98年。天天有1.87億個小時音樂會在流媒體音樂網(wǎng)站Pandora上播放，假如一臺電腦從公元元年就開始播放這些音樂會，到現(xiàn)在還沒完沒了地接著放。一天之間，互聯(lián)網(wǎng)上要發(fā)生多少事第3頁4第4頁5第5頁6地球上至今總共數(shù)據(jù)量：在，個人用戶才剛才前進TB時代，全球一共新產(chǎn)生了約180EB數(shù)據(jù)；在年，這個數(shù)字到達了1.8ZB。而有市場研究機構(gòu)預測：到20，整個世界數(shù)據(jù)總量將會增加44倍，到達35.2ZB（1ZB=10億TB）！“大數(shù)據(jù)”時代爆炸增加想駕馭這龐大數(shù)據(jù)，我們必須了解大數(shù)據(jù)特征。第6頁79月4日《自然》雜志社，推出名為“大數(shù)據(jù)”?？?，創(chuàng)造出了“大數(shù)據(jù)”這個概念?！按髷?shù)據(jù)”誕生第7頁8美國疾病控制中心要在流感暴發(fā)兩周后才知道谷歌大數(shù)據(jù)預測只需要一天“谷歌流感趨勢”把大數(shù)據(jù)推上風口浪尖第8頁9大數(shù)據(jù)（bigdata），巨量數(shù)據(jù)集合是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處理數(shù)據(jù)集合。什么是“大數(shù)據(jù)”？第9頁10“大數(shù)據(jù)”特征第10頁11Hadoop是基于Google相關(guān)大數(shù)據(jù)論文實現(xiàn)開源項目，最初框架由DougCutting在提出，當前是由Apache維護開源項目。從初創(chuàng)到現(xiàn)在，Hadoop體系在幾年中開發(fā)完成了一系列主要子項目，已經(jīng)形成了一個涵蓋數(shù)據(jù)存放、管理和分析功效較為完整大數(shù)據(jù)生態(tài)系統(tǒng)，成為大數(shù)據(jù)存放與處理領(lǐng)域地位最主要、應用最廣泛開源框架。大數(shù)據(jù)存放在哪？怎樣分析？第11頁12Hadoop是運行在大量通用計算單位上提供海量數(shù)據(jù)存放與并行計算平臺框架?；赬86集群水平可擴展基于MapReduce并行計算能力設(shè)計規(guī)模：PB級數(shù)據(jù)量，數(shù)千臺計算節(jié)點大數(shù)據(jù)存放在哪？怎樣分析？第12頁13提要大數(shù)據(jù)所帶來機遇和挑戰(zhàn)大數(shù)據(jù)概念及技術(shù)大數(shù)據(jù)時代思維和變革大數(shù)據(jù)在企業(yè)中應用案例第13頁14量化思維——一切皆可量化決議思維——讓數(shù)據(jù)驅(qū)動全樣思維——樣本=總體關(guān)聯(lián)思維——追求相關(guān)關(guān)系……大數(shù)據(jù)思維第14頁15StephenBeck每一天，我們身后都拖著一條由個人信息組成長長“尾巴”，這只是因為我們生活在一個當代化世界。我們——◎點擊網(wǎng)頁◎切換電視頻道◎駕車穿過自動收費站◎用信用卡購物◎使用手機而雅虎、Google這么企業(yè)，正在以平均每人、每個月2500條信息速度，捕捉我們詳細數(shù)據(jù)。1.量化思維：一切皆可量化第15頁16數(shù)據(jù)是指存放在某種介質(zhì)上能夠識別物理符號，是對客觀事物性質(zhì)和狀態(tài)描述。先有數(shù)據(jù)再說應用。數(shù)據(jù)，從最不可能地方提取第16頁17量化坐姿日本先進工業(yè)技術(shù)研究所（Japan’sAdvancedInstituteofIndustrialTechnology）教授越水重臣（ShigeomiKoshimizu）所做研究就是關(guān)于一個人坐姿。極少有些人會認為一個人坐姿能表現(xiàn)什么信息，不過它真能夠。當一個人坐著時候，他身形、姿勢和重量分布都能夠量化和數(shù)據(jù)化。越水重臣和他工程師團體經(jīng)過在汽車座椅下部安裝總共360個壓力傳感器以測量人對椅子施加壓力方式。把人體屁股特征轉(zhuǎn)化成了數(shù)據(jù)，而且用從0~256這個數(shù)值范圍對其進行量化，這么就會產(chǎn)生獨屬于每個乘坐者準確數(shù)據(jù)資料。在這個試驗中，這個系統(tǒng)能依據(jù)人體對座位壓力差異識別出乘坐者身份，準確率高達98%。數(shù)據(jù)，從最不可能地方提取第17頁18這項技術(shù)能夠作為汽車防盜系統(tǒng)安裝在汽車上。有了這個系統(tǒng)之后，汽車就能識別出駕駛者是不是車主；假如不是，系統(tǒng)就會要求司機輸入密碼；假如司機無法準確輸入密碼，汽車就會自動熄火。經(jīng)過聚集這些數(shù)據(jù)，我們能夠利用事故發(fā)生之前姿勢改變情況，分析出坐姿和行駛安全之間關(guān)系。這個系統(tǒng)一樣能夠在司機疲勞駕駛時候發(fā)出警示或者自動剎車。同時，這個系統(tǒng)不但能夠發(fā)覺車輛被盜，而且能夠經(jīng)過搜集到數(shù)據(jù)識別出盜賊身份。數(shù)據(jù)，從最不可能地方提取第18頁19蘋果在申請“耳機、耳塞或耳麥運動檢測系統(tǒng)”專利。這種包含各種傳感器耳機能夠檢測各項生理指標，包含體溫、心率和排汗水平。依據(jù)專利文件，健身檢測系統(tǒng)被隱藏在耳機中，用戶通常在運動時戴著耳機聽音樂。經(jīng)過將耳機放在耳朵里或附近，嵌入運動傳感器能夠取得體溫、排汗和心率方面數(shù)據(jù)。除了基于皮膚檢測功效，耳機內(nèi)部還能夠集成加速度傳感器，這么能夠搜集準確運動數(shù)據(jù)。數(shù)據(jù)，從最不可能地方提取第19頁202.決議思維：讓數(shù)據(jù)驅(qū)動第20頁213月15日，馬云在德國漢諾威IT博覽會上主題演講：“一家互聯(lián)網(wǎng)企業(yè)要想活得長久，必須找到一個方式讓互聯(lián)網(wǎng)經(jīng)濟和實體經(jīng)濟相結(jié)合，這個方式就是數(shù)據(jù)?！薄拔磥硎澜?，我們將不再由石油驅(qū)動，而是由數(shù)據(jù)驅(qū)動?！蔽磥硎澜缬蓴?shù)據(jù)驅(qū)動第21頁22數(shù)據(jù)驅(qū)動工業(yè)4.0第22頁23數(shù)據(jù)驅(qū)動人生第23頁243.要全部數(shù)據(jù)，不要抽樣！模型不再那么主要，讓數(shù)聽說話。在小數(shù)據(jù)時代，隨機采樣就是利用最少數(shù)據(jù)取得更多信息。而且采樣分析準確性伴隨采樣隨機性增加而大幅度增加，與樣本數(shù)量增加關(guān)系不大。在大數(shù)據(jù)時代，伴隨搜集數(shù)據(jù)便捷性，以及數(shù)據(jù)處理速度加緊，我們能夠分析到更多數(shù)據(jù)，甚至是能夠處理和某個尤其現(xiàn)象相關(guān)全部數(shù)據(jù)，而不是依賴于隨機采樣。第24頁25公布lytro相機就是一款含有“大數(shù)據(jù)”相機。傳統(tǒng)相機只能夠統(tǒng)計一束光不一樣，而lytro相機能夠收錄這個光場全部光，到達1100萬束左右。詳細生成什么樣照片則能夠在拍攝之后再依據(jù)需要做決定。利用全部數(shù)據(jù)，而不是一小部分采樣數(shù)據(jù)第25頁26因為大數(shù)據(jù)是建立在掌握全部數(shù)據(jù)，最少是盡可能多數(shù)據(jù)基礎(chǔ)上，所以我們就能夠正確考查細節(jié)并進行新分析。生活中真正有趣事情經(jīng)常隱匿在細節(jié)之中，而采樣分析法卻無法捕捉到這些細節(jié)。利用全部數(shù)據(jù)，而不是一小部分采樣數(shù)據(jù)第26頁274.“關(guān)聯(lián)”思維強調(diào)數(shù)據(jù)之間關(guān)聯(lián)也很有用，而不去追求數(shù)據(jù)之間因果關(guān)系。因果關(guān)系是最深刻一類聯(lián)絡(luò)，不過我們很多時候并不能取得。第27頁28是什么，而不是為何相關(guān)關(guān)系經(jīng)過識別有用關(guān)聯(lián)物來幫助我們分析一個現(xiàn)象，而不是經(jīng)過提醒其內(nèi)部動作機制。但相關(guān)關(guān)系沒有絕對，只有可能。蛋撻與颶風用具沃爾瑪是世界上最大零售商，掌握了大量零售數(shù)據(jù)。經(jīng)過分析，沃爾瑪發(fā)覺，每當季節(jié)性颶風降臨之前，不但手電筒銷售量增加了，而且蛋撻銷量也增加了。所以，當季節(jié)性暴風來暫時，沃爾瑪會把庫存蛋撻放在靠近颶風用具位置，以方便用戶。觀察范圍包含：每一個用戶購物清單以及消費額、購物籃中物品、詳細購置時間甚至是購置當日天氣。第28頁29是什么，而不是為何在以前人們需要有了想法，然后再去搜集數(shù)據(jù)去測試這個想法可行性。而現(xiàn)在我們有了更多數(shù)據(jù)以及更加好工具之后，要找到相關(guān)關(guān)系就變得更加快，更輕易了。大多數(shù)據(jù)情況下，一旦我們完成了對大數(shù)據(jù)相關(guān)分析，而又不再滿足于僅僅知道“是什么”時，我們就會繼續(xù)向更深層研究因果關(guān)系，找出背后“為何”。第29頁30提要大數(shù)據(jù)所帶來機遇和挑戰(zhàn)大數(shù)據(jù)概念及技術(shù)大數(shù)據(jù)時代思維和變革大數(shù)據(jù)在企業(yè)中應用案例第30頁31大數(shù)據(jù)在企業(yè)中應用之一

預測第31頁32大數(shù)據(jù)提升預測準確性第32頁33世界杯大數(shù)據(jù)預測火了baidu第33頁34baidu怎樣做到經(jīng)過爬蟲等方法取得第34頁35baidu預測第35頁36大數(shù)據(jù)在企業(yè)中應用之二

營銷:精準營銷、整合營銷、聯(lián)合營銷第36頁37第37頁38電商巨頭阿里大數(shù)據(jù)生態(tài)圈已經(jīng)建立第38頁39零售業(yè)ZARA經(jīng)過大數(shù)據(jù)創(chuàng)造獨特競爭力第39頁40零售業(yè)ZARA經(jīng)過大數(shù)據(jù)創(chuàng)造獨特競爭力第40頁41傳統(tǒng)制造企業(yè)耐克企業(yè)大數(shù)據(jù)戰(zhàn)略耐克憑借一個名為Nike+新產(chǎn)品變身為大數(shù)據(jù)營銷創(chuàng)新企業(yè)。所謂Nike+，是一個以“Nike跑鞋或腕帶+傳感器”產(chǎn)品，只要運動者穿著Nike+跑鞋運動，iPod就能夠存放并顯示運動日期，時間、距離、熱量消耗值等數(shù)據(jù)。用戶上傳數(shù)據(jù)到耐克小區(qū)，就能和同好分享討論。

憑借運動者上傳數(shù)據(jù)，耐克企業(yè)已經(jīng)成功建立了全球最大運動網(wǎng)上小區(qū)，超出1000萬活躍用戶，天天不停地上傳數(shù)據(jù)，耐克借此與消費者建立前所未有牢靠關(guān)系。第41頁42大數(shù)據(jù)能為Nike帶來什么Nike+：硬件、軟件、小區(qū)大平臺第42頁43大數(shù)據(jù)帶給Nike是利潤第43頁44大數(shù)據(jù)在企業(yè)中應用之三

智慧城市第44頁45什么是智慧城市由商業(yè)企業(yè)IBM在提出概念：城市由六個關(guān)鍵系統(tǒng)組成：組織（人）、業(yè)務(wù)/政務(wù)、交通、通訊、水和能源。這些系統(tǒng)不是零碎，而是以一個協(xié)作方式相互銜接。而城市本身，則是由這些系統(tǒng)所組成宏觀系統(tǒng)?！爸腔鄢鞘小苯ㄔO(shè)是個系統(tǒng)工程將集成整個城市所包括社會綜合管理與公共服務(wù)資源，經(jīng)過物聯(lián)化、互聯(lián)化、智能化方式，促進各種城市功效彼此協(xié)調(diào)運作，以實現(xiàn)更全方面互聯(lián)互通、更深入智能化。無真正意義上智慧城市范例可供參考但智能化、便捷生活方式是能夠預想組成要素。最終讓每個普通市民日常生活所以受惠，提升生活品質(zhì)。第45頁46智慧城市發(fā)展情況我國智慧城市建設(shè)從第一批試點開始，當前已經(jīng)有290個市縣區(qū)列入智慧城市試點，還有一些沒被列入試點城市也開始建設(shè)智慧城市。據(jù)不完全統(tǒng)計，在我國已經(jīng)有500多個城市進行了智慧城市建設(shè)。銀川即使是第二批列入智慧城市試點城市，但銀川與中興通訊合作，緊抓時代機遇，快速落地并成為全國首個高標準、全功效智慧城市樣板。當前，智慧銀川已經(jīng)與烏鎮(zhèn)互聯(lián)網(wǎng)、貴陽大數(shù)據(jù)并列為我國信息領(lǐng)域里產(chǎn)政結(jié)合三大熱點之一。第46頁47銀川截至當前，銀川已布署智能快遞柜、智能垃圾桶、無償WIFI、人臉識別門禁、大氣與噪音監(jiān)測系統(tǒng)、直飲水改造、智慧醫(yī)療系統(tǒng)等11項智能化設(shè)備配套小區(qū)數(shù)量到達20個，預期到今年年底數(shù)量將增加到100個以上。同時，在智慧城市建設(shè)上，銀川在智慧政務(wù)、智慧交通、智慧環(huán)境保護等10大重點領(lǐng)域13個模塊建設(shè)上獨顯特色，形成了可復制、可推廣智慧城市“銀川模式”。第47頁48智慧城市實例——無錫大數(shù)據(jù)中心第48頁49智慧城市實例——無錫大數(shù)據(jù)中心第49頁50智慧城市實例——無錫大數(shù)據(jù)中心第50頁51大數(shù)據(jù)在企業(yè)中應用之四

中國移動大數(shù)據(jù)第51頁52中國移動大數(shù)據(jù)第52頁53內(nèi)部應用之精準營銷第53頁54內(nèi)部應用之洞察客戶第54頁55對外部應用景點舒適指數(shù)據(jù)預測依據(jù)位置信令來分析景區(qū)用戶數(shù)量，幫助旅游景區(qū)了解游客起源、分布等信息客流量分析幫助一些大零售商分析用戶起源和各商鋪、展位人流情況。第55頁56北京市旅游局景點舒適度預報第56頁57提要大數(shù)據(jù)所帶來機遇和挑戰(zhàn)大數(shù)據(jù)概念及技術(shù)大數(shù)據(jù)時代思維和變革大數(shù)據(jù)在企業(yè)中應用案例第57頁58大數(shù)據(jù)時代機遇和挑戰(zhàn)第58頁59大數(shù)據(jù)技術(shù)促進國家和社會發(fā)展當前，我國正處于全方面建成小康社會征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)當代化任務(wù)很重，建設(shè)下一代信息基礎(chǔ)設(shè)施，發(fā)展當代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進信息網(wǎng)絡(luò)技術(shù)廣泛利用，是實現(xiàn)四化同時發(fā)展確保。大數(shù)據(jù)分析對我們深刻領(lǐng)會世情和國情，把握規(guī)律，實現(xiàn)科學發(fā)展，做出科學決議含有主要意義，我們必須重新認識數(shù)據(jù)主要價值。第59頁60大數(shù)據(jù)藍海成為企業(yè)競爭新焦點大數(shù)據(jù)所能帶來巨大商業(yè)價值，被認為將引領(lǐng)一場足以與20世紀計算機革命匹敵巨大變革。大數(shù)據(jù)正在對每個領(lǐng)域都造成影響，包含商業(yè)、經(jīng)濟等領(lǐng)域。大數(shù)據(jù)正在保重新藍海，催生新經(jīng)濟增加點，正在成為企業(yè)競爭新焦點。第60頁61大數(shù)據(jù)時代呼喚新型人才蓋特納咨詢企業(yè)預測大數(shù)據(jù)將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫企業(yè)預測美國到需要深度數(shù)據(jù)分析人才44萬-49萬，缺口14萬-19萬；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應用管理者150萬，這方面人才缺口更大。中國是人才大國，但能了解與應用大數(shù)據(jù)創(chuàng)新人才更是稀缺資源。大數(shù)據(jù)時代新就業(yè)崗位：大數(shù)據(jù)分析師數(shù)據(jù)管理教授大數(shù)據(jù)算法工程師數(shù)據(jù)產(chǎn)品經(jīng)理等第61頁62挑戰(zhàn)一：業(yè)務(wù)部門沒有清楚大數(shù)據(jù)需求很多企業(yè)業(yè)務(wù)部門不了解大數(shù)據(jù)，也不了解大數(shù)據(jù)應用場景和價值，所以難以提出大數(shù)據(jù)準確需求。因為業(yè)務(wù)部門需求不清楚，大數(shù)據(jù)部門又是非盈利部門，企業(yè)決議層擔心投入比較多成本，造成了很多企業(yè)在搭建大數(shù)據(jù)部門時猶豫不決，或者很多企業(yè)都處于觀望嘗試態(tài)度，從根本上影響了企業(yè)在大數(shù)據(jù)方向發(fā)展，也妨礙了企業(yè)積累和挖掘本身數(shù)據(jù)資產(chǎn)，甚至因為數(shù)據(jù)沒有應用場景，刪除很多有價值歷史數(shù)據(jù)，造成企業(yè)數(shù)據(jù)資產(chǎn)流失。所以，這方面需要大數(shù)據(jù)從業(yè)者和教授一起，推進和分享大數(shù)據(jù)應用場景，讓更多業(yè)務(wù)人員了解大數(shù)據(jù)價值。第62頁63挑戰(zhàn)二：企業(yè)內(nèi)部數(shù)據(jù)孤島嚴重企業(yè)開啟大數(shù)據(jù)最主要挑戰(zhàn)是數(shù)據(jù)碎片化。在很多企業(yè)中尤其是大型企業(yè)，數(shù)據(jù)經(jīng)常散落在不一樣部門，而且這些數(shù)據(jù)存在不一樣數(shù)據(jù)倉庫中，不一樣部門數(shù)據(jù)技術(shù)也有可能不一樣，這造成企業(yè)內(nèi)部自己數(shù)據(jù)都沒法打通。假如不打通這些數(shù)據(jù)，大數(shù)據(jù)價值則非常難挖掘。大數(shù)據(jù)需要不一樣數(shù)據(jù)關(guān)聯(lián)和整合才能更加好發(fā)揮了解客戶和了解業(yè)務(wù)優(yōu)勢。怎樣將不一樣部門數(shù)據(jù)打通，而且實現(xiàn)技術(shù)和工具共享，才能更加好發(fā)揮企業(yè)大數(shù)據(jù)價值。第63頁64挑戰(zhàn)三：數(shù)據(jù)可用性低，數(shù)據(jù)質(zhì)量差很多中型以及大型企業(yè)，每時每刻也都在產(chǎn)生大量數(shù)據(jù)，但很多企業(yè)在大數(shù)據(jù)預處理階段很不重視，造成數(shù)據(jù)處理很不規(guī)范。大數(shù)據(jù)預處理階段需要抽取數(shù)據(jù)把數(shù)據(jù)轉(zhuǎn)化為方便處理數(shù)據(jù)類型，對數(shù)據(jù)進行清洗和去噪，以提取有效數(shù)據(jù)等操作。甚至很多企業(yè)在數(shù)據(jù)上報就出現(xiàn)很多不規(guī)范不合理情況。以上種種原因，造成企業(yè)數(shù)據(jù)可用性差，數(shù)據(jù)質(zhì)量差，數(shù)據(jù)不準確。而大數(shù)據(jù)意義不但僅是要搜集規(guī)模龐大數(shù)據(jù)信息，還有對搜集到數(shù)據(jù)進行很好預處理處理，才有可能讓數(shù)據(jù)分析和數(shù)據(jù)挖掘人員從可用性高大數(shù)據(jù)中提取有價值信息。Sybase數(shù)據(jù)表明，高質(zhì)量數(shù)據(jù)數(shù)據(jù)應用能夠顯著提升企業(yè)商業(yè)表現(xiàn)，數(shù)據(jù)可用性提升10%，企業(yè)業(yè)績最少提升在10%以上。第64頁65挑戰(zhàn)四：數(shù)據(jù)安全網(wǎng)絡(luò)化生活使得犯罪