大數(shù)據(jù)的介紹PPT課件.pptVIP

大數(shù)據(jù)介紹 1 2019 11 4 目錄 大數(shù)據(jù)的概念大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別 大數(shù)據(jù)的典型特征 3V 廣義的大數(shù)據(jù)大數(shù)據(jù)應(yīng)用案例 2 2020 1 8 大數(shù)據(jù)的概念 大數(shù)據(jù) BigData 是指無法用現(xiàn)有的軟件工具提取 存儲 搜索 共享 分析和處理的海量的 復(fù)雜的數(shù)據(jù)集合簡單一點的說 就是用現(xiàn)有一般技術(shù)難以管理的數(shù)據(jù) 3 2020 1 8 大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別 小明去了一百次書店傳統(tǒng)數(shù)據(jù) 要回答的問題是他第一百零一次買不買書 即業(yè)績和經(jīng)營指標(biāo)的問題 大數(shù)據(jù) 要回答的是他第一百零一次買什么書 需要將什么樣的內(nèi)容推薦給他 群體和個體的區(qū)別傳統(tǒng)定義上 更多關(guān)注的是一類人群 用同一類規(guī)則制訂套餐給他們 互聯(lián)網(wǎng)時代 要把每個人都精準(zhǔn)刻畫出來 進(jìn)行精準(zhǔn)匹配 4 2020 1 8 大數(shù)據(jù)的典型特征 3V Volume 容量 現(xiàn)在基本上是指從幾十TB到幾PB這樣的數(shù)量級 未來 可能只有幾EB數(shù)量級的數(shù)據(jù)量才能稱得上是大數(shù)據(jù)了 1T 1024G 1P 1024T Variety 多樣性 結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)Velocity 速度 數(shù)據(jù)產(chǎn)生和更新的頻率 5 2020 1 8 廣義的大數(shù)據(jù) 所謂大數(shù)據(jù) 是一個綜合性概念 它包括 1 因具備3V特征而難以進(jìn)行管理的數(shù)據(jù) 2 對這些數(shù)據(jù)進(jìn)行存儲 處理 分析的技術(shù) 3 以及能夠通過分析這些數(shù)據(jù)獲得實用意義和觀點的人才和組織 6 2020 1 8 大數(shù)據(jù)的應(yīng)用案例 7 2020 1 8 穿孔卡片與美國人口普查 美國在1880年進(jìn)行的人口普查 耗時8年才完成數(shù)據(jù)匯總 因此 他們獲得的很多數(shù)據(jù)都是過時的 1890年進(jìn)行的人口普查 預(yù)計要花費13年的時間來匯總數(shù)據(jù) 后來 美國人口普查局通過用赫爾曼 霍爾瑞斯發(fā)明的穿孔卡片制表機來進(jìn)行1890年的人口普查 耗時一年 8 2020 1 8 麻省理工與通貨緊縮預(yù)測軟件 美國勞工統(tǒng)計局的人員每個月都要公布消費物價指數(shù) CPI 這是用來測試通貨膨脹率的 政府通過人工采集價格信息數(shù)據(jù)每年大概需要花費兩億五千萬美元 這些數(shù)據(jù)是精確的也是有序的 但是數(shù)據(jù)往往會有幾周的滯后 麻省理工學(xué)院 MIT 的兩位經(jīng)濟學(xué)家 通過一個軟件在互聯(lián)網(wǎng)上每天可以收集到50萬種商品的價格 他們能比官方數(shù)據(jù)提前發(fā)現(xiàn)通貨緊縮趨勢 9 2020 1 8 沃爾瑪 請把蛋撻與颶風(fēng)用品擺在一起 通過對歷史交易記錄這個龐大數(shù)據(jù)庫進(jìn)行觀察 沃爾瑪注意到 每當(dāng)季節(jié)性颶風(fēng)來臨之前 不僅手電筒銷量增加 而且美式早餐含糖零食蛋撻銷量也增加了 因此每當(dāng)季節(jié)性颶風(fēng)來臨時 沃爾瑪就會把蛋撻與颶風(fēng)用品擺放在一起 從而增加銷量 10 2020 1 8 沃爾瑪 東海岸 中海岸 西海岸 在美國 東海岸 中海岸 西海岸之間有兩小時時差 東海岸的沃爾瑪營業(yè)兩小時后之后 中海岸才開始營業(yè) 沃爾瑪就會把東海岸當(dāng)天這兩小時的營業(yè)情況 相關(guān)數(shù)據(jù)傳給中海岸 中海岸就會根據(jù)這個數(shù)據(jù)知道了這天人們的購物喜好 決定貨品怎么擺放 哪些貨物擺放在一起會比較好 這種方式給沃爾瑪帶來了很大的利潤 11 2020 1 8 美國折扣零售商塔吉特與懷孕預(yù)測 塔吉特公司能在不被清楚告知的情況下預(yù)測出一個女性的懷孕情況該公司找出了大概20多種與懷孕的關(guān)聯(lián)物 給顧客進(jìn)行 懷孕趨勢 評分這些數(shù)據(jù)甚至使得零售商能夠比較準(zhǔn)確地預(yù)測預(yù)產(chǎn)期 這樣就能夠在孕期的每個階段給客戶寄送相應(yīng)的優(yōu)惠券 12 2020 1 8 Hitwise 通過流量判斷消費者喜好 數(shù)據(jù)創(chuàng)新再利用的一個典型例子是搜索關(guān)鍵詞 消費者和搜索引擎之間的瞬時交互形成了一個網(wǎng)站和廣告的列表 實現(xiàn)了那一刻的特定功能 這些信息除了實現(xiàn)基本用途之外 它還可以變得非常有價值 如數(shù)據(jù)代理益百利旗下的網(wǎng)頁流量測量公司Hitwise 讓客戶采集搜索流量來揭示消費者的喜好 13 2020 1 8 物聯(lián)網(wǎng) 物聯(lián)網(wǎng) InternetofThings 縮寫IOT 是一個基于互聯(lián)網(wǎng) 傳統(tǒng)電信網(wǎng)等信息承載體 讓所有能夠被獨立尋址的普通物理對象實現(xiàn)互聯(lián)互通的網(wǎng)絡(luò) 在物聯(lián)網(wǎng)上 每個人都可以應(yīng)用電子標(biāo)簽將真實的物體上網(wǎng)聯(lián)結(jié) 在物聯(lián)網(wǎng)上都可以查找出它們的具體位置 通過物聯(lián)網(wǎng)可以用中心計算機對機器 設(shè)備 人員進(jìn)行集中管理 控制 也可以對家庭設(shè)備 汽車進(jìn)行遙控 以及搜尋位置 防止物品被盜等各種應(yīng)用 14 2020 1 8 RFID技術(shù) RFID是RadioFrequencyIdentification的縮寫 即射頻識別 俗稱電子標(biāo)簽 RFID是一種簡單的無線系統(tǒng) 由一個詢問器 或閱讀器 和很多應(yīng)答器 或標(biāo)簽 組成 該系統(tǒng)用于控制 檢測和跟蹤物體 RFID技術(shù)在超市和圖書館中的應(yīng)用 15 2020 1 8 車聯(lián)網(wǎng) 未來車聯(lián)網(wǎng)技術(shù)將重新定義汽車DNA 借助無線通訊 城市內(nèi)車與車之間 車與建筑之間 車與人之間都將建立更加智能緊密的互聯(lián) 通過裝載在車輛上的電子標(biāo)簽利用無線射頻等識別技術(shù) 實現(xiàn)在信息網(wǎng)絡(luò)平臺上對所有車輛的屬性信息和靜 動態(tài)信息進(jìn)行提取和有效利用 并根據(jù)不同的功能需求對所有車輛的運行狀態(tài)進(jìn)行有效的監(jiān)管和提供綜合服務(wù) 16 2020 1 8 無人駕駛 無人駕駛被人認(rèn)為是車聯(lián)網(wǎng)的終極目標(biāo)無人駕駛車依賴的技術(shù)很多 比如導(dǎo)航 雷達(dá) 龐大數(shù)據(jù)計算等 要實現(xiàn)這些技術(shù)需要和物聯(lián)網(wǎng)緊密結(jié)合起來 無人駕駛是通過車載傳感系統(tǒng)感知道路環(huán)境 自動規(guī)劃行車路線并控制車輛到達(dá)預(yù)定目標(biāo)的智能汽車 17 2020 1 8 自動泊車系統(tǒng) 自動泊車系統(tǒng) 顧名思義駕駛者雙手可以離開方向盤 在車輛停好之前要做的只是等待 自動泊車系統(tǒng)主要由兩部分組成 控制單元和位于前后保險杠以及兩側(cè)的超聲波雷達(dá)探頭 按動自動泊車輔助系統(tǒng)激活按鈕之后 雷達(dá)探頭可在車輛行駛時對車輛兩側(cè)進(jìn)行掃描 控制單元對雷達(dá)反饋的信息進(jìn)行分析 從而估算出車位是否足以容納車輛停放 自動泊車系統(tǒng)隨后將通過助力轉(zhuǎn)向系統(tǒng)對車輛行駛方向進(jìn)行干預(yù) 并以控制單元規(guī)劃好的路徑將車輛停入車位 18 2020 1 8 日本先進(jìn)工業(yè)技術(shù)研究院的坐姿研究與汽車防盜系統(tǒng) 該研究所教授把每個駕車者的坐姿量化為精確的數(shù)據(jù) 使其對司機識別的正確率高達(dá)98 這項技術(shù)作為汽車防盜系統(tǒng) 一旦識別駕車者不是車主 就會自動熄火 這一技術(shù)還可匯集事故發(fā)生前駕車者的姿勢變化數(shù)據(jù) 分析坐姿與行駛安全的關(guān)系 在司機疲勞駕駛時發(fā)出警示或自動剎車 19 2020 1 8 UPS快遞 大數(shù)據(jù)技術(shù)下的最佳行車路徑 UPS快遞多效地利用了地理定位數(shù)據(jù) 為了使總部能在車輛出現(xiàn)晚點的時候跟蹤到車輛的位置和預(yù)防引擎故障 它的貨車上裝有傳感器 無線適配器和GPS 同時 這些設(shè)備也方便了公司監(jiān)督管理員工并優(yōu)化行車線路 UPS為貨車定制的最佳行車路徑是根據(jù)過去的行車經(jīng)驗總結(jié)而來的 2011年 UPS的駕駛員少跑了近4828萬公里的路程 節(jié)省了300萬加侖的燃料并且減少了3萬公噸的二氧化碳排放量 20 2020 1 8 UPS與汽車修理預(yù)測 UPS國際快遞公司從2000年就開始使用預(yù)測性分析來監(jiān)測自己全美60000輛車規(guī)模的車隊 這樣就能及時地進(jìn)行防御性的修理 通過監(jiān)測車輛的各個部位 UPS只需要更換需要更換的零件 從而節(jié)省了好幾百萬美元 21 2020 1 8 谷歌與甲型H1N1流感 2009年出現(xiàn)的甲型H1N1流感 當(dāng)時還沒有研發(fā)出對抗這種新型流感病毒的疫苗 公共衛(wèi)生專家能做的只是減慢它傳播的速度 但要做到這一點 他們必須先知道這種流感出現(xiàn)在哪里 疾控中心得到流感方面的信息往往會有一兩周的滯后 這種滯后導(dǎo)致公共衛(wèi)生機構(gòu)在疫情爆發(fā)的關(guān)鍵時期反而無所適從 谷歌通過觀察人們在網(wǎng)上的搜索記錄來預(yù)測流感的傳播 得到的信息是非常準(zhǔn)確和及時的 22 2020 1 8 量化自我 通過一種非干預(yù)的手段 把一些所謂的醫(yī)療傳感器放到我們的身邊 比如我們戴一個腕表 一枚戒指 一個耳塞 一副眼鏡等 通過這些設(shè)備我們可以了解自己的心跳 血壓情況 甚至包括我們體表的健康狀況 從而對一些大病 如癲癇等 進(jìn)行早期預(yù)測 美國Fitbit公司近期就推出了一款免費的蘋果手機應(yīng)用 用戶可用于記錄食物和液體攝入量 從而跟蹤其活動水平和營養(yǎng)攝入情況 通過分析這些數(shù)據(jù)可以很好的控制體重 23 2020 1 8 小兒床墊 通過床墊上的壓力與濕度傳感器分析 來判斷小孩子有沒有比較嚴(yán)重的打鼾或者睡姿不正確等問題 24 2020 1 8 在線教育 如著名的在線教育公司Coursera 已經(jīng)和普林斯頓 伯克利 賓夕法尼亞大學(xué)等30多所大學(xué)合作 在互聯(lián)網(wǎng)上免費開放大學(xué)課程分布在世界各地的學(xué)習(xí)者不僅可以在同一時間實時聽取同一位老師的授課 還和在校生一樣 做同樣的作業(yè) 接受同樣的評分和考試 在線教育是一個 行為評價和誘導(dǎo) 的智能平臺 25 2020 1 8 在線教育服務(wù)Knewton 在線教育服務(wù)Knewton是大數(shù)據(jù)應(yīng)用于教育行業(yè)的典型 通過數(shù)據(jù)分析區(qū)分出每個學(xué)生的優(yōu)缺點 從而給學(xué)生有效的指導(dǎo) 美國最大的公立大學(xué)亞利桑那州公立大學(xué)曾運用這一系統(tǒng)來提高學(xué)生的數(shù)學(xué)水平 全校2000名學(xué)生使用該系統(tǒng)兩學(xué)期之后 該大學(xué)的輟學(xué)率下降了56 畢業(yè)率從64 升高到75 26 2020 1 8 購買飛機票 同一架飛機上的座位 票價卻千差萬別 個中原因 只有航空公司知道 奧倫 埃齊奧尼開發(fā)了一個系統(tǒng) 用來推測當(dāng)前網(wǎng)頁上的機票價格是否合理 預(yù)測當(dāng)前的機票價格在未來一段時間內(nèi)會上漲還是下降 從而幫助乘客明智購票 這個預(yù)測系統(tǒng)建立在41天內(nèi)價格波動產(chǎn)生的12000個價格樣本基礎(chǔ)之上 27 2020 1 8 航班延誤之候機經(jīng)濟學(xué) 美國建立了一個統(tǒng)一的數(shù)據(jù)開放門戶網(wǎng)站 Data Gov Data Gov上線以后 美國交通部開放了全美航班起飛 到達(dá) 延誤的數(shù)據(jù) 航班延誤時間的分析系統(tǒng) Flyontime us 幫助消費者找到表現(xiàn)最佳 最符合自己需要的航班 該系統(tǒng)向全社會免費開放 任何人都可以通過它查詢分析全國各次航班的延誤率及機場等候時間 28 2020 1 8 The N與電影票房預(yù)測 The N在好萊塢電影上映之前 就能利用海量數(shù)據(jù)和特定算法預(yù)測出一部電影的票房 該公司擁有一個包括了過去幾十年美國所有商業(yè)電影大約3000萬條記錄的數(shù)據(jù)庫 數(shù)據(jù)庫里有所有關(guān)于預(yù)算 電影流派 拍攝 陣容 獲得獎項和收入等數(shù)據(jù) 29 2020 1 8 VISA MasterCard與商戶推薦 像VISA和MasterCard這樣的信用卡發(fā)行商 它們能夠從自己的服務(wù)網(wǎng)獲取更多的交易信息和顧客的消費信息它們的商業(yè)模式從單純的處理支付行為轉(zhuǎn)變成了收集數(shù)據(jù)一個稱為MasterCardAdvisors的部門收集和分析了來自210個國家的15億信用卡用戶的650億條交易記錄 用來預(yù)測商業(yè)發(fā)展和客戶的消費趨勢 然后 它把這些分析結(jié)果賣給其他公司 30 2020 1 8 FICO 我們知道你明天會做什么 2011年 FICO提出了 遵從醫(yī)囑評分 它分析一系列的變量來確定這個人是否會按時吃藥 包括一些看起來有點怪異的變量 比方說 一個人在某地居住了多久 這個人結(jié)婚了沒有 他多久換一個工作以及他是否有私家車 這個評分會幫助醫(yī)療機構(gòu)節(jié)省開支 因為它們會知道哪些人需要得到它們的用藥提醒 有私家車和使用抗生素并沒有因果關(guān)系 這只是一種相關(guān)關(guān)系 31 2020 1 8 中英人壽保險有限公司 Aviva 中英人壽保險有限公司 Aviva 是一家大型保險公司 他們想利用信用報告和顧客市場分析數(shù)據(jù)來作為部分申請人的血液和尿液分析的關(guān)聯(lián)物 這些分析結(jié)果被用來找出更有可能患高血壓 糖尿病和抑郁癥的人 其中用來分析的數(shù)據(jù)包括好幾百種生活方式的數(shù)據(jù) 比如愛好 常瀏覽的網(wǎng)站 ?？吹墓?jié)目 收入估計等 通過利用相關(guān)關(guān)系 保險公司可以在每人身上節(jié)省125美元 然而這個純數(shù)據(jù)分析法只需要花費5美元 32 2020 1 8 Xoom與跨境匯款異常交易報警 Xoom是一個專門從事跨境匯款業(yè)務(wù)的公司 它會分析一筆交易的所有相關(guān)數(shù)據(jù) 一旦發(fā)現(xiàn)用 發(fā)現(xiàn)卡 從新澤西州匯款的交易比平常多的話 系統(tǒng)就會報警 33 2020 1 8 無所不包的谷歌翻譯系統(tǒng) 2006年 谷歌公司開始涉足機器翻譯 這被當(dāng)作實現(xiàn) 收集全世界的數(shù)據(jù)資源 并讓人人都可享受這些資源 這個目標(biāo)的一個步驟 谷歌翻譯利用一個更大更繁雜的數(shù)據(jù)庫 也就是全球的互聯(lián)網(wǎng) 谷歌翻譯系統(tǒng)為了訓(xùn)練計算機 會吸收它能找到的所有翻譯 它增加了很多各種各樣的數(shù)據(jù) 還接受了有錯誤的數(shù)據(jù) 谷歌語料庫的內(nèi)容來自于未經(jīng)過濾的網(wǎng)頁內(nèi)容 所以會包含各種錯誤 但谷歌語料庫是其他語料庫的好幾百萬倍大 這樣的優(yōu)勢完全壓倒了缺點 34 2020 1 8 谷歌 從大的 噪音 數(shù)據(jù)中受益 谷歌知道人們在搜索時點擊的是第1頁的第8個鏈接還是第8頁的第1個鏈接 或者是干脆