數(shù)據(jù)的力量課件

1、19951999 - 本科 中山大學(xué)19992004 - 碩博連讀 中山大學(xué)2005.022007.08 - Postdoc 香港科技大學(xué) 計(jì)算機(jī)系2007.082009.09 - Postdoc HP Labs, 惠普研究院，美國加州硅谷2009.10 - 副教授 中山大學(xué)，百人計(jì)劃 教育與工作經(jīng)歷研究興趣數(shù)據(jù)挖掘推薦系統(tǒng)信息檢索人工智能 基于案例推理, 學(xué)習(xí) & 智能規(guī)劃機(jī)器學(xué)習(xí) 主動學(xué)習(xí), 遷移學(xué)習(xí)等獎勵2005年美國計(jì)算機(jī)學(xué)會主辦的數(shù)據(jù)挖掘國際比賽，全部三項(xiàng)第一Precision （精準(zhǔn)度） AwardPerformance （性能）AwardCreativity （創(chuàng)新） Award

2、任務(wù)：搜素引擎查詢分類將 800,000 查詢分類到 67 個(gè)類別4大數(shù)據(jù)到底有多大全球每天通過Internet網(wǎng)絡(luò)傳輸?shù)碾娮余]件多達(dá)2100億封；Facebook每月新增10億照片和1000萬個(gè)視頻；騰訊公司注冊用戶超過7億，同時(shí)在線人數(shù)超過1億.根據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心的報(bào)告，2012年全球的數(shù)據(jù)總量為2.7Zb（1Zb相當(dāng)于十萬億億字節(jié)），預(yù)計(jì)到2020年，全球的數(shù)據(jù)總量將達(dá)到35Zb。海量數(shù)據(jù)的規(guī)模已經(jīng)讓目前主流的數(shù)據(jù)處理軟件(存儲,分析)無法承受。大數(shù)據(jù)到底有多大？Google processes 20 PB a day (2008)Wayback Machine has 3 PB + 1

3、00 TB/month (3/2009)eBay has 6.5 PB of user data + 50 TB/day (5/2009)Facebook has 36 PB of user data + 80-90 TB/day (6/2010)CERNs LHC: 15 PB a year (any day now)LSST: 6-10 PB a year (2015)640K ought to be enough for anybody.From /jimmylin/百度（來自百度世界13大會）數(shù)據(jù)總量1000PB數(shù)據(jù)處理量100PB/天網(wǎng)頁萬億更新量百億/天請求百億/天日志總量100P

4、B日志更新量1PB/天THE NEW PRACTITIONERSHal Varian, UC Berkeley, Chief Economist Google“Looking for a career where your services will be in high demand? Provide a scarce, complementary service to something that is getting ubiquitous and cheap.So whats ubiquitous and cheap? Data.And what is complementary to

5、data? Analysis.the sexy job in the next ten years will be statisticiansFrom: /jmh/大數(shù)據(jù)應(yīng)用實(shí)例一（結(jié)構(gòu)化數(shù)據(jù)）基于云計(jì)算的金融大數(shù)據(jù)系統(tǒng)功能1. 并發(fā)原始鈔票數(shù)據(jù)上報(bào)；各支行可能在一天上報(bào)上億條數(shù)據(jù)，要求系統(tǒng)并發(fā)性很強(qiáng)。2. 海量鈔票數(shù)據(jù)匯總；使得總行能夠?qū)η|級的海量鈔票冠字號碼信息數(shù)據(jù)進(jìn)行匯總處理。 3. 海量鈔票數(shù)據(jù)實(shí)時(shí)入庫；根據(jù)上述上報(bào)匯總需求，可能需要對100000條/秒的數(shù)據(jù)（每條數(shù)據(jù)假定大小為1KB，則每秒100MB數(shù)據(jù)量）進(jìn)行實(shí)時(shí)處理。4. 大數(shù)據(jù)存儲、計(jì)算；要求系統(tǒng)存儲千億級別的數(shù)據(jù)，建立數(shù)學(xué)

6、模型，并完成各種復(fù)雜業(yè)務(wù)應(yīng)用計(jì)算。 5. 千億級數(shù)據(jù)的秒級查詢能力；這需要系統(tǒng)內(nèi)建高效的數(shù)據(jù)降維、特征提取和索引算法，配備高效的任務(wù)調(diào)度策略，滿足秒級查詢速度。6. 秒級甚至毫秒級其它實(shí)時(shí)業(yè)務(wù)響應(yīng)；系統(tǒng)應(yīng)配備高效實(shí)時(shí)數(shù)據(jù)通道，支持實(shí)時(shí)監(jiān)控、告警、以及通知等實(shí)時(shí)業(yè)務(wù)。大數(shù)據(jù)應(yīng)用實(shí)例一基于云計(jì)算的金融大數(shù)據(jù)系統(tǒng)-系統(tǒng)架構(gòu)大數(shù)據(jù)應(yīng)用實(shí)例二（APP推薦系統(tǒng)）推薦系統(tǒng)商品B商品A商品信息（屬性、關(guān)鍵字）用戶信息（基本屬性、社交信息：微博、微信、論壇）用戶對商品的偏好推薦系統(tǒng)的背景隨著信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)中的聚集了大量信息。2022/8/2211用戶商品淘寶網(wǎng)500,000,000800,

7、000,000亞馬遜90,000,0006,000,000Netflix27,000,000100,000數(shù)據(jù)規(guī)模的增加單節(jié)點(diǎn)的計(jì)算能力限制分布式/并行解決方案大數(shù)據(jù)應(yīng)用實(shí)例三基于人工智能的獵頭機(jī)器人在人們和大數(shù)據(jù)之間的四個(gè)障礙4 Barriers Stand Between You and Big Data Insightfrom PwC (普華永道)Theyre blind to the importance of visualization.Theyre investing more in gathering data than analyzing it.Theyre facing a talent gap.Theyre struggling with insufficient syst