就是站在BigData上的范例巨大的數(shù)據(jù)源課件

楊立偉教授臺(tái)灣大學(xué)工商管理學(xué)系2013FallIntroductiontoDatabaseManagementConfidentialandProprietary楊立偉教授2013FallIntroductionto老師介紹臺(tái)大資訊管理博士研究領(lǐng)域?yàn)橹R(shí)工程、搜尋引擎、語(yǔ)意分析、網(wǎng)路行銷(xiāo)等超過(guò)20項(xiàng)語(yǔ)意及行為分析相關(guān)專(zhuān)利發(fā)明人現(xiàn)任臺(tái)大工管系兼任助理教授

2006~意藍(lán)資訊董事總經(jīng)理(創(chuàng)辦人)1999~龍捲風(fēng)科技董事長(zhǎng)

2008~經(jīng)歷資訊及通信國(guó)家標(biāo)準(zhǔn)技術(shù)委員2009年獲選經(jīng)理人雜誌「100MVP最有價(jià)值經(jīng)理人」2012年獲數(shù)位時(shí)代雜誌「創(chuàng)業(yè)之星」首獎(jiǎng)FunTime,Co-founder國(guó)內(nèi)最大旅遊搜尋引擎MobileWizInc.,Co-founder國(guó)內(nèi)最大互動(dòng)簡(jiǎn)訊行銷(xiāo)公司DigitalJWalterThompson,Taiwan,PrincipalConsultant(兼任)老師介紹臺(tái)大資訊管理博士現(xiàn)任臺(tái)大工管系兼任助理教授20課程目標(biāo)了解資料庫(kù)管理之目的與理論培養(yǎng)資料庫(kù)管理之觀念與能力了解資料庫(kù)管理之工具與應(yīng)用了解資料庫(kù)管理和組織、企業(yè)等相關(guān)之管理議題課程目標(biāo)了解資料庫(kù)管理之目的與理論WhyDatabase(1)–每人每天產(chǎn)生多少資料搭公車(chē)、搭捷運(yùn)、刷悠遊卡到便利商店買(mǎi)飲料用手機(jī)上臉書(shū)、按個(gè)讚、打個(gè)卡送個(gè)LINE、拍張照片上傳上網(wǎng)瀏覽、刷卡購(gòu)物、給個(gè)評(píng)價(jià)過(guò)個(gè)馬路被超過(guò)十個(gè)鏡頭拍下WhyDatabase(1)–每人每天產(chǎn)生多少資料搭WhyDatabase(2)–資料快速成長(zhǎng)Source:IBM2012全球CEO調(diào)查報(bào)告/tw/blueview/2012oct/8.htmlWhyDatabase(2)–資料快速成長(zhǎng)SourcWhyDatabase(3)運(yùn)用資料與演算，達(dá)成智慧決策Source:IBM2012全球CEO調(diào)查報(bào)告/tw/blueview/2012oct/8.htmlWhyDatabase(3)運(yùn)用資料與演算，達(dá)成智慧決策WhyDatabase(4)–管理整體資訊供應(yīng)鍊Source:IBM2012全球CEO調(diào)查報(bào)告/tw/blueview/2012oct/8.htmlWhyDatabase(4)–管理整體資訊供應(yīng)鍊SoWhyDatabase(5)–企業(yè)應(yīng)用數(shù)位化時(shí)代中，資訊扮演的角色越來(lái)越重要所有企業(yè)資訊化的背後，幾乎都與資料庫(kù)有關(guān)。生產(chǎn)/研發(fā)/供應(yīng)商行銷(xiāo)/銷(xiāo)售/客戶(hù)組織/人事財(cái)會(huì)/資料分析策略/決策支援WhyDatabase(5)–企業(yè)應(yīng)用數(shù)位化時(shí)代中，Scenario1:資料收集處理假設(shè)回收50份第一題各選項(xiàng)的答題人數(shù)?第二題各選項(xiàng)的答題人數(shù)?列出500人以上且為公司指派的對(duì)象…且連絡(luò)電話(huà)開(kāi)頭為02者假設(shè)今天回收是5萬(wàn)份…Scenario1:資料收集處理假設(shè)回收50份Scenario2:MemberSorting你任職於某大電信公司行銷(xiāo)部門(mén)為了擬定促銷(xiāo)策略想了解目前800萬(wàn)會(huì)員內(nèi)，各付費(fèi)方案人數(shù)比例想調(diào)出每月帳單金額超過(guò)5000元的名單…且濾出30歲以上之男生想促銷(xiāo)iPhone5s面臨的問(wèn)題向IT部門(mén)要資料卻要2個(gè)月後才給跟你說(shuō)沒(méi)這個(gè)欄位…做不到…Scenario2:MemberSorting你任職Scenario3:ERP上線(xiàn)你任職於一家電子組裝公司因應(yīng)綠色環(huán)保法規(guī)，你必需將供應(yīng)商分類(lèi) (合格/不合格/待檢驗(yàn))以重新整理零件存貨為了方便作業(yè)，你請(qǐng)IT部門(mén)做系統(tǒng)調(diào)整IT部門(mén)說(shuō)如果是加欄位則2天就可以做完…但如果是更改資料庫(kù)結(jié)構(gòu)，就要很久你心想「差在哪裏?」Scenario3:ERP上線(xiàn)你任職於一家電子組裝公Scenario4:資料更新問(wèn)題你任職為零售賣(mài)場(chǎng)的分析師你將POS(銷(xiāo)售點(diǎn))系統(tǒng)產(chǎn)生的紀(jì)錄全留下某日得知新竹店電話(huà)改了請(qǐng)問(wèn)要修改幾筆資料?容易有什麼問(wèn)題?Scenario4:資料更新問(wèn)題你任職為零售賣(mài)場(chǎng)的分析Scenario5:交易不完整你有兩個(gè)銀行戶(hù)頭A銀行 B銀行$3,000

$3,000$1,000

$3,000$1,000

$5,000$0

$3,000初始餘額存$3,000到A銀行轉(zhuǎn)$2,000到B銀行(1)A銀行先扣$2,000(2)B銀行再加$2,000$2,000發(fā)生大地震~全臺(tái)大停電------------------------------------為何會(huì)這樣?如何解決?Scenario5:交易不完整你有兩個(gè)銀行戶(hù)頭A銀行Scenario6:更多資料庫(kù)的管理問(wèn)題資料庫(kù)整合你任職於某大金控公司客服部門(mén)公司最近合併了銀行、保險(xiǎn)、與證券公司客戶(hù)打電話(huà)來(lái)問(wèn)「為什麼還是收到三張帳單?」保險(xiǎn)的客戶(hù)打電話(huà)來(lái)，

你卻調(diào)不出客戶(hù)資料資料庫(kù)安全你任職於某大電視購(gòu)物公司聽(tīng)聞拍賣(mài)網(wǎng)站有盜賣(mài)公司會(huì)員資料光碟，一筆3元好奇買(mǎi)來(lái)看，卻不會(huì)用?Scenario6:更多資料庫(kù)的管理問(wèn)題資料庫(kù)整合學(xué)習(xí)目的這是一門(mén)介紹基礎(chǔ)理論的課資料庫(kù)背後的理論管理資料庫(kù)應(yīng)具備的觀念資料庫(kù)可能衍生的相關(guān)議題這是一門(mén)著重應(yīng)用與實(shí)務(wù)的課如何建立與使用資料庫(kù)→以MSAccess/SQLServer為例靈活運(yùn)用資料並進(jìn)行查詢(xún)分析Ex.問(wèn)卷分析了解各種資料庫(kù)最新應(yīng)用Ex.資料倉(cāng)儲(chǔ)、BigData學(xué)習(xí)目的這是一門(mén)介紹基礎(chǔ)理論的課授課與評(píng)分方式課堂上課，

配合應(yīng)用解說(shuō)與討論評(píng)分方式作業(yè)報(bào)告 30%期中考 30%期末考及分組專(zhuān)題 40%課程網(wǎng)址.tw/~wyang授課與評(píng)分方式課堂上課，配合應(yīng)用解說(shuō)與討論楊立偉教授臺(tái)灣大學(xué)工商管理學(xué)系2013FallIntroductiontoDatabaseManagement資料庫(kù)發(fā)展趨勢(shì)ConfidentialandProprietary楊立偉教授2013FallIntroductiontoTrendofBigData(1)BigData係指資料大量成長(zhǎng)根據(jù)IBM的研究，全世界90%的資料是在過(guò)去2年產(chǎn)生Google、Facebook等，就是站在BigData上的範(fàn)例巨大的數(shù)據(jù)源，將改變整個(gè)學(xué)術(shù)界，商界和政府依賴(lài)資料庫(kù)工具處理包括capture，storage，search，analytics等TrendofBigData(1)BigDataTrendofBigData(2)資料分析人才需求大幅增加TrendofBigData(2)資料分析人才UnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataBigData巨量資料分析的應(yīng)用緣起

Source:IBM2012智慧科技論壇BigData巨量資料分析的應(yīng)用緣起Source:BigData四大特性Source:IBMBigDataHub/BigData四大特性Source:IBMBigDatabaserulestheworld(1)2013top10richmenNameWealthIndustryNationality1.

BillGates$72.7BMicrosoft

USA2.

CarlosSlimHelu$72.1BTelecomMexico3.

AmancioOrtega$57.0BZaraSpain4.

WarrenBuffett$53.5BFinanceUSA5.

LawrenceEllison$43.0BOracle

USA6.

CharlesKoch$34.0BOilUSA7.DavidKoch$34.0BOilUSA8.

LiKa-shing$31.5BRealestateHongKong9.LilianeBettencourt$30.0BL'OrealFrance10.

BernardArnault$41.0BLVMHFranceDatabaserulestheworld(1)20Databaserulestheworld(2)aboutORACLE繼Microsoft及IBM後，全球收入第三多的軟體公司1977年在矽谷由3人合資成立，當(dāng)時(shí)IBM發(fā)表「關(guān)聯(lián)資料庫(kù)」的論文，Ellison以此造出新資料庫(kù)，名為甲骨文首年賺不到百萬(wàn)美元，10年內(nèi)迅速冒起2012年市值1529億美元現(xiàn)況2012年?duì)I收371億美元全球有38萬(wàn)個(gè)客戶(hù)，1400萬(wàn)個(gè)開(kāi)發(fā)者財(cái)星100大企業(yè)全使用Oracle的資料庫(kù)Databaserulestheworld(2)abDatabaserulestheworld(3)產(chǎn)業(yè)#1金融Banking通信與媒體Telecom&media建築Construction製造Manufacturing生技醫(yī)療Lifesciences andhealthcare專(zhuān)業(yè)服務(wù)Professionalservices政府Publicsector零售Retail運(yùn)輸Transportation企業(yè)#1前20大航空公司airlines前20大汽車(chē)公司automotive前20大政府機(jī)構(gòu)governments前20大高科技公司hightech前20大保險(xiǎn)公司insurers前20大製造公司manufacturers前20大石油公司oilandgas前20大製藥公司pharmas前20大水電公司utilities前20大銀行公司banksDatabaserulestheworld(3)產(chǎn)業(yè)EvolutionofDatabaseTechnologiesEvolutionofDatabaseTechnoloGrowthdriversMicrosoft:《TheFourthParadigm:Data-IntensiveScientificDiscovery》科學(xué)發(fā)展走過(guò)「實(shí)驗(yàn)、理論、計(jì)算」三個(gè)典範(fàn)，將近入以「資料」為重點(diǎn)的第四典範(fàn)IDCTaiwan需管理的資料持續(xù)爆炸性成長(zhǎng)商業(yè)智慧(businessintelligence)需求持續(xù)成長(zhǎng)新的資料庫(kù)技術(shù)創(chuàng)造新的機(jī)會(huì)GrowthdriversMicrosoft:《TheDatabaseMarketinTaiwan2011MarketRevenueUS$130MTop3:Oracle,Microsoft,IBMSource:IDCTaiwanDatabaseMarketinTaiwan2011問(wèn)題討論問(wèn)題討論指定閱讀作業(yè)(1)《雲(yún)端時(shí)代的殺手級(jí)應(yīng)用：海量資料分析》胡世忠著，天下文化，2013年3月閱讀第1~3章指定閱讀作業(yè)(1)《雲(yún)端時(shí)代的殺手級(jí)應(yīng)用：海量資料分析》指定閱讀作業(yè)(2)於9/256am前繳交Word檔含心得報(bào)告及問(wèn)題回答大數(shù)據(jù)對(duì)企業(yè)管理的影響為何？企業(yè)如何因應(yīng)？個(gè)人對(duì)於資料庫(kù)管理的認(rèn)識(shí)與期望指定閱讀作業(yè)(2)於9/256am前繳交楊立偉教授臺(tái)灣大學(xué)工商管理學(xué)系2013FallIntroductiontoDatabaseManagementConfidentialandProprietary楊立偉教授2013FallIntroductionto老師介紹臺(tái)大資訊管理博士研究領(lǐng)域?yàn)橹R(shí)工程、搜尋引擎、語(yǔ)意分析、網(wǎng)路行銷(xiāo)等超過(guò)20項(xiàng)語(yǔ)意及行為分析相關(guān)專(zhuān)利發(fā)明人現(xiàn)任臺(tái)大工管系兼任助理教授

2006~意藍(lán)資訊董事總經(jīng)理(創(chuàng)辦人)1999~龍捲風(fēng)科技董事長(zhǎng)

2008~經(jīng)歷資訊及通信國(guó)家標(biāo)準(zhǔn)技術(shù)委員2009年獲選經(jīng)理人雜誌「100MVP最有價(jià)值經(jīng)理人」2012年獲數(shù)位時(shí)代雜誌「創(chuàng)業(yè)之星」首獎(jiǎng)FunTime,Co-founder國(guó)內(nèi)最大旅遊搜尋引擎MobileWizInc.,Co-founder國(guó)內(nèi)最大互動(dòng)簡(jiǎn)訊行銷(xiāo)公司DigitalJWalterThompson,Taiwan,PrincipalConsultant(兼任)老師介紹臺(tái)大資訊管理博士現(xiàn)任臺(tái)大工管系兼任助理教授20課程目標(biāo)了解資料庫(kù)管理之目的與理論培養(yǎng)資料庫(kù)管理之觀念與能力了解資料庫(kù)管理之工具與應(yīng)用了解資料庫(kù)管理和組織、企業(yè)等相關(guān)之管理議題課程目標(biāo)了解資料庫(kù)管理之目的與理論WhyDatabase(1)–每人每天產(chǎn)生多少資料搭公車(chē)、搭捷運(yùn)、刷悠遊卡到便利商店買(mǎi)飲料用手機(jī)上臉書(shū)、按個(gè)讚、打個(gè)卡送個(gè)LINE、拍張照片上傳上網(wǎng)瀏覽、刷卡購(gòu)物、給個(gè)評(píng)價(jià)過(guò)個(gè)馬路被超過(guò)十個(gè)鏡頭拍下WhyDatabase(1)–每人每天產(chǎn)生多少資料搭WhyDatabase(2)–資料快速成長(zhǎng)Source:IBM2012全球CEO調(diào)查報(bào)告/tw/blueview/2012oct/8.htmlWhyDatabase(2)–資料快速成長(zhǎng)SourcWhyDatabase(3)運(yùn)用資料與演算，達(dá)成智慧決策Source:IBM2012全球CEO調(diào)查報(bào)告/tw/blueview/2012oct/8.htmlWhyDatabase(3)運(yùn)用資料與演算，達(dá)成智慧決策WhyDatabase(4)–管理整體資訊供應(yīng)鍊Source:IBM2012全球CEO調(diào)查報(bào)告/tw/blueview/2012oct/8.htmlWhyDatabase(4)–管理整體資訊供應(yīng)鍊SoWhyDatabase(5)–企業(yè)應(yīng)用數(shù)位化時(shí)代中，資訊扮演的角色越來(lái)越重要所有企業(yè)資訊化的背後，幾乎都與資料庫(kù)有關(guān)。生產(chǎn)/研發(fā)/供應(yīng)商行銷(xiāo)/銷(xiāo)售/客戶(hù)組織/人事財(cái)會(huì)/資料分析策略/決策支援WhyDatabase(5)–企業(yè)應(yīng)用數(shù)位化時(shí)代中，Scenario1:資料收集處理假設(shè)回收50份第一題各選項(xiàng)的答題人數(shù)?第二題各選項(xiàng)的答題人數(shù)?列出500人以上且為公司指派的對(duì)象…且連絡(luò)電話(huà)開(kāi)頭為02者假設(shè)今天回收是5萬(wàn)份…Scenario1:資料收集處理假設(shè)回收50份Scenario2:MemberSorting你任職於某大電信公司行銷(xiāo)部門(mén)為了擬定促銷(xiāo)策略想了解目前800萬(wàn)會(huì)員內(nèi)，各付費(fèi)方案人數(shù)比例想調(diào)出每月帳單金額超過(guò)5000元的名單…且濾出30歲以上之男生想促銷(xiāo)iPhone5s面臨的問(wèn)題向IT部門(mén)要資料卻要2個(gè)月後才給跟你說(shuō)沒(méi)這個(gè)欄位…做不到…Scenario2:MemberSorting你任職Scenario3:ERP上線(xiàn)你任職於一家電子組裝公司因應(yīng)綠色環(huán)保法規(guī)，你必需將供應(yīng)商分類(lèi) (合格/不合格/待檢驗(yàn))以重新整理零件存貨為了方便作業(yè)，你請(qǐng)IT部門(mén)做系統(tǒng)調(diào)整IT部門(mén)說(shuō)如果是加欄位則2天就可以做完…但如果是更改資料庫(kù)結(jié)構(gòu)，就要很久你心想「差在哪裏?」Scenario3:ERP上線(xiàn)你任職於一家電子組裝公Scenario4:資料更新問(wèn)題你任職為零售賣(mài)場(chǎng)的分析師你將POS(銷(xiāo)售點(diǎn))系統(tǒng)產(chǎn)生的紀(jì)錄全留下某日得知新竹店電話(huà)改了請(qǐng)問(wèn)要修改幾筆資料?容易有什麼問(wèn)題?Scenario4:資料更新問(wèn)題你任職為零售賣(mài)場(chǎng)的分析Scenario5:交易不完整你有兩個(gè)銀行戶(hù)頭A銀行 B銀行$3,000

$3,000$1,000

$3,000$1,000

$5,000$0

$3,000初始餘額存$3,000到A銀行轉(zhuǎn)$2,000到B銀行(1)A銀行先扣$2,000(2)B銀行再加$2,000$2,000發(fā)生大地震~全臺(tái)大停電------------------------------------為何會(huì)這樣?如何解決?Scenario5:交易不完整你有兩個(gè)銀行戶(hù)頭A銀行Scenario6:更多資料庫(kù)的管理問(wèn)題資料庫(kù)整合你任職於某大金控公司客服部門(mén)公司最近合併了銀行、保險(xiǎn)、與證券公司客戶(hù)打電話(huà)來(lái)問(wèn)「為什麼還是收到三張帳單?」保險(xiǎn)的客戶(hù)打電話(huà)來(lái)，

你卻調(diào)不出客戶(hù)資料資料庫(kù)安全你任職於某大電視購(gòu)物公司聽(tīng)聞拍賣(mài)網(wǎng)站有盜賣(mài)公司會(huì)員資料光碟，一筆3元好奇買(mǎi)來(lái)看，卻不會(huì)用?Scenario6:更多資料庫(kù)的管理問(wèn)題資料庫(kù)整合學(xué)習(xí)目的這是一門(mén)介紹基礎(chǔ)理論的課資料庫(kù)背後的理論管理資料庫(kù)應(yīng)具備的觀念資料庫(kù)可能衍生的相關(guān)議題這是一門(mén)著重應(yīng)用與實(shí)務(wù)的課如何建立與使用資料庫(kù)→以MSAccess/SQLServer為例靈活運(yùn)用資料並進(jìn)行查詢(xún)分析Ex.問(wèn)卷分析了解各種資料庫(kù)最新應(yīng)用Ex.資料倉(cāng)儲(chǔ)、BigData學(xué)習(xí)目的這是一門(mén)介紹基礎(chǔ)理論的課授課與評(píng)分方式課堂上課，

配合應(yīng)用解說(shuō)與討論評(píng)分方式作業(yè)報(bào)告 30%期中考 30%期末考及分組專(zhuān)題 40%課程網(wǎng)址.tw/~wyang授課與評(píng)分方式課堂上課，配合應(yīng)用解說(shuō)與討論楊立偉教授臺(tái)灣大學(xué)工商管理學(xué)系2013FallIntroductiontoDatabaseManagement資料庫(kù)發(fā)展趨勢(shì)ConfidentialandProprietary楊立偉教授2013FallIntroductiontoTrendofBigData(1)BigData係指資料大量成長(zhǎng)根據(jù)IBM的研究，全世界90%的資料是在過(guò)去2年產(chǎn)生Google、Facebook等，就是站在BigData上的範(fàn)例巨大的數(shù)據(jù)源，將改變整個(gè)學(xué)術(shù)界，商界和政府依賴(lài)資料庫(kù)工具處理包括capture，storage，search，analytics等TrendofBigData(1)BigDataTrendofBigData(2)資料分析人才需求大幅增加TrendofBigData(2)資料分析人才UnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataBigData巨量資料分析的應(yīng)用緣起

Source:IBM2012智慧科技論壇BigData巨量資料分析的應(yīng)用緣起Source:BigData四大特性Source:IBMBigDataHub/BigData四大特性Source:IBMBigDatabaserulestheworld(1)2013top10richmenNameWealthIndustryNationality1.

BillGates$72.7BMicrosoft

USA2.

CarlosSlimHelu$72.1BTelecomMexico3.

AmancioOrtega$57.0BZaraSpain4.

WarrenBuffett$53.5BFinanceUSA5.

LawrenceEllison$43.0BOracle

USA6.

CharlesKoch$34.0BOilUSA7.DavidKoch$34.0BOilUSA8.

LiKa-shing$31.5BRealestateHongKong9.LilianeBettencourt$30.0BL'OrealFrance10.

BernardArnault$41.0BLVMHFranceDatabaserulestheworld(1)20Databaserulestheworld(2)aboutORACLE繼Microsoft及IBM後，全球收入第三多的軟體公司1977年在矽谷由3人合資成立，當(dāng)時(shí)IBM發(fā)表「關(guān)聯(lián)資料庫(kù)」的論文，Ellison以此造出新資料庫(kù)，名為甲骨文首年賺不到百萬(wàn)美元，10年內(nèi)迅速冒起2012年市值1529億美元現(xiàn)況2012年?duì)I收371億美元全球有38萬(wàn)個(gè)客戶(hù)，1400萬(wàn)個(gè)開(kāi)發(fā)者財(cái)星100大企業(yè)全使用Oracle的資料庫(kù)Databaserulestheworld(2)abDatabaserulestheworld(3)產(chǎn)業(yè)#1金融Banking通信與媒體Tel