通過OracleDatabasec進(jìn)行內(nèi)存數(shù)據(jù)庫處理學(xué)習(xí)教案

1、會計學(xué)1通過通過 Oracle Database c 進(jìn)行內(nèi)存進(jìn)行內(nèi)存(ni cn)數(shù)據(jù)庫處理數(shù)據(jù)庫處理第一頁，共32頁。第2頁/共33頁第二頁，共32頁。內(nèi)存容量內(nèi)存容量 增加增加(zngji)2002256 MB/DIMM201216 GB/DIMM內(nèi)存成本內(nèi)存成本降低降低2002$0.2/MB2012$0.009/MB內(nèi)存速度內(nèi)存速度大增大增磁盤5 毫秒響應(yīng)速度DRAM100 納秒響應(yīng)速度容量增加容量增加 64 倍倍價格便宜價格便宜 25 倍倍速度提高速度提高 50,000 倍倍更快的 OLTP 和分析、更多用戶、更多數(shù)據(jù)DRAM：2012$0.0005/MB2012100 GB/DOM

2、閃存0.25 毫秒響應(yīng)速度容量增加容量增加 400 倍倍價格便宜價格便宜 400 倍倍速度提高速度提高 20 倍倍閃存：閃存：第3頁/共33頁第三頁，共32頁。應(yīng)用程序應(yīng)用程序應(yīng)用程序內(nèi)存內(nèi)存(ni cn)(ni cn)數(shù)數(shù)據(jù)庫據(jù)庫（中間層）（中間層）內(nèi)存數(shù)據(jù)庫內(nèi)存數(shù)據(jù)庫 （數(shù)據(jù)庫層）（數(shù)據(jù)庫層）第4頁/共33頁第四頁，共32頁。InfiniBand第5頁/共33頁第五頁，共32頁。在內(nèi)存中緩存在內(nèi)存中緩存活動數(shù)據(jù)活動數(shù)據(jù)(shj)保存在內(nèi)存中保存在內(nèi)存中帶寬帶寬/socket：30GB/s 縱向擴(kuò)展和橫向擴(kuò)展縱向擴(kuò)展和橫向擴(kuò)展 跨內(nèi)核、cpu 和集群擴(kuò)展 壓縮壓縮 更多數(shù)據(jù)更多數(shù)據(jù)(shj)

3、裝入裝入內(nèi)存內(nèi)存 更加高效的更加高效的 內(nèi)存帶寬內(nèi)存帶寬 列存儲列存儲高效列式處理第6頁/共33頁第六頁，共32頁。在在內(nèi)存內(nèi)存中中緩存緩存 活動數(shù)據(jù)保持在內(nèi)存中 帶寬/socket：30GB/s20092010用作數(shù)據(jù)倉庫的內(nèi)存列存用作數(shù)據(jù)倉庫的內(nèi)存列存儲儲(Oracle 11g 第第 2 版版)內(nèi)存并行查詢內(nèi)存并行查詢 (Oracle 11g 第第 1 版版)2007 OLTP 內(nèi)存橫向擴(kuò)展：內(nèi)存橫向擴(kuò)展：RAC，緩存融合，緩存融合2007客戶端和服務(wù)器上的內(nèi)存結(jié)果集緩存客戶端和服務(wù)器上的內(nèi)存結(jié)果集緩存 (Oracle 11g 第第 1 版版)2007 年前年前智能內(nèi)存掃描智能內(nèi)存掃描 （

4、11g 第第 2 版）版）第7頁/共33頁第七頁，共32頁。技術(shù)技術(shù)大小大小容量，容量，10 倍壓縮倍壓縮成本成本/TB速度速度磁盤磁盤504TB5 PB1 倍18 GB/s閃存閃存22 TB220 TB10 倍75 GB/sDRAM4 TB40 TB100 倍200 GB/s磁盤磁盤閃存閃存D-RAM第8頁/共33頁第八頁，共32頁。2011超過超過 10 年的年的 RAC 縱向擴(kuò)展優(yōu)化縱向擴(kuò)展優(yōu)化經(jīng)驗(yàn)經(jīng)驗(yàn)內(nèi)存并行查詢內(nèi)存并行查詢 （11g 第第 1 版）版） 縱向擴(kuò)展和橫向擴(kuò)展縱向擴(kuò)展和橫向擴(kuò)展 多核并行 跨集群的資源池超過超過 20 年的縱向擴(kuò)展優(yōu)化年的縱向擴(kuò)展優(yōu)化經(jīng)驗(yàn)經(jīng)驗(yàn)2007 年前

5、年前20072009內(nèi)存內(nèi)存 PQ 增強(qiáng)增強(qiáng) （11g 第第 2 版）版）緩存融合增強(qiáng)緩存融合增強(qiáng)并行內(nèi)存關(guān)聯(lián)并行內(nèi)存關(guān)聯(lián) （11g 第第 2 版）版）第9頁/共33頁第九頁，共32頁。集群范圍并行處理大大受益于內(nèi)存處理前，數(shù)據(jù)從磁盤讀取到內(nèi)存每個節(jié)點(diǎn)擁有一個已處理的數(shù)據(jù)子集集群范圍內(nèi)存可用于單個并行操作數(shù)據(jù)存入內(nèi)存后無需輸入(shr)/輸出表緩存 2緩存 3緩存 1內(nèi)存內(nèi)存(ni cn)列列式壓縮式壓縮第10頁/共33頁第十頁，共32頁。第11頁/共33頁第十一頁，共32頁。19992002200720091997基本表壓縮基本表壓縮（Oracle 9i 第第 2 版）版）表表 (IOT)

6、壓縮壓縮 (Oracle 8i)位圖索引壓縮位圖索引壓縮 (Oracle 8) OLTP 表壓縮表壓縮（Oracle 11g 第第 1 版）版）非結(jié)構(gòu)化數(shù)據(jù)壓縮非結(jié)構(gòu)化數(shù)據(jù)壓縮 （Oracle 11g 第第 1 版）版）混合列式壓縮混合列式壓縮 （Oracle 11g 第第 2 版）版）2010 壓縮壓縮 更多數(shù)據(jù)裝入內(nèi)存 更加高效地使用 內(nèi)存帶寬前綴索引壓縮前綴索引壓縮 (Oracle 8i)第12頁/共33頁第十二頁，共32頁。20102011用于數(shù)據(jù)倉庫的磁盤列式存儲用于數(shù)據(jù)倉庫的磁盤列式存儲用于歸檔的磁盤列式存儲用于歸檔的磁盤列式存儲（11g 第第 2 版）版）針對列式處理的內(nèi)存優(yōu)化針

7、對列式處理的內(nèi)存優(yōu)化（11g 第第 2 版）版）2009用作數(shù)據(jù)倉庫的內(nèi)存列存儲用作數(shù)據(jù)倉庫的內(nèi)存列存儲列式閃存緩存列式閃存緩存 （11g 第第 2 版）版） 列存儲列存儲 高效的列式處理第13頁/共33頁第十三頁，共32頁。緩存緩存Exadata 寫回閃存緩存寫回閃存緩存改進(jìn)改進(jìn)(gijn)用于數(shù)據(jù)倉庫內(nèi)存緩存的用于數(shù)據(jù)倉庫內(nèi)存緩存的替換算法替換算法內(nèi)存全局臨時表內(nèi)存全局臨時表針對非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)存緩存和處理針對非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)存緩存和處理 壓縮壓縮 壓縮優(yōu)化查詢 使用自動數(shù)據(jù)優(yōu)化的自動壓縮 寬表壓縮列存儲列存儲行集行集 內(nèi)存優(yōu)化的，內(nèi)存優(yōu)化的，set-at-a-time查詢處理方查詢處理方

8、式式擴(kuò)展到文本、空間、擴(kuò)展到文本、空間、XML 和和 12.1針對針對(zhndu) OLTP 的列式存儲的列式存儲自動列化自動列化EHCC 行級鎖行級鎖 縱向擴(kuò)展和橫向擴(kuò)展縱向擴(kuò)展和橫向擴(kuò)展 內(nèi)存 PQ 優(yōu)化 緩存融合協(xié)議增強(qiáng) Exadata Exafusion第14頁/共33頁第十四頁，共32頁。用例用例在在 11g 中重做中重做在在 12c 中重做中重做GTT 上上 的的 OLTP 10,000 個事務(wù)447MB零零第15頁/共33頁第十五頁，共32頁。第16頁/共33頁第十六頁，共32頁。第17頁/共33頁第十七頁，共32頁。第18頁/共33頁第十八頁，共32頁。數(shù)據(jù)庫實(shí)例(shl)數(shù)

9、 已占用內(nèi)存第19頁/共33頁第十九頁，共32頁。 壓縮(y su)數(shù)據(jù)查詢 內(nèi)存掃描 數(shù)據(jù)在內(nèi)存中不解壓縮(y su) 在 12.1 中，對非重復(fù)值數(shù)量較少的列進(jìn)行復(fù)雜謂詞內(nèi)存掃描，速度最多提高 3 倍select from Customers where name like %C%Bank第20頁/共33頁第二十頁，共32頁。隨著數(shù)據(jù)逐漸變舊：活動降低數(shù)據(jù)量增加舊數(shù)據(jù)主要 用于編制(binzh)報告本季度本季度本年度本年度前幾年前幾年OLTP編制編制(binzh)報報告告合規(guī)性和合規(guī)性和編制報告編制報告行存儲 以實(shí)現(xiàn)快速 OLTP壓縮的 列存儲以實(shí)現(xiàn)快速分析10 倍壓縮倍壓縮15 倍壓縮倍

10、壓縮隨著數(shù)據(jù)歸于沉寂，高級數(shù)據(jù)優(yōu)化會自動將數(shù)據(jù)聯(lián)機(jī) 轉(zhuǎn)換成壓縮列歸檔采用壓縮 列存儲以實(shí)現(xiàn)最大壓縮alter table 添加策略添加策略無修改長達(dá)無修改長達(dá) 3 個月后，壓縮個月后，壓縮以備查詢以備查詢 1 年后，壓縮以備歸檔年后，壓縮以備歸檔第21頁/共33頁第二十一頁，共32頁。自動列化當(dāng)分區(qū)(fn q)變舊時，會自動轉(zhuǎn)換成 HCC 壓縮格式使 HCC 適用于 OLTP 數(shù)據(jù)ALTER TABLE sales ILM ADD CompressionPolicy 針對查詢的列存儲壓縮針對查詢的列存儲壓縮創(chuàng)建創(chuàng)建 120 天后天后；當(dāng)數(shù)據(jù)變舊時當(dāng)數(shù)據(jù)變舊時更新本季度本季度本年度本年度第22頁

11、/共33頁第二十二頁，共32頁。第23頁/共33頁第二十三頁，共32頁。第24頁/共33頁第二十四頁，共32頁。第25頁/共33頁第二十五頁，共32頁。12c 第第 1 版版大內(nèi)存集群和大內(nèi)存集群和 Exadata 上超過上超過 2 倍的索引壓倍的索引壓縮縮行集處理行集處理針對非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)存列存儲針對非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)存列存儲(cn ch)OLTP 寬表壓縮寬表壓縮HCC 行級鎖定行級鎖定Oracle 在內(nèi)存中運(yùn)行在內(nèi)存中運(yùn)行任何任何 OLTP 應(yīng)用程序，應(yīng)用程序，不不加改動加改動組合使用組合使用 DRAM、閃存和磁盤、閃存和磁盤內(nèi)存速度和磁盤成本內(nèi)存速度和磁盤成本數(shù)據(jù)庫大小不受限數(shù)據(jù)庫大小

12、不受限200720122007 年前年前20092008超過超過 20 年的縱向擴(kuò)展優(yōu)化經(jīng)驗(yàn)?zāi)甑目v向擴(kuò)展優(yōu)化經(jīng)驗(yàn)超過超過 10 年的橫向擴(kuò)展優(yōu)化經(jīng)驗(yàn)?zāi)甑臋M向擴(kuò)展優(yōu)化經(jīng)驗(yàn)前綴索引壓縮前綴索引壓縮位圖索引壓縮位圖索引壓縮基本和基本和 IOT 表壓縮表壓縮等等等等內(nèi)存并行查詢內(nèi)存并行查詢 OLTP 壓縮壓縮非結(jié)構(gòu)化數(shù)據(jù)壓縮非結(jié)構(gòu)化數(shù)據(jù)壓縮客戶端客戶端 SQL/PL/SQL 結(jié)果緩存結(jié)果緩存服務(wù)器服務(wù)器 SQL/PL/SQL 結(jié)果緩存結(jié)果緩存用作數(shù)據(jù)倉庫的內(nèi)存列存儲用作數(shù)據(jù)倉庫的內(nèi)存列存儲列式壓縮列式壓縮列式壓縮列式壓縮緩存融合優(yōu)化緩存融合優(yōu)化內(nèi)存并行查詢優(yōu)化內(nèi)存并行查詢優(yōu)化 Exadata 存儲上的

13、內(nèi)存存儲索引存儲上的內(nèi)存存儲索引第26頁/共33頁第二十六頁，共32頁?？焖賳踊謴?fù)無需等待undo操作完成就可啟動數(shù)據(jù)庫并行和后臺恢復(fù)所有數(shù)據(jù)可立即查詢，無需等待加載完成數(shù)據(jù)保護(hù)零數(shù)據(jù)丟失快速故障切換到備用數(shù)據(jù)庫壓縮redo文件的傳輸自動檢測和修復(fù)(xif)主數(shù)據(jù)庫上損壞的數(shù)據(jù)塊增量備份文件內(nèi)并行備份和恢復(fù)塊級介質(zhì)恢復(fù)人為錯誤恢復(fù)細(xì)粒度的行和表級閃回DB 級閃回從回收站恢復(fù)刪除數(shù)據(jù)事務(wù)回滾聯(lián)機(jī)表重新定義和重建無讀取鎖、無寫入鎖，甚至行級亦無可在表、索引或分區(qū)級完成聯(lián)機(jī)安裝補(bǔ)丁和聯(lián)機(jī)升級 DB用版本控制進(jìn)行聯(lián)機(jī)應(yīng)用程序升級分布式事務(wù)和分布式恢復(fù)無需在添加/刪除節(jié)點(diǎn)時重新分配數(shù)據(jù)還可列出 100 多項(xiàng)企業(yè) HA 特性第27頁/共33頁第二十七頁，共32頁。性能可管理性安全性高級(goj)隊(duì)列分布式事務(wù)復(fù)制優(yōu)化程序 SQL 特性 SQL 預(yù)編譯共享游標(biāo) 存儲過程語言 觸發(fā)器 限制 第28頁/共33頁第二十八頁，共32頁。分布式和集群：分布式事務(wù)與 XA 合規(guī)性、分布式查詢、分布式多版本讀取一致性、集群范圍并行事務(wù)與讀取一致性（帶全球時鐘)高可用性： 恢復(fù)時間與未恢復(fù)事務(wù)的大小無關(guān)，聯(lián)機(jī) DDL：添加列、分區(qū)移動(ydng)、索引重建