HANA建模課程-第一講HANA架構(gòu)簡介

課程1

HANA架構(gòu)簡介實戰(zhàn)講解內(nèi)容：

1）HANA基本概念以及架構(gòu)：

列存儲，行存儲，內(nèi)存計算,持久層，log層的概念,HANAinstance的概念，系統(tǒng)表，定義，行表，列表2)HANA引擎概述3）HANA安裝和卸載、Admin，Operator基本操作4)HANAStudio安裝和卸載，客戶端工具的安裝實戰(zhàn)目標：

1)熟悉HANA體系結(jié)構(gòu)和HANA開發(fā)工具第一講HANA架構(gòu)簡介By熊貓23硬件與數(shù)據(jù)庫系統(tǒng)CoreCPU今天的性能瓶頸：

處理器緩存和內(nèi)存數(shù)據(jù)傳輸過去的性能瓶頸：磁盤輸入、輸出DiskCPUCacheMainMemory現(xiàn)代化硬件上的理想數(shù)據(jù)庫系統(tǒng)：內(nèi)存式數(shù)據(jù)庫，減少I/O緩存優(yōu)化的內(nèi)存結(jié)構(gòu)，連續(xù)訪問數(shù)據(jù)臨近存儲支持并行執(zhí)行，利用多處理器的優(yōu)勢現(xiàn)代化硬件上的理想數(shù)據(jù)庫系統(tǒng)：內(nèi)存式數(shù)據(jù)庫，減少I/O緩存優(yōu)化的內(nèi)存結(jié)構(gòu)，連續(xù)訪問數(shù)據(jù)臨近存儲支持并行執(zhí)行，利用多處理器的優(yōu)勢未來優(yōu)化方向4應用層數(shù)據(jù)層當前應用層包攬了許多的數(shù)據(jù)計算工作在數(shù)據(jù)層的內(nèi)存式計算，將計算下推到底層，提升性能內(nèi)存式計算：減少詳細數(shù)據(jù)的遷移，先計算，后傳輸結(jié)果行業(yè)現(xiàn)狀企業(yè)資源計劃系統(tǒng)(ERP)需要處理混合工作量OLAP：創(chuàng)建銷售訂單、進貨出貨憑證、發(fā)票等寫優(yōu)化OLTP：運營月度報告、可承諾量、庫存量分析等讀優(yōu)化OLAP+OLTP系統(tǒng)因性能的顧慮而分離

不便：OLAP數(shù)據(jù)并非最新數(shù)據(jù)，只是數(shù)據(jù)預先處理后的子集需要ETL工具來同步兩個系統(tǒng)，系統(tǒng)冗余，程序復雜開發(fā)愿景

使用現(xiàn)代硬件和數(shù)據(jù)庫系統(tǒng)將OLTP與OLAP數(shù)據(jù)結(jié)合在一起，創(chuàng)建一個單一數(shù)據(jù)源，實現(xiàn)實時分析，并簡化應用程序和數(shù)據(jù)庫結(jié)構(gòu)56SAPHANA應用架構(gòu)HANA平臺統(tǒng)一數(shù)據(jù)源HANADataservice、SLT等數(shù)據(jù)抽取工具前端Excel、BOBJ展示工具將數(shù)據(jù)集市HANA中的數(shù)據(jù)展示7常見問題SAPHANA是一個數(shù)據(jù)庫，硬件還是一個解決方案？HANA是包括了硬件，數(shù)據(jù)庫和解決方案的結(jié)合體。購買HANA包括了從合作伙伴放進行硬件采購和HANAlicensekey的購買?？蛻艨梢园惭bHANA然后從sap系統(tǒng)或非sap系統(tǒng)抽取數(shù)據(jù)到HANA中，來開發(fā)報表。什么樣的客戶群會考慮HANA?制造業(yè)，地理，金融；還包括了處理大規(guī)模數(shù)據(jù)、報表需要大規(guī)模數(shù)據(jù)量、需要大量復雜計算的行業(yè)。

HANA的主要注重點就在于處理海量數(shù)據(jù)，并提供高性能的實時數(shù)據(jù)分析。HANA是如何在現(xiàn)代化硬件實現(xiàn)數(shù)據(jù)庫系統(tǒng)的愿景呢？行、列式存儲+內(nèi)存式計算….行式存儲與列式存儲——內(nèi)存地址8編碼單號A5B4C3D4E2F2G2A4B4C4D5E5F4G3A3B2映射到內(nèi)存ABCDEFGABCDEFGA

B5434222444554332A5B4C3D4E2F2G2A

4B4C4D5E5F4G3A3B2行式存儲列式存儲內(nèi)存地址內(nèi)存地址列式存儲——壓縮

基于企業(yè)數(shù)據(jù)特點：列的使用相對集中列中的值基數(shù)不高列式存儲的結(jié)構(gòu)支持高效的數(shù)據(jù)壓縮節(jié)省空間提升速度：內(nèi)存?zhèn)鬏擟PU緩存字典編碼，整數(shù)值比較快于字符值比較加快掃描和聚合

91234567123456712內(nèi)存地址ABCDEFGABCDEFGA

B內(nèi)存地址ABCDEFG列式存儲數(shù)據(jù)字典壓縮——樣例10表Song待壓縮的演唱者一列排序按照字典值排序行ID和值ID對應表IDArtistGenreTitle1AdelesoulRollingInTheDeep2LadyGagapopBornthisway3KatyPerryhouseE.T.4JasonMrazpopIamyours5Adelesoulsomeonelikeyou6LadygagapopPockerface7KatyPerrypopPartofme8BrunoMarspopJusttheWayYouAre9JasonMrazPopLucky10KatyPerrypopWideawakeValueIDvalue1Adele2BrunoMars3JasonMraz4KatyPerry5Ladygaga字典rowidValueid112534435165748293104指向字典倒排索引ValueIDrows11,52834,943,7,1052,6HANA列式存儲數(shù)據(jù)訪問（1）11rowidValueid112534435165748293104SongSelect*fromSongwhereArtist=‘KatyPerry’全表掃描，查找值ID=4按屬性值查找IDArtistGenreTitle1AdelesoulRollingInTheDeep2LadyGagapopBornthisway3KatyPerryhouseE.T.4JasonMrazpopIamyours5Adelesoulsomeonelikeyou6LadygagapopPockerface7KatyPerrypopPartofme8BrunoMarspopJusttheWayYouAre9JasonMrazPopLucky10KatyPerrypopWideawakerowidValueid112534435165748293104利用倒排索引查詢HANA列式存儲數(shù)據(jù)訪問（2）12按照行號搜索列式表SongValueIDValue1house2pop3soul……流派字典RowIDValueID132231425362728292102結(jié)果IDArtistGenreTitle3KatyPerryhouseE.T.7KatyPerrypopPartofme10KatyPerrypopWideawakeHANA列式存儲加載狀態(tài)：未加載部分加載：由于查詢條件而加載入內(nèi)存全部加載主存儲(Main)+增量存儲(Delta)數(shù)據(jù)并不直接修改而是插入新數(shù)據(jù)：并行化，減少鎖，多版本控制主存儲對值ID進一步壓縮，對讀取、計算性能優(yōu)化增量存儲不排序、不對值ID進一步壓縮，占空間較大增量融合(DeltaMerge)：額外的CPU、內(nèi)存消耗可選優(yōu)化方案：內(nèi)存內(nèi)融合、分區(qū)13RuntimeInformationMergeStatisticsDeltaMergeAnalysisSchemaSizeofLoadedTableUsedmemorybytablesHANA列式存儲——并行化利用多核處理器并行高速處理數(shù)據(jù)對不同列的操作、對相同列的不同部分為表的分區(qū)提供可能：水平分區(qū)目前表最大數(shù)目為20億14行式存儲與列式存儲以元組為單位在啟動時加載入內(nèi)存適合寫操作

15列式存儲行式存儲

元組一

元組二列一列二列三列五列四以屬性為單位可以部分導入內(nèi)存適合聚合操作(Max,Min,Count,Distinct,AVG)列式存儲聚合計算16列式存儲表，對列的讀取可以單次讀取完成IDArtistGenreTitlehits1AdelesoulRollingInTheDeep3522LadyGagapopBornthisway2163KatyPerryhouseE.T.1834JasonMrazpopIamyours961234AdeleLadyGagaKatyPerryJasonMrazsoulpophousepopRollingInTheDeepBornthiswayE.T.Iamyours35221618396單次掃描聚合SELECTSUM(hits)FROMSong∑結(jié)果

847行式存儲與列式存儲以元組為單位在啟動時加載入內(nèi)存適合寫操作處理單個記錄訪問小批量整行的搜索（例如：配置表）行重建成本低

17列式存儲行式存儲

元組一

元組二列一列二列三列五列四以屬性為單位可以部分導入內(nèi)存適合聚合操作(Max,Min,Count,Distinct,AVG)適合基于表中幾個字段的搜索利用多核技術(shù)并行計算行重建成本高兩種引擎的區(qū)別存在于它們處理數(shù)據(jù)的方式：行式存儲操作符用迭代器一次處理一行數(shù)據(jù)，而列式存儲操作（如掃描，聚合等等）需要整列都放在連續(xù)的內(nèi)存空間中行式存儲與列式存儲——元組重建考慮一張表，每個字段的大小是34個字節(jié)，屬性的個數(shù)為9，一個緩存段的大小為64個字節(jié)，一核CPU每毫秒處理2MB，則以行式存儲和列式存儲分別存儲數(shù)據(jù)，重構(gòu)一行所需要的時間？1MB=1000KB,1KB=1000B18行式存儲直接連續(xù)內(nèi)存段34*9=306，需要5端緩沖段，5*64=320字節(jié)所需時間=320/(2*10^6)=0.16微秒列式存儲跳躍獲取需要9端緩沖段，9*64=576字節(jié)所需時間=576/(2*10^6)=0.288微秒常見問題HANA只是一個列式數(shù)據(jù)庫么？不是的，HANA中既有行存儲，也有列存儲HANA中的列式存儲是否還可以使用索引？是的，HANA的列式存儲對所有主鍵自動建立索引(倒排索引)，對于經(jīng)常訪問到的非主鍵列也是可以建立索引的HANA是否可以控制哪些表置于內(nèi)存中？可以的，可以通過對表的設置來控制內(nèi)存式數(shù)據(jù)庫是否仍然依賴于硬盤？是的，依舊需要硬盤支持備份和恢復HANA持久層20Data:SQL數(shù)據(jù),undo日志

其他諸如建模數(shù)據(jù)等信息將熱數(shù)據(jù)維持在HANA內(nèi)存中以獲得最優(yōu)性能Log:記錄數(shù)據(jù)更改的信息(redo日志)在事物遞交后寫入持久層存儲先于數(shù)據(jù)的更新、寫入Savepoint:確保更改后的數(shù)據(jù)和日志寫入持久層頻率：默認5分鐘

(由參數(shù):savepoint_internval_s控制)HANA重啟211Savepoint:Data&Undo日志(DataVolume)2Redo日志（LogVolume）3斷電TimeHANA主要組件

主要C++語言開發(fā)，運行在Linux操作系統(tǒng)NameServer：記錄HANA系統(tǒng)的拓撲結(jié)構(gòu)XSserver：Web應用服務器Indexserver：最核心組件，處理數(shù)據(jù)庫事務數(shù)據(jù)處理Preprocessor：文字處理Statisticsserver：收集監(jiān)控信息22HANA分布式系統(tǒng)服務與持久層23NameServer(active)IndexServer(Standby)NameServerIndexServerNameServerIndexServerNameServerIndexServerStatisticsServerXSEngineHostHostHostStandbyHostDataDisksLogDisksDataDisksLogDisksDataDisksLogDisksDataDisksLogDisksDataDisksLogDisksHANA分布式系統(tǒng)ShareNothing的架構(gòu)Standby主機沒有自己的持久層HANA操作系統(tǒng)架構(gòu)24SAPHANA生命周期管理——安裝從SAPHANASPS7開始，使用新工具hdblcm進行安裝，原有安裝工具hdbinst依舊存在Server：安裝包包括： SAPHostAgent安裝包，DeliveryUnits，Pythonruntime、支持包，語言包，ini配置文件包，二進制文件等壓縮包安裝流程：安裝包檢查硬件檢查HanaHwCheck.py從前端或Ba