DataService操作綜合手冊(cè)

DataServices培訓(xùn)總結(jié)-操作手冊(cè)目錄一、DS簡(jiǎn)介 2二、DS數(shù)據(jù)加載方式 2三、DS進(jìn)行數(shù)據(jù)抽取模型開(kāi)發(fā)的基本過(guò)程 3四、DS創(chuàng)建數(shù)據(jù)源系統(tǒng)和目標(biāo)系統(tǒng)的數(shù)據(jù)存儲(chǔ) 31、Oracle數(shù)據(jù)庫(kù)作為數(shù)據(jù)源系統(tǒng) 32、ECC作為數(shù)據(jù)源系統(tǒng) 43、HANA數(shù)據(jù)庫(kù)作為目標(biāo)系統(tǒng) 5五、全量加載過(guò)程 51、創(chuàng)建Project和Job 52、導(dǎo)入源表的元數(shù)據(jù)到資源庫(kù) 63、創(chuàng)建DataFlow 64、設(shè)置源表和目標(biāo)表 75、手工執(zhí)行Job 7六、基于表比較的增量加載 81、在Job下定義工作流 82、在工作流中定義數(shù)據(jù)流 83、加入Table_Comparison控件 94、設(shè)置Table_Comparison控件 9七、基于時(shí)間戳的增量加載 101、在Job下定義工作流 102、定義Script控件 103、定義處理新增數(shù)據(jù)的數(shù)據(jù)流和處理更新數(shù)據(jù)的數(shù)據(jù)流 11八、DS中常用控件介紹 131、Key_Generation 132、Case 133、Merge 144、Validation 155、設(shè)置過(guò)濾器和斷點(diǎn) 15九、定義Job定期執(zhí)行 161、登錄DataServicesManagementConsole 162、定義BatchJobSchedules 17十、其他注意事項(xiàng) 18一、DS介紹SAPBusinessObjectsDataServices是經(jīng)過(guò)SAPHANA認(rèn)證ETL工具。采取數(shù)據(jù)批量處理方法，定時(shí)實(shí)施后臺(tái)作業(yè)，將數(shù)據(jù)從多個(gè)業(yè)務(wù)系統(tǒng)中抽取出來(lái)，并進(jìn)行必需處理（轉(zhuǎn)換，合并，過(guò)濾，清洗），然后再加載到HANA數(shù)據(jù)庫(kù)中。DS組件之間關(guān)系：ManagementConsol：管理控制臺(tái)是網(wǎng)頁(yè)版DS管理工具，能夠進(jìn)行部分系統(tǒng)配置和定義Job實(shí)施Designer： Designer是一個(gè)含有易于使用圖形用戶界面開(kāi)發(fā)工具。它許可開(kāi)發(fā)人員定 義包含數(shù)據(jù)映射，轉(zhuǎn)換和控制邏輯數(shù)據(jù)管理應(yīng)用程序，創(chuàng)建包含工作流（作業(yè)實(shí)施定義）和數(shù)據(jù)流（數(shù)據(jù)轉(zhuǎn)換定義）應(yīng)用程序Repository： 應(yīng)用程序設(shè)計(jì)器使用當(dāng)?shù)刭Y源庫(kù)用來(lái)存放DataServices對(duì)象（如項(xiàng)目，作業(yè)，工作流，和數(shù)據(jù)流）定義和源和目標(biāo)元數(shù)據(jù)Jobserver： 作業(yè)服務(wù)器開(kāi)啟數(shù)據(jù)移動(dòng)從多個(gè)不一樣種類(lèi)源集成數(shù)據(jù)引擎，實(shí)施復(fù)雜數(shù)據(jù)轉(zhuǎn)換，并管理從ERP系統(tǒng)和其它源抽取和事務(wù)二、DS數(shù)據(jù)加載方法全量加載增量上載基于表比較 作業(yè)在實(shí)施時(shí)讀取數(shù)據(jù)源和目標(biāo)中全部數(shù)據(jù)，在服務(wù)器內(nèi)存中進(jìn)行比較，計(jì)算數(shù)據(jù)差異時(shí)間戳增量 需要在數(shù)據(jù)源中添加時(shí)間戳字段，通常為創(chuàng)建時(shí)間和最終修改時(shí)間，在抽取作業(yè)中定義對(duì)兩個(gè)時(shí)間戳字段進(jìn)行對(duì)比，符合條件創(chuàng)建時(shí)間條目進(jìn)行插入，符合條件修改時(shí)間條目進(jìn)行更新利用數(shù)據(jù)庫(kù)CDC（changeddatacapture） 首先需要開(kāi)啟數(shù)據(jù)庫(kù)CDC服務(wù)，為數(shù)據(jù)庫(kù)實(shí)例啟用CDC功效，為源表啟用CDC功效。在這種模式下，DS增量更新不再直接訪問(wèn)源表，而是在和源表相關(guān)變更統(tǒng)計(jì)表中讀取增量三、DS進(jìn)行數(shù)據(jù)抽取模型開(kāi)發(fā)基礎(chǔ)過(guò)程為數(shù)據(jù)源創(chuàng)建數(shù)據(jù)存放導(dǎo)入源表元數(shù)據(jù)到資源庫(kù)為SAPHANA目標(biāo)系統(tǒng)創(chuàng)建數(shù)據(jù)存放新建DS項(xiàng)目和批量作業(yè)新建DS數(shù)據(jù)流：定義源表和目標(biāo)表，定義變量、編輯Query和Map_CDC_Operation實(shí)施批量作業(yè)四、DS創(chuàng)建數(shù)據(jù)源系統(tǒng)和目標(biāo)系統(tǒng)數(shù)據(jù)存放1、Oracle數(shù)據(jù)庫(kù)作為數(shù)據(jù)源系統(tǒng)登錄DataServicesDesigner，在當(dāng)?shù)貙?duì)象庫(kù)數(shù)據(jù)存放頁(yè)簽中單擊鼠標(biāo)右鍵，選擇新建菜單創(chuàng)建數(shù)據(jù)存放“EAM_TEST”，在彈出對(duì)話框中輸入EAM數(shù)據(jù)庫(kù)連接信息2、ECC作為數(shù)據(jù)源系統(tǒng)一樣在創(chuàng)建DataStore時(shí)，輸入ECC連接信息3、HANA數(shù)據(jù)庫(kù)作為目標(biāo)系統(tǒng)在創(chuàng)建DataStore時(shí)，輸入HANA數(shù)據(jù)庫(kù)連接信息五、全量加載過(guò)程1、創(chuàng)建Project和Job在當(dāng)?shù)貙?duì)象庫(kù)project頁(yè)簽中單擊鼠標(biāo)右鍵，選擇新建菜單，創(chuàng)建項(xiàng)目“ERP_DS”。雙擊該項(xiàng)目，在“ProjectArea”，能夠在該項(xiàng)目下創(chuàng)建Job2、導(dǎo)入源表元數(shù)據(jù)到資源庫(kù)在當(dāng)?shù)貙?duì)象庫(kù)數(shù)據(jù)存放頁(yè)簽中，選擇源系統(tǒng)數(shù)據(jù)存放，單擊鼠標(biāo)郵件，選擇“ImportByName”，輸入需要導(dǎo)入到資源庫(kù)表名稱(chēng)。導(dǎo)入成功后，在數(shù)據(jù)存放table目錄下能夠看到導(dǎo)入表3、創(chuàng)建DataFlow單擊“General”Job，在右邊空白區(qū)域單擊鼠標(biāo)郵件，選擇“AddNew”-“DataFlow”4、設(shè)置源表和目標(biāo)表單擊創(chuàng)建DataFlow，將需要導(dǎo)入到HANA數(shù)據(jù)庫(kù)中源表拖入到DataFlow區(qū)域中，將DataFlow區(qū)域右側(cè)工具條中模版表拖入DataFlow區(qū)域創(chuàng)建模版表輸入模版表名稱(chēng)、HANA目標(biāo)系統(tǒng)數(shù)據(jù)存放、HANA數(shù)據(jù)庫(kù)存放DS抽取數(shù)據(jù)表用戶名。連接源表和目標(biāo)表雙擊模版表，設(shè)置“Options”中“UseNVARCHARforVARCHAR”5、手工實(shí)施Job選擇Job，單擊鼠標(biāo)右鍵，選擇“Execute”實(shí)施成功以后，在HANA數(shù)據(jù)庫(kù)中ERPDSUSER下能夠看到“T161T”，能夠查看數(shù)據(jù)表內(nèi)容。實(shí)施過(guò)程信息和結(jié)果能夠在監(jiān)控器中查看。六、基于表比較增量加載1、在Job下定義工作流2、在工作流中定義數(shù)據(jù)流在數(shù)據(jù)流中定義源表和模版表，實(shí)施Job，實(shí)施成功以后，在目標(biāo)系統(tǒng)數(shù)據(jù)存放TemplateTable目錄下能夠看到創(chuàng)建模版表3、加入Table_Comparison控件選擇模版表，單擊鼠標(biāo)郵件，選擇“ImportTable”。模版表會(huì)更新為T(mén)ables目錄下數(shù)據(jù)表。經(jīng)過(guò)將轉(zhuǎn)換-數(shù)據(jù)集成中“Table_Comparison”控件拖入到數(shù)據(jù)流中方法添加“Table_Comparison”控件將源表連接“Table_Comparison”控件，“Table_Comparison”控件連接目標(biāo)表。4、設(shè)置Table_Comparison控件雙擊“Table_Comparison”控件，設(shè)置相關(guān)參數(shù)：比較目標(biāo)表、表主鍵，需要比較字段。當(dāng)需要比較字段為空時(shí)，會(huì)比較全部字段。提議根據(jù)需要填寫(xiě)需要比較字段，能夠加緊處理速度。保留后實(shí)施Job。七、基于時(shí)間戳增量加載1、在Job下定義工作流在工作流中定義Script控件，讀取數(shù)據(jù)抽取后最新創(chuàng)建時(shí)間和更改時(shí)間，定義一個(gè)處理新增數(shù)據(jù)數(shù)據(jù)流和一個(gè)處理更新數(shù)據(jù)數(shù)據(jù)流2、定義Script控件在Script控件中需要使用變量存放讀取最新創(chuàng)建時(shí)間和最新更改時(shí)間。選擇Job，在工具欄選擇“Variables”按鈕，創(chuàng)建全局變量雙擊“Script”控件，編寫(xiě)SQL語(yǔ)句，從HANA數(shù)據(jù)庫(kù)表中讀取最新創(chuàng)建時(shí)間和更改時(shí)間3、定義處理新增數(shù)據(jù)數(shù)據(jù)流和處理更新數(shù)據(jù)數(shù)據(jù)流雙擊“EBAN_New”數(shù)據(jù)流，加載源表，Query，Map_CDC_Operation控件和目標(biāo)表雙擊Query，在輸出字段中增加“Sequence”和“Operation”兩個(gè)字段。“Sequence”字段使用函數(shù)gen_row_num()進(jìn)行賦值，“Operation”賦值為‘I’在Quey中設(shè)置Where條件雙擊Map_CDC_Operation控件，設(shè)置CDCColumns一樣方法定義“EBAN_Upd”數(shù)據(jù)流，在Querywhere條件中定義為在Query數(shù)據(jù)結(jié)果中增加“Sequence”和“Operation”兩個(gè)字段?！癝equence”字段使用函數(shù)gen_row_num()進(jìn)行賦值，“Operation”賦值為‘U’保留后，實(shí)施Job。能夠經(jīng)過(guò)修改源系統(tǒng)數(shù)據(jù)測(cè)試基于時(shí)間戳增量加載。八、DS中常見(jiàn)控件介紹1、Key_Generation在源表基礎(chǔ)上為目標(biāo)表重新生成主鍵在Query中增加“ID”字段，賦值為0。在Key_Generation控件中設(shè)置目標(biāo)表、主鍵字段、主鍵值增加量2、Case將源表依據(jù)規(guī)則進(jìn)行拆分雙擊Case控件，設(shè)置拆分條件當(dāng)SOURCE=1時(shí)，輸出SPFLI_1，當(dāng)SOURCE=2時(shí)，輸出SPFLI_23、Merge將含有一樣數(shù)據(jù)結(jié)構(gòu)源表進(jìn)行合并在Query中增加輸出字段Source，賦值為1。在Query1中增加輸出字段Source，賦值為2。在Merge中將兩個(gè)表內(nèi)容合并輸出。4、Validation提取數(shù)據(jù)源表中正確數(shù)據(jù)，將錯(cuò)誤數(shù)據(jù)單獨(dú)存放在其它表中雙擊Validation控件，設(shè)置“ValidationRule”5、設(shè)置過(guò)濾器和斷點(diǎn)過(guò)濾器和斷點(diǎn)結(jié)合使用，用于設(shè)置Debug條件選擇源表到目標(biāo)表連接線，單擊鼠標(biāo)右鍵，選擇SetFilter/Breakpoint，設(shè)置Debug條件（當(dāng)滿足某種條件時(shí)進(jìn)入斷點(diǎn)，或在滿足過(guò)濾條件同時(shí)實(shí)施多少條數(shù)據(jù)后時(shí)進(jìn)入斷點(diǎn)）選擇Job，單擊鼠標(biāo)右鍵，選擇Startdebug工具欄上按鈕能夠控制實(shí)施下一條數(shù)據(jù)、繼續(xù)實(shí)施、終止DebugDebug過(guò)程中進(jìn)入斷點(diǎn)后，能夠一次查看數(shù)據(jù)加載結(jié)果九、定義Job定時(shí)實(shí)施1、登錄DataServicesManagementConsole單擊工具欄“DataServicesManagementConsole”按鈕進(jìn)入DataServicesManagementConsole登錄界面單擊進(jìn)入Administrator界面2、定義BatchJobSchedules在BatchJobConfiguration頁(yè)簽選擇AddSchedules進(jìn)入批量實(shí)施Job設(shè)置界面能夠設(shè)置每七天某一天實(shí)施（一周實(shí)施一次）或則每個(gè)月某一天實(shí)施（30天實(shí)施一次），也能夠設(shè)置為天天全部實(shí)施。全部選“Recurring”則會(huì)定時(shí)循環(huán)實(shí)施，不然只實(shí)施一次。能夠設(shè)置一天實(shí)施一次，也能夠一天實(shí)施數(shù)次，設(shè)置開(kāi)始實(shí)施時(shí)間。上圖中假如設(shè)置為一天數(shù)次實(shí)施，開(kāi)始時(shí)間為早晨1點(diǎn)，連續(xù)時(shí)間為600分鐘，間隔時(shí)間為360分鐘，則Job會(huì)在一天早晨1點(diǎn)和早晨6點(diǎn)各實(shí)施一次。假如設(shè)置時(shí)間間隔為240分鐘，則Job會(huì)在一天早晨1點(diǎn)、早晨5點(diǎn)和早晨9點(diǎn)各實(shí)施一次。（總連續(xù)時(shí)間不超出10小時(shí)）。十、其它注意事項(xiàng)用戶端安裝包需要注意和服務(wù)器DS版本一致在第一次登錄CMS信息時(shí)，無(wú)法成功。pingsapdstest也失敗，需要在host文件中添加對(duì)應(yīng)地址和域名連接Oracle數(shù)據(jù)庫(kù)作為數(shù)據(jù)源時(shí)，需要在用戶端上安裝Oracle用戶端，設(shè)置tnsname.ora文件，設(shè)置環(huán)境變量ORACLE_HOME以后重啟服務(wù)器；連接HANA數(shù)據(jù)庫(kù)時(shí)，需要安裝HANA用戶端在連接ECC作為數(shù)據(jù)源時(shí)，需要