FMEDesktop培訓(xùn)教程數(shù)據(jù)轉(zhuǎn)換操作一

1、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換指的是ETL中的T（轉(zhuǎn)換），依賴(lài)其重構(gòu)數(shù)據(jù)的能力，這樣就能輸出所需要的數(shù)據(jù)，甚至一定程度上說(shuō)，輸出的數(shù)據(jù)要優(yōu)于輸入的數(shù)據(jù)。什么是數(shù)據(jù)轉(zhuǎn)換?數(shù)據(jù)轉(zhuǎn)換是FME重構(gòu)數(shù)據(jù)的功能。這個(gè)功能的一個(gè)重要特征就是，用戶(hù)不需要手動(dòng)操作，就會(huì)自動(dòng)地在讀?。ㄌ崛。┖途帉?xiě)（加載）數(shù)據(jù)之間進(jìn)行轉(zhuǎn)換。數(shù)據(jù)轉(zhuǎn)換類(lèi)型數(shù)據(jù)轉(zhuǎn)換又可以被具體分為兩種；結(jié)構(gòu)轉(zhuǎn)換這類(lèi)轉(zhuǎn)換被稱(chēng)作“重組”可能更加合適，它是FME的一種功能，以近乎無(wú)窮的重組方式將源數(shù)據(jù)發(fā)送到目標(biāo)數(shù)據(jù)，這個(gè)過(guò)程就包括，合并，劃分，重構(gòu)數(shù)據(jù)，以及自定義數(shù)據(jù)結(jié)構(gòu)。通過(guò)處理和操控?cái)?shù)據(jù)集結(jié)構(gòu)模式，就能夠轉(zhuǎn)換數(shù)據(jù)集結(jié)構(gòu)。內(nèi)容轉(zhuǎn)換這類(lèi)轉(zhuǎn)換也被稱(chēng)作“重構(gòu)”，它指的是改變一

2、個(gè)數(shù)據(jù)集內(nèi)容的功能；操控要素的幾何特征或?qū)傩灾稻褪顷P(guān)于如何使用FME來(lái)進(jìn)行內(nèi)容轉(zhuǎn)換的最好例子。可以獨(dú)立進(jìn)行內(nèi)容轉(zhuǎn)換，也可以與模式轉(zhuǎn)換一起進(jìn)行。Mr CAD 曾說(shuō)過(guò)“和許多人一樣，我購(gòu)買(mǎi)FME僅僅是為了進(jìn)行格式轉(zhuǎn)換，但是數(shù)據(jù)轉(zhuǎn)換工具給了我其它的選擇！現(xiàn)在我使用FME來(lái)轉(zhuǎn)換數(shù)據(jù)，即使有時(shí)并不需要對(duì)格式進(jìn)行轉(zhuǎn)換！有關(guān)模式的概念轉(zhuǎn)換一個(gè)數(shù)據(jù)集的結(jié)構(gòu)就需要對(duì)模式有所了解，并且知道怎樣使用FME來(lái)處理這些模式。什么是模式?模式指的是一個(gè)數(shù)據(jù)集的結(jié)構(gòu)，或者更準(zhǔn)確地說(shuō)，它是數(shù)據(jù)集結(jié)構(gòu)的正式定義。你可能比較熟悉術(shù)語(yǔ)Data Model（數(shù)據(jù)模型），但是在Safe Software中，我們將它稱(chēng)為schema。每

3、個(gè)數(shù)據(jù)集都有它自身獨(dú)特的結(jié)構(gòu)（模式），包括要素類(lèi)別（層），幾何特征，用戶(hù)自定義屬性，以及其它用來(lái)定義或限定內(nèi)容的規(guī)則。你可以將它稱(chēng)之為“物理”模式，因?yàn)樗硎镜氖菙?shù)據(jù)的物理特性。FME是怎樣表示模式的?當(dāng)你創(chuàng)建一個(gè)新的工作空間時(shí)，F(xiàn)ME就會(huì)掃描源數(shù)據(jù)集，從而就創(chuàng)建了一個(gè)源模式的工作空間定義，復(fù)制工作空間就能操作目標(biāo)模式。下圖：在工作空間中，正如最開(kāi)始顯示的一樣，源模式和目標(biāo)模式，源數(shù)據(jù)在左邊，目標(biāo)數(shù)據(jù)在右邊每一項(xiàng)都是一個(gè)單獨(dú)的要素類(lèi)別，每個(gè)要素類(lèi)別擁有一組屬性這種情況下，源數(shù)據(jù)集模式表示的是“我們所擁有的”，而目標(biāo)數(shù)據(jù)集模式通常表示的是副本。僅僅當(dāng)要求對(duì)目標(biāo)格式進(jìn)行限定時(shí)，才會(huì)產(chǎn)生不同。在這樣

4、的情況下，F(xiàn)ME就會(huì)盡力修復(fù)源模式和目標(biāo)模式之間的差別，例如，當(dāng)目標(biāo)模式是ESRI Shape格式時(shí)，F(xiàn)ME會(huì)將所有屬性名縮短為十個(gè)字符，這是因?yàn)镾hape格式不支持大于十個(gè)字符的屬性名。為了更加專(zhuān)業(yè)，目標(biāo)模式也被叫做“邏輯”模式，因?yàn)閷?shí)際上來(lái)說(shuō)它們并不是實(shí)際存在的。在 FME Workbench中查看模式但是，有時(shí)候我們并不能在工作空間中找到一個(gè)模式。模式的其它組成部分與整個(gè)數(shù)據(jù)集相關(guān)，例如，數(shù)據(jù)集所擁有的要素類(lèi)別就被認(rèn)為是模式的一部分，并且在Workbench窗口中對(duì)它進(jìn)行了描述。模式的一些部分是僅僅與一個(gè)單一的要素類(lèi)相關(guān)的，屬性就是這樣的部分。這些組成部分顯示在Feature Type

5、Properties的對(duì)話框中。使用要素類(lèi)別右邊的*+按鍵就能夠打開(kāi)這個(gè)對(duì)話框。下圖：Feature Type Properties 對(duì)話框含有大量的制表符，來(lái)顯示信息。在“General”這一欄顯示的是要素類(lèi)別名，這時(shí)，就要填 “ADDRESS。這里也顯示了允許的幾何特征類(lèi)別，它是要素類(lèi)別的父數(shù)據(jù)集名。下圖：User Attributes一欄顯示的是屬性類(lèi)表，根據(jù)屬性名，數(shù)據(jù)類(lèi)別，寬度，以及小數(shù)位的個(gè)數(shù)，這些因素來(lái)對(duì)每個(gè)屬性進(jìn)行定義。這個(gè)例子中出現(xiàn)了一個(gè)源要素類(lèi)別。默認(rèn)地，不能對(duì)源屬性進(jìn)行編輯，這是因?yàn)樵磳傩员硎镜氖菙?shù)據(jù)的物理性模式。如果改變了源屬性，模式就不能與源數(shù)據(jù)集相匹配了。模式編輯F

6、ME創(chuàng)建的默認(rèn)模式非常適合進(jìn)行“快速轉(zhuǎn)換”。當(dāng)你需要自定義輸出模式時(shí)，就可以使用Workbench對(duì)模式進(jìn)行編輯。什么是模式編輯?最開(kāi)始，我們將工作空間創(chuàng)建成目標(biāo)模式，也就是源模式的副本。但是，很多情況下，用戶(hù)會(huì)要求不同的輸出數(shù)據(jù)模式。模式編輯指的就是，改變目標(biāo)模式，對(duì)輸出的數(shù)據(jù)結(jié)構(gòu)進(jìn)行自定義。對(duì)輸出數(shù)據(jù)的屬性進(jìn)行重新命名，就是一個(gè)很好的例子。這種情況下，源模式仍然表示的是“我們所擁有的”，而目標(biāo)模式則表示“我們所需要的”?？梢詫?duì)那些內(nèi)容進(jìn)行編輯?我們可以對(duì)很多內(nèi)容進(jìn)行編輯，包括如下：屬性重新命名目標(biāo)模式中的任何屬性都可以被重命名，例如，重新命名ROADS_ID to IDNUMBER。打開(kāi)F

7、eature Type Properties對(duì)話框，點(diǎn)擊User Attributes（如右圖），然后點(diǎn)擊你要重命名的屬性，最后輸入新的名稱(chēng)。屬性類(lèi)型更改目標(biāo)模式中的任何屬性都能改變?cè)械念?lèi)型，例如，將ID的整型數(shù)改為小數(shù)類(lèi)型打開(kāi)Feature Type Properties對(duì)話框，點(diǎn)擊User Attributes，使用Data Type字段就能改變屬性類(lèi)型了。要素類(lèi)別重命名要對(duì)一個(gè)目標(biāo)要素類(lèi)別進(jìn)行重新命名，例如，將roads重名為updated_roads，就只需要打開(kāi)Feature Type Properties對(duì)話框，點(diǎn)擊General，然后點(diǎn)擊要編輯的要素類(lèi)別名稱(chēng)字段，就可以編輯新的

8、名稱(chēng)了。幾何特征類(lèi)型更改要對(duì)一個(gè)要素類(lèi)別的幾何特征進(jìn)行更改，例如，將線類(lèi)幾何特征改為點(diǎn)類(lèi)，只需要打開(kāi)Feature Type Properties對(duì)話框，點(diǎn)擊General，從幾何特征列表中選擇你需要的類(lèi)別。備注：只有當(dāng)格式要求一個(gè)幾何特征類(lèi)別時(shí)，這個(gè)字段才有效。模式映射模式映射就是將數(shù)據(jù)集的源模式與目標(biāo)模式對(duì)應(yīng)起來(lái)的一種方法，它是重建數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)。什么是模式映射?在FME Workbench中，工作空間的一邊顯示的是源模式，另一邊顯示的是目標(biāo)模式。模式映射就是用某種方法將源模式和目標(biāo)模式連接起來(lái)，并且確保源要素與目標(biāo)要素類(lèi)別，源屬性與目標(biāo)屬性是分別對(duì)應(yīng)的。要素映射他指的是將源要素類(lèi)別和目標(biāo)

9、要素類(lèi)別連接起來(lái)。屬性映射它指的是將源屬性與目標(biāo)屬性連接起來(lái)。Ms. Analyst 曾說(shuō)過(guò)“你可以將模式編輯和映射理解為重構(gòu)數(shù)據(jù)，這和整理衣櫥有點(diǎn)像：扔掉你不需要的東西，為打算購(gòu)買(mǎi)的東西保留空間，將已有的東西移到更加有用的位置。”在Workbench自身的界面中，將模式的要素類(lèi)別和屬性進(jìn)行連線，就能夠?qū)⑺鼈冞B接起來(lái)了。域映射一些格式支持域，也就是說(shuō)，用一種方法來(lái)決定特殊屬性需要的值。對(duì)于編碼過(guò)的域來(lái)說(shuō)（每個(gè)值都對(duì)應(yīng)一個(gè)代碼），有時(shí)候，要求對(duì)它進(jìn)行映射，將數(shù)字型的值轉(zhuǎn)換為描述性文字的值。當(dāng)需要改變一個(gè)域到另一個(gè)域時(shí)，也需要進(jìn)行域映射。在FME Workbench中進(jìn)行模式映射大多數(shù)情況下，在一

10、個(gè)新的工作空間中，F(xiàn)ME會(huì)自動(dòng)進(jìn)行模式映射，但也可以按照要求編輯模式映射。FME Workbench中的要素映射點(diǎn)擊源要素類(lèi)別的輸出端口，按住鼠標(biāo)將箭頭拖到目標(biāo)要素類(lèi)別的輸入端口，然后放開(kāi)鼠標(biāo)，就可以了。下圖：如下圖所示，進(jìn)行要素映射。FME Workbench中的屬性映射點(diǎn)擊源屬性的輸出端口，按住鼠標(biāo)將箭頭拖到目標(biāo)屬性的輸入端口，然后放開(kāi)鼠標(biāo)，就可以了。下圖：已經(jīng)進(jìn)行了要素映射，并且已經(jīng)建立了屬性連接。注意，綠色，黃色，紅色的箭頭分別表示哪些是已經(jīng)連接了的屬性。下圖：將源要素類(lèi)別連接到了目標(biāo)要素別。黑粗的線表示要素映射，而細(xì)的灰色的線則表示屬性映射。具有相同名稱(chēng)的源屬性和目標(biāo)屬性會(huì)自動(dòng)連接，

11、屬性字段名是區(qū)分字母大小寫(xiě)的，所以ROADSFME Desktop 培訓(xùn)手冊(cè)9 / 37與roads 或Roads是不同的。有時(shí)候，不同名稱(chēng)的屬性也會(huì)映射，但是卻沒(méi)有連接箭頭顯示，所以是看不到的。綠色箭頭表示已連接的屬性，黃色表示還未與目標(biāo)屬性相連接的源屬性，紅色表示還沒(méi)連接到源屬性的目標(biāo)屬性。例1：模式映射City_parks是有關(guān)一個(gè)城市公園的一個(gè)MapInfo TAB的數(shù)據(jù)集，要對(duì)它進(jìn)行模式映射為了更準(zhǔn)確地估算地面維護(hù)成本（割草，修樹(shù)），你就需要全面處理數(shù)據(jù)，然后計(jì)算出每個(gè)公園的平均面積首先要做的就是啟動(dòng)轉(zhuǎn)換，并且確保模式映射能夠運(yùn)行1) 啟動(dòng) Workbench.運(yùn)用New Works

12、pace 對(duì)話框，使用以下信息創(chuàng)建一個(gè)工作空間：Source Format MapInfo TAB (MFAL)Source Dataset C:FMEDataDataParkscity_parks.tabDestination Format MapInfo TAB (MFAL) (yes here we write back to the same format!)2) 調(diào)整目標(biāo)模式當(dāng)目標(biāo)映射和源映射相符合時(shí)，F(xiàn)ME會(huì)自動(dòng)創(chuàng)建一個(gè)工作空間，但是，在這個(gè)操作中，我們想賦予目標(biāo)屬性更多有意義的名字，刪除一些不需要的屬性，添加需要的新的屬性點(diǎn)擊properties按鍵，或者右擊要素類(lèi)別，選擇“Pr

13、operties”.，就能夠打開(kāi)目標(biāo)要素類(lèi)別的Feature Type Properties對(duì)話框點(diǎn)擊User Attributes標(biāo)簽頁(yè)，就會(huì)出現(xiàn)目標(biāo)屬性的列表? 重新命名字段 name 為 ParkName? 重新命名字段 name_alt 為 ParkNameAlt? 添加一個(gè)新字段 ParkArea make sure it is attribute type of FLOAT? 添加一個(gè)新字段 AverageParkArea make sure it is attribute type of FLOAT點(diǎn)擊OK，同意這些更改3) 映射目標(biāo)模式現(xiàn)在目標(biāo)屬性名已經(jīng)改變了，F(xiàn)ME就會(huì)終止之

14、前的所有模式映射，這時(shí)你的工作空間如下圖所示。 重新映射公園名和可替換的名字到對(duì)應(yīng)，相等的目標(biāo)數(shù)據(jù)模式中，這時(shí)工作空間如下圖所示。注意，現(xiàn)在已經(jīng)沒(méi)有任何屬性要映射到ParkArea或AverageParkArea中了，因?yàn)樗鼈儗?duì)應(yīng)的源數(shù)據(jù)值并不存在，但是，你仍然可以運(yùn)行工作空間，查看輸出狀態(tài)。不要忘記保存這個(gè)工作空間，因?yàn)橹竽憧赡軙?huì)用到它。Miss Vector 曾說(shuō)過(guò)“同學(xué)們！現(xiàn)在又要進(jìn)行一個(gè)小測(cè)試了，來(lái)檢查你們學(xué)習(xí)的成果。問(wèn)一下其他的成員，然后相互回答這些問(wèn)題?！薄癊TL” 中的“T”代表的是：1) Translation2) Transfiguration3) Transmission

15、4) Transformation一個(gè)模式的源組成部分和目標(biāo)組成部分分別代表的是：1) What we have/What we want2) What we did/What we should have done3) What were adding/What were removing4) Where my data was/Where it is now將源模式連接到目標(biāo)模式，我們將這個(gè)過(guò)程叫做：1) Schema Mapping2) Schema Connecting3) Schema Joins4) Schema Concatenating下面的那一種箭頭顏色表示FME模式中沒(méi)有進(jìn)

16、行連接?1) Red2) Green3) Blue4) Yellow內(nèi)容轉(zhuǎn)換內(nèi)容轉(zhuǎn)換指的是，轉(zhuǎn)換一個(gè)數(shù)據(jù)的幾何特征或?qū)傩?。什么是要?FME中的要素在轉(zhuǎn)換過(guò)程中是一個(gè)個(gè)體，例如，GIS或制圖要素，除了一組相關(guān)的屬性外，還包括幾何特征。FME能夠?qū)傩曰驇缀翁卣鬟M(jìn)行重構(gòu)提示：FME中的要素是數(shù)據(jù)的最基本的（亦即最小的）單位FME中的要素表達(dá)法是靈活的，通用的，也就是說(shuō)，對(duì)這些要素有一個(gè)基本的FME定義，與要素所在格式無(wú)關(guān)?！按止堋鞭D(zhuǎn)換“粗管”轉(zhuǎn)換描述了FME的內(nèi)容轉(zhuǎn)換功能，也就是說(shuō)，你可以在轉(zhuǎn)換過(guò)程中處理數(shù)據(jù)，然后產(chǎn)生一個(gè)目標(biāo)數(shù)據(jù)集，并且這個(gè)數(shù)據(jù)集的數(shù)量會(huì)多于源數(shù)據(jù)集的。 數(shù)據(jù)格式1 數(shù)據(jù)轉(zhuǎn)換和

17、變換 數(shù)據(jù)格式2上圖：注意觀察屬性A,B,C是怎樣轉(zhuǎn)換成一組新屬性W,X,Y和Z的。箭頭表示轉(zhuǎn)換過(guò)程是雙向的。Mr Flibble 曾說(shuō)過(guò)“現(xiàn)在是挑戰(zhàn)你的時(shí)候了！根據(jù)用戶(hù)反饋意見(jiàn)，最常見(jiàn)的數(shù)據(jù)轉(zhuǎn)換是將ESRI Shape轉(zhuǎn)換為那種格式的數(shù)據(jù)？如果你聽(tīng)了課的話，就請(qǐng)告訴我擬的答案?！睅缀翁卣鬓D(zhuǎn)換幾何特征轉(zhuǎn)換是一個(gè)屬于，指的是在FME中對(duì)一個(gè)要素的空間（或幾何）部分進(jìn)行結(jié)構(gòu)重構(gòu)。什么是幾何特征轉(zhuǎn)換?它指的是對(duì)FME要素的空間組成部分進(jìn)行結(jié)構(gòu)重構(gòu)，換句話說(shuō)，就是改變要素的幾何特征，然后輸出不同類(lèi)型的要素。下面是一些有關(guān)幾何特征轉(zhuǎn)換的例子? 縮編一種制圖過(guò)程，通過(guò)重構(gòu)數(shù)據(jù)結(jié)構(gòu)，使其在特定的比例尺的地圖

18、中都能輕易地查看到數(shù)據(jù)。? 仿射調(diào)整要素的大小和形狀，使其更加匹配參考數(shù)據(jù)? 拓?fù)溆?jì)算將一組線性要素轉(zhuǎn)換為點(diǎn)/線結(jié)構(gòu)下圖：一個(gè)有關(guān)線線交匯的例子。在公路和河流交匯的地方就會(huì)產(chǎn)生一個(gè)點(diǎn)，表示橋的位置。屬性轉(zhuǎn)換屬性轉(zhuǎn)換是一個(gè)術(shù)語(yǔ)，指的是在FME內(nèi)，對(duì)一個(gè)要素的非空間（或?qū)傩裕┎糠诌M(jìn)行結(jié)構(gòu)重構(gòu)。什么是屬性轉(zhuǎn)換?它指的是，對(duì)一個(gè)FME要素的非空間部分進(jìn)行結(jié)構(gòu)重構(gòu)，換句話說(shuō)，就是改變屬性的物理幾何特征，然后輸出不同類(lèi)型的要素。下面就是屬性轉(zhuǎn)換的一些例子：? 關(guān)聯(lián)將兩個(gè)或多個(gè)要素結(jié)合起來(lái)? 分拆 縮編的相反操作，將一個(gè)屬性分拆為多個(gè)? 測(cè)量 測(cè)量一個(gè)要素的長(zhǎng)度或范圍，創(chuàng)建一個(gè)新的屬性? 創(chuàng)建ID 為特殊的

19、要素創(chuàng)建一個(gè)特定的IDAddress1 Suite 2017，+ Address2 7445-132nd Street，+ City Surrey，+ Province British Columbia，+ PostCode V3W 1J8= Address Suite 2017, 7445-132nd Street, Surrey, British Columbia, V3W 1J8上面：屬性關(guān)聯(lián)是有關(guān)屬性轉(zhuǎn)換的一個(gè)例子。將地址的每一行進(jìn)行并別，然后發(fā)送回一個(gè)只有一行的地址。使用函進(jìn)行轉(zhuǎn)換你已經(jīng)知道了，在工作流中，我們用對(duì)象來(lái)表示FME Workbench的源數(shù)據(jù)和目標(biāo)數(shù)據(jù)，同樣地，我們用對(duì)

20、象來(lái)描述幾何和屬性重構(gòu)過(guò)程函數(shù)什么是函數(shù)?函數(shù)就是FME Workbench的一個(gè)對(duì)象，它執(zhí)行要素重構(gòu)的任務(wù)。FME存在大量的函數(shù)，用來(lái)進(jìn)行不同類(lèi)型的結(jié)構(gòu)重構(gòu)。Workbench的顯示窗口可能不同，但是一般它的導(dǎo)航窗口都會(huì)有一個(gè)標(biāo)簽Transformers.點(diǎn)擊它，查看FME的函數(shù)列表。為了方便用戶(hù)查看函數(shù)，我們將Transformer Gallery分為不同的單元和類(lèi)型。在它的下方也有一個(gè)選項(xiàng)，它提供了已選函數(shù)的基本信息。下圖：已經(jīng)打開(kāi)了一個(gè)特定的函數(shù)（Filter），并且高亮顯示了AttributeFilter函數(shù)。放置一個(gè)函數(shù)一但你選中了一個(gè)函數(shù)函數(shù)列表中，雙擊它，就可以將這個(gè)函數(shù)放置到工作空間中了?；蛘?，你可以將函數(shù)拖到工作空間中。許多用戶(hù)選擇這種方式，這是因?yàn)橥ㄟ^(guò)拖動(dòng)函數(shù)，能讓你更好地控制函數(shù)的初始放置位置在放置了函數(shù)后，將輸入端口連接到輸出端口，就可以添加函數(shù)了。左圖：放置和連接函數(shù)的例子函數(shù)的參數(shù)每個(gè)函數(shù)可能有許多參數(shù)也叫做