大數(shù)據(jù)及海量數(shù)據(jù)處理架構(gòu)：HadoopvsMPP

1、    大數(shù)據(jù)及海量數(shù)據(jù)處理架構(gòu)hadoopvsmpp    巫東來 湯仕磊摘 要：開發(fā)海量數(shù)據(jù)處理系統(tǒng)時(shí)存在技術(shù)框架選擇不確定問題。從理論及應(yīng)用角度對(duì)兩種主流的海量數(shù)據(jù)處理架構(gòu)mpp和hadoop進(jìn)行對(duì)比，分析各自技術(shù)特點(diǎn)，闡述其與傳統(tǒng)數(shù)據(jù)處理的優(yōu)勢(shì)。分析結(jié)果表明，hadoop在存儲(chǔ)數(shù)據(jù)規(guī)模上可輕松支持pb級(jí)別，而mpp架構(gòu)大多只支持tb級(jí)別;hadoop對(duì)海量半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和處理有一定優(yōu)勢(shì)，但在處理速度和易用性上不及mpp;在結(jié)構(gòu)化數(shù)據(jù)處理、響應(yīng)性能和衍生工具等方面mpp 則占優(yōu)，適用于查詢業(yè)務(wù)場(chǎng)景較多項(xiàng)目。通過分析兩大框架底層核心技術(shù)以

2、及歸納優(yōu)缺點(diǎn)，為企業(yè)相關(guān)應(yīng)用的技術(shù)選型提供參考。關(guān)鍵詞：大數(shù)據(jù); 海量數(shù)據(jù)存儲(chǔ); hadoop; mpp;分布式計(jì)算doi：10. 11907/rjdk. 201655中圖分類號(hào)：tp391文獻(xiàn)標(biāo)識(shí)碼：a 文章編號(hào)：1672-7800（2020）010-0218-05abstract：in order to improve the uncertainties in the choice of technical framework when developing massive data processing systems，we make an in-depth comparison bet

3、ween the two mainstream massive data processing frameworks mpp and hadoop from a theoretical and application perspective. we analyze their respective technical characteristics， and discusses their advantages over traditional data processing. the analysis results show that hadoop can easily support t

4、he pb-level data scale in terms of the size of the stored data， while most mpp architectures only support the tb-level. hadoop has certain advantages in the storage and processing of massive semi-structured and unstructured data， but it is inferior to mpp in processing speed and ease of use. mpp is

5、dominant in structured data processing， response performance， and derivatives， and is suitable for projects with many query business scenarios. by analyzing the underlying core technologies of the two frameworks and summarizing their advantages and disadvantages， a comprehensive reference for enterp

6、rises in the selection of relevant application technologies is provided.key words： big data; massive data storage; hadoop; mpp; distributed computing0 引言隨著云計(jì)算、大數(shù)據(jù)產(chǎn)業(yè)的不斷發(fā)展，傳統(tǒng)使用單機(jī)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)存儲(chǔ)的模式已經(jīng)不能滿足業(yè)界日益增長(zhǎng)需求，海量數(shù)據(jù)處理成為一個(gè)關(guān)鍵問題。目前主流的海量數(shù)據(jù)處理架構(gòu)分為兩種：基于傳統(tǒng)數(shù)據(jù)庫及數(shù)據(jù)倉庫所衍生出的mpp（massively parallel processing）架構(gòu)1;基于hadoop并

7、行計(jì)算框架的分布式架構(gòu)2。傳統(tǒng)關(guān)系型數(shù)據(jù)庫隨著數(shù)據(jù)量增長(zhǎng)性能急劇下降，業(yè)界提出一種橫向擴(kuò)展（scale out）方式，通過增加節(jié)點(diǎn)使用更多廉價(jià)的機(jī)器構(gòu)建更強(qiáng)的集群系統(tǒng)。在這種背景下，分布式數(shù)據(jù)庫和數(shù)據(jù)倉庫越來越受到重視，其中基于mpp架構(gòu)的數(shù)據(jù)庫是主流解決方案，越來越多的廠商選擇使用它改造和升級(jí)原有軟件系統(tǒng)3。hadoop是一種分布式數(shù)據(jù)處理框架，使用普通x86計(jì)算機(jī)組成分布式系統(tǒng)處理海量數(shù)據(jù)及進(jìn)行大數(shù)據(jù)分析4。hadoop架構(gòu)近年伴隨著云計(jì)算而興，其生態(tài)系統(tǒng)和大數(shù)據(jù)緊密聯(lián)系在一起，不僅僅因?yàn)樗情_源系統(tǒng)，更主要的是它形成了一個(gè)完整的技術(shù)生態(tài)圈5-6。混合架構(gòu)則綜合了mpp架構(gòu)和hadoop架

8、構(gòu)各自特點(diǎn)，通過混合部署將各自的優(yōu)點(diǎn)充分發(fā)揮出來。如ma等7將hadoop生態(tài)系統(tǒng)與etl、spark處理引擎一起使用，結(jié)合基于mpp的海量并行處理數(shù)據(jù)庫（mpp）實(shí)現(xiàn)銀行綜合風(fēng)險(xiǎn)管理系統(tǒng)，具有更好的性能;鄧涵元等8基于mpp-hadoop 混合框架構(gòu)建一套融合多種不同結(jié)構(gòu)數(shù)據(jù)的數(shù)據(jù)集成系統(tǒng) ，提升了數(shù)據(jù)查詢和加載效率。同時(shí)，混合架構(gòu)案例近年得到長(zhǎng)足發(fā)展9-12。本文對(duì)mpp和hadoop兩種架構(gòu)進(jìn)行深入分析，并對(duì)比各自優(yōu)缺點(diǎn)以及適用范圍，給出不同類型應(yīng)用的技術(shù)架構(gòu)選型推薦方案。1 基于mpp的數(shù)據(jù)處理架構(gòu)mpp指處于不同部分的多個(gè)處理器對(duì)程序進(jìn)行協(xié)同處理的過程，每個(gè)處理器使用自己的操作系統(tǒng)、

9、內(nèi)存、總線和磁盤等，如圖1所示。通常mpp處理器使用某些消息傳遞接口進(jìn)行通信。在某些實(shí)現(xiàn)中，同一應(yīng)用程序最多可以使用200個(gè)或更多處理器，這種結(jié)構(gòu)最大的特點(diǎn)在于共享資源。mpp數(shù)據(jù)庫（mpp db）基于mpp架構(gòu)，通過并行化各種操作提高性能，如加載數(shù)據(jù)、構(gòu)建索引以及使用并行的多個(gè)cpu和磁盤等。mpp數(shù)據(jù)庫通常具有無共享架構(gòu)，因?yàn)槊總€(gè)系統(tǒng)都有自己的cpu、內(nèi)存和磁盤。通過數(shù)據(jù)庫軟件和高速互連，系統(tǒng)可以整體運(yùn)行，并且可通過添加新服務(wù)器對(duì)集群進(jìn)行擴(kuò)展。mpp數(shù)據(jù)庫通常比托管在大型多處理器服務(wù)器上的傳統(tǒng)rdbms更靈活，可伸縮且更具成本優(yōu)勢(shì)，可提供快速的交互式查詢響應(yīng)，如圖2所示。這種架構(gòu)特征是任務(wù)

10、并行執(zhí)行、數(shù)據(jù)分布式存儲(chǔ)（本地化）、分布式計(jì)算、資源私有、可橫向擴(kuò)展等。1.1 mpp數(shù)據(jù)庫集群架構(gòu)mpp數(shù)據(jù)庫集群架構(gòu)如圖3所示，分為以下兩種架構(gòu)：（1）有專職master。master節(jié)點(diǎn)的主要功能是作為系統(tǒng)訪問入口，對(duì)存儲(chǔ)在系統(tǒng)中的元數(shù)據(jù)進(jìn)行管理，以及實(shí)現(xiàn)sql parser，生成執(zhí)行計(jì)劃和任務(wù)調(diào)度等。master有兩個(gè)節(jié)點(diǎn)，會(huì)進(jìn)行數(shù)據(jù)同步，在出現(xiàn)故障時(shí)可切換。典型產(chǎn)品有g(shù)reenplum、asterdata、paraccel、hawg等。（2）無專職master。master節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)共享一臺(tái)物理機(jī)，先連接上的節(jié)點(diǎn)會(huì)作為系統(tǒng)的master。典型產(chǎn)品有g(shù)base8a、vertica、

11、teradata、db2、impala 、ibm bigsql、hp dragonred、verticavive等。1.2 mpp架構(gòu)選擇兩種架構(gòu)各有優(yōu)缺點(diǎn)，在超大規(guī)模分布式集群中，第（2）種架構(gòu)更有優(yōu)勢(shì)，可演變?yōu)椤岸鄊aster”架構(gòu)（如gbase8a和vertica集群）。此種架構(gòu)下，通過zookeeper等分布式一致性軟件協(xié)調(diào)多個(gè)master，提供高可用性、透明性以及擴(kuò)展性，同時(shí)數(shù)據(jù)節(jié)點(diǎn)具有對(duì)等性。2 基于hadoop架構(gòu)的數(shù)據(jù)處理框架2.1 hadoop數(shù)據(jù)分塊hadoop 架構(gòu)與mpp架構(gòu)相似，圖4顯示hadoop處理數(shù)據(jù)過程。名稱服務(wù)器充當(dāng)目錄查找服務(wù)。hadoop將數(shù)據(jù)分為任意塊

12、，大小一般設(shè)為128mb，將其復(fù)制到至少兩個(gè)其它節(jié)點(diǎn)以實(shí)現(xiàn)分布式存儲(chǔ)。小文件（小于128mb的文件）完全保存在單個(gè)節(jié)點(diǎn)上，甚至1g大小的文件也只需要分布在8個(gè)節(jié)點(diǎn)（加上副本）上。因此，hadoop可處理非常大的數(shù)據(jù)集。由于小表格分布在較少服務(wù)器上，因此對(duì)于50100gb以下的數(shù)據(jù)文件不是理想選擇。在hadoop上處理小數(shù)據(jù)集是一個(gè)挑戰(zhàn)，因?yàn)樵谀承┣闆r下，單個(gè)節(jié)點(diǎn)上處理數(shù)據(jù)完全按順序運(yùn)行而不是并行運(yùn)行。許多hadoop集群傾向于使用大量相對(duì)較慢且價(jià)格便宜的服務(wù)器，因此小數(shù)據(jù)性能可能較差。此外，隨著小文件數(shù)量增加，名稱服務(wù)器管理問題會(huì)越來越多。經(jīng)驗(yàn)表明，在大多數(shù)中型數(shù)據(jù)倉庫平臺(tái)（大約10tb的數(shù)據(jù)

13、）上只有大約10%的表擁有超過100gb的數(shù)據(jù)，而70%的表不足1gb數(shù)據(jù)。即使兩個(gè)最大的表超過1tb，對(duì)于在hadoop上部署也不是很有利。2.2 hadoop集群架構(gòu)hadoop處理框架包括3個(gè)模塊：hdfs、mapreduce和yarn。（1）hdfs是一個(gè)分布式文件系統(tǒng)，用于將單個(gè)集群擴(kuò)展到數(shù)百個(gè)甚至數(shù)千個(gè)節(jié)點(diǎn)，具有高度的容錯(cuò)能力，部署在低成本硬件上。 hdfs提供應(yīng)用程序高吞吐量數(shù)據(jù)訪問，適用于具有大數(shù)據(jù)集的應(yīng)用程序。（2）mapreduce是一個(gè)軟件框架，以高可靠性、高容錯(cuò)方式并行處理大型集群（數(shù)千個(gè)節(jié)點(diǎn)）上的海量數(shù)據(jù)（多tb數(shù)據(jù)集）。mapreduce作業(yè)通常將輸入數(shù)據(jù)集拆分為獨(dú)

14、立的塊，這些任務(wù)以完全并行的方式進(jìn)行處理。（3）yarn：hadoop集群資源管理主要依靠資源管理器（yarn）提供細(xì)粒度的資源管理。mapreduce作業(yè)不需要并行運(yùn)行所有計(jì)算任務(wù)，因此可以處理大量的計(jì)算任務(wù)，具有可擴(kuò)展性及支持長(zhǎng)壽命容器等功能，但它比mpp資源管理器要慢，有時(shí)對(duì)于并發(fā)性管理支持不是很好。2.3 hadoop數(shù)據(jù)查詢hadoop的sql接口有多種工具供選擇，包括mr / tez/spark上運(yùn)行的hive、sparksql、impala、hawq或ibm bigsql。（1）hive將sql查詢轉(zhuǎn)換為mr / tez / spark作業(yè)并在集群上執(zhí)行。所有作業(yè)均基于相同的ma

15、preduce概念構(gòu)建，提供良好的集群利用率，以及與其它hadoop堆棧技術(shù)的良好集成。缺點(diǎn)是執(zhí)行查詢延遲大，尤其表連接性能較低，沒有查詢優(yōu)化器（至少目前是這樣），因此即使是最不合理的查詢引擎也會(huì)執(zhí)行操作。（2）sparksql是介于mapreduce和mpp-over-hadoop方法之間的一種工具，兼顧兩者優(yōu)點(diǎn)。與mapreduce相似，將工作分解為一組單獨(dú)計(jì)劃任務(wù)以提供更好的穩(wěn)定性。在執(zhí)行階段之間進(jìn)行流式傳輸數(shù)據(jù)以加快處理速度，使用類似mpp中的固定執(zhí)行程序概念減少查詢延遲。（3）混合方案如impala和hawq類的解決方案，是hadoop之上的mpp執(zhí)行引擎，可處理hdfs中存儲(chǔ)的數(shù)據(jù)

16、。與其它mpp引擎一樣，可提供更低的延遲和更少的查詢處理時(shí)間，但代價(jià)是可伸縮性和穩(wěn)定性較低。3 hadoop與mpp架構(gòu)選擇3.1 節(jié)點(diǎn)架構(gòu)（1）底層數(shù)據(jù)庫。mpp底層運(yùn)行的是sql引擎，而hadoop底層處理是mapreduce程序。（2）擴(kuò)展程度。mpp雖然支持橫向擴(kuò)展，但一般只支持?jǐn)U展到百個(gè)節(jié)點(diǎn)級(jí)別， hadoop則可以擴(kuò)展到千個(gè)節(jié)點(diǎn)級(jí)別。基于hadoop框架的數(shù)據(jù)平臺(tái)可看作是新一代的分布式數(shù)據(jù)倉庫產(chǎn)品，而mpp數(shù)據(jù)庫會(huì)應(yīng)用與大數(shù)據(jù)類似的解決方案。針對(duì)不同使用場(chǎng)景，其發(fā)揮的作用和給用戶帶來的體驗(yàn)也不同。mpp和hadoop平臺(tái)互為補(bǔ)充，分別用于不同場(chǎng)景。mpp用于高端數(shù)據(jù)庫產(chǎn)品，hado

17、op可部署到普通x86集群。mpp和hadoop底層支持的硬件不同， hadoop控制機(jī)制大多通過java代碼實(shí)現(xiàn)，而mpp產(chǎn)品則通過sql進(jìn)行查詢。hadoop的子項(xiàng)目“hive”本質(zhì)上也是通過mapreduce提供sql抽象。在許多情況下，與編寫mapreduce作業(yè)相比，sql更容易且生產(chǎn)率更高，具有sql技能的數(shù)據(jù)庫專業(yè)人員比hadoop專家更多且成本更低。3.2 cap理論cap定理（cap theorem）又稱布魯爾定理（brewer's theorem），在理論計(jì)算機(jī)科學(xué)中指一個(gè)分布式系統(tǒng)最多只能滿足以下3個(gè)特征中的兩個(gè)：一致性（consistency）：同一時(shí)間系統(tǒng)中所

18、有的節(jié)點(diǎn)都具有相同的數(shù)據(jù)值;可用性（availability）：系統(tǒng)中即使一個(gè)或多個(gè)節(jié)點(diǎn)發(fā)生故障，客戶端的任何請(qǐng)求仍將獲得響應(yīng);分區(qū)容忍性（partition tolerance）：即使系統(tǒng)節(jié)點(diǎn)之間發(fā)生許多通信故障，集群也必須繼續(xù)工作。cap理論是mpp架構(gòu)擴(kuò)展性弱的原因，因?yàn)閙pp數(shù)據(jù)庫設(shè)計(jì)仍然以數(shù)據(jù)查詢?yōu)橹饕康模紫瓤紤]一致性，其次考慮可用性，最后在可能的情況下考慮分區(qū)容忍性。而hadoop是為并行處理與存儲(chǔ)設(shè)計(jì)的，所以數(shù)據(jù)均以文件存儲(chǔ)，有限考慮分區(qū)容忍性，然后考慮可用性，一致性則最后考慮，所以可靠性上hadoop要優(yōu)于mpp。3.3 數(shù)據(jù)擴(kuò)展制約性（1）高可用。mpp數(shù)據(jù)庫通過將哈希算

19、法應(yīng)用于分配鍵列值，在數(shù)據(jù)切片之間確定數(shù)據(jù)存儲(chǔ)的物理機(jī)器，而hadoop則是通過數(shù)據(jù)分塊實(shí)現(xiàn)分布式存儲(chǔ)，因而hadoop可用性更強(qiáng)。（2）并行任務(wù)。雖然mpp是根據(jù)hash切分?jǐn)?shù)據(jù)的，但是它的任務(wù)沒有切分，因此任務(wù)都會(huì)在每個(gè)節(jié)點(diǎn)上運(yùn)行一次。（3）文件系統(tǒng)。在mpp數(shù)據(jù)庫中，雖然數(shù)據(jù)被切分了，但文件數(shù)量并未減少，每個(gè)表在節(jié)點(diǎn)上有一個(gè)或多個(gè)文件。存儲(chǔ)的表越多節(jié)點(diǎn)數(shù)就越多，導(dǎo)致系統(tǒng)存儲(chǔ)過多文件。（4）網(wǎng)絡(luò)瓶頸。mpp數(shù)據(jù)庫大多使用對(duì)等節(jié)點(diǎn)架構(gòu)，對(duì)等的點(diǎn)對(duì)點(diǎn)連接消耗大量網(wǎng)絡(luò)寬帶，限制系統(tǒng)線性擴(kuò)展。hadoop使用主從節(jié)點(diǎn)架構(gòu)，在線性擴(kuò)展上強(qiáng)于mpp。（5）其它關(guān)系數(shù)據(jù)庫限制。關(guān)系型數(shù)據(jù)庫中的鎖機(jī)制、日

20、志系統(tǒng)、權(quán)限管理、節(jié)點(diǎn)管理等瓶頸均限制mpp規(guī)模擴(kuò)大，而hadoop沒有使用關(guān)系型數(shù)據(jù)庫，并且有專用的分布式一致性管理軟件，因此這些性能要優(yōu)于mpp。3.4 技術(shù)選擇hadoop架構(gòu)數(shù)據(jù)存儲(chǔ)、傳統(tǒng)數(shù)據(jù)倉庫、mpp數(shù)據(jù)庫技術(shù)性能及適用場(chǎng)景對(duì)比如表2所示。因此，hadoop和mpp兩種技術(shù)應(yīng)根據(jù)具體業(yè)務(wù)以及場(chǎng)景進(jìn)行選擇。（1）對(duì)于半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，hadoop在處理上比mpp有一定優(yōu)勢(shì)，適合于海量數(shù)據(jù)批處理類應(yīng)用，如海量數(shù)據(jù)etl、非結(jié)構(gòu)化數(shù)據(jù)分析與挖掘（關(guān)鍵詞提取、情感分析等）。若系統(tǒng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)需求較大且數(shù)據(jù)量巨大，需要?jiǎng)討B(tài)擴(kuò)展數(shù)據(jù)節(jié)點(diǎn)等，則使用hadoop架構(gòu)更為合適。（2）mp

21、p架構(gòu)更適合對(duì)現(xiàn)有關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)倉庫系統(tǒng)進(jìn)行升級(jí)或替換，其在數(shù)據(jù)查詢類業(yè)務(wù)上比hadoop更具優(yōu)勢(shì)，適合處理sql類事務(wù)請(qǐng)求、多維度數(shù)據(jù)分析、展示數(shù)據(jù)報(bào)表等。若大部分存儲(chǔ)數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)量不是很大，未來不會(huì)爆炸式增長(zhǎng)，或業(yè)務(wù)人員習(xí)慣使用sql場(chǎng)景，則可優(yōu)先考慮使用mpp數(shù)據(jù)庫。（3）mppdb+hadoop混合架構(gòu)是未來海量數(shù)據(jù)處理發(fā)展趨勢(shì)。用mpp處理pb級(jí)結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)與查詢，提供完整的sql與事務(wù)支持功能。用hadoop處理半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，提供靈活的自定義模型與算法開發(fā)能力，同時(shí)滿足多種數(shù)據(jù)類型處理需求，并在實(shí)時(shí)查詢與離線分析上都能提供較高性能，但mppdb+hadoo

22、p混合架構(gòu)開發(fā)與維護(hù)成本可能較高。一個(gè)典型的混合架構(gòu)如圖5所示。4 結(jié)語在數(shù)據(jù)爆炸時(shí)代，傳統(tǒng)的數(shù)據(jù)庫架構(gòu)處理系統(tǒng)已經(jīng)不能滿足行業(yè)需要。本文從理論及應(yīng)用角度將兩種主流的海量數(shù)據(jù)處理架構(gòu)mpp和hadoop進(jìn)行對(duì)比，分析各自的技術(shù)特點(diǎn)，論述它們與傳統(tǒng)數(shù)據(jù)處理的優(yōu)勢(shì)。通過分析兩大框架底層核心技術(shù)，對(duì)其優(yōu)缺點(diǎn)進(jìn)行了歸納。hadoop對(duì)海量半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)與處理有一定優(yōu)勢(shì)，但在處理速度和易用性上不及mpp。hadoop靈活性較強(qiáng)，企業(yè)可根據(jù)自身業(yè)務(wù)特點(diǎn)進(jìn)行定制開發(fā)。mpp優(yōu)勢(shì)在海量結(jié)構(gòu)化數(shù)據(jù)處理、響應(yīng)性能和衍生工具等方面，適用于查詢業(yè)務(wù)場(chǎng)景較多的項(xiàng)目。隨著hadoop 生態(tài)圈的不斷發(fā)展，如ha

23、doop 的sql 性能提升、bi工具的不斷豐富， mpp 技術(shù)發(fā)展會(huì)向hadoop 靠攏。基于mpp 與hadoop框架并結(jié)合spark內(nèi)存計(jì)算、流計(jì)算等技術(shù)的混合架構(gòu)平臺(tái)，會(huì)成為大型數(shù)據(jù)處理項(xiàng)目的理想選擇。參考文獻(xiàn)：1 羅遠(yuǎn)浩. mpp數(shù)據(jù)倉庫的架構(gòu)及加載技術(shù)優(yōu)化研究d. 北京：中國(guó)科學(xué)院大學(xué)，2017.2 郝樹魁. hadoop hdfs和mapreduce架構(gòu)淺析j. 郵電設(shè)計(jì)技術(shù)，2012，11（7）：37-42.3 田雯，劉倩，孫紅恩. mpp數(shù)據(jù)庫在中國(guó)移動(dòng)大數(shù)據(jù)應(yīng)用中的前景分析j. 電信工程技術(shù)與標(biāo)準(zhǔn)化，2017，30（3）：87-91.4 許吳環(huán)，顧瀟華. 大數(shù)據(jù)處理平臺(tái)比較

24、研究j. 軟件導(dǎo)刊，2017，16（4）：212-214.5 陳吉榮，樂嘉錦. 基于hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述j. 計(jì)算機(jī)工程與科學(xué)，2013，35（10）：25-35.6 曹恒瑞，曹展碩. 一種基于hadoop平臺(tái)的分布式數(shù)據(jù)檢索系統(tǒng)j. 軟件導(dǎo)刊，2017，16（4）：118-120.7 ma s，wang h，xu b，et al. banking comprehensive risk management system based on big data architecture of hybrid processing engines and databasesc. ieee sma