售前元曜元曜集算器

1、元曜集算器元曜集算器是什么集算器一種程序設(shè)計(jì)語(yǔ)言專(zhuān)注于（半）結(jié)構(gòu)化數(shù)據(jù)計(jì)算與處理面向應(yīng)用程序員和數(shù)據(jù)分析員適合業(yè)務(wù)規(guī)則復(fù)雜的多步驟運(yùn)算支持并行集群大數(shù)據(jù)計(jì)算超越SQL,Java,Perl/Python,R的開(kāi)發(fā)效率業(yè)務(wù)復(fù)雜性數(shù)據(jù)多樣性容量和性能為什么需要元曜集算器容量和性能數(shù)據(jù)多樣性業(yè)務(wù)復(fù)雜性復(fù)雜業(yè)務(wù)邏輯到程序代碼的轉(zhuǎn)換耗時(shí)長(zhǎng)，對(duì)人員要求高敏捷語(yǔ)法及內(nèi)置數(shù)據(jù)對(duì)象降低算法實(shí)現(xiàn)復(fù)雜度，開(kāi)發(fā)效率超越其它語(yǔ)言（SQL,java,perl/python,R）異構(gòu)數(shù)據(jù)庫(kù)，文件，HDFS，NOSQL，結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)，無(wú)法利用數(shù)據(jù)庫(kù)計(jì)算能力完備的自有計(jì)算能力支持各類(lèi)數(shù)據(jù)源的混合計(jì)算數(shù)據(jù)量大，并發(fā)多，數(shù)據(jù)

2、庫(kù)IO吞吐率不足內(nèi)存計(jì)算、并行集群、外置數(shù)據(jù)提高整體性能元曜集算器的優(yōu)勢(shì)敏捷語(yǔ)法與內(nèi)置數(shù)據(jù)對(duì)象1偽實(shí)代碼比例約1:1.5，遠(yuǎn)超Java等高級(jí)語(yǔ)言多樣性數(shù)據(jù)支持2SQL,NOSQL,HDFS,TXT,XLS,JSON,XML,并行大數(shù)據(jù)計(jì)算3支持TB級(jí)數(shù)據(jù)計(jì)算，支持廉價(jià)PC集群高性能4接近甚至超過(guò)關(guān)系數(shù)據(jù)庫(kù)，數(shù)倍于HIVE方案優(yōu)秀的集成性5標(biāo)準(zhǔn)JDBC接口，無(wú)縫嵌入應(yīng)用程序目錄3結(jié)構(gòu)與應(yīng)用模式2高性能并行計(jì)算4對(duì)比技術(shù)與理解1高效的開(kāi)發(fā)工具敏捷語(yǔ)法體系某支股票最長(zhǎng)連續(xù)漲了多少交易日1select max(連續(xù)日數(shù))2from (select count(*) 連續(xù)日數(shù)3from (select

3、sum(漲跌標(biāo)志) over(order by 交易日) 不漲日數(shù)4from (select 交易日,5case when 收盤(pán)價(jià)lag(收盤(pán)價(jià)) over(order by 交易日)6then 0 else 1 end 漲跌標(biāo)志7from 股價(jià)表) )8group by 不漲日數(shù))SQLA1=股價(jià)表.sort(交易日)2=03=A1.max(A2=if(收盤(pán)價(jià)收盤(pán)價(jià)-1,A2+1,0)集算腳本思考：按照自然思維怎么做？元曜集算器快速完成從商業(yè)邏輯到程序代碼的轉(zhuǎn)換基于自然思維過(guò)程書(shū)寫(xiě)成代碼，無(wú)須更換思路完成同樣計(jì)算比JAVA和SQL短數(shù)倍網(wǎng)格代碼天然分步、層次清晰、直接引用單元格名無(wú)需定義變量

4、與一般文本式代碼不同，元曜集算器的代碼寫(xiě)在網(wǎng)格中豐富的函數(shù)庫(kù)分組、循環(huán)排序、過(guò)濾集合運(yùn)算有序集合特別針對(duì)二維結(jié)構(gòu)化數(shù)據(jù)表設(shè)計(jì)易于開(kāi)發(fā)調(diào)試執(zhí)行、調(diào)試執(zhí)行、單步執(zhí)行設(shè)置斷點(diǎn)網(wǎng)格結(jié)果所見(jiàn)即所得，易于調(diào)試；方便引用中間結(jié)果語(yǔ)法簡(jiǎn)單，符合自然思維，比SQL和Java更簡(jiǎn)單多樣性數(shù)據(jù)支持SQL DBFile/HDFSNoSQL DB元曜集算器各種關(guān)系數(shù)據(jù)庫(kù)MongoDB,Cassandra等NoSQL數(shù)據(jù)庫(kù)文件計(jì)算，常見(jiàn)文本格式無(wú)縫訪問(wèn)HDFS結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)回寫(xiě)到DB和FileSQL對(duì)比計(jì)算每個(gè)月的銷(xiāo)售額都在前10名的客戶select Client from( select * from( se

5、lect B.*,row_number() over(partition by month order by SumValue desc) rown from( select to_char(SellDate,mm) month,Client,sum(Quantity*Amount) SumValue from contract where SellDate=to_date(2012-01-01,yyyy-mm-dd) and SellDate=to_date(2012-12-31,yyyy-mm-dd) group by to_char(SellDate,mm),Client order b

6、y month,client ) B )C where rown=to_date(2012-01-01,yyyy-mm-dd) and SellDate=1.1 AND lag(rising_range) OVER(PARTITION BY salesMan ORDER BY month)=1.1 AND lag(rising_range,2) OVER(PARTITION BY salesMan ORDER BY month)=1.1 THEN 1 ELSE 0 END is_three_consecutive_month FROM A) SELECT DISTINCT salesMan F

7、ROM B WHERE is_three_consecutive_month=1SQL：沒(méi)有集合數(shù)據(jù)類(lèi)型，相關(guān)的計(jì)算要通過(guò)復(fù)雜的子查詢(xún)實(shí)現(xiàn)元曜集算器： 支持顯式集合，提供針對(duì)數(shù)據(jù)庫(kù)復(fù)雜計(jì)算的相對(duì)位置、序號(hào)引用、分組后計(jì)算等功能，可以極大的簡(jiǎn)化計(jì)算步驟SQL對(duì)比每個(gè)銷(xiāo)售員每個(gè)月比上個(gè)月的合同額的增長(zhǎng)率with A as( select actualSale,Quantity*Amount sales,sellDate from contract),B as( select actualSale,TO_NUMBER(to_char(SellDate,yyyy) year, TO_NUMBER(to

8、_char(SellDate,mm) month, sum(sales) salesMonth from A group by actualSale,TO_NUMBER(to_char(SellDate,yyyy) , TO_NUMBER(to_char(SellDate,mm) order by actualSale,year,month),C as( select actualSale,year, month, salesMonth, lag(salesMonth,1,0) over(order by actualSale,year,month) prev_salesMonth, lag(

9、actualSale,1,0) over(order by actualSale) prev_actualSale from B)select actualSale,prev_actualSale,year, month, (case when prev_salesMonth!=0 and actualSale=prev_actualSale then (salesMonth/prev_salesMonth)-1) else 0 end)LRR from C SQL：數(shù)據(jù)無(wú)序。只能用復(fù)雜的腳本間接實(shí)現(xiàn)有序計(jì)算元曜集算器：徹底支持有序計(jì)算，輕松解決和順序有關(guān)的難題?？梢苑奖愕剡M(jìn)行排序、排名、取前

10、幾名，比上期、同期比等運(yùn)算目錄13高效的開(kāi)發(fā)工具結(jié)構(gòu)與應(yīng)用模式2高性能并行計(jì)算4對(duì)比技術(shù)與理解并行物理結(jié)構(gòu)單節(jié)點(diǎn)多線程并行無(wú)中心多節(jié)點(diǎn)并行充分利用多CPU核，適應(yīng)硬件擴(kuò)容(Scale-up)天然避免單點(diǎn)失效，易于橫向擴(kuò)展(Scale-out)并行邏輯過(guò)程sub.dfxsub.dfxsub.dfxmain.dfxDB/DWHDFSLocal File智能資源分配可控任務(wù)分配程序員指定節(jié)點(diǎn)使用范圍有效利用資源并實(shí)施優(yōu)化策略節(jié)點(diǎn)選擇與容錯(cuò)在指定范圍內(nèi)尋找最閑的可用節(jié)點(diǎn)發(fā)生錯(cuò)誤后會(huì)自動(dòng)更換可用節(jié)點(diǎn)支持冗余數(shù)據(jù)提高可靠性及穩(wěn)定性能數(shù)據(jù)共享與交換節(jié)點(diǎn)內(nèi)數(shù)據(jù)共享多線程共享全程常量和歸并目標(biāo)私有任務(wù)空間避免并

11、發(fā)任務(wù)沖突節(jié)點(diǎn)間數(shù)據(jù)交換小結(jié)果集可以直接內(nèi)存交換大結(jié)果集支持外存文件緩存根據(jù)任務(wù)特點(diǎn)平衡容錯(cuò)與性能并發(fā)小任務(wù)采用內(nèi)存獲得高性能單獨(dú)大任務(wù)采用外存得到可靠性并行舉例 多線程分組AB1=”/usr/data/sales.txt”/銷(xiāo)售記錄文件24/任務(wù)數(shù)3=file(A1).cursorpt()4=callx(“sub.dfx”,A2*A3)/使用集合參數(shù)調(diào)用子程序5=A4.merge(e_id).groupso(e_id;sum(amount):amount)/歸并后再匯總AB1=cs.groups(e_id;sum(amount):amount)/分組匯總2result A1/返回結(jié)果集直接返

12、回內(nèi)存小結(jié)果集main.dfxsub.dfxAB1=”/usr/data/sales.txt”/銷(xiāo)售記錄文件24/任務(wù)數(shù)3=file(A1).cursorpt()4=callx(“sub.dfx”,A2*A3)/使用集合參數(shù)調(diào)用子程序5=A4.merge(e_id).groupso(e_id;sum(amount):amount)/歸并后再匯總并行舉例 多機(jī)排序AB1=4.(”/usr/data/sales”+string()+”.txt”)/銷(xiāo)售記錄文件組2=callxa(“sub.dfx”,A1;“01:281”,”02:281”,”192.16

13、8.1.203:281”,”04:281”)/使用集合參數(shù)調(diào)用子程序3=A2.mergex(-amount)/歸并成新游標(biāo)4=file(“/usr/data/result.txt”).exportt(A3)/寫(xiě)入結(jié)果文件AB1=file(filename).cursorpt()/產(chǎn)生游標(biāo)2=A1.sortx(-amount)/排序產(chǎn)生新游標(biāo)3result A2/返回結(jié)果使用游標(biāo)返回外存大結(jié)果集main.dfxsub.dfxAB1=4.(”/usr/data/sales”+string()+”.txt”)/銷(xiāo)售記錄文件組2=callxa(“sub.dfx”,A1;“192.

14、168.1.201:281”,”02:281”,”03:281”,”04:281”)/使用集合參數(shù)調(diào)用子程序3=A2.mergex(-amount)/歸并成新游標(biāo)4=file(“/usr/data/result.txt”).exportt(A3)/寫(xiě)入結(jié)果文件并行舉例 多機(jī)連接AB1hdfs:/00/data/sales.txt/銷(xiāo)售記錄文件2hdfs:/00/data/product.txt/產(chǎn)品信息表3“01:281”,”02:281”/

15、節(jié)點(diǎn)機(jī)48/任務(wù)數(shù)5callxa(“l(fā)oad.dfx”,A2;A3)/節(jié)點(diǎn)機(jī)讀入產(chǎn)品信息表6=file(A1).size()/文件大小7=A4.(long(A6*)/A4)/分塊結(jié)束位置8=0|A7.to(,A4-1)/分塊起始位置9=callx(“sub.dfx”,A1,A8,A7;A3)/使用集合參數(shù)調(diào)用子程序連接并分組10=A9.merge(type).groupso(type;sum(amount):amount)/歸并成新游標(biāo)AB1=file(filename).cursorpt(;”,”,start:end)/根據(jù)參數(shù)產(chǎn)生游標(biāo)2=A1.switch(prod,prod)/連接到產(chǎn)品

16、表3=A2.groups(prod.type:type;sum(amount):amount)/使用連接結(jié)果分組并匯總4result A3/返回結(jié)果AB1=file(filename).importpt()/加載產(chǎn)品表2prod=A1.primary(p_id).index()/生成索引3result 0main.dfxload.dfxsub.dfx性能測(cè)試數(shù)據(jù) 單機(jī)分組硬件Dell Power Edge T610, CPU Intel Xeon E5620*2, RAM 20G, HDD Raid5 1T軟件CentOS 6.4, JDK 1.6, Oracle 11g,元曜集算服務(wù)器 3.

17、1數(shù)據(jù)100 columns,69M rows,80GORACLE性能超過(guò)單線程元曜集算器，其并行選項(xiàng)在大數(shù)據(jù)量時(shí)無(wú)效借助并行計(jì)算，元曜集算器的運(yùn)算性能已經(jīng)達(dá)到甚至超過(guò)ORACLE元曜集算器還可以使用列存方式存儲(chǔ)數(shù)據(jù)，在并行支持下將獲得數(shù)量級(jí)的性能提高單位：秒性能測(cè)試數(shù)據(jù) 單機(jī)連接硬件Dell Power Edge T610, CPU Intel Xeon E5620*2, RAM 20G, HDD Raid5 1T軟件CentOS 6.4, JDK 1.6, Oracle11g, 元曜集算服務(wù)器 3.1數(shù)據(jù)T: 100 columns,69M rows,80G;D: 100 columns,

18、10M rows,12.7G運(yùn)算形式復(fù)雜化后，并行后的元曜集算器的性能優(yōu)勢(shì)更為明顯，在單機(jī)使用多線程已超過(guò)ORACLE單位：秒 性能測(cè)試數(shù)據(jù) 集群分組硬件4 PCs, CPU Intel Core i5 2500, RAM 16G, HDD 2T/7200rpm, LAN 1000M軟件CentOS 6.4, JDK 1.6, CDH5.0beta, 元曜集算服務(wù)器 3.1, 數(shù)據(jù)106 columns,60M rows, 127.9G由于元曜集算器可采用內(nèi)存交換數(shù)據(jù)，表現(xiàn)優(yōu)于同樣采用內(nèi)存機(jī)制的Impala元曜集算器可采用比HDFS更有效的外存方案，比基于MapReduce的Hive有更好的性

19、能單位：秒性能測(cè)試數(shù)據(jù) 集群連接硬件4 PCs, CPU Intel Core i5 2500, RAM 16G, HDD 2T/7200rpm, LAN 1000M軟件CentOS 6.4, JDK 1.6, CDH5.0beta, 元曜集算服務(wù)器 3.1, 數(shù)據(jù)T: 106 columns, 60M rows, 127.G D: 102 columns, 10M rows, 6.8G計(jì)算強(qiáng)度加大后，可能是Impala的本地化代碼機(jī)制開(kāi)始起作用，與解釋執(zhí)行的元曜集算器之間縮小了差距但對(duì)于同樣解釋執(zhí)行的Hive，差距則更大了單位：秒目錄1高效的開(kāi)發(fā)工具2高性能并行計(jì)算3結(jié)構(gòu)與應(yīng)用模式4對(duì)比技術(shù)

20、與理解產(chǎn)品構(gòu)成IDEServerCommand LineJDBC為應(yīng)用程序提供調(diào)用接口命令行，可配置定時(shí)任務(wù)獨(dú)立的計(jì)算服務(wù)器，無(wú)需應(yīng)用服務(wù)器集成開(kāi)發(fā)環(huán)境，獨(dú)立使用集算器純JAVA產(chǎn)品跨平臺(tái)易于集成部署開(kāi)放性集成性獨(dú)立應(yīng)用模式IDEDB/DWHDFSLocal File數(shù)據(jù)源Command Line典型應(yīng)用場(chǎng)景：交互數(shù)據(jù)分析、離線數(shù)據(jù)處理集成應(yīng)用模式DB/DWHDFSLocal File數(shù)據(jù)源JDBC應(yīng)用程序?yàn)g覽器典型應(yīng)用場(chǎng)景：報(bào)表數(shù)據(jù)源準(zhǔn)備JDBC使用/建立連接Class.forName(com.esproc.jdbc.InternalDriver);con= DriverManager.ge

21、tConnection(jdbc:esproc:local:/);/調(diào)用存儲(chǔ)過(guò)程，其中dfxName是dfx的文件名st =( com. esproc.jdbc.InternalCStatement)con.prepareCall(call dfxName(?);/設(shè)置參數(shù)st.setObject(1,3);/執(zhí)行存儲(chǔ)過(guò)程st.execute();/獲取結(jié)果集ResultSet set = st.getResultSet();/類(lèi)似存儲(chǔ)過(guò)程的調(diào)用方式用作報(bào)表工具的數(shù)據(jù)源集算腳本BIRTcom.esproc.jdbc.InternalDriver集群應(yīng)用模式Server1Server2Serve

22、r3服務(wù)器HDFSLocal File數(shù)據(jù)源JDBC應(yīng)用程序?yàn)g覽器典型應(yīng)用場(chǎng)景：多并發(fā)查詢(xún)報(bào)表平臺(tái)目錄1高效的開(kāi)發(fā)工具2高性能并行計(jì)算4對(duì)比技術(shù)與理解3結(jié)構(gòu)與應(yīng)用模式元曜集算器與程序設(shè)計(jì)語(yǔ)言元曜集算器不是面向?qū)ο笳Z(yǔ)言,沒(méi)有繼承重載概念簡(jiǎn)單易于理解，環(huán)境輕松易于上手強(qiáng)大的數(shù)據(jù)對(duì)象可應(yīng)對(duì)各類(lèi)（半）結(jié)構(gòu)化計(jì)算不能開(kāi)發(fā)完整應(yīng)用，只處理計(jì)算環(huán)節(jié)元曜集算器面向應(yīng)用程序員而非系統(tǒng)程序員程序員可更專(zhuān)注于業(yè)務(wù)理解而非技術(shù)實(shí)現(xiàn)不能用于開(kāi)發(fā)系統(tǒng)和工具軟件元曜集算器是用JAVA解釋執(zhí)行的動(dòng)態(tài)語(yǔ)言JAVA的集成性和開(kāi)放性+動(dòng)態(tài)語(yǔ)言的敏捷性理論上不會(huì)比JAVA性能更好，但超過(guò)其它動(dòng)態(tài)語(yǔ)言類(lèi)庫(kù)+并行使普通程序員獲得高性能元

23、曜集算器與perl/python元曜集算器與perl/python語(yǔ)言都有敏捷的語(yǔ)法體系，支持函數(shù)語(yǔ)法，有強(qiáng)大的過(guò)程控制能力，能方便地處理數(shù)據(jù)庫(kù)外的半結(jié)構(gòu)化數(shù)據(jù)perl/python缺乏針對(duì)結(jié)構(gòu)化數(shù)據(jù)的基本數(shù)據(jù)對(duì)象和類(lèi)庫(kù)，編寫(xiě)結(jié)構(gòu)化后的數(shù)據(jù)計(jì)算要比元曜集算器繁瑣得多，而這是商業(yè)計(jì)算中最常見(jiàn)的數(shù)據(jù)類(lèi)型perl/python在字串處理和系統(tǒng)控制方面的類(lèi)庫(kù)更為豐富，適合實(shí)現(xiàn)語(yǔ)法分析等專(zhuān)門(mén)算法；更適合于專(zhuān)業(yè)計(jì)算機(jī)程序人員perl/python的并行計(jì)算機(jī)制更為底層，可實(shí)現(xiàn)更深入的控制，但對(duì)程序員的要求要高得多，完成一般性的大數(shù)據(jù)并行計(jì)算遠(yuǎn)沒(méi)有元曜集算器方便簡(jiǎn)易perl/python一般是獨(dú)立使用，不用

24、于集成；元曜集算器則兩種情況都能很好支持元曜集算器與perl/python元曜集算器perl/python敏捷語(yǔ)法有有結(jié)構(gòu)化數(shù)據(jù)對(duì)象強(qiáng)弱文本分析一般強(qiáng)應(yīng)用模式獨(dú)立或集成獨(dú)立并行機(jī)制簡(jiǎn)易復(fù)雜面向人群商業(yè)應(yīng)用程序員專(zhuān)業(yè)計(jì)算機(jī)程序員元曜集算器與R語(yǔ)言元曜集算器與R語(yǔ)言都有類(lèi)似的敏捷語(yǔ)法和強(qiáng)大的集合運(yùn)算，能夠高效率地完成數(shù)據(jù)計(jì)算方面的開(kāi)發(fā)任務(wù)R語(yǔ)言為統(tǒng)計(jì)分析而設(shè)計(jì)，提供了豐富的數(shù)學(xué)函數(shù)庫(kù)，適合完成帶有復(fù)雜數(shù)學(xué)模型的算法；而元曜集算器更專(zhuān)業(yè)于結(jié)構(gòu)化數(shù)據(jù)的商業(yè)計(jì)算，數(shù)據(jù)庫(kù)類(lèi)的計(jì)算更為流暢R語(yǔ)言主要面向獨(dú)立工作的數(shù)據(jù)科學(xué)家，集成性不強(qiáng)；元曜集算器有很好的集成性，可以輕松集成到用戶的應(yīng)用程序中R語(yǔ)言的庫(kù)函數(shù)性能很好，但自編循環(huán)代碼的執(zhí)行性能非常差，比perl/python/元曜集算器（這幾個(gè)基本相當(dāng)）能差出一個(gè)數(shù)量級(jí)，對(duì)大數(shù)據(jù)量的遍歷計(jì)算缺乏實(shí)用性。R語(yǔ)言本身沒(méi)有并行機(jī)制，需要借助其它手段實(shí)現(xiàn)大數(shù)據(jù)計(jì)算，使用繁瑣；元曜集算器內(nèi)置了分布式并行計(jì)算機(jī)制，能夠直接完成大數(shù)據(jù)計(jì)算元曜集算器與R語(yǔ)言元曜集算器R語(yǔ)言敏捷語(yǔ)法與集合運(yùn)算有有應(yīng)用場(chǎng)景結(jié)構(gòu)化數(shù)據(jù)的商業(yè)計(jì)算復(fù)雜數(shù)學(xué)模型計(jì)算集成性強(qiáng)弱