微服務(wù)技術(shù)實(shí)踐分享

welcome

微服務(wù)技術(shù)實(shí)踐分享什么是微服務(wù)？2??組?小的服務(wù)?獨(dú)?的進(jìn)程?獨(dú)?的部署?輕量的通信微服務(wù)實(shí)踐分享3讓我們的系統(tǒng)盡可能快的 低成本的 響應(yīng)變化微服務(wù)實(shí)踐構(gòu)建測(cè)試部署監(jiān)控4構(gòu)建構(gòu)

建測(cè)

試部

署監(jiān)

控5微服務(wù)實(shí)踐分享6構(gòu)建微服務(wù)?Job微服務(wù)的構(gòu)建?Web微服務(wù)構(gòu)建微服務(wù)實(shí)踐分享7JOB

微服務(wù)構(gòu)建?多為內(nèi)部需求?沒(méi)有UI展現(xiàn)?后臺(tái)運(yùn)?eg：提取處理?戶(hù)數(shù)據(jù)，數(shù)據(jù)分析處理，訂單掃描處理...有兩個(gè)外部數(shù)據(jù)源A和B，A為API，可以拿到最新的?戶(hù)屬性數(shù)據(jù)，B為Datasource如S3/DB,存儲(chǔ)著?戶(hù)的操作數(shù)據(jù)。需求是：提取這兩個(gè)數(shù)據(jù)源的數(shù)據(jù)然后以天為單位來(lái)計(jì)算每天的?戶(hù)數(shù)據(jù)。微服務(wù)實(shí)踐分享JOB

微服務(wù)構(gòu)建特點(diǎn)：?service功能?而全，邏輯復(fù)雜?難于擴(kuò)展，維護(hù)性差??個(gè)邏輯失敗需要重新運(yùn)?整個(gè)job，耗時(shí)??不會(huì)保存中間數(shù)據(jù)傳統(tǒng)的單體Job8微服務(wù)實(shí)踐分享JOB

微服務(wù)構(gòu)建Job微服務(wù)架構(gòu)優(yōu)?點(diǎn)：?按照業(yè)務(wù)功能劃分，每個(gè)job只做?件事?可以獨(dú)?部署?易于擴(kuò)展功能迅速恢復(fù)?會(huì)保存中間數(shù)據(jù)9微服務(wù)實(shí)踐分享10JOB

微服務(wù)構(gòu)建Job微服務(wù)架構(gòu)出現(xiàn)的問(wèn)題?不易管理job的執(zhí)?流程?代碼重復(fù)度??數(shù)據(jù)源問(wèn)題微服務(wù)實(shí)踐分享11JOB

微服務(wù)構(gòu)建管理Job執(zhí)?流程?時(shí)間驅(qū)動(dòng)?事件驅(qū)動(dòng)微服務(wù)實(shí)踐分享JOB

微服務(wù)構(gòu)建管理Job執(zhí)?流程?

時(shí)間驅(qū)動(dòng)缺點(diǎn)：時(shí)間預(yù)估總是沒(méi)有最佳值到點(diǎn)執(zhí)??掛全掛12微服務(wù)實(shí)踐分享JOB

微服務(wù)構(gòu)建SNS/SQS/CloudWatch管理Job執(zhí)?流程?

事件驅(qū)動(dòng)13微服務(wù)實(shí)踐分享JOB

微服務(wù)構(gòu)建lambda

trigger?自動(dòng)trigger程序執(zhí)?14?省去分配資源并部署機(jī)器的?麻煩?便宜,

只需為請(qǐng)求的次數(shù)和計(jì)算的時(shí)間內(nèi)存付費(fèi)管理Job執(zhí)?流程?

事件驅(qū)動(dòng)調(diào)試?麻煩，不適合復(fù)雜邏輯,

5mins

limit微服務(wù)實(shí)踐分享15JOB

微服務(wù)構(gòu)建代碼重復(fù)?抽離出公共的組件，如gem（S3,

Log,

File

Ancestry)微服務(wù)實(shí)踐分享16JOB

微服務(wù)構(gòu)建數(shù)據(jù)源變化??選擇可靠的第三?選擇合適的提取?法（box,

SES/S3）微服務(wù)實(shí)踐分享17JOB

微服務(wù)構(gòu)建Tips:?

Job流程管理?式?抽離公共組件?根據(jù)數(shù)據(jù)源選擇服務(wù)組件微服務(wù)實(shí)踐分享18WEB

微服務(wù)構(gòu)建Web微服務(wù)的構(gòu)建需求：給客戶(hù)做?個(gè)??告管理平臺(tái)，客戶(hù)可以?成訂單，查閱訂單，并且可以查看購(gòu)買(mǎi)所有??告的?戶(hù)操作數(shù)據(jù)。微服務(wù)實(shí)踐分享WEB

微服務(wù)構(gòu)建傳統(tǒng)的單體服務(wù)：?

server功能?而全，邏輯復(fù)雜?難于擴(kuò)展，維護(hù)性差?模塊間的界限模糊，隨著項(xiàng)目有增19?改?個(gè)功能需要修改多個(gè)模塊微服務(wù)實(shí)踐分享WEB

微服務(wù)構(gòu)建微服務(wù)架構(gòu)：優(yōu)點(diǎn)：按照業(yè)務(wù)功能劃分，單獨(dú)部署易于擴(kuò)展功能20微服務(wù)實(shí)踐分享21WEB

微服務(wù)構(gòu)建出現(xiàn)的問(wèn)題：?多個(gè)service

訪問(wèn)相同的數(shù)據(jù)庫(kù)，都需要考慮到數(shù)據(jù)庫(kù)中的表結(jié)構(gòu)之間的業(yè)務(wù)關(guān)系，操作復(fù)雜?

API通信消耗微服務(wù)實(shí)踐分享WEB

微服務(wù)構(gòu)建多個(gè)service

訪問(wèn)相同的數(shù)據(jù)庫(kù)，業(yè)務(wù)邏輯重復(fù)?DBGem，簡(jiǎn)單的接?調(diào)?，不?擔(dān)?過(guò)多的表結(jié)構(gòu)業(yè)務(wù)關(guān)系?提供統(tǒng)?的API server22微服務(wù)實(shí)踐分享23WEB

微服務(wù)構(gòu)建API

通信?輕量級(jí)?粗粒度測(cè)試構(gòu)

建測(cè)

試部

署監(jiān)

控24微服務(wù)實(shí)踐分享測(cè)試系統(tǒng)的構(gòu)建25微服務(wù)實(shí)踐分享單體系統(tǒng)的測(cè)試系統(tǒng)不易拆解，使得模塊化的系統(tǒng)測(cè)試?較困難26微服務(wù)實(shí)踐分享27微服務(wù)構(gòu)建下的測(cè)試每?個(gè)微服務(wù)都是?個(gè)獨(dú)?的功能模塊。?般使?Resful?式對(duì)外暴露接?各位微服務(wù)之間的通訊?式更加多樣。微服務(wù)實(shí)踐分享微服務(wù)構(gòu)建下的測(cè)試UTCUCUMBER+

WebMockUTComponent

TestUTComponent

TestUTComponent

Test28E2E

Test少點(diǎn)什么？微服務(wù)實(shí)踐分享微服務(wù)構(gòu)建下的測(cè)試?字塔29微服務(wù)實(shí)踐分享契約測(cè)試Anintegrationcontracttestisatestattheboundaryofanexternalserviceverifyingthatitmeetsthecontractexpectedbyaconsuming

service.30微服務(wù)實(shí)踐分享契約測(cè)試的?具自?己搭使?契PAPAJ建測(cè)試Server約測(cè)試架CTCTOANUS31微服務(wù)實(shí)踐分享微服務(wù)下的測(cè)試32部署構(gòu)

建測(cè)

試部

署監(jiān)

控33微服務(wù)實(shí)踐分享持續(xù)集成(CI)構(gòu)建Job服務(wù)虛擬鏡像代碼庫(kù)獨(dú)?部署，獨(dú)?運(yùn)?34微服務(wù)實(shí)踐分享持續(xù)集成(CI)?

微服務(wù)?

單體35微服務(wù)實(shí)踐分享持續(xù)集成(CI)?

微服務(wù)CI如果是單體向微服務(wù)遷移呢？36微服務(wù)實(shí)踐分享持續(xù)集成(CI)?

遷移初期37微服務(wù)實(shí)踐分享持續(xù)集成(CI)?

穩(wěn)定期38微服務(wù)實(shí)踐分享持續(xù)集成(CI)?

成熟期39微服務(wù)實(shí)踐分享DEPLOY模式?

單主機(jī)多服務(wù)?

單主機(jī)單服務(wù)40微服務(wù)實(shí)踐分享DEPLOY模式?

單主機(jī)單服務(wù)41微服務(wù)實(shí)踐分享SERVERLESS部署?

Zip代碼?

MetaData?

上傳AWS42監(jiān)控構(gòu)

建測(cè)

試部

署監(jiān)

控43微服務(wù)實(shí)踐分享44監(jiān)控?監(jiān)控

Web

Service?監(jiān)控

Job微服務(wù)實(shí)踐分享45MICRO

SERVICE給監(jiān)控帶來(lái)的挑戰(zhàn)?

?無(wú)法得知當(dāng)前整個(gè)系統(tǒng)的運(yùn)?狀況?

當(dāng)故障發(fā)?時(shí)，?無(wú)法快速發(fā)現(xiàn)錯(cuò)誤的根源到底是哪?個(gè)service，對(duì)其他services有什么影響微服務(wù)實(shí)踐分享NEW

RELIC

-

SERVICE

MAPS46微服務(wù)實(shí)踐分享47NEW

RELIC

-

SERVICE

MAPS?

了解系統(tǒng)中各個(gè)service之間是如何連接在?起的?

快速了解當(dāng)前整個(gè)系統(tǒng)的運(yùn)?狀態(tài)?

定位故障，并評(píng)估對(duì)其他services的影響Service

maps能夠幫助我們：微服務(wù)實(shí)踐分享NEW

RELIC

-

TRANSACTION

MAP?如何查找系統(tǒng)瓶頸？48微服務(wù)實(shí)踐分享JOB

監(jiān)控

-

NEW

RELIC?

Tracingmethod?

Tracingblocksofcode49微服務(wù)實(shí)踐分享CRON

JOBS監(jiān)控

-

CRONITOR50微服務(wù)實(shí)踐分享51定制的JOB監(jiān)控?工具

-

OPSBOX不知道具體什么時(shí)間跑?Job每天都會(huì)跑?某個(gè)定點(diǎn)前?定會(huì)跑完?Job有輸出，S3上存?文件或是數(shù)據(jù)庫(kù)插數(shù)據(jù)