jfrog-企業(yè)落地devops方法和實(shí)踐

主講人介紹JFrog中國首席架構(gòu)師（11年研發(fā)老兵，曾就職IBM、HPE、愛奇藝）?主導(dǎo)了J

F

r

o

g國內(nèi)大型客戶的包管理平臺主導(dǎo)HPE

Cloud云平臺的架構(gòu)和研發(fā)主導(dǎo)

Rational

生命周期管理平臺的開發(fā)Info

Q

特約社區(qū)編輯，文章多次

在InfoQ，DBAPlus，高效運(yùn)維，Docker社區(qū)等技術(shù)社區(qū)GIAC全球架構(gòu)師大會金牌講師Dev

Ops

國際

金牌講師日程DevOps？方法為什么要DevOpsQ&A強(qiáng)依賴

IT系統(tǒng)的非IT企業(yè)非互聯(lián)網(wǎng)企業(yè)遇到的發(fā)布頻率低巨石應(yīng)用的更新速度無法跟上市場變化發(fā)布難依賴手工發(fā)布，錯誤質(zhì)量差?CICD流程不標(biāo)準(zhǔn)，導(dǎo)致質(zhì)量不可控信息孤島煙囪式CICD工具鏈D

e

v

O

p

s從何而來Patrick

Debois

2009

年DevOpsDays

大會中形成：DevOps集文化理念、實(shí)踐和工具于一身，可以提高企業(yè)高速交付應(yīng)用程序和服務(wù)的能力，與使用傳統(tǒng)

開發(fā)和基礎(chǔ)設(shè)施管理流程相比，能夠幫助企業(yè)更快地發(fā)展和改進(jìn)產(chǎn)品。D

e

v

O

p

s的發(fā)展趨勢D

e

v

O

p

s的收益D

e

v

O

p

s會得到什么收益？實(shí)現(xiàn)100%自動化發(fā)布部署頻率加快6倍部署時間縮短63%部署成本降低每年節(jié)省40日程DevOps？方法為什么要DevOpsQ&A持續(xù)交付過程中浪費(fèi)的時間需求拆分應(yīng)用架構(gòu)…準(zhǔn)備/測試環(huán)境…制品管理部署文檔…配置環(huán)境人工部署…持續(xù)安全

安全需求設(shè)計:n

TFS

/

ALM

Octane安全靜態(tài)掃描分析n

Sonarcube

&

Fortify掃描分析n

JFrog

Xray

&

BlackDuck

&

WebInspect

&

AppScan掃描分析n

AppDefender&

JFrog

Xray持續(xù)協(xié)作Software

Tools:n

UFTn

AppScann

JFrog

Xraynn

Jmeter

/

LoadRunner

n

Selenium

/

Appnium

n

TestLink持續(xù)計劃&定義需求管理項(xiàng)目管理發(fā)布管理資源管理消耗管理缺陷管理敏捷過程管理架構(gòu)設(shè)計安全設(shè)計測試計劃項(xiàng)目經(jīng)理持續(xù)集成前后端開發(fā)需求和代碼關(guān)聯(lián)缺陷和代碼關(guān)聯(lián)代碼單元測試覆蓋率代碼靜態(tài)掃描構(gòu)建/打包自動化測試代碼評審容器鏡像構(gòu)建制品庫管理質(zhì)量元數(shù)據(jù)收集持續(xù)發(fā)布虛擬機(jī)發(fā)布容器發(fā)布CMDB自動化發(fā)布工具Software

Tools:OpenStackDocker

/

Kubernetes

/

OpenshiftDevice42JenkinsAnsible

/

Chef

/Puppet持續(xù)運(yùn)維自動擴(kuò)容/縮容故障自愈?服務(wù)治理藍(lán)綠發(fā)布日志分析告警Software

Tools:Kubernetes

/

OpenshiftZabbixSpring

CloudELKSpinnakerPrometheusGrafanaIstio持續(xù)測試測試功能性測試安全

測試開源組件接口測試集成測試性能測試UI自動化測試Software

Tools:In

liJ,

Eclipse,

VSGitlab

/

SVNSonarCube/FortifyJenkinsArtifactoryGerritJunit

/

TestNGSoftware

Tools:Jira/禪道ConfluenceVisoAxureTFS/RTC/PolarionJira

Zephyr

/

TestLink發(fā)布速度KPI發(fā)布質(zhì)量KPI研發(fā)生產(chǎn)力KPI安全KPISoftware

Toolsn

Grafana/

Hygieia

/

Artifactory

metadata持續(xù)評估項(xiàng)目管理協(xié)作工具故障告警機(jī)器人代碼提交機(jī)器人自動化部署機(jī)器人Software

Toolsn

DialogFlow

/

Slack

/

HipChat企業(yè)級DevOps知識體系產(chǎn)品經(jīng)理業(yè)務(wù)部門架構(gòu)師測試團(tuán)隊(duì)開發(fā)測試運(yùn)維Dev

EnvFTSITUATProd運(yùn)維需求設(shè)計發(fā)布項(xiàng)目管理GitlabConfluenceJira微服務(wù)服注務(wù)冊組與件發(fā)化現(xiàn)Restful熔斷器FlywayDbSpring

Cloud

ConfigConsulSpring

BootSpring

Cloud持續(xù)集成精

益

思

想構(gòu)建

測試持續(xù)部署持續(xù)運(yùn)維策略需變?nèi)钡椒ㄇ蟾荽夹g(shù)管管管管理

理

理

理工具過程管理持續(xù)反饋服配版自單功倉自容配監(jiān)日容故運(yùn)漏務(wù)置本動元能庫動器置控志量障營洞治管控構(gòu)測測管部集編安分規(guī)恢反法理

理制建試試?yán)硎鹑号湃鰟潖?fù)饋務(wù)協(xié)作通知Service

MeshGrafanaPrometheusELKHygieiaSlackXRayDevOps 門戶&可視化一期計劃兩期計劃DevOps建設(shè)的目標(biāo)（示例）ApolloAnsibleKubernetesArtifactoryOpenshiftJenkinsSeleniumJUnitTestLinkTestNG項(xiàng)目管理–敏捷至精益敏捷模式->項(xiàng)目開發(fā)從瀑布式開發(fā)（項(xiàng)目開發(fā)模式->產(chǎn)品開發(fā)模式）需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化需求管理–Jira/禪道需求條目化管理需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化架構(gòu)管理

–巨石應(yīng)用

微服務(wù)巨石應(yīng)用痛點(diǎn)：項(xiàng)目變大后部署，

難即使細(xì)微的變更也需要全量發(fā)布模塊緊耦合，無法獨(dú)立上線開發(fā)框架，語言單一，難以接觸新的技術(shù)棧和框架需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化架構(gòu)管理

–巨石應(yīng)用

微服務(wù)Martin

Fowler:Strangler絞殺者模式

/bliki/StranglerApplication.html需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化架構(gòu)管理

–巨石應(yīng)用

微服務(wù)數(shù)據(jù)庫拆分Source

from:Thoughtworks’s

blog需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化組織架構(gòu)管理（Netflix）扁平化敏捷團(tuán)隊(duì)（2Pizza）自運(yùn)維區(qū)分關(guān)注點(diǎn)架構(gòu)管理–功能開關(guān)原理https:/bliki/FeatureToggle.html種類需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化持續(xù)交付流水線元數(shù)據(jù)管理需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化持續(xù)交付流水線管理-Jira和Jenkins集成Jira創(chuàng)建任務(wù)Git–Git

commit

–m

“#JIRA-101

add

fix

for

login

form”ChangeSets

in

Jenkins需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化持續(xù)交付流水線管理–集中管理流水線分散式管理集中式管理ING荷蘭國際需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化持續(xù)交付流水線管理–ING荷蘭國際需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化支持了500種應(yīng)用交付TTM

小于6周減少50%的線上發(fā)布事故發(fā)布次數(shù)12,000次/月持續(xù)交付流水線管理–管理流水收益需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化制品管理問題：不同團(tuán)隊(duì)各自或FTP，不能，沒有接口開發(fā)團(tuán)隊(duì)GitlabJenkinsMaven庫Nexus開發(fā)團(tuán)隊(duì)GitlabJenkins開發(fā)團(tuán)隊(duì)GitlabJenkins開發(fā)團(tuán)隊(duì)SVNJenkins開發(fā)團(tuán)隊(duì)GitlabJenkins開發(fā)團(tuán)隊(duì)SVNJenkins開發(fā)團(tuán)隊(duì)GitlabJenkins開發(fā)團(tuán)隊(duì)SVNBambooDocker庫DockerRegistryNPM庫NPMC#,.Net庫Nuget開發(fā)團(tuán)隊(duì)SVNMSbuild開發(fā)團(tuán)隊(duì)GitlabJenkinsFTP/SVNAnsibleKubernetesS發(fā)布流程制品庫管理容易宕機(jī)不支持高可用工具碎片化不支持多地不支持容災(zāi)需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化制品管理–管理需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化開發(fā)團(tuán)隊(duì)Gitlab開發(fā)團(tuán)隊(duì)Gitlab開發(fā)團(tuán)隊(duì)Gitlab開發(fā)團(tuán)隊(duì)SVN開發(fā)團(tuán)隊(duì)Gitlab開發(fā)團(tuán)隊(duì)SVN開發(fā)團(tuán)隊(duì)Gitlab開發(fā)團(tuán)隊(duì)SVN開發(fā)團(tuán)隊(duì)SVN開發(fā)團(tuán)隊(duì)GitlabS制品庫管理管理發(fā)布流程0宕機(jī)高可用工具異地一鍵容災(zāi)持續(xù)集成，自動化測試制品管理需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化制品管理-記錄發(fā)布元數(shù)據(jù)需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化測試管理

– 質(zhì)量關(guān)卡第

開源組件掃描通過率靜態(tài)代碼覆蓋率部署頻率發(fā)布時長QA驗(yàn)證時長部署成功率需求覆蓋率功能的使用頻率反饋故障修復(fù)時間部署機(jī)器信息配置信息CapitalOne

銀行需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化發(fā)布管理-基于元數(shù)據(jù)的部署將部署信息可視化我要部署的

如何實(shí)現(xiàn)？含了什么需求？從Ar

t

i

f

a

c

t

o

r

y獲取所有的關(guān)聯(lián)文件的元數(shù)據(jù)遍歷每個文件元數(shù)據(jù)的信息聚合，并生成可視化文件關(guān)聯(lián)圖

譜。12345需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化配置管理

–

復(fù)雜配置管理

Artifactory

+

Ivy應(yīng)用配置文件描述依賴信息Ivy

描述C++依賴進(jìn)行

部署需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化Dev

Repo

1PreFlightDev

Repo

nSynchronous

Dev

InitiatedPromotion

–

TaggingSynchronous

Dev

InitiatedPromotion

–

TaggingAsynchronous

RM

Initiated

Promotion

–

StagesMultiple

Times

a

DayMultiple

Times

a

DayBuildPublish

to

ArtifactoryCheckinCodeBuildPublish

to

ArtifactoryCheckin

CodeContinuous

Builds

in

HudsonSCMPreProdSCM發(fā)布管理–多團(tuán)隊(duì)協(xié)作模型需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化發(fā)布管理-讓機(jī)器自動化找到部署包Art

i

f

a

ct

or

y

AQL/

C

LIAn

sible

Pla

ybook需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化發(fā)布管理

-

網(wǎng)絡(luò)

下發(fā)布國內(nèi)某商業(yè)銀行案例對接

系統(tǒng)自動化推送到生產(chǎn)環(huán)境，無需人工拷貝權(quán)限可控掃描需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化交付管理?多地二進(jìn)制倉庫高可用容災(zāi)備份發(fā)布管理-某商業(yè)銀行發(fā)布管理案例需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化發(fā)布管理–騰訊的流水線需求管理開發(fā)持續(xù)集成制品管理自動化測試發(fā)布管理容器化Dynamic

control

over

your

application’s

deployment●Helmis

the

package

manager

for

Kubernetes.Like

‘yum’

for

CentOS/RedHatYour

whole

application

described

in

a

singlepackage

-

helm

chart

(template

yamls)Default

configuration

values

(values.yaml)Single

version

fo