基礎(chǔ)架構(gòu)pingcapthe architectural evolution of tidb數(shù)據(jù)庫分布式系統(tǒng)開源軟件與社區(qū)等領(lǐng)域

About 者，TiDBTiKV產(chǎn) pute執(zhí)行引擎研發(fā):AgendaWhat’sTiDBTheWaytoTiDBFutureWorkWhat’sTiDBWhat’sTiDBTiDB：全新一棧式HTAP數(shù)據(jù)MySQL5.7協(xié)議MySQL生1500+企業(yè)互聯(lián)10+銀行與

獨(dú)角獸企業(yè)80%單個集群1000+節(jié)

OLTP規(guī)?；念^部用面向零售高增

面向金融敏

彈性高擴(kuò)展，TiDBonK8s隨時

SQL節(jié)節(jié)TheWaytoTiDB5.0TiDBDBA熬夜的日子出設(shè)計(jì) 樂觀事務(wù)：中間的DML語 查鎖，Commit時再檢查 TiDB新特性漫談：悲觀事 出一個TiKV負(fù)責(zé)死鎖檢場景一：線上SQL忽然執(zhí)行計(jì)劃變了 SQL

ASTn

DistSQL TiDBCop Cop Cop

需要改SQL：增加SQLHintTiDBv1.0v5.0不需要修改業(yè)務(wù)SQLBinding（TiDB不想一條條加：SPM（TiDBSQLSQLExecute Cost-baseExecute Exists?

Yes

nin

YesNoExecute

NonQueuenforKnownn降低犯錯的概率：引入SkylinePruning裁剪不優(yōu)索引，引 hashstep1:fetch

step2:dispatchindexlookuptaskstotableworkersandmainthreadstep3:fetchindexlookup

step4:fetch

step5:notifymainthreadthatthelookuptaskisfinished

main:fetchanindexlookuptask,waitittobeAsyncCommit（TiDBv5.0）：2PC1PC聚簇索引（TiDBv5.0）：減少回表次數(shù)，讓查詢時間CREATETABLE`user``id`varchar(20)NOT`name`varchar(20)DEFAULTNULL,PRIMARYKEY(`id`)CLUSTERED

)SELECT*FROMWHEREid>ANDid<

'123'<id<

'123'<id<CoprocessorCache（TiDBv5.0）：減少下推的計(jì)算量，降低重復(fù)查詢的延TiDB

DistSQLCoprCache

TiKV

TiKV

TiKV TiDB有哪 MVCCGRocksDBCompactionRegionSchedulingyzeUpdateGlobal MVCCGCinCompactionRocksDB’sIORateAvoidredundantregionrebalancecausedbyemptyTiDB5.0SysbenchTiDB5.0TPC-TheWaytoTiDB讓我們HTAP的發(fā)TiSparkgRPC

SparkSparkretrieveSparkSpark

gRPCSparkSpark

Spark 在TiKVSparkSpark做分析 DistributedStorageTiSpark是否就足夠用戶在很多場合下需要高并發(fā)中小規(guī)模APTiKV這樣的行 分析場景需要的性TiKV上 業(yè)務(wù)時跑OLAP負(fù)載，沒有資 簡直是TiKV

SparkCluster

StoreRegionStoreRegionRegionRegionRegionStoreRegionRegionRegionRegionRegionRegionRegionRegionTiFlashExtensionCluster TiKVClusterRaftLearner-SyncTiKVRegion

TiFlash TiKVRegion

TiKVRegion

TiFlash以RaftLearner方式接入Multi-Raft組，使用異步方式傳輸數(shù)據(jù)，TiKV產(chǎn)生非TiFlash時，會被從行格式拆RaftLearner-ReadRaftLeader4 數(shù)據(jù)時，TiFlash發(fā)送Raft索引

Raft3RaftLearner-ReadRaftLeader4 時，TiFlash才提供

Raft4列存改造后的

KVKVRaftMulti-RaftMulti-RaftRawKV,RaftSchemalessRawKV,RaftTiSpark作為唯一分布式計(jì)缺少中規(guī)?？焖俨樵兟灾氐哪Ｐ停∕R模型）-仍需要MPP寫入需要通TiKV大批量寫入速度吞吐不副本必須先以行存方式寫入再同步為TiFlashTiFlashNodeTiFlashNodeTiFlashNodeMPPEngineTiDB-ServerTiKVClusterTiKVNodeTiKVNodeTiKVNodeOLAPApplicationsOLTPApplicationsInMPPTiDB-ServerestheTiDB-MakingHTAPrealbyMPPfirstUser

TiKVNodeTPTiKVNodeTiFlashiscomputing/storagecombinedfornow.ItformsMPPclusterinAP

SegmentTiFlashNode

TiFlashNode TiFlashNodeMPPWorker

MPP

MPPWorkerMPPTiDB架構(gòu)演OLTPScale

TiDBTiDB1.0~OLTPTiDB1.0~TiDB+TiSpark解決復(fù)OLAP

TiDBOLTPScale+輕HTAPTiDB+

TiDBOLTPScale+HTAPTiDB+TiFlash具備HTAP能力的分布式FutureWorkFutureWorkOLTPScaleBigClusternMemoryManagement&QueryPerformanceG