TIDB運(yùn)維基礎(chǔ)介紹

1、TIDB運(yùn)維基礎(chǔ)介紹運(yùn)維基礎(chǔ)介紹田帥萌田帥萌個(gè)人介紹 京東數(shù)科 高級MySQL DBA，TiDB MVA。從事多年金融領(lǐng)域數(shù)據(jù)庫。目前負(fù)責(zé)京東數(shù)據(jù)庫MySQL線上運(yùn)維，參與過京東數(shù)科618、雙11等重點(diǎn)業(yè)務(wù)保障。關(guān)注MySQL技術(shù)發(fā)展，以及TiDB的新技術(shù)研究。目錄主要介紹要講解哪幾部分第一部分：TIDB的源頭及基礎(chǔ)理論，如架構(gòu)理論第二部分：日常使用基礎(chǔ)安裝維護(hù)（部署、升級 、集群基礎(chǔ)操作、擴(kuò)縮容 、配置文件變更）常規(guī)運(yùn)維（監(jiān)控報(bào)警，統(tǒng)計(jì)信息，備份）運(yùn)維日常分析（DDL說明，慢查詢工具以慢查詢格式）第三部分：擴(kuò)展應(yīng)用支持DM同步工具binlog使用Lightning第四部分：使用注意事項(xiàng)及常見

2、問題使用限制熱點(diǎn)KEY問題慢查詢排查思路TiDB的基礎(chǔ)理論 架構(gòu)設(shè)計(jì)高度兼容MySQL、分布式事務(wù)、金融級高可用、HTAP解決方案基礎(chǔ)維護(hù)-部署 升級 集群基礎(chǔ)操作 Ansible 自動化部署 TiDB4.0版本新工具 TiOps 款部署、運(yùn)維 TiDB 的命令行工具TiDB版本升級 目前版本不支持多版本管理，在TiDB 4.0有相關(guān)工具TiUP基礎(chǔ)維護(hù)-擴(kuò)縮容 Tidb支持動態(tài)擴(kuò)縮容tidb、tikv、pd節(jié)點(diǎn) 基本上無感知，只是 tikv 節(jié)點(diǎn)擴(kuò)縮容時(shí)因?yàn)樯婕暗?region 以及 leader 的調(diào)度平衡，數(shù)據(jù)量大的情況下，可能會有些影響，但是可以通過設(shè)置 region-schdule-

3、limit 和 leader-scheduler-limit 調(diào)度參數(shù)控制調(diào)度的影響#下一步計(jì)劃，在執(zhí)行tidb擴(kuò)縮容任務(wù)時(shí)，對性能是否有影響，是否有性能抖動？ 基礎(chǔ)維護(hù)-配置文件變更TiDB配置文件修改 可以通過中控機(jī)(ansible)中，由中控機(jī)下發(fā) 配置文件路徑 /home/tidb/tidb-ansible/conf 修改配置文件，執(zhí)行更新操作，TiDB會滾動重啟，不會影響業(yè)務(wù)#注意事項(xiàng)：如果有修改過配置文件，需要修改 conf 目錄下對應(yīng)組件的配置文件常規(guī)運(yùn)維-監(jiān)控報(bào)警在安裝的過程中已經(jīng)一鍵部署了Prometheus/Grafana 監(jiān)控組件在擴(kuò)容和縮容甚至變更的時(shí)候 都有命令去更新

4、監(jiān)控信息 ansible-playbook rolling_update_monitor.yml -tags=prometheus常規(guī)運(yùn)維-統(tǒng)計(jì)信息 統(tǒng)計(jì)信息收集觸發(fā)方式，基本和MySQL類似，手動觸發(fā)和自動觸發(fā) 不過tidb的不同點(diǎn)是，可以選擇時(shí)間范圍運(yùn)行統(tǒng)計(jì)信息收集，可以在業(yè)務(wù)低峰期進(jìn)行統(tǒng)計(jì)信息收集。 手動觸發(fā)ANALYZE 語句，并發(fā)度可控常規(guī)運(yùn)維-備份目前官方推薦mydumper 和Loader #4.0推出了全局一致性備份BR工具，同時(shí)Dumpling替換了mydumper工具運(yùn)行備份時(shí)候需要設(shè)置gc超時(shí)時(shí)間，避免備份時(shí)間過長導(dǎo)致數(shù)據(jù)被回收，當(dāng)備份結(jié)束后把gc超時(shí)時(shí)間修改回來。運(yùn)維日

5、常分析-DDL說明 Tidb支持秒級加列和刪列，支持不阻塞讀寫添加刪除索 在執(zhí)行一些 DDL 操作時(shí)（如 ADD INDEX ），由于執(zhí)行時(shí)間較長，不會立即返回執(zhí)行結(jié)果,可以使用ctrl+c 來終止該連接，不會影響 DDL 的實(shí)際執(zhí)行 DDL調(diào)度任務(wù)查看歷史和當(dāng)前的DDL任務(wù)，包括具體語句管理語句回滾DDL運(yùn)維日常分析-慢查詢工具以慢查詢格式慢查詢分析視圖 admin show slow命令 information_schema.slow_query 慢查詢分析工具 pt-query-digest Mysqldumpslow 基本和MySQL一致，兼容了MySQL慢查詢?nèi)罩痉治龉ぞ?額外增加了

6、慢日志內(nèi)存映射表，可按多種維度查詢特殊技能-讀取歷史數(shù)據(jù)TiDB使用MVCC管理版本，更新刪除數(shù)據(jù)，不會真的刪除。定期運(yùn)行GC來做清理，也就說 當(dāng)數(shù)據(jù)在GC運(yùn)行之前，數(shù)據(jù)是可以讀到的。 可以用該功能，做數(shù)據(jù)的誤操作的恢復(fù)可以通過設(shè)置 tidb_snapshot參數(shù)讀取歷史數(shù)據(jù)生態(tài)工具介紹生態(tài)工具-DM同步DM 數(shù)據(jù)同步管理平臺，支持MySQL或MariaDB到TiDB的全量或增量數(shù)據(jù)遷移，數(shù)據(jù)同步。使用場景 單從、分庫分表從、分表后合并數(shù)據(jù)。生態(tài)工具-DM同步優(yōu)點(diǎn)部署和使用方便，DM Portal 工具支持圖形化頁面配置。 #圖形化頁面配置好像沒法選擇“所有表”，比如說配置完成后新加個(gè)表缺點(diǎn)上

7、游數(shù)據(jù)庫執(zhí)行reset master ，造成relay log 同步出錯(cuò)，比較麻煩#原理知識 多個(gè)從庫 ，全量同步的執(zhí)行順序是什么？#增量同步的時(shí)候如果出現(xiàn)事務(wù)“沖突”是否會丟數(shù)據(jù)？#在研究研究，下次開一個(gè)dm同步專題生態(tài)工具-DM同步 附task.yaml 文件生態(tài)工具-tidb binlogTiDB Binlog 收集 TiDB 的 binlog，并提供準(zhǔn)實(shí)時(shí)備份和同步功能的 支持后端 為file、MySQL、 tidb、 kafka 類似MySQL的binlog，可以實(shí)現(xiàn)增量恢復(fù)。 pbReader 解析binlog工具生態(tài)工具-tidb binlogBinlog指定恢復(fù)時(shí)間點(diǎn)演示生態(tài)工

8、具-TiDB Lightning全量數(shù)據(jù)高速導(dǎo)入到TiDB集群的工作 大量新數(shù)據(jù)快速導(dǎo)入 全量數(shù)據(jù)的備份恢復(fù)功能支持 斷點(diǎn)續(xù)傳 庫表過濾 Web頁面 監(jiān)控告警生態(tài)工具-TiSpark&TiFlash 列式引擎 hive 、clickhouse 、TiFlash誰更快？ AP場景上千行SQL 運(yùn)行一下 測一下clickhouse 、TiFlash 能不能跑通？在測測誰的速度快？ TiSparkVS原生Spark有啥優(yōu)點(diǎn)？使用注意事項(xiàng)及常見使用注意事項(xiàng)及常見問題問題使用限制-大事務(wù)tidb 對事務(wù)大小的限制 每個(gè)鍵值對不超過6M 鍵值對的總大小不超過100MB 鍵值對的總數(shù)不超過30000

9、0支持回話級變量，可修改跳過改限制，但他會對大事務(wù)進(jìn)行拆分，大事務(wù)的完整性沒法保證，只能保證每個(gè)批次的事務(wù)的完整性. #生產(chǎn)不推薦使用參數(shù)： tidb_batch_insert tidb_batch_delete tidb_dml_batch_size注意事項(xiàng)-自增idTiDB沒法保證，自增id的有序性 tidb 采用批量分配方式。每個(gè)tidb-server實(shí)例緩存一段id值用于分配。 多客戶端并發(fā)插入的時(shí)候，有可能會報(bào)自增主鍵沖突的情況。 自增id建議采用bigint 如果自增id的字段為NULL，tidb會進(jìn)行自動賦值常見問題-熱點(diǎn)key為什么發(fā)生熱點(diǎn)key MySQL遷移到tidb，保留

10、了自增主鍵 高并發(fā)寫入無主鍵表 高并發(fā)寫入遞增索引，比如時(shí)間索引 更新并發(fā)小表 秒殺或者類似場景單行熱點(diǎn)定位熱點(diǎn)key方法 information_schema.TIDB_HOT_REGIONS pd-ctl 用于查詢讀、寫流量最大的 Region常見問題-解決避免熱點(diǎn)key 提高 PD 的熱點(diǎn)調(diào)度速度 解決熱點(diǎn)key 打散region分布 創(chuàng)建表時(shí)create table t（c int） shard_row_id_btis=4 修改表 alter table t shard_row_id_btis=4SHARD_ROW_ID_BITS = 4 表示 16 個(gè)分片 SHARD_ROW_ID_BITS = 6 表示 64 個(gè)分片 SHARD_ROW_ID_BITS = 0 表示默認(rèn)值 1 個(gè)分片常見問題-慢查詢排查思路如何發(fā)現(xiàn)慢查詢 通過慢查詢?nèi)罩?集群監(jiān)控上的metrics信息 TiDB的TiKV慢查詢?nèi)罩?導(dǎo)致讀慢的原因 硬件資源(磁盤、CPU、網(wǎng)絡(luò)) 讀取場景(TP、AP) 讀取熱點(diǎn)(熱點(diǎn)region 熱點(diǎn)store) 大的查詢，OOM 執(zhí)行計(jì)劃問題(例如全表掃描)常見問題-慢查詢排查思路常見問題-慢查詢排查思路 Tidb 慢查詢