04關(guān)于大型網(wǎng)站技術(shù)演進的思考四存儲瓶頸

1、而言那就是有不盡的項目可以做，雖然會感覺很忙，但是人過的充實，心里也踏實數(shù)而言那就是有不盡的項目可以做，雖然會感覺很忙，但是人過的充實，心里也踏實數(shù)據(jù)庫水平拆分簡單說來就是先將原數(shù)據(jù)庫里的一在做垂直拆分出來放置在單獨的數(shù)據(jù)庫和單獨的表里后更進一步的把本來是一個整體的表進一步拆分成多，每一都用獨立的數(shù)據(jù)庫進行。表被水平后，原數(shù)據(jù)表成為了一個邏輯的概念，而這個邏輯表的業(yè)務(wù)含義需要多張物理表協(xié)同完成，因此數(shù)據(jù)庫的表被水平拆分后，那么對這的操作已經(jīng)超出了數(shù)據(jù)庫本身提供給現(xiàn)有段，換句話說對表的操數(shù)據(jù)庫的水平拆分是數(shù)據(jù)庫垂直拆分的升級版，它和垂直拆分更像繼承機制里的父子關(guān)系，因此水平垂直拆分所遇到的 UT

2、 查詢 以及分布式事務(wù) 任然存在，由于表被物理拆解增加了邏輯表的維度，這也給垂直拆分里碰到的兩個難題增加了 的維度，因此水平拆分里 UT 查詢 和分布式事務(wù)會變得更加復(fù)難題一：數(shù)據(jù)庫的表被水平拆分后，該表的主鍵設(shè)計會變得十分難題二：原來單表的查詢邏輯會在備本篇文章時候，我看到一些資料里提到了一些難題，這些難題難題三：平分表后，外鍵的設(shè)也會變得十分；難題四：這個難題是針對數(shù)據(jù)的新增操作的，大致的意思是，難題，我在上篇已經(jīng)給出了解答，這里我進行一定的補充，其實外鍵問題在垂直拆分就已經(jīng)存在， 過在講垂直拆分時候 沒有講到這個問題，這主要是我設(shè)定了一個前提，就是數(shù)據(jù)表在最原始的數(shù)據(jù)建模階段就要拋棄所有

3、外鍵的設(shè)計，并將外鍵的邏輯拋給服務(wù)層去完成， 要盡全力減輕數(shù)據(jù)庫承擔(dān)的運算壓力，其實除了減輕數(shù)據(jù)庫運算壓力外， 還要將作為 直接的辦法就是去掉表與表之間關(guān)聯(lián)的象征：外鍵，這樣 就可以從根基上為將來數(shù)據(jù)庫做垂直拆分和水平拆分至于難題四，其實問題的本質(zhì)是分庫分表后具體的數(shù)據(jù)在哪里 ，而數(shù)據(jù) 在表里的關(guān)鍵 其實就是主鍵，試想一下， 設(shè)計 ，所有字段 都準 以為空，但是表里有個字段是絕對不能為空的，那就是主鍵，主鍵是數(shù)據(jù)在數(shù)據(jù)庫里 的象征，因此 在主鍵設(shè)計上是可以體現(xiàn)出該數(shù)據(jù)的 規(guī)則，那么首先是水平拆分里的主鍵設(shè)計問題，拋開所有主鍵所能代表的業(yè)務(wù)含義，數(shù)據(jù)庫里標的主鍵本質(zhì)是表達表里的某一條的唯一性，在

4、設(shè)計數(shù)據(jù)庫的時候可以由一個絕對不可重復(fù)的字段表示主鍵，也可以使用多個字段合起來表達這種唯一性，使用一個字表示主鍵，這已經(jīng)是很原子的操作，沒法做進一步的修改，但是果用多個字段表示一個主鍵對于水平拆而言就會碰到問題了，這個題主要是體現(xiàn)在數(shù)據(jù)到底于哪個據(jù)庫，關(guān)于主鍵對數(shù)據(jù)的影響我會在把相關(guān)知識講解完畢后再著重闡述，這里要提的是碰到聯(lián)合主鍵時候我們可以設(shè)定一個沒有任業(yè)務(wù)含義的字段來替代，不過這個要看場景了，我傾向于將聯(lián)合主各個字段里的值由上所述，這里我給出水平拆分主鍵設(shè)計的第一個原則：被水平拆分的表的主鍵設(shè)計最好使用一個字段表示。唯一性的話，那么水平拆分時候相對要簡單的多，例如在 XI 數(shù)據(jù)庫里有一個

5、 KTI 機制，這其實就是一個自增數(shù)的算法，自增機制幾乎所有關(guān)系數(shù)據(jù)庫都有，也平時最喜使用的主鍵字段設(shè)計方案，如要拆分的表，使用了自增字段，同時這個自增字段只是用來表唯一性那么水平拆分時候處理起來就簡單多了，我這里給出兩個經(jīng)典方案，方案如下關(guān)于大技術(shù)演進的思考（四） -的瓶頸方案一：自增列都有設(shè)定步長的特性，假打算把只拆分為兩個物理表，那可以在其中里把主鍵的自增列的步長設(shè)計為 2，起始值為 1，那么它的自增方案一：自增列都有設(shè)定步長的特性，假打算把只拆分為兩個物理表，那可以在其中里把主鍵的自增列的步長設(shè)計為 2，起始值為 1，那么它的自增規(guī)律就是 1,3,5,7 依次類推，另外一張物理也可以設(shè)

6、置為 2，如果起始值為 2，那么自增規(guī)律就是 2,4,6,8 以此類推，這樣的步的主鍵就絕對會重復(fù)了，而也不用另外做兩張物理表相應(yīng)的邏輯關(guān)聯(lián)了。這種方案還有個潛在的好處，那就是步長的把步長設(shè)計為 9，那么理小和水平數(shù)據(jù)拆分的粒度關(guān)聯(lián)，也拆分的物理表可以擴容到 9 個為水平拆分的擴方案二其實事先通過一定業(yè)務(wù)技術(shù)規(guī)則大致估算出來最多讓2 億條，那可以這么設(shè)定自增列的規(guī)律，第一張物理表自增列從 假估算開始，步長就設(shè)為 1，第二種物理表的自增列則從 2 億開始，步長也設(shè)為 1，自增列都做最大值的限制那么如果表的主鍵不是使用自增列，而是業(yè)務(wù)設(shè)計的唯一字段，那些的主鍵問題，那么碰到這個情又該如何解決了仔細

7、回味下數(shù)據(jù)庫的水平拆分，它其實和分布式緩存其的類似，數(shù)據(jù)庫的主鍵就相當(dāng)于分布式緩存里的鍵值，那可以按照分布式緩存的方案來設(shè)計主鍵的型，方案如下方案一：使用整數(shù)哈希求余的算法，字符串如果進行哈希運算會得出一個值，這個值是該字符串的唯一標志如稍微改變下字符串的內(nèi)容，計算的哈希值肯定是不同，兩個不同的哈希值對應(yīng)兩個不同字符串，一個哈希值有且只對應(yīng)唯一一個字符串，加密算法里的 MD5 ，SHA 都是使用哈希算法的原理計算出一個唯一標示的哈希值，通過哈希值的匹配可以判斷數(shù)據(jù)是否被篡改過。不過大多數(shù)哈希算法最后得出的值都是一個字符加數(shù)字就要統(tǒng)計 通過得到的余數(shù)來選擇服務(wù)器，該算法的原理圖如下所示計算的整數(shù)

8、哈希值除以服務(wù)器的數(shù)量即取模計方案二：就是方案一的升級版一致性哈希，一致性哈希最大的作用是候以及物理表集群中某臺服務(wù)器失效時候才會體現(xiàn)，這個問題我后續(xù)文章會詳，此這里先不展了由上所述發(fā)現(xiàn)在數(shù)據(jù)庫進行水平拆分時候一性設(shè)計的特點，最終于哪個物理數(shù)據(jù)庫也是由主鍵的設(shè)計原則所決定的，回到上文里我提到的如果原的方案二：就是方案一的升級版一致性哈希，一致性哈希最大的作用是候以及物理表集群中某臺服務(wù)器失效時候才會體現(xiàn)，這個問題我后續(xù)文章會詳，此這里先不展了由上所述發(fā)現(xiàn)在數(shù)據(jù)庫進行水平拆分時候一性設(shè)計的特點，最終于哪個物理數(shù)據(jù)庫也是由主鍵的設(shè)計原則所決定的，回到上文里我提到的如果原的數(shù)據(jù)表使用聯(lián)合字段設(shè)計主鍵

9、，那就必須首先合并聯(lián)合主鍵字段，然后通過上面的算法來確定數(shù)據(jù)規(guī)則，雖然不合并一個字段看起來也不是太麻煩，但是在我多年開發(fā)里，把唯一性的字段分割成多個字段就等于給主鍵增加了維度，字段不得不時刻留心這些維度，果就很容易出錯，我為了讓數(shù)據(jù)庫解決數(shù)據(jù)庫表的水平拆分后的主鍵唯一性問題有一個更加直接的方案，這也是很多人碰到此類問題很自然想到的方法，那就是把主鍵生成規(guī)則做成一個主鍵生成系統(tǒng)，放置在單獨一臺服務(wù)器生成，每次新增數(shù)據(jù)鍵都從這個服務(wù)器里獲取，主鍵生成的算法其實很簡單，很多語言都有計算 ;/* 的功能，;/* 缺點一：把主鍵生成放到外部服務(wù)器進行，這就不得不通過網(wǎng)絡(luò)通信完成主鍵值的傳遞，而網(wǎng)絡(luò)是算機

10、體系里效率最低效的方式，因此它會影響數(shù)據(jù)新增的效率，特別是數(shù)據(jù)量很大時候，新增操作很頻繁時候缺點二：如使用 ; 算法做主鍵生成的算法，因為 ; 是依賴單臺服務(wù)器進行，那么整個水平拆的物理數(shù)據(jù)庫集群，主就變成系的短板，而且是關(guān)鍵短板，主鍵生成服務(wù)器如果失效，整個統(tǒng)都會無法使用，而需要被水平拆分，而且拆分的表是業(yè)務(wù)表的時候在整個系統(tǒng)里的很高，它如果做了水平拆分后出現(xiàn)單點故障，這對于整個系統(tǒng)都是致命的。當(dāng)然有人肯定說，既然有單點故障，那就做個集群系統(tǒng)，問題不是解決了嗎？這個想法的確可以解決我上面闡，但是我前文講到過，現(xiàn)實的件系統(tǒng)開發(fā)要堅守一個原則那就是有簡單方案盡量選擇簡單的方案解決問題，引入集引入了分布式系統(tǒng)，這樣就為系統(tǒng)開發(fā)增加了開發(fā)難度和運維風(fēng)險，如上文的方案就能解，缺點三：使用外部系統(tǒng)生成主鍵使的水平拆分數(shù)據(jù)庫的方案增加了狀態(tài)性，而我狀態(tài)的，有狀態(tài)的系統(tǒng)會相互影響，例如使用外部系統(tǒng)生成主鍵，那么當(dāng)數(shù)據(jù)操作增大時候，必然會造成在主鍵統(tǒng)上資源競爭的事情發(fā)生，如對主鍵系統(tǒng)上的競爭狀態(tài)處理不好，很有可能造成主鍵系統(tǒng)被死鎖，也就會產(chǎn)生我前文里說到的 錯誤，而無狀態(tài)的系統(tǒng)是不存在資源競爭和死鎖這里我列出單獨主鍵生成系統(tǒng)的缺點不是想說明我覺得這種解決方案完全不可取，這個要看具體的業(yè)務(wù)了系