文件系統(tǒng)必須毀滅（十億級(jí)文檔的管理實(shí)踐）

文件系統(tǒng)必須毀滅——十億級(jí)文檔的管理實(shí)踐目錄CONTENT目錄遠(yuǎn)古的遺跡文檔和文件

文檔的組織數(shù)量壓倒一切

我們的實(shí)踐邁向未來遠(yuǎn)古的遺跡——文件系統(tǒng)文件系統(tǒng)

在計(jì)算機(jī)系統(tǒng)中用于控制數(shù)據(jù)的存儲(chǔ)和獲取

文件+文件關(guān)系文件：數(shù)據(jù)的容器通常以樹形結(jié)構(gòu)組織文件關(guān)系

文件系統(tǒng)不關(guān)心文件的內(nèi)容只關(guān)心文件的文件存儲(chǔ)的結(jié)構(gòu)和文件的組織遠(yuǎn)古的遺跡傳統(tǒng)文件系統(tǒng)起源于單機(jī)系統(tǒng)

依托單一數(shù)據(jù)存儲(chǔ)媒介

文檔數(shù)據(jù)和文檔組織一體化

著重于文件的存取，而非文件的檢索查找計(jì)算機(jī)的選擇人對(duì)于“文件”有更豐富的定義人對(duì)于“文件”有更多的組織方式文件系統(tǒng)不符合人類的認(rèn)知

文檔——人心目中的“文件”文檔和文件文檔不是簡單的一份數(shù)據(jù)文檔是個(gè)虛擬的概念：包含特定內(nèi)容的實(shí)體一個(gè)文檔可以擁有多種不同的形態(tài)Office文檔：文檔本身、縮略圖、純文本...視頻：原視頻、高清、低清、縮略圖、預(yù)覽檔案掃描件：掃描件原件、OCR件對(duì)于人而言，以內(nèi)容來認(rèn)定一個(gè)“文檔”文檔不僅僅是一份內(nèi)容有大量的附加信息依附在文檔上針對(duì)文檔的批注文檔的分類文檔的保密等級(jí)創(chuàng)建時(shí)間、修改時(shí)間附加信息往往被視作文檔的一部分，即“屬性”文檔的版本文檔隨時(shí)間推移，歷次編輯產(chǎn)生不同的版本用戶希望能夠追溯、瀏覽、恢復(fù)歷史版本多人同時(shí)編輯產(chǎn)生版本沖突文檔鎖經(jīng)常失效文檔的組織現(xiàn)實(shí)中的文檔關(guān)系內(nèi)容上的分類關(guān)系電影的分類：劇情、戰(zhàn)爭、愛情、驚悚一部電影可歸入多個(gè)分類，一個(gè)分類可包含多部電影基于屬性的關(guān)系希區(qū)柯克導(dǎo)演的電影量子力學(xué)教材......現(xiàn)實(shí)中的文檔關(guān)系文檔間的關(guān)系是圖，而非樹文件系統(tǒng)的樹形結(jié)構(gòu)不足以管理文檔依從文檔天然的邏輯關(guān)系建立模型文檔訪問控制更細(xì)的權(quán)限控制粒度基于組織架構(gòu)的訪問授權(quán)基于用戶身份的訪問控制（密級(jí)）用戶操作審核數(shù)量壓倒一切海量的文檔中小規(guī)模的企業(yè)文檔量達(dá)到千萬級(jí)別大型企業(yè)可以達(dá)到億級(jí)別，甚至十億文檔還在不停地產(chǎn)生中還有大量的歷史卷宗需要電子化文件系統(tǒng)不能適用單機(jī)無法容納，必須以單機(jī)為基礎(chǔ)的文件系統(tǒng)架構(gòu)，難以分布性能不足以支撐海量文檔的訪問難以隨文檔量擴(kuò)展文檔的分級(jí)存儲(chǔ)海量文檔存儲(chǔ)的經(jīng)濟(jì)性文檔歸檔冷存儲(chǔ)有些文檔的數(shù)據(jù)冷，但文檔不冷我們的實(shí)踐分而治之問題分解：文檔元數(shù)據(jù)：組織文檔。高響應(yīng)、高密度、多關(guān)聯(lián)訪問文檔數(shù)據(jù)：保存文檔內(nèi)容。大吞吐量、高可靠元數(shù)據(jù)管理+對(duì)象存儲(chǔ)高性能數(shù)據(jù)庫支撐元數(shù)據(jù)對(duì)象存儲(chǔ)支撐文檔內(nèi)容存儲(chǔ)文件族一個(gè)文檔包含若干文件（數(shù)據(jù)對(duì)象）每個(gè)文件包含文檔內(nèi)容的全部或一部分文件是文檔內(nèi)容的不同形態(tài)的載體文件族中有一個(gè)是“源文件”，用戶上傳的文件有一個(gè)“主文件”，指向打開文檔時(shí)的默認(rèn)文件除源文件外，其他文件由源文件轉(zhuǎn)換生成元數(shù)據(jù)的組織保留目錄-文檔的基礎(chǔ)結(jié)構(gòu)使用分類、標(biāo)簽、關(guān)鍵字等增加文檔組織維度完整的用戶組織架構(gòu)和細(xì)粒度訪問權(quán)限增強(qiáng)訪問控制高級(jí)屬性：密級(jí)、文檔生命周期......擴(kuò)展屬性：用戶自定義屬性文檔的處理對(duì)用戶所上傳的文檔進(jìn)行處理，滿足使用要求視頻轉(zhuǎn)碼文檔縮略圖生成圖片轉(zhuǎn)換文檔分類關(guān)鍵詞提取建立全文索引......邁向未來更多的文檔量對(duì)象存儲(chǔ)具備支撐百億級(jí)數(shù)據(jù)對(duì)象的能力管理百億級(jí)文檔的元數(shù)據(jù)充滿挑戰(zhàn)單服務(wù)器數(shù)據(jù)庫已無法承載分布式數(shù)據(jù)庫：SQL、NoSQL、NewSQL高響應(yīng)要求權(quán)限控制帶來復(fù)雜查詢支撐應(yīng)用的平臺(tái)依托文檔管理平臺(tái)建立應(yīng)用OA、郵件、業(yè)務(wù)流轉(zhuǎn)票據(jù)影像管理、檔案資料管理解決企業(yè)應(yīng)用非結(jié)構(gòu)化數(shù)據(jù)的管理問題文檔的存取、處理、分享應(yīng)用與網(wǎng)盤用戶權(quán)限一體化應(yīng)用中的文檔快速交換對(duì)文