嵌入式數(shù)據(jù)庫(kù)典型技術(shù)―SQLite和Berkeley

嵌入式數(shù)據(jù)庫(kù)典型技術(shù)―SQLite和Berkeley

摘要:與常見(jiàn)的數(shù)據(jù)庫(kù)相比，嵌入式數(shù)據(jù)庫(kù)具有體積小、功能齊備、可移植性、健壯性等特點(diǎn)，本文分析和比較了典型的嵌入式數(shù)據(jù)庫(kù)SQLite和BerkeleyDB。首先從體系結(jié)構(gòu)、子系統(tǒng)間調(diào)用關(guān)系、任務(wù)執(zhí)行過(guò)程等角度對(duì)SQLite和BerkeleyDB進(jìn)行了詳細(xì)分析，然后重點(diǎn)從數(shù)據(jù)類型、存儲(chǔ)方式、模式、數(shù)據(jù)庫(kù)引擎和錯(cuò)誤處理及加密功能等方面討論了SQLite和BerkeleyDB的異同點(diǎn)，最后列舉了一個(gè)基于ARM—Linux的SQLite應(yīng)用實(shí)例。關(guān)鍵詞:SQLite、BerkeleyDB、SQL、虛擬數(shù)據(jù)庫(kù)引擎（VDBE）引言隨著計(jì)算機(jī)技術(shù)與其它學(xué)科間的不斷交融、滲透，數(shù)據(jù)庫(kù)應(yīng)用的范圍更加深入和具體。那些僅適用于PC機(jī)，體積龐大、延時(shí)較長(zhǎng)的數(shù)據(jù)庫(kù)技術(shù)已不能滿足針對(duì)性較強(qiáng)的嵌入式系統(tǒng)開(kāi)發(fā)的需求。SOLite和BerkeleyDB是目前應(yīng)用較廣泛、技術(shù)較穩(wěn)定的兩種嵌入式數(shù)據(jù)庫(kù)。然而，國(guó)內(nèi)對(duì)嵌入式數(shù)據(jù)庫(kù)的研究起步較晚，還沒(méi)能引起更多人的關(guān)注。更多人熟悉那些基于C/S或B/S結(jié)構(gòu)的關(guān)系型數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、檢索等功能。然而，在嵌入式系統(tǒng)中，由于軟硬件資源有限，不可能安裝龐大的數(shù)據(jù)庫(kù)服務(wù)器，而用戶的需求可能由一個(gè)簡(jiǎn)單的基于磁盤文件的數(shù)據(jù)庫(kù)系統(tǒng)就能實(shí)現(xiàn)，這僅僅是利用了那些數(shù)據(jù)庫(kù)的基本特性。此時(shí)，對(duì)嵌入式數(shù)據(jù)庫(kù)的研究就顯得尤為重要了。1嵌入式數(shù)據(jù)庫(kù)嵌入式數(shù)據(jù)庫(kù)通常是與嵌入式操作系統(tǒng)及具體的應(yīng)用集成在一起，無(wú)需獨(dú)立運(yùn)行數(shù)據(jù)庫(kù)引擎，由程序直接調(diào)用相應(yīng)的API就可實(shí)現(xiàn)對(duì)數(shù)據(jù)的存取操作。嵌入式系統(tǒng)的開(kāi)發(fā)環(huán)境決定了其數(shù)據(jù)庫(kù)的特點(diǎn)：1、體積適當(dāng)由于嵌入式系統(tǒng)自身的特點(diǎn)，對(duì)數(shù)據(jù)的存儲(chǔ)和程序的運(yùn)行都有較強(qiáng)的空間限制，所以嵌入式數(shù)據(jù)庫(kù)首先應(yīng)該保障的就是適當(dāng)?shù)捏w積。進(jìn)一步來(lái)說(shuō)就是占用盡量少的ROM、RAM及CPU的資源。2、功能齊備嵌入式系統(tǒng)開(kāi)發(fā)中，用戶需求決定了需要一個(gè)大小適中、功能齊備的數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)數(shù)據(jù)管理，這就使得開(kāi)發(fā)人員要采用一個(gè)能夠提供完備開(kāi)發(fā)文檔且易于開(kāi)發(fā)的數(shù)據(jù)庫(kù)技術(shù)。此外，國(guó)家863項(xiàng)目2002AA714023，研究生精品課程資助05531451在嵌入式設(shè)備中，數(shù)據(jù)庫(kù)的管理對(duì)用戶來(lái)說(shuō)是透明的，這就要求此數(shù)據(jù)庫(kù)能夠自動(dòng)完成啟動(dòng)初始化、日志管理、數(shù)據(jù)壓縮、備份、數(shù)據(jù)恢復(fù)等功能；而且嵌入式設(shè)備經(jīng)常有不可預(yù)料的硬復(fù)位，這就需要此數(shù)據(jù)庫(kù)有高度的健壯性。3、可移植性嵌入式系統(tǒng)的平臺(tái)種類繁多，因此嵌入式數(shù)據(jù)庫(kù)應(yīng)有一定的可移植性，以適用于不同的軟硬件平臺(tái)。4、代碼開(kāi)源開(kāi)源的代碼在產(chǎn)品的開(kāi)發(fā)過(guò)程中不僅可以減少開(kāi)發(fā)成本，更重要的是為后期的維護(hù)完善和穩(wěn)定運(yùn)行都提供了最為徹底的解決方法。2SQLiteSQLite是D.理查德.希普用一個(gè)小型的C庫(kù)開(kāi)發(fā)的一種強(qiáng)有力的嵌入式關(guān)系數(shù)據(jù)庫(kù)管理體制。雖然功能較BerkeleyDB稍顯遜色，但它簡(jiǎn)單易學(xué)、速度較快，同時(shí)提供了豐富的數(shù)據(jù)庫(kù)接口，提供了對(duì)SQL92的大多數(shù)支持：支持多表和索引、事務(wù)、視圖、觸發(fā)和一系列的用戶接口及驅(qū)動(dòng)。SQLite的體系結(jié)構(gòu)大體上可以分成八個(gè)主要的子系統(tǒng)，如圖1所示。對(duì)數(shù)據(jù)庫(kù)進(jìn)行的各種操作都是按照此順序，逐一執(zhí)行的。頂層是標(biāo)記處理器（tokenize）和分析器（parser）。SQLite有自己高度優(yōu)化的代碼生成器，可以快速、高效地生產(chǎn)出代碼。底部是經(jīng)過(guò)優(yōu)化的B樹(shù)，這樣有助于運(yùn)行在可調(diào)整的頁(yè)面緩沖上時(shí)，對(duì)磁盤的查找降低到最小。再往下是頁(yè)面高速緩存，它作用在OS的抽象層之上，這樣的體系結(jié)構(gòu)使數(shù)據(jù)庫(kù)的可移植性變?yōu)榭赡?。該體系結(jié)構(gòu)的核心是虛擬數(shù)據(jù)庫(kù)引擎（VDBE）。VDBE完成與數(shù)據(jù)操作相關(guān)的全部任務(wù)，并且是客戶和存儲(chǔ)之間信息交換的中間單元。從各個(gè)角度分析，它都是SQLite的核心。當(dāng)SQL語(yǔ)句被分析后，VDBE便開(kāi)始工作。代碼生成器將分析樹(shù)翻譯成一個(gè)袖珍程序，隨后這些袖珍程序又被組合成VDBE的虛擬機(jī)器語(yǔ)言表示的一系列指令。如此反復(fù)，VDBE執(zhí)行每條指令，最終完成SQL語(yǔ)句指定的查詢要求。SQLite有以下特性：支持ACID事務(wù)、零配置―無(wú)需安裝和管理配置、存儲(chǔ)在單一磁盤文件中的一個(gè)完整的數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)文件可以在不同字節(jié)順序的機(jī)器間自由共享、支持?jǐn)?shù)據(jù)庫(kù)大小至2TB、足夠小、全部源碼大致3萬(wàn)行C代碼，250KB、比目前流行的大多數(shù)據(jù)庫(kù)運(yùn)行速度快，提供了對(duì)事務(wù)功能和并發(fā)處理的支持、應(yīng)用Transaction既保證了數(shù)據(jù)的完整性，也會(huì)提高運(yùn)行速度，因?yàn)槎鄺l語(yǔ)句一起提交給數(shù)據(jù)庫(kù)的速度會(huì)比逐一提交的方式更快、獨(dú)立、沒(méi)有額外依賴。3BerkeleyDBBerkeleyDB是由sleepycatsoftware開(kāi)發(fā)的輕量級(jí)嵌入式數(shù)據(jù)庫(kù)，它不僅適用于嵌入式系統(tǒng)，而且可以直接連接到應(yīng)用程序內(nèi)部，和應(yīng)用程序運(yùn)行在同一地址空間。傳統(tǒng)的數(shù)據(jù)庫(kù)一般作為獨(dú)立服務(wù)器工作，而B(niǎo)erkeleyDB是軟件開(kāi)發(fā)庫(kù)，開(kāi)發(fā)者將它嵌入到應(yīng)用程序中，應(yīng)用程序本身就是一個(gè)服務(wù)器，而只是利用嵌入式數(shù)據(jù)庫(kù)開(kāi)發(fā)來(lái)實(shí)現(xiàn)定制的數(shù)據(jù)庫(kù)邏輯，避免了與應(yīng)用服務(wù)器進(jìn)程間通信的開(kāi)銷，因此BerkeleyDB具有較高的運(yùn)行效率，適用于資源受限的嵌入式系統(tǒng)。一般而言，BerkeleyDB數(shù)據(jù)庫(kù)系統(tǒng)可以大致分為五個(gè)子系統(tǒng)，如圖2所示。1、存取管理子系統(tǒng)（AccessMethods）該子系統(tǒng)為創(chuàng)建和訪問(wèn)數(shù)據(jù)庫(kù)文件提供基本的支持。在沒(méi)有事務(wù)管理的情況下，該子系統(tǒng)中的模塊可單獨(dú)使用，為應(yīng)用程序提供快速高效的數(shù)據(jù)存取服務(wù)。2、內(nèi)存池管理子系統(tǒng)（MemoryPool）該子系統(tǒng)就是BerkeleyDB所使用的通用共享內(nèi)存緩沖區(qū)，該子系統(tǒng)可以被應(yīng)用程序單獨(dú)使用。3、事務(wù)子系統(tǒng)（Transaction）該子系統(tǒng)為BerkekeyDB提供事務(wù)管理功能，保證操作的原則性、一致性和孤立性。事務(wù)子系統(tǒng)適用于對(duì)需要事務(wù)保證的數(shù)據(jù)進(jìn)行修改的場(chǎng)合。4、鎖子系統(tǒng)（Locking）該子系統(tǒng)提供進(jìn)程之間以及進(jìn)程內(nèi)部的并發(fā)管理機(jī)制，為系統(tǒng)提供多用戶讀取和單用戶修改同一對(duì)象的共享控制。該子系統(tǒng)可以被應(yīng)用程序單獨(dú)使用。5、日志子系統(tǒng)（Logging）該子系統(tǒng)采用的是先寫日志的策略，支持事務(wù)子系統(tǒng)進(jìn)行數(shù)據(jù)恢復(fù)，保證數(shù)據(jù)一致性。4、SQLite與BerkeleyDB的異同通過(guò)上面的一些介紹，也許會(huì)對(duì)SQLite和BerkeleyDB有了一定的了解。從目前的趨勢(shì)看，這兩款嵌入式數(shù)據(jù)庫(kù)有著旺盛的生命力，較好的應(yīng)用領(lǐng)域及發(fā)展空間。筆者翻閱了大量的資料，從各個(gè)角度，對(duì)它們的異同進(jìn)行了多方面，多層次的比較，如表1所示。是否為關(guān)系數(shù)據(jù)庫(kù)通過(guò)此表我們可以較為直觀地看到，SQLite和BerkeleyDB在數(shù)據(jù)庫(kù)類型、開(kāi)發(fā)語(yǔ)言、存儲(chǔ)方式、模式等方面有著較大的差異。下面筆者就對(duì)其中某些重要方面進(jìn)行相對(duì)詳細(xì)的論述：1、數(shù)據(jù)庫(kù)類型SQLite基于關(guān)系數(shù)據(jù)庫(kù)模式，支持絕大多數(shù)標(biāo)準(zhǔn)的SQL92語(yǔ)句，在很大程度上實(shí)現(xiàn)了ANSISQL92標(biāo)準(zhǔn)，特別是支持視圖、觸發(fā)器、事務(wù)，支持嵌套SQL。它通過(guò)SQL編譯器(SQLComplier)來(lái)實(shí)現(xiàn)SQL語(yǔ)言對(duì)數(shù)據(jù)庫(kù)進(jìn)行操作，采用單文件存放數(shù)據(jù)庫(kù)。在操作語(yǔ)句上更類似關(guān)系型數(shù)據(jù)庫(kù)的產(chǎn)品使用，非常方便。這也就使得那些曾經(jīng)有過(guò)PC機(jī)數(shù)據(jù)庫(kù)經(jīng)驗(yàn)的人，對(duì)SQLite的學(xué)習(xí)變得易如反掌。此外，SQLite也有API的概念，而且極其易于使用，只需要三個(gè)用來(lái)執(zhí)行SQL和獲得數(shù)據(jù)的函數(shù)。它還是可以擴(kuò)展的，允許程序員自定義函數(shù)，然后以callback的形式集合進(jìn)去。Ｃ語(yǔ)言API是腳本接口的基礎(chǔ)，如已經(jīng)發(fā)布的(Tcl接口)。開(kāi)放源碼團(tuán)體已經(jīng)擴(kuò)展了眾多的客戶接口、適配器、驅(qū)動(dòng)等，這就使得其他語(yǔ)言對(duì)SQLite的使用也成為可能。BerkeleyDB不是關(guān)系型的數(shù)據(jù)庫(kù)，不能應(yīng)用標(biāo)準(zhǔn)的SQL語(yǔ)句對(duì)數(shù)據(jù)庫(kù)操作，對(duì)它的操作要調(diào)用專用的API實(shí)現(xiàn)。這些API提供了查詢、插入、刪除等功能。使用BerkeleyDB提供的函數(shù)來(lái)進(jìn)行數(shù)據(jù)庫(kù)的訪問(wèn)和管理并不復(fù)雜。在大多數(shù)場(chǎng)合下，只需按照統(tǒng)一的接口標(biāo)準(zhǔn)進(jìn)行調(diào)用就可以完成最基本的操作。2、存儲(chǔ)方式及模式SQLite只提供了Btree存儲(chǔ)數(shù)據(jù)的模式。對(duì)二進(jìn)制數(shù)據(jù)，SQLite不能直接保存；但可以先將二進(jìn)制的數(shù)據(jù)轉(zhuǎn)換成ASCII編碼，然后再保存。Base64編碼機(jī)制是最常見(jiàn)的把二進(jìn)制數(shù)據(jù)轉(zhuǎn)換成ASCII編碼的手段。在SQLite的C語(yǔ)言代碼encode.c中，提供了Base64編碼的功能。BerkeleyDB對(duì)任何存入的數(shù)據(jù)都是按原樣直接存儲(chǔ)到數(shù)據(jù)文件中去，無(wú)論其是二進(jìn)制數(shù)據(jù)還是ASCII或Unicode等編碼的文本。BerkeleyDB提供了四種存儲(chǔ)數(shù)據(jù)的模式：Btree、Hash、Queue和Recno。在打開(kāi)數(shù)據(jù)庫(kù)的時(shí)候，要指定一