基于HBase的RDF存儲系統(tǒng)的研究與設(shè)計的開題報告

基于HBase的RDF存儲系統(tǒng)的研究與設(shè)計的開題報告一、選題背景隨著互聯(lián)網(wǎng)的不斷發(fā)展以及大數(shù)據(jù)的普及，越來越多的數(shù)據(jù)需要被存儲、管理和處理。其中，RDF圖（RDF，ResourceDescriptionFramework）成為了互聯(lián)網(wǎng)上最主要的數(shù)據(jù)描述方式之一。其主要應(yīng)用領(lǐng)域包括知識圖譜、智能推薦系統(tǒng)、搜索引擎等。傳統(tǒng)的RDF存儲系統(tǒng)多采用RDB（關(guān)系型數(shù)據(jù)庫）進行存儲，但由于RDB的數(shù)據(jù)層次性不夠、非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢效率低等問題，使得該方法逐漸受到了限制，而基于NoSQL（NotOnlySQL）非關(guān)系型數(shù)據(jù)庫的存儲方式以其良好的擴展性、高可用性、良好的性能等優(yōu)勢逐漸成為新的研究熱點。而HBase作為一種分布式、可擴展的NoSQL存儲系統(tǒng)，可滿足海量數(shù)據(jù)存儲和高并發(fā)的數(shù)據(jù)讀寫需求，因此成為了存儲RDF數(shù)據(jù)的優(yōu)秀選擇。二、研究內(nèi)容本研究將基于HBase設(shè)計并實現(xiàn)一種面向RDF數(shù)據(jù)的存儲系統(tǒng)，具體研究內(nèi)容包括：1.深入研究RDF數(shù)據(jù)的特點，并分析RDF在HBase中的存儲方式。2.根據(jù)RDFS模型建立RDF的存儲模式，并建立HBase表結(jié)構(gòu)，針對RDF數(shù)據(jù)的三元組特征，考慮表設(shè)計的優(yōu)化。3.設(shè)計并實現(xiàn)RDF數(shù)據(jù)的導(dǎo)入、更新、查詢、刪除等操作。4.測試和評價系統(tǒng)的性能，對比傳統(tǒng)RDF存儲系統(tǒng)性能，分析HBase存儲RDF數(shù)據(jù)的優(yōu)點和局限。三、研究難點及解決方案1.HBase中RDF的存儲方式。HBase使用行列式存儲，而RDF數(shù)據(jù)是三元組式存儲，如何在HBase中存儲RDF數(shù)據(jù)是一個難題。本研究采取以Subject+Predicate為行鍵，Object為列名的方式存儲RDF三元組數(shù)據(jù)。2.HBase中的大規(guī)模數(shù)據(jù)查詢查詢效率低。其中，數(shù)據(jù)按照Subject排序可能會帶來查詢效率問題，因此需要對表設(shè)計進行優(yōu)化。本研究通過將Subjecthash為Long型數(shù)據(jù)，把RDF三元組的Subject按照hash值分散到不同的Table中，提高查詢效率。四、預(yù)期目標(biāo)1.設(shè)計一種高效的基于HBase的RDF存儲系統(tǒng)。2.實現(xiàn)RDF數(shù)據(jù)的導(dǎo)入、更新、查詢、刪除等操作，滿足用戶對海量RDF數(shù)據(jù)的存儲和管理需求。3.對比傳統(tǒng)RDF存儲系統(tǒng)，分析HBase存儲RDF數(shù)據(jù)的優(yōu)點和局限。五、研究方法1.研究HBase存儲系統(tǒng)的基本知識，以及RDF的相關(guān)概念、特點等。2.根據(jù)RDFS模型建立RDF的存儲模式，并建立HBase表結(jié)構(gòu)。3.設(shè)計并實現(xiàn)RDF數(shù)據(jù)的導(dǎo)入、更新、查詢、刪除等操作，并特別考慮查詢效率問題。4.使用標(biāo)準(zhǔn)的測試工具測試系統(tǒng)的性能，并分析HBase存儲RDF數(shù)據(jù)的優(yōu)點和局限。六、可行性分析1.HBase具有良好的可擴展性、高可用性和高性能，能滿足存儲RDF海量數(shù)據(jù)的需求。2.本研究充分利用了HBase的分布式存儲和查詢技術(shù)，并在表設(shè)計上進行了優(yōu)化，有望設(shè)計一種高效的基于HBase的RDF存儲系統(tǒng)。3.HBase的應(yīng)用范圍廣泛，研究本文題目有一定的社會和經(jīng)濟價值。七、進度安排第一周：1.閱讀本研究相關(guān)文獻，熟悉HBase的相關(guān)知識。2.學(xué)習(xí)RDF的相關(guān)知識，熟悉RDF的基本約束模型以及基本語法。第二周：1.根據(jù)RDFS模型建立RDF的存儲模式，確定HBase表結(jié)構(gòu)。2.確定系統(tǒng)的功能設(shè)計。第三周：1.設(shè)計RDF數(shù)據(jù)的導(dǎo)入，更新，刪除等操作。2.設(shè)計RDF數(shù)據(jù)的查詢算法。（建議采用hash方式解決查詢效率問題）第四周：1.實現(xiàn)RDF數(shù)據(jù)導(dǎo)入，更新，刪除操作。2.實現(xiàn)RDF數(shù)據(jù)查詢功能。第五周：1.測試系統(tǒng)性能，對比傳統(tǒng)RDF存儲系統(tǒng)性能2.分析HBase存儲RDF數(shù)據(jù)的優(yōu)點和局限。第六周：1.文獻資料撰寫總結(jié)。2.撰寫畢業(yè)設(shè)計任務(wù)書。八、參考文獻1.宋兵,龔光榮.基于HBase的海量RDF數(shù)據(jù)存儲研究[J].計算機應(yīng)用,2015,35(6):1755-1759+1768.2.ZhangL,ZhangY,KementsietsidisA,etal.StoringandqueryingRDFdatausingHBase[C]//InternationalConferenceonDatabaseSystemsforAdvancedApplications.Springer,Berlin,Heidelberg,2013:307-321.3.GuoY,PanZ,HeflinJ,etal.LUBM:AbenchmarkforOWLknowledge