lunce搜索引擎框架教程

1、文檔從互聯(lián)網(wǎng)中收集，已重新修正排版，word格式支持編輯:，如有幫助歡迎下載支持。全文搜索lucene使用與優(yōu)化2008-01-23 20:581 lucene 簡介1. 1什么是luceneLucene是一個全文搜索框架，而不是應用產(chǎn)品。因此它并不像 或者google Desktop那么拿來就能用，它只是提供了一種工具讓你能實現(xiàn)這些產(chǎn)品。1. 2 lucene能做什么要回答這個問題，先要了解lucene的本質。實際上lucene的功能很單一，說 到底，就是你給它若干個字符串，然后它為你提供一個全文搜索服務，告訴你你 要搜索的關鍵詞出現(xiàn)在哪里。知道了這個本質，你就可以發(fā)揮想象做任何符合這 個條

2、件的事情了。你可以把站內新聞都索引了，做個資料庫；你可以把一個數(shù)據(jù) 庫表的若干個字段索引起來，那就不用再擔心因為“紐ike%”而鎖表了；你也 可以寫個自己的搜索引擎1. 3你該不該選擇lucene下面給岀一些測試數(shù)據(jù)，如果你覺得可以接受，那么可以選擇。測試一：250萬記錄，300M左右文本，生成索引380M左右，800線程下平均處 理時間300ms o測試二：37000記錄，索引數(shù)據(jù)庫中的兩個varchar字段，索引文件2. 6M, 800 線程下平均處理時間1.5ms。2 lucene的工作方式lucene提供的服務實際包含兩部分：一入一出。所謂入是寫入，即將你提供的 源（本質是字符串）寫入

3、索引或者將其從索引中刪除；所謂出是讀出，即向用戶 提供全文搜索服務，讓用戶可以通過關鍵詞定位源。2. 1寫入流程源字符串首先經(jīng)過analyzer處理，包括：分詞，分成一個個單詞；去除stopword （非索引字）（可選）。將源中需要的信息加入Document的各個Field中，并把需要索引的Field索引 起來，把需要存儲的Field存儲起來。將索引寫入存儲器，存儲器可以是內存或磁盤。2. 2讀出流程用戶提供搜索關鍵詞，經(jīng)過analyzer處理。對處理后的關鍵詞搜索索引找岀對應的Documento用戶根據(jù)需要從找到的Document中提取需要的Field。3 一些需要知道的概念lucene用到

4、一些概念，了解它們的含義，有利于下面的講解。3.1 analyzerAnalyzer是分析器，它的作用是把一個字符串按某種規(guī)則劃分成一個個詞語， 并去除其中的無效詞語，這里說的無效詞語是指英文中的、 “the” ,中 文中的“的”、“地”等詞語，這些詞語在文章中大量岀現(xiàn)，但是本身不包含 什么關鍵信息，去掉有利于縮小索引文件、提高效率、提高命中率。分詞的規(guī)則千變萬化，但1_1的只有一個：按語義劃分。這點在英文中比較容易實 現(xiàn)，因為英文本身就是以單詞為單位的，已經(jīng)用空格分開；而中文則必須以某種 方法將連成一片的句子劃分成一個個詞語。具體劃分方法下面再詳細介紹，這里 只需了解分析器的概念即可。3.2

5、 document用戶提供的源是一條條記錄，它們可以是文本文件、字符串或者數(shù)據(jù)庫表的一條 記錄等等。一條記錄經(jīng)過索引之后，就是以一個Document的形式存儲在索引文 件中的。用戶進行搜索，也是以Document列表的形式返回。3.3 field一個Document可以包含多個信息域，例如一篇文章可以包含“標題”、“正 文”、“最后修改時間”等信息域，這些信息域就是通過Field在Document中 存儲的。Field有兩個屬性可選:存儲和索引。通過存儲屬性你可以控制是否對這個Field 進行存儲；通過索引屬性你可以控制是否對該Field進行索引。這看起來似乎有 些廢話，事實上對這兩個屬性的正

6、確組合很重要，下面舉例說明：還 是以剛才的文章為例子，我們需要對標題和正文進行全文搜索，所以我們要 把索引屬性設置為真，同時我們希望能直接從搜索結果中提取文章標題，所以我 們把標題 域的存儲屬性設置為真，但是山于正文域太大了，我們?yōu)榱丝s小索引 文件大小，將正文域的存儲屬性設置為假，當需要時再直接讀取文件；我們只是 希望能從搜索解 果中提取最后修改時間，不需要對它進行搜索，所以我們把最 后修改時間域的存儲屬性設置為真，索引屬性設置為假。上面的三個域涵蓋了兩 個屬性的三種組合，還有一種全為假的沒有用到，事實上Field不允許你那么 設置，因為既不存儲又不索引的域是沒有意義的。3. 4 termte

7、rm是搜索的最小單位，它表示文檔的一個詞語，term由兩部分組成：它表示 的詞語和這個詞語所出現(xiàn)的fieldo3. 5 tockentocken是term的一次出現(xiàn)，它包含term文本和相應的起止偏移，以及一個類 型字符串。一句話中可以出現(xiàn)多次相同的詞語，它們都用同一個term表示，但 是用不同的tocken,每個tocken標記該詞語出現(xiàn)的地方。3. 6 segment添加索引時并不是每個document都馬上添加到同一個索引文件，它們首先被寫 入到不同的小文件，然后再合并成一個大索引文件，這里每個小文件都是一個 segmento4 lucene的結構 lucene包括core和sandbo

8、x兩部分，其中core是lucene穩(wěn)定的核心部分， sandbox包含了一些附加功能，例如highlighter、各種分析器。Lucene core 有七個包：analysis document, index, queryParsert search store, utilo4 1 analysisAnalysis包含一些內建的分析器，例如按空口字符分詞的WhitespaceAnalyzer, 添加 stopwrod 過濾的 StopAnalyzer,最常用的 StandardAnalyzero4. 2 documentDocument包含文檔的數(shù)據(jù)結構，例如Document類定義了存儲文檔

9、的數(shù)據(jù)結構， Field類定義了 Document的一個域。4 3 indexIndex包含了索引的讀寫類，例如對索引文件的segment進行寫、合并、優(yōu)化的 IndexWriter類和對索引進行讀取和刪除操作的IndexReadei?類，這里要注意的 是不要被IndexReader這個名字誤導，以為它是索引文件的讀取類，實際上刪除 索引也是山它完成，IndexWriter只關心如何將索引寫入一個個segment,并將 它們合并優(yōu)化；IndexReader則關注索引文件中各個文檔的組織形式。4. 4 queryParserQueryParser包含了解析查詢語句的類，lucene的查詢語句和s

10、ql語句有點類 似，有各種保留字，按照一定的語法可以組成各種查詢。Lucene有很多種Query 類，它們都繼承自Query,執(zhí)行各種特殊的查詢，QueryParser的作用就是解析 查詢語句，按順序調用各種Query類查找出結果。4 5 searchSearch包含了從索引中搜索結果的各種類，例如剛才說的各種Query類，包括 TermQuery BooleanQuery 等就在這個包里。4 6 storeStore包含了索引的存儲類，例如Directory定義了索引文件的存儲結構， FSDirectory為存儲在文件中的索引，RAMDirectory為存儲在內存中的索引， MmapDire

11、ctory為使用內存映射的索引。4.7 utilUt訂包含一些公共工具類，例如時間和字符串之間的轉換工具。5如何建索引5.1最簡單的能完成索引的代碼片斷IndexWriter writer = new IndexWriter( /data/index/” , new StandardAnalyzer(), true);Document doc = new Document();doc add(new Field(title, ，zlucene introduction77,;doc .add (new Field (，zcontent，z, ，z lucene works well,;writ

12、er addDocument(doc);writer optimize();writer close ();下面我們分析一下這段代碼。9word格式支持編輯.如有幫助歡迎下載支持。文檔從互聯(lián)網(wǎng)中收集，已重新修正排版，word格式支持編輯:，如有幫助歡迎下載支持。首先我們創(chuàng)建了一個writer,并指定存放索引的目錄為“/data/indexw ,使用 的分析器為StandardAnalyzer,第三個參數(shù)說明如果已經(jīng)有索引文件在索引U 錄下，我們將覆蓋它們。然后我們新建一個document o我們向document添加一個field,名字是title”，內容是alucene introducti

13、onM ,對它進行存儲并索引。再添加一個名字是content”的field,內容是lucene works wellv，也是 存儲并索引。然后我們將這個文檔添加到索引中，如果有多個文檔，可以重復上面的操作，創(chuàng) 建document并添加。添加完所有document,我們對索引進行優(yōu)化，優(yōu)化主要是將多個segment合并 到一個，有利于提高索引速度。隨后將writer關閉，這點很重要。對，創(chuàng)建索引就這么簡單！當然你可能修改上面的代碼獲得更具個性化的服務。5.2將索引直接寫在內存你需要首先創(chuàng)建一個RAMDirectory,并將其傳給writer,代碼如下：Directory dir = new RM

14、IDirectory ();IndexWriter writer 二 new IndexWr it er (dir, new St andardAnalyzer (), true); Document doc = new Document();doc. add(new Field(title, lucene introduction,;doc. add(new Field(content, lucene works well,;writer. addDocument(doc);writer, optimize ();writer, close ();5.3索引文本文件如果你想把純文本文件索引起

15、來，而不想自己將它們讀入字符串創(chuàng)建field,你 可以用下面的代碼創(chuàng)建field：Field field = new Field(content, new FileReader(file):這里的file就是該文本文件。該構造函數(shù)實際上是讀去文件內容，并對其進行 索引，但不存儲。6如何維護索引索引的維護操作都是山IndexReader類提供。6. 1如何刪除索引lucene提供了兩種從索引中刪除document的方法，一種是void deleteDocument(int docNum)這種方法是根據(jù)document在索引中的編號來刪除，每個document加進索引后都 會有個唯一編號，所以根據(jù)

16、編號刪除是一種精確刪除，但是這個編號是索引的內 部結構，一般我們不會知道某個文件的編號到底是兒，所以用處不大。另一種是void deleteDocuments(Term term)這種方法實際上是首先根據(jù)參數(shù)term執(zhí)行一個搜索操作，然后把搜索到的結果 批量刪除了。我們可以通過這個方法提供一個嚴格的查詢條件，達到刪除指定 document的目的。下面給出一個例子：Directory dir = FSDirectory. getDirectory(PATH, false):IndexReader reader = IndexReader.open(dir):Term term = new Ter

17、m(field, key);reader deleteDocuments(term);reader close ();6.2如何更新索引lucene并沒有提供專門的索引更新方法，我們需要先將相應的document刪除， 然后再將新的document加入索引。例如：Directory dir = FSDirectory. getDirectory(PATH, false):IndexReader reader = IndexReaderopen(dir):Term term = new Term( title ,44lucene introductionn );reader deleteDocu

18、ments(term);reader close ();IndexWriter writer = new IndexWr it er (dir, new St andardAnalyzer (), true); Document doc = new Document();doc add(new Field(title,lucene introduction7,;doc add (new Field (content, lucene is funny,;writer addDocument(doc);writer optimize();writer close ();7如何搜索lucene的搜索

19、相當強大，它提供了很多輔助查詢類，每個類都繼承自Query類, 各自完成一種特殊的查詢，你可以像搭積木一樣將它們任意組合使用，完成一些 復雜操 作；另外lucene還提供了 Sort類對結果進行排序，提供了 Filter類對 查詢條件進行限制。你或許會不自覺地拿它跟SQL語句進行比較：lucene能 執(zhí)行 and、or、order by、wherelike 4%xx%操作嗎？ ” 回答是：當然沒9word格式支持編輯.如有幫助歡迎下載支持。文檔從互聯(lián)網(wǎng)中收集，已重新修正排版，word格式支持編輯:，如有幫助歡迎下載支持。問題！”7. 1各種各樣的Query 下面我們看看lucene到底允許我們

20、進行哪些查詢操作：7 1 1 TermQuery首先介紹最基本的查詢，如果你想執(zhí)行一個這樣的查詢：“在content域中包含 4lucene* 的 documentM ,那么你可以用 TermQuery：Term t = new Term(content, ” lucene; Query query = new TermQuery(t);7. 1. 2 BooleanQuery如果你想這么查詢：在content域中包含java或perl的document M ,那么 你可以建立兩個TermQuery并把它們用BooleanQuery連接起來：TermQuery termQueryl = new

21、 TermQuery(new Term(content, java); TermQuery termQuery 2 = new TermQuery(new TermCzcontent，z, perl); BooleanQuery booleanQuery = new BooleanQuery(): booleanQuery. add(termQuery 1,;booleanQuery. add(termQuery 2,;7. 1. 3 Wil dear dQuery如果你想對某單詞進行通配符查詢，你可以用W訂deardQuery,通配符包括？ 匹配一個任意字符和匹配零個或多個任意字符，例如你搜

22、索use*,你 可能找到useful或者useless：Query query = new Wi 1 dear dQuery (new Term (/content, use*);7. 1. 4 PhraseQuery你可能對中日關系比較感興趣，想查找中和日挨得比較近(5個字的距 離內)的文章，超過這個距離的不予考慮，你可以：PhraseQuery query = new PhraseQuery();query setSlop(5);quer y. add (new Term (content 、中”)；quer y. add (new Term( a contentn , 日”)；那么它可能

23、搜到中日合作”、“中方和日方”，但是搜不到“中國某 高層領導說日本欠扁”。7 1. 5 Pref ixQuery 如果你想搜以中開頭的詞語，你可以用PrefixQuery：PrefixQuery query = new PrefixQuery(new Term(content 、中”)；7. 1. 6 FuzzyQueryFuzzyQuery用來搜索相似的term,使用Levenshtein算法。假設你想搜索跟wuzza相似的詞語，你可以：Query query = new FuzzyQuery (new Term (content, wuzz)；你可能得到fuzzy和wuzzy。7 1. 7

24、 RangeQuery7j一個常用的Query是RangeQuery,你也許想搜索時間域從到之間的document, 你可以用RangeQuery：RangeQuery query = new RangeQuery(new Term( time ,), newTerm( time”，“ ”)，true):最后的true表示用閉合區(qū)間。7. 2 QueryParser看了這么多Query,你可能會問：不會讓我自己組合各種Query吧，太麻煩 了！”當然不會，lucene提供了一種類似于SQL語句的查詢語句，我們 姑且叫 它lucene語句，通過它，你可以把各種查詢一句話搞定，lucene會自動把

25、它們 查分成小塊交給相應Query執(zhí)行。下面我們對應每種Query演示一下：TermQuery 可以用field：key方式，例如 ucontent: lucene v 。 BooleanQuery 中與用+ ,或用，例如 ucontent: java contenterlv 。WildcardQuery 仍然用PhraseQuery 用宀,和 * ,例如 ucontent:use*M 。例如content:”中日小5”。PrefixQuery 用 * ,例如“中*”。FuzzyQuery 用,例如 ucontent: wuzzaRangeQuery用“或“,前者表示閉區(qū)間，后者表示開區(qū)間，例

26、如“time：】 TO ”，注意TO區(qū)分大小寫。你 可以任意組合query string,完成復雜操作，例如“標題或正文包括lucene,并且時間在到之間的文章”可以表示為：+ (title: lucene content: lucene) +time: TO ”。代碼如下：Directory dir = FSDirectory. getDirectory(PATH, false):IndexSearcher is = new IndexSearcher(dir):QueryParser parser = new QueryParser (content, new StandardAnalyz

27、er ();Query query = parserparse(+(title:lucene content:lucene)+time： TOHits hits = is. search(query):for (int i = 0; i hits1 ength() ; i+)Document doc = hits doc (i);title);is. close ();首先我們創(chuàng)建一個在指定文件目錄上的IndexSearchero然后創(chuàng)建一個使用StandardAnalyzer作為分析器的QueryParser,它默認搜索 的域是contento接著我們用QueryParser來parse查詢

28、字串，生成一個Query然后利用這個Query去查找結果，結果以Hits的形式返回。這個Hits對象包含一個列表，我們挨個把它的內容顯示出來。7.3 Filterfilter的作用就是限制只查詢索引的某個子集，它的作用有點像SQL語句里的 where,但乂有區(qū)別，它不是正規(guī)查詢的一部分，只是對數(shù)據(jù)源進行預處理，然 后交給 查詢語句。注意它執(zhí)行的是預處理，而不是對查詢結果進行過濾，所以 使用filter的代價是很大的，它可能會使一次查詢耗時提高一百倍。最常用的 filter 是 RangeFilter 和 QueryFi 11ero RangeFi 11er 是設定只搜索指 定范圍內的索引；Qu

29、eryFilter是在上次查詢的結果中搜索。Filter的使用非常簡單，你只需創(chuàng)建一個filter實例，然后把它傳給searcher。 繼續(xù)上面的例子，查詢時間在到之間的文章”除了將限制寫在query string 中，你還可以寫在RangeFilter中：Directory dir = FSDirectory. getDirectory(PATH, false):IndexSearcher is = new IndexSearcher(dir):QueryParser parser = new QueryParser (content, new StandardAnalyzer (); Qu

30、ery query = parser parse (title: lucene content: lucene，z;RangeFilter filter = new RangeFilter(，ztimez、true, true):Hits hits = is. search(query, filter):for (int i = 0; i hits, length() ; i+)Document doc = hits doc (i);title”)；is. close ();7. 4 Sort有時你想要一個排好序的結果集，就像SQL語句的“order by”，lucene能做 到：通過Sort

31、。Sort sort = new Sort ( “time” ); 相當于 SQL 的 aorder by timevSort sort = new Sort ( “time” , true) : / 相當于 SQL 的 uorder by time desc下面是一個完整的例子：Directory dir = FSDirectory. getDirectory(PATH, false):IndexSearcher is = new IndexSearcher(dir);QueryParser parser = new QueryParser (content, new StandardAna

32、lyzer (); Query query = parser parse (title: lucene content: lucene，z;RangeFilter filter = new RangeFilter(z/time，z,、true, true):Sort sort = new Sort( time);Hits hits = is. search(query, filter, sort):for (int i = 0; i hits, length() : i+)Document doc = hitsdoc(i);title”)；is. close ();8分析器在前面的概念介紹中我

33、們已經(jīng)知道了分析器的作用，就是把句子按照語義切分 成一個個詞語。英文切分已經(jīng)有了很成熟的分析器：StandardAnalyzer,很多 情況下StandardAnalyzer是個不錯的選擇。其至你會發(fā)現(xiàn)StandardAnalyzer 也能對中文進行分詞。但是我們的焦點是中文分詞，StandardAnalyzer能支持中文分詞嗎？實踐證明 是可以的，但是效果并不好，搜索“如果”會把“牛奶不如果汁好喝”也搜索 出來，而且索引文件很大。那么我們手頭上還有什么分析器可以使用呢？ core 里而沒有，我們可以在sandbox里面找到兩個：ChineseAnalyzer和 CJKAnalyzero但是它

34、們同樣都有分詞不準的問題。相比之下用StandardAnalyzer和ChineseAnalyzer建立索引時間差不多，索引文件大小也 差不多，CJKAnalyzer表現(xiàn)會差些，索引文件大且耗時比較長。要解決問題，首先分析一下這三個分析器的分詞方式。StandardAnalyzer和 ChineseAnalyzer都是把句子按單個字切分，也就是說“牛奶不如果汁好喝” 會被它們切分成“牛 奶 不 如 果 汁 好 喝”:而CJKAnalyzer則會切分成“牛奶奶不不如如果果汁汁好好喝” o這也就解釋了為什么搜索“果汁” 都能匹配這個句子。以上分詞的缺點至少有兩個：匹配不準確和索引文件大。我們的U標

35、是將上面的 句子分 解成“牛奶 不如果汁好喝”。這里的關鍵就是語義識別，我們如何識 別“牛奶”是一個詞而“奶不”不是詞語？我們很自然會想到基于詞庫的分詞 法，也就是我們先得到一個詞庫，里面列舉了大部分詞語，我們把句子按某種 方式切分，當?shù)玫降脑~語與詞庫中的項匹配時，我們就認為這種切分是正確的。 這樣切詞的過程就轉變成匹配的過程，而匹配的方式最簡單的有正向最大匹配 和逆向最大匹配兩種，說口了就是一個從句子開頭向后進行匹配，一個從句子末 尾向前進行匹配?；谠~庫的分詞詞庫非常重 要，詞庫的容量直接影響搜索結 果，在相同詞庫的前提下，據(jù)說逆向最大匹配優(yōu)于正向最大匹配。當然還有別的分詞方法，這本身就是

36、一個學科，我這里也 沒有深入研究?；氐?具體應用，我們的LI標是能找到成熟的、現(xiàn)成的分詞工具，避免重新發(fā)明車輪。 經(jīng)過網(wǎng)上搜索，用的比較多的是中科院的ICTCLAS和一個不開放源碼但是免費 9word格式支持編輯.如有幫助歡迎下載支持。文檔從互聯(lián)網(wǎng)中收集，已重新修正排版，word格式支持編輯:，如有幫助歡迎下載支持。的JE-Analysiso ICTCLAS有個問題是它是一個動態(tài)鏈接庫，java調用需要本 地方法調用，不方便也有安全隱患，而且口碑也確實不大好。JE-Analysis效果 還不錯，當然也會有分詞不準的地方，相比比較方便放心。9性能優(yōu)化一直到這里，我們還是在討論怎么樣使lucene

37、跑起來，完成指定任務。利用前 面說的也確實能完成大部分功能。但是測試表明lucene的性能并不是很好，在 大數(shù)據(jù)量大并發(fā)的條件下其至會有半分鐘返回的情況。另外大數(shù)據(jù)量的數(shù)據(jù)初始 化建立索引也是一個十分耗時的過程。那么如何提高lucene的性能呢？下面從 優(yōu)化創(chuàng)建索引性能和優(yōu)化搜索性能兩方面介紹。9.1優(yōu)化創(chuàng)建索引性能這方面 的優(yōu)化途徑比較有限，IndexWriter提供了一些接口可以控制建立索引 的操作，另外我們可以先將索引寫入RAMDirectory,再批量寫入FSDirectory, 不管怎樣，H的都是盡量少的文件10,因為創(chuàng)建索引的最大瓶頸在于磁盤10。 另外選擇一個較好的分析器也能提高

38、一些性能。9. 1. 1通過設置IndexWriter的參數(shù)優(yōu)化索引建立setMaxBufferedDocs(int maxBufferedDocs)控制寫入一個新的segment前內存中保存的document的數(shù)H ,設置較大的數(shù)H 可以加快建索引速度，默認為10。setMaxMergeDocs(int maxMergeDocs)控制一個segment中可以保存的最大document數(shù)U ,值較小有利于追加索引的 速度，默認Integer. NfAX.VALUE,無需修改。setMergeFactor(int mergeFactor)控制多個segment合并的頻率，值較大時建立索引速度較快

39、，默認是10,可以 在建立索引時設置為100。9. 1. 2通過RAMDirectory緩寫提高性能我們可以先把索引寫入RAMDirectory,達到一定數(shù)量時再批量寫進 FSDirectory,減少磁盤10次數(shù)。FSDirectory fsDir = FSDirectory. getDirectory (，z/data/index, true): RAMDirectory ramDir = new RAMDirectory ();IndexWriter fsWriter = new IndexWriter(fsDir, new StandardAnalyzer(), true);IndexW

40、riter ramWriter = new IndexWriter (ramDir, new StandardAnalyzer (), true);while (there are documents to index)create DocumentramWriter addDocument(doc);if (condition for flushing memory to disk has been met) fsWriteraddlndexes(new Directory ramDir );ramWriter close();ramWriter = new IndexWriter(ramD

41、ir, new StandardAnalyzer(), true);9.1. 3選擇較好的分析器這 個優(yōu)化主要是對磁盤空間的優(yōu)化，可以將索引文件減小將近一半，相同測試 數(shù)據(jù)下山600M減少到380Mo但是對時間并沒有什么幫助，其至會需要更長時間， 因為較好的分析器需要匹配詞庫，會消耗更多CPU,測試數(shù)據(jù)用StandardAnalyzer 耗時 133 分鐘；用 NIMAnalyzer 耗時 150 分鐘。9. 2優(yōu)化搜索性能雖然建立索弓i的操作非常耗時，但是那畢竟只在最初創(chuàng)建時才需要，平時只是少 量的維護操作，更何況這些可以放到一個后臺進程處理，并不影響用戶搜索。我 們創(chuàng)建索引的U的就是給用戶

42、搜索，所以搜索的性能才是我們最關心的。下面就 來探討一下如何提高搜索性能。9. 2.1將索引放入內存這是一個最直觀的想法，因為內存比磁盤快很多。Lucene提供了 RAMDirectory 可以在內存中容納索引：Directory fsDir = FSDirectory. getDirectory( /data/index/” , false);Directory ramDir = new RAMDirectory (fsDir);Searcher searcher = new IndexSearcher(ramDir):但是實踐證明RAMDirectory和FSDirectory速度差不多，

43、”1數(shù)據(jù)量很小時兩者 都非?？?，當數(shù)據(jù)量較大時(索引文件400M) RAMDirectory其至比FSDirectory 還要慢一點，這確實讓人出乎意料。而且lucene的搜索非常耗內存，即使將400H的索引文件載入內存，在運行一段 時間后都會out of memory,所以個人認為載入內存的作用并不大。9.2.2優(yōu)化時間范圍限制既然載入內存并不能提高效率，一定有其它瓶頸，經(jīng)過測試發(fā)現(xiàn)最大的瓶頸居然 是時間范圍限制，那么我們可以怎樣使時間范圍限制的代價最小呢？當需要搜索指定時間范圍內的結果時，可以：1、用RangeQuery,設置范圉，但是RangeQuery的實現(xiàn)實際上是將時間范用內 的時間

44、點展開，組成一個個BooleanClause加入到BooleanQuery中查詢，因此 時間范圍不可能設置太大，經(jīng)測試，范圍超過一個月就會拋BooleanQuery. TooManyClauses,可以通過設置BooleanQuery. setMaxClauseCount (int maxClauseCount)擴大，但是擴大也是 有限的，并且隨著maxClauseCount擴大，占用內存也擴大2、用RangeFilter代替RangeQuery,經(jīng)測試速度不會比RangeQuery慢，但是 仍然有性能瓶頸，查詢的90%以上時間耗費在RangeFilter,硏究其源碼發(fā)現(xiàn) RangeFilter實際上是首先遍歷所有索引，生成一個BitSet,標記每個document, 在時間范圉內的標記為true,不在的標記為false,然后將結果傳遞給Searcher 查找，這是十分耗時的。3、進一步提高性能，這個又有兩個思路：&、緩