2.提高搜索體驗中文語言分詞

1、通過自定義分詞手段提高用戶體驗By Autonomy China Team目錄 TOC o 1-3 h z u HYPERLINK l _Toc353098536 1.修改權(quán)重和索引字段 PAGEREF _Toc353098536 h 3 HYPERLINK l _Toc353098537 2.定義自定義詞典. PAGEREF _Toc353098537 h 4 HYPERLINK l _Toc353098538 3.定義同義詞. PAGEREF _Toc353098538 h 5 HYPERLINK l _Toc353098539 4.查詢加權(quán) PAGEREF _Toc353098539 h

2、 6 HYPERLINK l _Toc353098540 5.復(fù)雜查詢語句舉例 PAGEREF _Toc353098540 h 7修改權(quán)重和索引字段在AutonomyIDOLServer.cfg中配置 indexweighthigher可以分不同的字段定義不同的Weighthigher，例如標(biāo)題權(quán)重可以設(shè)置為5，副標(biāo)題的權(quán)重可以設(shè)置為3，而DRECONTENT的權(quán)重可以設(shè)置為1，一般客戶都要求標(biāo)題中全匹配的文章在查詢結(jié)果中排行靠前，標(biāo)題權(quán)重可以自行調(diào)整，但是建議不要超過10。如下：/Field Processing/SetIndexAndWeigh/ Fields which are inde

3、xed with a weightProperty=IndexWeightFieldsPropertyFieldCSVs=*/DRECONTENTSetIndexAndWeigh2/ Fields which are indexed with a weightProperty=IndexWeightFields2PropertyFieldCSVs=*/SUBTITLE SetIndexAndWeigh3/ Fields which are indexed with a weightProperty=IndexWeightFields3PropertyFieldCSVs=*/DRETITLE,*

4、/TITLE/Properties/IndexWeightFieldsIndex=TRUEWeight=1IndexWeightFields2Index=TRUEWeight=3IndexWeightFields3Index=TRUEWeight=5定義自定義詞典.自定義分詞，眾所周知，中文分詞與英文不同，隨著社會的進(jìn)步，每天都有很多新詞涌入我們的生活，所以為了查詢的準(zhǔn)確性，不斷添加自定義分詞也是非常必要的，做法如下：在AutonomyIDOLServerIDOLlangfiles目錄中創(chuàng)建名為chinesebreaking_custom_dict.dat的文件，文件編碼方式為UTF8，直接把

5、需要添加的自定義分詞一行一個寫在該文本中，但是需要重新索引數(shù)據(jù)才能生效。如下：定義同義詞.同義詞典的維護(hù)，很多時候客戶在搜索時需要定義同義詞，同義詞對客戶的幫助也很大，當(dāng)然需要客戶來提供同義詞的詞典，設(shè)置方法如下：/Field Processing/SynonymMatchProperty=ApplySynonymMatchPropertyFieldCSVs=*/DRETITLE,*/DRECONTENT/Properties/ApplySynonymMatchSynonymType=Synonym_job/ Synonym /Synonym0=Synonym_jobSynonym_jobFi

6、le=/opt/Autonomy/content/synonymword.txtMaxExpandLevel=0格式為寫清語言標(biāo)簽，一行中以逗號分隔，每一行的詞均為同義詞文件以UTF8保存查詢加權(quán)查詢語句的加權(quán)，可以再查詢語句中動態(tài)增加搜索詞的權(quán)重，這樣做可以一定程度上改變搜索結(jié)果的排序，如下所示：HTTP:/localhost:9000/Action=query&text=China*5:DRETITLE+OR+China*3:DRECONTENT語句的作用是增加以5倍的權(quán)重在標(biāo)題中查詢關(guān)鍵字“China”，以3倍的權(quán)重在正文中查詢關(guān)鍵字“China”復(fù)雜查詢語句舉例http:/localh

7、ost:9000/action=Query&Text=(中華民國)100:DRETITLE+OR+(中華民國)80:DRETITLE+OR+(中華民國)30:DOC_KEYWORDS+OR+(中華民國)6:DRECONTENT+OR+(中華民國)&StartTag=&EndTag=&Highlight=terms,summaryterms&Summary=context&MaxResults=30&Start=1&Characters=500&DatabaseMatch=SUPPORT_DOCS,SUPPORT_HDX_MERGE&FieldText=EQUAL1:DOC_LANGUAGE+A

8、ND+EQUAL16,17,20,21,183,853,1264,1766:RESERVE_NUM_FIELD1_SUB:RESERVE_NUM_FIELD1+AND+BIAS1,1,2:RESERVE_NUM_FIELD5&PrintFields=DOC_ID,DOC_LANGUAGE,DREDATE,DRETITLE,DREREFERENCE,RESERVE_FIELD1,RESERVE_FIELD2,RESERVE_FIELD3,RESERVE_FIELD4,RESERVE_FIELD5,RESERVE_FIELD6,RESERVE_FIELD7,RESERVE_FIELD8,RESERVE_FIELD9,RESERVE_FIELD