古籍自動(dòng)化整理.doc

論古籍整理自動(dòng)化北京大學(xué)中文系 李鐸信息科技在古代典籍的整理方面，經(jīng)歷著三個(gè)階段。一是數(shù)據(jù)文獻(xiàn)的錄入。八十年代，臺(tái)灣中央研究院率先錄入整理重要的古代典籍。由于大陸較早使用的GB2312漢字系統(tǒng)僅支持6763個(gè)漢字，且不支持繁體，所以，大陸在文獻(xiàn)的整理上僅限于現(xiàn)當(dāng)代文學(xué)作品、大型報(bào)刊等。自96年WIN95支持CJK以來(lái)，大陸纔開(kāi)始啟動(dòng)這方面的工作，但大多數(shù)仍處于計(jì)算器加手工作坊的階段，即人工錄入。九十年代末香港迪志公司與北京書(shū)同文公司聯(lián)合開(kāi)發(fā)四庫(kù)全書(shū)，使用非特定人手寫(xiě)識(shí)別系統(tǒng)，極大的節(jié)約了人力物力。僅兩年多的時(shí)間，我們就可以使用四庫(kù)全書(shū)這部近八億漢字的叢書(shū)了，后來(lái)書(shū)同文公司又開(kāi)發(fā)了四部叢刊近一億漢字的古籍?dāng)?shù)據(jù)庫(kù)，目前該公司又著手四部叢刊的四編整理。二是文獻(xiàn)的檢索。一旦整理出古籍文獻(xiàn)，它就進(jìn)入了使用階段，對(duì)于小量的文檔，就可以直接在自己的WORD中使用檢索，查找需要字詞，如果會(huì)使用VBA，還可以編輯引得、關(guān)聯(lián)相關(guān)的數(shù)據(jù)庫(kù)等等。如果是海量數(shù)據(jù)，可以使用特定的檢索平臺(tái)，甚至可以直接對(duì)數(shù)據(jù)庫(kù)操作。還有多種的搜索引擎用來(lái)搜索互聯(lián)網(wǎng)上的學(xué)術(shù)資源，這使古代文學(xué)、古代漢語(yǔ)的研究有了突破性的進(jìn)展。三是古籍文獻(xiàn)的自動(dòng)化整理、多維數(shù)據(jù)庫(kù)建設(shè)、智能分析階段。它是在積累了一定的文本數(shù)據(jù)后的更高級(jí)的數(shù)據(jù)整理與多任務(wù)的應(yīng)用開(kāi)發(fā)，這一階段的特征是，數(shù)據(jù)整理與學(xué)術(shù)研究相互促進(jìn)，數(shù)據(jù)整理帶有學(xué)術(shù)性，學(xué)術(shù)研究對(duì)數(shù)據(jù)庫(kù)建設(shè)提出更精細(xì)的要求。也就是我們目前所處的階段。我想以我們近期的工作及設(shè)想來(lái)說(shuō)明之。全宋詩(shī)的自動(dòng)化分析過(guò)程一、文字整理大陸的出版機(jī)構(gòu)在九十年代初就比較廣泛得使用了北大方正的排版系統(tǒng)，今天還有80%以上出版商仍在使用著，迄今出版了數(shù)萬(wàn)種圖書(shū)。當(dāng)初這一系統(tǒng)僅是為出版紙介而開(kāi)發(fā)設(shè)計(jì)的，并未考慮到已輸入到計(jì)算器的數(shù)據(jù)以后可以更進(jìn)一步開(kāi)發(fā)利用。如繁體字文獻(xiàn)，該系統(tǒng)仍使用簡(jiǎn)體字內(nèi)碼，只是在輸出照排時(shí)改變字型輸出繁體字，而且此內(nèi)碼字庫(kù)太少，亦無(wú)法適應(yīng)古代文獻(xiàn)的輸出，所以北大方正又自行設(shè)計(jì)了一套擴(kuò)充字庫(kù)，用來(lái)補(bǔ)充那6763漢字，而這擴(kuò)充字庫(kù)未使用通用的標(biāo)準(zhǔn)系統(tǒng)，在內(nèi)碼上與后來(lái)的GBK中的繁體字完全不兼容，這在轉(zhuǎn)換上造成了一定的困難，如文獻(xiàn)中的“風(fēng)B7E7”字，我們?nèi)绻麑⒅D(zhuǎn)換為繁體的“風(fēng)”字（EF4C），就會(huì)發(fā)現(xiàn)，“風(fēng)”字的數(shù)量增大了，因?yàn)樵谵D(zhuǎn)換前，文獻(xiàn)中已有“風(fēng)（EF4C）”，相對(duì)GBK而言，它則應(yīng)是字庫(kù)中的“鹙”字，如果先將繁體的“風(fēng)”（實(shí)際上是“鹙”字）轉(zhuǎn)換為“鹙”，則與文獻(xiàn)中另一位置的“鹙”（另外一個(gè)字）沖突，又多出了很多個(gè)“鹙”字。所以北大方正排版系統(tǒng)為排版而制作的數(shù)據(jù)需要經(jīng)過(guò)復(fù)雜的轉(zhuǎn)換過(guò)程，北京大學(xué)中文系語(yǔ)言學(xué)實(shí)驗(yàn)室開(kāi)發(fā)了一套北大方正內(nèi)碼向GBK代碼的轉(zhuǎn)換系統(tǒng)，除人工實(shí)時(shí)造字外，基本上可以完整轉(zhuǎn)換。全宋詩(shī)的整理便是基于這一轉(zhuǎn)換系統(tǒng)，加人工補(bǔ)字來(lái)完成的。最初我們也曾考慮到使用錄入、掃描識(shí)別等手段，但是由于當(dāng)時(shí)掃描識(shí)別率較低，工作量過(guò)大，僅校對(duì)一項(xiàng)就要花費(fèi)掉該項(xiàng)目的全部費(fèi)用。二、格律詩(shī)的標(biāo)注我們?cè)阡浫胝砣圃?shī)時(shí)還是使用手工作坊的方式：雙機(jī)錄入，單機(jī)校對(duì)。在全唐詩(shī)上網(wǎng)前，我想，我們不是一般的公司開(kāi)發(fā)軟件，我們應(yīng)盡可能地利用我們的學(xué)術(shù)資源，在數(shù)據(jù)中融入一些商業(yè)公司無(wú)法操作的學(xué)術(shù)內(nèi)容。所以，首先想到的是將全唐詩(shī)標(biāo)注出格律來(lái)，這對(duì)我們這個(gè)項(xiàng)目組（我和一些研究生們）來(lái)說(shuō)，是一項(xiàng)比較繁重的工作，由于有211項(xiàng)目的資助，我們還是決定人工加標(biāo)識(shí)。可是，有很多作品我們無(wú)法判定其格律，所以請(qǐng)了袁行霈、蔣紹愚兩位先生為我們的顧問(wèn)，我們凡遇到無(wú)法判定的詩(shī)作就求教于這二位先生。僅此一項(xiàng)標(biāo)注工作，就占去了全唐詩(shī)開(kāi)發(fā)工作總量的四分之一。全宋詩(shī)有二十五萬(wàn)余首詩(shī)，是全唐詩(shī)的五倍，其格律詩(shī)的比例也遠(yuǎn)遠(yuǎn)大于全唐詩(shī)，如果一首一首標(biāo)注，恐怕需要若干年的時(shí)間。如果使用計(jì)算器自動(dòng)標(biāo)注，會(huì)不會(huì)出現(xiàn)過(guò)大誤差，我們實(shí)驗(yàn)性地開(kāi)始此項(xiàng)工作。首先，我們依據(jù)佩文韻府建設(shè)了詩(shī)韻庫(kù)，又根據(jù)詩(shī)的格律特征，依據(jù)王漁洋的律詩(shī)定體建設(shè)了二十八種格律詩(shī)模型庫(kù)。然后，就由計(jì)算器對(duì)全宋詩(shī)掃描分析，使用加權(quán)重算法，使相當(dāng)一部分的拗體詩(shī)（不符合二十八種格律的）也能被檢索到，標(biāo)識(shí)出十六萬(wàn)余首格律詩(shī)。經(jīng)過(guò)分析對(duì)比，這種標(biāo)識(shí)方法比我們?cè)瓉?lái)整理唐詩(shī)時(shí)人工標(biāo)注的更為準(zhǔn)確。由于佩文韻府所定義的漢字，有太多的多音字，且分屬不同韻部，尤其是同時(shí)分布在平聲字和仄聲字中。而在建宋詩(shī)平仄庫(kù)時(shí)，由于沒(méi)有宋詩(shī)的詞語(yǔ)庫(kù)（我們正在考慮建設(shè)），那么計(jì)算器在識(shí)別判斷平仄時(shí)便遇到了困難，如“相”字，在“相思”詞中，是平聲，在“宰相”中則是仄聲，如果有語(yǔ)詞庫(kù)，我們將語(yǔ)詞權(quán)重加上，會(huì)比較容易地解決這個(gè)問(wèn)題?，F(xiàn)在的問(wèn)題是：我們雖然可以根據(jù)詩(shī)的格律來(lái)判定當(dāng)平當(dāng)仄，可是這格律又是在建庫(kù)時(shí)就要確定的，為解決這一問(wèn)題，我們引入了層次分析算法，即第一步先將固定平仄的字標(biāo)識(shí)出來(lái)，使用“向量空間模型”，允許有一定量的誤差，做第一層的格律詩(shī)數(shù)據(jù)庫(kù)，然后在第二個(gè)層面上，使用另一音韻庫(kù)二次判別詩(shī)的平仄。結(jié)果定為：非格律詩(shī)，我們保留了原來(lái)多音字的信息，而格律詩(shī)，則以比較準(zhǔn)確的形式顯示詩(shī)的格律，這一做法是比較成功的，以后對(duì)語(yǔ)料庫(kù)做深加工時(shí)，仍有必要使用這種算法。三、重出詩(shī)的自動(dòng)提取臺(tái)灣林枚儀教授率先使用計(jì)算器研究全宋詞的重出問(wèn)題。她對(duì)重出詞的初步提取，主要是依據(jù)詞的句長(zhǎng)特征，而我們面對(duì)宋詩(shī)，則無(wú)法使用這種方法。所以我們認(rèn)為使用格律詩(shī)的“向量空間模型”可以幫助解決這個(gè)問(wèn)題?，F(xiàn)在，我們提取出全部五千余首重出詩(shī)，而且這些重出詩(shī)并不是指文字完全相同，而且指達(dá)到了一定的相似度。四、信息檢索模型的建設(shè)我們?cè)?998年開(kāi)發(fā)的全唐詩(shī)檢索系統(tǒng)并不是單一模式的全文檢索，我們使用了新西蘭國(guó)家圖書(shū)館的布爾模型（Boolean Model），這一模型突破了原布爾模型檢索結(jié)果的無(wú)序性，使我們?cè)跈z索相關(guān)信息時(shí)，可以得到特定序列的數(shù)據(jù)，如在詩(shī)內(nèi)容中輸入“酒”字，同時(shí)選擇“部分匹配”，返回的結(jié)果，第一首詩(shī)是李白的月下獨(dú)酌之二“天若不愛(ài)酒，酒星不在天。地若不愛(ài)酒，地應(yīng)無(wú)酒泉”這首含“酒”字最多的詩(shī)，如果使用“完全匹配”，則使用一般全文檢索的規(guī)則，并返回原書(shū)順序。這種檢索方法目前在互聯(lián)網(wǎng)上相當(dāng)普遍。在全宋詩(shī)的開(kāi)發(fā)中，我們需要檢索出重出詩(shī)，需要標(biāo)識(shí)詞的格律，需要檢索出內(nèi)容相似的詩(shī)作，需要檢索形式相近的詩(shī)作，Boolean Model已不能滿(mǎn)足這方面需要。所以，我們參考Cornell大學(xué)Salton教授開(kāi)發(fā)的“向量空間模型”（Vector Space Model），它與Boolean Model不同，它把查詢(xún)項(xiàng)和數(shù)據(jù)庫(kù)中的信息顯示為檢索構(gòu)成的向量空間中的點(diǎn)。這樣，我們可以通過(guò)計(jì)算向量之間的距離來(lái)判斷原數(shù)據(jù)與檢索項(xiàng)的相似度，這便是“格律詩(shī)標(biāo)識(shí)”和“相似詩(shī)檢索”的基礎(chǔ)。如果達(dá)到一定的“相似度”，也就是根據(jù)向量夾角的余弦值，就可以確定這是一首重出詩(shī)或僅是一定程度上的相似詩(shī)。這一算法在宋詩(shī)的運(yùn)用中比較成功，然而在未來(lái)海量的數(shù)據(jù)處理中，面對(duì)不同類(lèi)型的數(shù)據(jù)，這種模型還要進(jìn)一步完善。我們相信在未來(lái)唐宋詩(shī)的自動(dòng)切分語(yǔ)詞或語(yǔ)料庫(kù)的整理中，這種模型會(huì)發(fā)揮更大的作用。查詢(xún)擴(kuò)展功能在全宋詩(shī)中的實(shí)現(xiàn)。依據(jù)作者檢索宋詩(shī)，如果輸入的是“王安石”，自然應(yīng)當(dāng)找到王安石的全部作品，可是如果輸入“王荊公”或者“王介甫”呢？我們?cè)谧髡唔?xiàng)里加入了擴(kuò)展項(xiàng)的查詢(xún)。目前還僅限于作者，在全文檢索中還沒(méi)有實(shí)現(xiàn)這樣的擴(kuò)展功能，因?yàn)檫@需要我們擴(kuò)充語(yǔ)詞的相關(guān)內(nèi)容，它的基礎(chǔ)是建設(shè)語(yǔ)詞庫(kù)。如果擴(kuò)展功能應(yīng)用到全文檢索，當(dāng)您輸入了“李白”，它同時(shí)能檢索到“太白”“青蓮居士”等等相關(guān)詩(shī)作。目前我們開(kāi)發(fā)的全宋詩(shī)檢索系統(tǒng)，今年九月將由北京大學(xué)出版社出版發(fā)行。我們希望以后出版的這類(lèi)檢索能融入更多的科研成果，有更高的學(xué)術(shù)價(jià)值。古籍自動(dòng)化整理中的學(xué)術(shù)研究一、高深度的數(shù)據(jù)庫(kù)建設(shè)現(xiàn)在世界各地所整理的文獻(xiàn)從數(shù)量上看，已達(dá)到一定的規(guī)模，但是，許多文獻(xiàn)庫(kù)質(zhì)量不高，而且深度不夠。因此，我們下一步的工作，將把重點(diǎn)放到文獻(xiàn)庫(kù)的精加工上面。我們已經(jīng)完成了詩(shī)經(jīng)楚辭先秦兩漢魏晉南北朝詩(shī)樂(lè)府詩(shī)集全唐詩(shī)全宋詩(shī)等，下一步的工作不是去開(kāi)發(fā)全明詩(shī)全清詩(shī)，而是擬對(duì)宋及宋前的詩(shī)詞進(jìn)行深加工整理。它包括：（一）建設(shè)詩(shī)歌語(yǔ)詞歷史庫(kù)，即將已有的文獻(xiàn)做分詞整理，在這方面，我們已經(jīng)擬定了工作的流程及基本算法，如在分詞的同時(shí)，記錄保留原文獻(xiàn)位置等信息。這樣，我們對(duì)中國(guó)古代詩(shī)人詩(shī)作的研究并不是簡(jiǎn)單基于字頻、用韻等，而且加上了語(yǔ)詞特征分析及歷史沿習(xí)特征分析，在建設(shè)宋詩(shī)的語(yǔ)詞庫(kù)時(shí)，關(guān)聯(lián)到宋前作品，如同對(duì)用典的分析一樣，這樣可以推出詩(shī)歌語(yǔ)詞的流變過(guò)程。（二）建設(shè)二十五史的人名地名關(guān)系庫(kù)，這是一項(xiàng)極其龐大但又十分有意義的工作。（三）依據(jù)袁先生主編的中國(guó)文學(xué)史，建設(shè)“數(shù)字中國(guó)文學(xué)史”，將中國(guó)文學(xué)史相關(guān)的文獻(xiàn)進(jìn)行精加工整理，建成一個(gè)內(nèi)容豐富的中國(guó)文學(xué)科研與教學(xué)的輔助系統(tǒng)。二、帶著課題做數(shù)據(jù)很多文獻(xiàn)庫(kù)的整理，都有一定的商業(yè)性，所以，它所面對(duì)的是一般使用者，其功能往往是定義過(guò)的，數(shù)據(jù)本身也是封裝的。我們?cè)谶M(jìn)一步的開(kāi)發(fā)中，則是面向?qū)W術(shù)研究的，例如，我們通過(guò)對(duì)唐宋詩(shī)詞的整理，我們將單獨(dú)為釋家、女詩(shī)人、流派、家族等建庫(kù)，這樣結(jié)合歷史文獻(xiàn)的研究，可以析出女性詩(shī)作的用韻、格律、字頻、詞頻等相關(guān)曲線(xiàn)，可以對(duì)佛教文化對(duì)中國(guó)詩(shī)歌發(fā)展的影響進(jìn)行研究，可以分析宋代家族文學(xué)興起發(fā)展的過(guò)程，可以進(jìn)一步江西詩(shī)派及其影響做更深入的分析。通過(guò)地名人名關(guān)系庫(kù)，我們可以分析歷代文學(xué)家在地理上的分布及發(fā)展過(guò)程，有利于研究中國(guó)文學(xué)的興衰因素。在精加工數(shù)據(jù)的同時(shí)，自然會(huì)要求錄入新的文獻(xiàn)數(shù)據(jù)，我們也要將之學(xué)術(shù)化，將學(xué)術(shù)研究課題融入建庫(kù)的過(guò)程中。三、自然語(yǔ)言的查詢(xún)我們?cè)陂_(kāi)發(fā)全宋詩(shī)的查詢(xún)模型時(shí)，曾考慮過(guò)使用“概率檢索模型”（Probabilistic Model），而非“向量空間模型”，如果這樣的話(huà)，可以讓使用者使用自然語(yǔ)言來(lái)查詢(xún)分析數(shù)據(jù)，如使用者可以輸入“宋代和尚中用酒字最多的詩(shī)”。但是，后來(lái)我們認(rèn)為由于詩(shī)歌的數(shù)據(jù)類(lèi)型比較統(tǒng)一，檢索要求也往往一致，數(shù)據(jù)建庫(kù)者又往往是熟悉計(jì)算器的人員。所以，使用了“向量空間模型”并加了擴(kuò)展功能，將底層分析過(guò)的數(shù)據(jù)二次建庫(kù)，這樣可以節(jié)省數(shù)據(jù)庫(kù)使用者的大量時(shí)間。在我們目前準(zhǔn)備開(kāi)始開(kāi)發(fā)的新系統(tǒng)數(shù)字中國(guó)文學(xué)史中，我們便決定使用概率檢索模型，因?yàn)?，該?xiàng)目的數(shù)據(jù)量大，而且數(shù)據(jù)類(lèi)型復(fù)雜，除文本數(shù)據(jù)外，還有大量的超文本（音頻、視頻文獻(xiàn)）。如果給出一個(gè)復(fù)雜的接口，一方面很難做到適合多種需求的查詢(xún)，另一方面，使用者會(huì)在學(xué)習(xí)使用該界面上耗費(fèi)大量時(shí)間。我們?cè)O(shè)想，使用者在一檢索對(duì)話(huà)框中輸入“李白曾到過(guò)哪些地方”，就可以調(diào)出李白游蹤表和地理圖；輸入“唐代河南有哪些著名詩(shī)人”，就可以顯示出“杜甫、李賀、李商隱”等詩(shī)人；在讀到琵琶行時(shí)，雙擊“琵琶”，就可以看到“琵琶”的圖形，甚至聽(tīng)一首琵琶曲。目前我們所面臨的難題，一是現(xiàn)有的數(shù)據(jù)庫(kù)模型對(duì)西方語(yǔ)言支持度高，對(duì)中文支持度低。需要自己重新搭建適合漢語(yǔ)的平臺(tái)，一是目前的數(shù)據(jù)庫(kù)主要是面向商業(yè)管理的，在數(shù)據(jù)更新方面功能強(qiáng)大，而我們的數(shù)據(jù)多是靜態(tài)的，需要的是查詢(xún)功能的強(qiáng)大，這也需要自己動(dòng)手開(kāi)發(fā)。四、選擇適合計(jì)算器的大型課題計(jì)算器進(jìn)入文科研究領(lǐng)域后，會(huì)出現(xiàn)許許多多新的課題，如全宋詩(shī)的重出問(wèn)題，可以說(shuō)沒(méi)有計(jì)算器，這種工作幾乎是不可能的。我們利用全宋詩(shī)數(shù)據(jù)庫(kù)查出了全部的重出詩(shī)，進(jìn)一步需要將重出的詩(shī)作整理定位，依舊利用全宋詩(shī)的數(shù)據(jù)庫(kù)可以定位約三分之一的詩(shī)作。另外考慮到使用其它數(shù)據(jù)，如四庫(kù)全書(shū)、四部叢刊、二十五史等，當(dāng)然也要進(jìn)行大量的人工分析，手工檢索大量數(shù)據(jù)，這樣，我們將用一年的時(shí)間整理出一部全