語(yǔ)料庫(kù)與語(yǔ)料庫(kù)建設(shè)

語(yǔ)庫(kù)料建

語(yǔ)料庫(kù)和語(yǔ)料庫(kù)建設(shè)一、

什么叫料庫(kù)1定義語(yǔ)料庫(kù)通俗意義上的是語(yǔ)材料庫(kù)。嚴(yán)意義上語(yǔ)料庫(kù)corpus是指按照定的語(yǔ)言學(xué)則，運(yùn)用隨抽樣方，收集自然現(xiàn)的連的語(yǔ)言運(yùn)用本或話片斷而成的具有一容量的型電子文本。目前，言學(xué)家對(duì)于料庫(kù)的義不盡相同如辛克（Sinclair）為語(yǔ)料庫(kù)“按照明確語(yǔ)言學(xué)準(zhǔn)選擇并排的語(yǔ)言用材料匯集旨在用語(yǔ)言的本”。阿特斯等（Atkins&）認(rèn)為語(yǔ)庫(kù)是“按照確的設(shè)計(jì)標(biāo)準(zhǔn)為某一具體的而集的大型文本”。赫（Renouf認(rèn)為語(yǔ)庫(kù)是“由量收集的書(shū)語(yǔ)或口語(yǔ)構(gòu)成，并過(guò)計(jì)算儲(chǔ)存和處理用于語(yǔ)學(xué)研究文本庫(kù)”。們看到以上關(guān)于語(yǔ)庫(kù)的幾定義相同之在于都到語(yǔ)料是語(yǔ)言材料匯集；同之處在于兩個(gè)定指出語(yǔ)料庫(kù)設(shè)計(jì)是明確的計(jì)標(biāo)準(zhǔn)的，努的定明確指出語(yǔ)庫(kù)“通計(jì)算機(jī)儲(chǔ)存處理”一特點(diǎn)語(yǔ)庫(kù)于子語(yǔ)庫(kù)的設(shè)定研目具用因在語(yǔ)抽圍文類(lèi)蓋都求平，在集語(yǔ)時(shí)要考到文、、域題型抽樣例而大檔標(biāo)搜任獲的語(yǔ)材所定種類(lèi)，言料之的較松語(yǔ)庫(kù)以特、料設(shè)與有統(tǒng)言理導(dǎo)，庫(kù)開(kāi)有確又的的，朗庫(kù)于20世60年的美英的研，與朗語(yǔ)庫(kù)的時(shí)英英料可用

對(duì)國(guó)進(jìn)研也與布語(yǔ)加對(duì)比行英和英的研。2語(yǔ)料的是照的言則用抽的得的運(yùn)的語(yǔ)不是意語(yǔ)料堆更是由個(gè)杜出來(lái)語(yǔ)料的和料隨抽式保了具代由保證于庫(kù)語(yǔ)研科性觀。、料是續(xù)文話片而是的子匯可以得關(guān)、、語(yǔ)以及篇。4、語(yǔ)庫(kù)代進(jìn)算技術(shù)技段料語(yǔ)過(guò)子形儲(chǔ)存且過(guò)算理，具資源勢(shì)處理度。5、基語(yǔ)的究化究為石，率計(jì)段，數(shù)動(dòng)基理。、料是種方，表一新究維二、

語(yǔ)料庫(kù)生的背景及展歷史對(duì)真實(shí)言材料的搜與研究語(yǔ)言學(xué)研究?jī)?yōu)秀傳。尤其是在20世紀(jì)50代中期在語(yǔ)言究中占主導(dǎo)位的是語(yǔ)言材料的驗(yàn)主義這種學(xué)術(shù)氛無(wú)疑促了對(duì)語(yǔ)的重視。1959年夸（R.Quirk等人著進(jìn)行的“英用法調(diào)”(SurveyEnglish通過(guò)系的調(diào)查建立第一個(gè)代英語(yǔ)語(yǔ)料，在此基礎(chǔ)完成的《現(xiàn)英語(yǔ)語(yǔ)》（AGrammarContemporary

English）和《語(yǔ)語(yǔ)法大全（AComprehensiveGrammaroftheLanguage）對(duì)現(xiàn)代英語(yǔ)行了系全面的描寫(xiě)在英語(yǔ)言學(xué)界產(chǎn)生廣泛的影響。在當(dāng)時(shí)這項(xiàng)大的工是通過(guò)手工方式完的。20紀(jì)六十代后，言學(xué)研究主從經(jīng)驗(yàn)義轉(zhuǎn)向理性義，喬斯基的語(yǔ)言力說(shuō)被廣泛受，轉(zhuǎn)生成語(yǔ)法學(xué)批評(píng)語(yǔ)庫(kù)研究方法認(rèn)為，1、基于語(yǔ)庫(kù)的方法有。喬姆基等認(rèn)為語(yǔ)學(xué)應(yīng)當(dāng)人腦的語(yǔ)言制即語(yǔ)能力為究對(duì)象，語(yǔ)庫(kù)收集只是人們的言運(yùn)用語(yǔ)言運(yùn)用會(huì)超語(yǔ)言素的影而發(fā)生變化它并不確切的反映言能力語(yǔ)料的不充性。他們認(rèn)為然語(yǔ)言句子數(shù)量是限的，語(yǔ)料的規(guī)模使再大也無(wú)窮盡所可能的子，因此“何自然料都是偏頗”。在后的長(zhǎng)達(dá)年的時(shí)里理性主在歐美一直有統(tǒng)治位，語(yǔ)料庫(kù)究一度入低谷。但此期間有些語(yǔ)學(xué)家憑著非的勇氣續(xù)不懈地從語(yǔ)料庫(kù)究。最早的算機(jī)語(yǔ)庫(kù)布朗料（Brown年由納和庫(kù)切(H.Kucera)建立。朗語(yǔ)料庫(kù)容為100詞，收了代有代性的美國(guó)英語(yǔ)料，語(yǔ)料選各種出版物建庫(kù)時(shí)顧到了各種體的平，嚴(yán)格按照機(jī)原則樣，是個(gè)標(biāo)準(zhǔn)語(yǔ)料。布朗料庫(kù)是第一現(xiàn)代語(yǔ)庫(kù)，它對(duì)于來(lái)的語(yǔ)庫(kù)的發(fā)具有重要的響。1975，Svartvik始創(chuàng)建倫敦—隆德料庫(kù)（London—Lund），這兩語(yǔ)料庫(kù)堪稱(chēng)代語(yǔ)料的開(kāi)山鼻祖20紀(jì)年代以來(lái)在相對(duì)寂了近20之后，料庫(kù)研重新萌發(fā)了生機(jī)，速得到發(fā)展語(yǔ)料庫(kù)究的迅速發(fā)基于以三個(gè)方面的因：首，具有語(yǔ)言基礎(chǔ)。在英國(guó)言學(xué)研究中實(shí)證主從弗斯到韓德再到克萊一直被承了下，實(shí)證主的基石是對(duì)觀察的象進(jìn)行研究作為人外部行為的言運(yùn)用可觀察、可靠的依，而人內(nèi)在的語(yǔ)言力是不直接觀察的只能通語(yǔ)用實(shí)進(jìn)行推斷。料庫(kù)是隨機(jī)采樣的礎(chǔ)上收的有代表性真實(shí)語(yǔ)材料的合，是語(yǔ)言用的樣。如果樣本有代表，采樣具有機(jī)性，樣本的又足夠大，可以認(rèn)樣本就是總的真實(shí)表；樣本具總體的計(jì)特征研究語(yǔ)料庫(kù)的語(yǔ)言料即近似于究語(yǔ)言身。語(yǔ)料庫(kù)的語(yǔ)言料都是們實(shí)際使用語(yǔ)言材，因此語(yǔ)料語(yǔ)言的究結(jié)果具有靠性和實(shí)性。大的技術(shù)支是語(yǔ)料迅速發(fā)展的一原因主要體現(xiàn)在下三個(gè)面：一以計(jì)算機(jī)為導(dǎo)的硬技術(shù)的發(fā)展機(jī)的起、計(jì)算機(jī)算速度高速增、存儲(chǔ)介質(zhì)開(kāi)發(fā)、儲(chǔ)容量的劇都為計(jì)機(jī)語(yǔ)料庫(kù)的設(shè)發(fā)展供了技保障。二、算機(jī)網(wǎng)的發(fā)展為語(yǔ)庫(kù)的發(fā)和應(yīng)用提供有利條。首先，量的文獻(xiàn)和件具有子文本形式網(wǎng)上傳，為語(yǔ)料庫(kù)料的獲提供了利條件；其，大量料庫(kù)成為在語(yǔ)料庫(kù)允許用戶(hù)在上實(shí)時(shí)用；再，研究者和戶(hù)能夠網(wǎng)上就語(yǔ)料及時(shí)交經(jīng)驗(yàn)和看法三、可共享的料庫(kù)索引軟的開(kāi)發(fā)如今的索引件大多不是專(zhuān)為某個(gè)語(yǔ)料單獨(dú)設(shè)與開(kāi)發(fā)的，是能夠用于各種類(lèi)甚至不語(yǔ)種的語(yǔ)料。語(yǔ)料迅速發(fā)的第三個(gè)原是需求增長(zhǎng)。在語(yǔ)庫(kù)的應(yīng)領(lǐng)域，不斷長(zhǎng)的用群體和斷擴(kuò)大的應(yīng)領(lǐng)域進(jìn)步體現(xiàn)了語(yǔ)庫(kù)的應(yīng)價(jià)值。其應(yīng)包括傳領(lǐng)域、展領(lǐng)域和新領(lǐng)域。統(tǒng)領(lǐng)域包括然語(yǔ)言理、語(yǔ)法分和辭典纂等，展領(lǐng)域包括材的組編寫(xiě)、機(jī)器譯、語(yǔ)識(shí)別和語(yǔ)言比；新

領(lǐng)域包語(yǔ)言教學(xué)、據(jù)驅(qū)動(dòng)言學(xué)習(xí)、中語(yǔ)對(duì)比析研究、多體計(jì)算輔助教、在線語(yǔ)料。在上述素促動(dòng)下，料庫(kù)建迅速發(fā)展，繼出現(xiàn)一批語(yǔ)料庫(kù)如，LOB料庫(kù)（Lancaster-Oslo-Bergen）、COBUILD語(yǔ)料、國(guó)際英語(yǔ)料庫(kù)（TheInternationalofEnglish，簡(jiǎn)稱(chēng)、赫爾辛基史英語(yǔ)語(yǔ)料（TheHelsinkiofHistoricalEnglish及各不同語(yǔ)、不同用途型的語(yǔ)庫(kù)。三、

語(yǔ)料庫(kù)建設(shè)與開(kāi)發(fā)（一）體設(shè)計(jì)首先語(yǔ)庫(kù)的建設(shè)目要明確建庫(kù)的目的定著語(yǔ)的選取。如由廣外語(yǔ)外貿(mào)大桂詩(shī)春授和上海交大學(xué)楊中教授等主建設(shè)的中國(guó)習(xí)者英語(yǔ)語(yǔ)庫(kù)（CLEC）建庫(kù)目的：、通過(guò)分析國(guó)英語(yǔ)習(xí)者寫(xiě)作中典錯(cuò)誤及其與習(xí)者中語(yǔ)發(fā)展的內(nèi)關(guān)系，中國(guó)外語(yǔ)教，尤其英語(yǔ)寫(xiě)教學(xué)，提供極反饋2、學(xué)習(xí)者語(yǔ)料與英語(yǔ)族語(yǔ)語(yǔ)料庫(kù)行對(duì)比分析語(yǔ)料庫(kù)規(guī)模設(shè)計(jì)。規(guī)模上只要條件允，應(yīng)該語(yǔ)料庫(kù)的規(guī)越大越好。語(yǔ)料庫(kù)發(fā)展勢(shì)來(lái)看建立固定規(guī)的語(yǔ)料并非語(yǔ)料庫(kù)展的大勢(shì)，因語(yǔ)言本身是態(tài)發(fā)展，語(yǔ)料庫(kù)也當(dāng)是動(dòng)的，可以不擴(kuò)充的語(yǔ)料庫(kù)內(nèi)容。如果規(guī)模是對(duì)量的問(wèn)題那么，容就是要解質(zhì)的問(wèn)題。于內(nèi)容，最本的是真實(shí)，它包兩個(gè)方，要收集實(shí)使用中的文本而不能是研者杜撰；2、要收集合條件文本。如要立的是習(xí)者語(yǔ)庫(kù)，要分析是學(xué)生真實(shí)語(yǔ)言能，就不把學(xué)生抄襲本的東收進(jìn)來(lái)（二）體實(shí)施1語(yǔ)料的搜集現(xiàn)代計(jì)機(jī)技術(shù)和網(wǎng)資源使語(yǔ)料庫(kù)語(yǔ)料獲得變方便容易。統(tǒng)的語(yǔ)料庫(kù)設(shè)，語(yǔ)料輸工作極為浩，基本靠手工鍵盤(pán)入和掃輸入，費(fèi)時(shí)力，且易出現(xiàn)誤，需要校。如今量的在線語(yǔ)資源、盤(pán)資料、因網(wǎng)資源包括新、郵件列表電子郵等，使語(yǔ)料的建設(shè)擴(kuò)充變得非快捷方。當(dāng)然，于不同研究的的語(yǔ)庫(kù)對(duì)其語(yǔ)料源可能求不同，會(huì)響到語(yǔ)料的集。2抽樣語(yǔ)料庫(kù)語(yǔ)料抽樣范和文類(lèi)蓋方面都要可能取平衡，要考每一文類(lèi)、裁、語(yǔ)域、題類(lèi)型等的樣比例喬姆斯基曾批評(píng)語(yǔ)庫(kù)不過(guò)是試用很小樣本代巨量的甚至限的實(shí)語(yǔ)言材料，結(jié)果必存在偏差，乏代表。

目前，算機(jī)語(yǔ)料庫(kù)以通過(guò)制抽樣過(guò)程語(yǔ)料比關(guān)系來(lái)縮小差，增語(yǔ)料的表性。決定料代表的主要因素樣本的樣過(guò)程和語(yǔ)量的大。語(yǔ)料庫(kù)般采用隨機(jī)樣方法一種做法是抽樣前先確定抽樣范圍，就是確語(yǔ)料的分層構(gòu)，進(jìn)分層抽樣，把語(yǔ)料文類(lèi)（如小、新聞道、科論文、法律書(shū)、詩(shī)、散文等）信道（書(shū)面語(yǔ)和口）進(jìn)行層抽樣在抽取比例可根據(jù)要采用平均例均衡樣或不等比的塔式樣。3語(yǔ)料庫(kù)的加文本輸計(jì)算機(jī)后，般需要行一些加工主要包語(yǔ)料的標(biāo)識(shí)語(yǔ)料的賦碼1語(yǔ)料庫(kù)的標(biāo)標(biāo)識(shí)主分兩類(lèi)：一是對(duì)文的性質(zhì)和特進(jìn)行標(biāo)，另一類(lèi)是文本中的符、格式等進(jìn)標(biāo)識(shí)。CLEC語(yǔ)料庫(kù)標(biāo)注了以下要信息包括學(xué)生類(lèi)型、性、累計(jì)學(xué)習(xí)限、自年齡、作文成方式是否是用詞、作文型、所學(xué)校、作文分、作標(biāo)題、大學(xué)語(yǔ)四、級(jí)試卷作文碼。第類(lèi)標(biāo)識(shí)必要的，因它們可用來(lái)對(duì)文本行必要分類(lèi)，為靈提取文進(jìn)行各目的研究提便利，且它們可以注在文開(kāi)頭或者作另一個(gè)件保存絲毫不破壞料的完性和原始性至于第類(lèi)標(biāo)識(shí)可以研究和用的目而定。但不怎樣，存一份未標(biāo)的原文是很有必要。2賦碼一些研不需要賦碼料庫(kù)，有些研究需賦碼語(yǔ)庫(kù)。當(dāng)前，料庫(kù)的賦碼要有兩：一類(lèi)是詞碼，又語(yǔ)法碼；另類(lèi)是句法碼詞類(lèi)賦就是對(duì)文本每一個(gè)標(biāo)注詞類(lèi)屬，這項(xiàng)作通常是在統(tǒng)語(yǔ)法對(duì)詞的劃分的基上進(jìn)行，只是分類(lèi)應(yīng)要求得更細(xì)。如料庫(kù)中以表普通詞的單數(shù)形，以代表以大字母開(kāi)的普通名詞單數(shù)形，如Englishman，以表普通名詞復(fù)數(shù)形，如以VB表動(dòng)詞基本形，如write以

代表動(dòng)的過(guò)去式，wrote以

VBN

、saw，表動(dòng)詞現(xiàn)在分形式如readingeating，代表動(dòng)的過(guò)去分詞式，如written、seen等等目前自動(dòng)詞類(lèi)碼技術(shù)已經(jīng)本成熟對(duì)英語(yǔ)基本可以通計(jì)算機(jī)自動(dòng)碼，且碼正確在右。句法賦就是對(duì)文本的每一句子進(jìn)行句標(biāo)注。UCREL概率句法賦碼系統(tǒng)例，其句法碼系統(tǒng)三個(gè)步驟：一步，文本中每一詞賦以能的句碼。該步驟要依賴(lài)一部標(biāo)明每可能詞碼對(duì)子的句符的詞。第二步尋找一些特的語(yǔ)法形式和句法斷，對(duì)法結(jié)構(gòu)作必的修改最后，成每一可能句法分，并逐一賦，從中出可能性最，即值大的句分析作為每的分析果。

詞類(lèi)賦和句法賦碼語(yǔ)言的化研究創(chuàng)造條件，進(jìn)一步研究然語(yǔ)言的概性特征提供方便，進(jìn)一步的語(yǔ)、語(yǔ)法語(yǔ)用分析等下了基。4語(yǔ)料庫(kù)引擎通常意上的計(jì)算機(jī)料庫(kù)一包括語(yǔ)料庫(kù)體（即料庫(kù)電子文）和語(yǔ)料庫(kù)擎（即語(yǔ)料庫(kù)引程序）兩部分。索引工的基本功能括詞頻計(jì)、詞表生、語(yǔ)篇計(jì)、關(guān)鍵詞引、排序、配詞統(tǒng)計(jì)、語(yǔ)型式計(jì)、主題詞取、詞統(tǒng)計(jì)、詞圖計(jì)等等網(wǎng)上提了一些可以用的工軟件，包括MicroConcord、WordsmithTools、Concordance1.1.3ConcordancingTools

具有提詞語(yǔ)索、搭配詞表及各詞索引行的擴(kuò)語(yǔ)境的能，允許用把索引果存儲(chǔ)自己的硬盤(pán)。MicroConcord

可進(jìn)行語(yǔ)境的關(guān)鍵索引。

利用它以觀察關(guān)鍵所在語(yǔ)，獲得左右配詞表WordsmithTools

具有下功能：1）生成詞表、按詞頻字母順序分別排列并提供各種計(jì)信息2）關(guān)鍵詞提取可進(jìn)一統(tǒng)計(jì)分析關(guān)詞在語(yǔ)篇中的布，再生成語(yǔ)料庫(kù)主要關(guān)鍵詞還可以出某一關(guān)鍵的聯(lián)想?yún)R。3提供詞詞語(yǔ)型式表搭配詞置分布等極價(jià)值的息，使研究可以從多角度對(duì)詞匯用進(jìn)行析4查詢(xún)結(jié)可以很方便轉(zhuǎn)換為格形式，并讀入MSAccess、Excel

等數(shù)據(jù)中進(jìn)行相關(guān)分析統(tǒng)。TACT一個(gè)語(yǔ)料庫(kù)引軟件，它具有全索引、境中的關(guān)鍵索引、詞表生、詞頻統(tǒng)計(jì)搭配詞動(dòng)提取、語(yǔ)比較等大的功能。Concordance

除了一文本索引軟所具有功能外，其特之處能夠把索結(jié)果自動(dòng)生HTML網(wǎng)頁(yè)供在線覽。它是一獨(dú)立軟，可利用它對(duì)任何料庫(kù)文本進(jìn)索引分。四、

目前語(yǔ)庫(kù)發(fā)展中存的問(wèn)題1書(shū)面語(yǔ)語(yǔ)料和口語(yǔ)料庫(kù)發(fā)展不衡。大量在電子語(yǔ)料以各種以子媒介發(fā)行電子文為書(shū)面語(yǔ)語(yǔ)庫(kù)提供了豐的語(yǔ)料資源使得書(shū)面語(yǔ)料庫(kù)的設(shè)變得便利來(lái)。相較起來(lái)，口語(yǔ)料庫(kù)落后許。原因之一自然語(yǔ)的口頭運(yùn)用式需通一定的技術(shù)段才能獲得，轉(zhuǎn)寫(xiě)與存儲(chǔ)耗費(fèi)大的人力物力2語(yǔ)料庫(kù)的標(biāo)和賦碼統(tǒng)在適用性統(tǒng)一性面需要進(jìn)一的探討

現(xiàn)行的碼系統(tǒng)一般基于傳語(yǔ)法中對(duì)于類(lèi)的分成果不同研究者分析結(jié)存在一定分歧，采用何一種類(lèi)方案都可存在偏。理想的賦應(yīng)是基語(yǔ)料庫(kù)身的統(tǒng)計(jì)信。在賦格式上各語(yǔ)庫(kù)也缺標(biāo)準(zhǔn)化和統(tǒng)化。3語(yǔ)料庫(kù)資源享困難重一個(gè)語(yǔ)庫(kù)的價(jià)值應(yīng)是與其利用的程度正比的系而目前了有限的幾個(gè)料庫(kù)能夠供在線索引，絕大數(shù)已經(jīng)建成語(yǔ)料庫(kù)在語(yǔ)料庫(kù)研者這個(gè)群體中用，圈外人聞其名難見(jiàn)其形，得花費(fèi)大量時(shí)間與力的語(yǔ)庫(kù)不能正實(shí)現(xiàn)其價(jià)。許多言研究者只自己動(dòng)建語(yǔ)料庫(kù)，種重復(fù)設(shè)造成力物力資源極大浪。而且語(yǔ)料只有在用過(guò)程中才發(fā)現(xiàn)問(wèn)，不斷地以改進(jìn)。4語(yǔ)料庫(kù)工具件和文分析軟件的發(fā)與語(yǔ)庫(kù)的發(fā)展不適應(yīng)語(yǔ)料庫(kù)具軟件包括類(lèi)自動(dòng)碼和句法分軟件文本分軟件指與語(yǔ)庫(kù)本體對(duì)獨(dú)立的引軟件。目存在的題是，各種引軟件復(fù)開(kāi)發(fā)，功單一，件的升速度慢，自軟件少其原因主要，語(yǔ)料庫(kù)軟開(kāi)發(fā)不其它計(jì)算機(jī)軟那樣有巨大商業(yè)利驅(qū)動(dòng)，缺少業(yè)的軟開(kāi)發(fā)人員。前的語(yǔ)庫(kù)軟件本上是靠精計(jì)算機(jī)程技術(shù)的語(yǔ)學(xué)家研的，其技術(shù)以跟上算機(jī)技發(fā)展的步伐2大多數(shù)料庫(kù)軟件研是靠單作戰(zhàn)缺少隊(duì)合